开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 数值算法/人工智能 > 人工智能/神经网络 > 查看源码
Procedure.cpp
资源名称：神经网络源代码(附说明文档和数据）.rar　[点击查看]
上传用户：guanx8y8
上传日期：2007-07-30
资源大小：326k
文件大小：33k
源码类别：

人工智能/神经网络

开发平台：

Visual C++

Procedure.cpp：源码内容
  1. /////////////////////////////////////////////////////////////////////////////
  2. // Procedure.cpp
  3. // the implementation of the specified arithmetic
  4. // Author : freeia
  5. // E-mail : freeia@163.com
  6. // Date : 3/20/2003
  7. /////////////////////////////////////////////////////////////////////////////
  9. #include "stdafx.h"
  10. #include "Matrix.h"
  11. #include "AllDef.h"
  15. /////////////////////////////////////////////////////////////////////////////
  16. // Levenberg-Marquart ----> 第一次前向计算初始化    //
  17. /////////////////////////////////////////////////////////////////////////////
  18. __declspec (dllexport) void LMForwardCalculateInit( int nInputLayerNumber,
  19. int nHideLayerNumber,
  20. int nOutputLayerNumber,
  21. CMatrix &matrixDemoDataInput,
  22. CMatrix &matrixInputLayerValue,
  23. CMatrix &matrixInputToHideWeightValue,
  24. CMatrix &matrixHideLayerValveValue,
  25. CMatrix &matrixHideToOutputWeightValue,
  26. CMatrix &matrixOutputLayerValveValue
  27.    )
  28. {
  30. /************************************************************************
  31. * --------->Use Matlab Method <---------              *
  32. ************************************************************************/
  35. /////////////////////////////////////////////////////////////////////////
  36. // 构造输入层元素的矩阵
  37. // 构造规则:
  38. // 1. 样本数目做为矩阵的行数;
  39. // 2. 单个样本的输入层的数目做为矩阵的列数;
  40. // 3. 矩阵中的元素即为对应的输入层的值
  41. //
  43. CMatrix cMatrixInputLayerValue(matrixDemoDataInput.GetMatrixRowNumber (), nInputLayerNumber);
  45. // 得到样本的输入值
  46. matrixDemoDataInput.CopySubMatrix (cMatrixInputLayerValue,(unsigned int)0,(unsigned int)0);
  48. CMatrix cMatrixTInputLayerValue = cMatrixInputLayerValue.Transpose ();
  50. matrixInputLayerValue.CopyMatrix (cMatrixTInputLayerValue);
  53. /////////////////////////////////////////////////////////////////////////
  54. // 构造权值矩阵 -----> 由单个样本输入层与隐含层之间的权值做为元素组成
  55. // 构造规则:
  56. // 1. 单个样本的输入层的数目做为矩阵行数;
  57. // 2. 单个样本的隐含层的数目做为矩阵的列数;
  58. // 3. 对矩阵中的元素进行随机初始化,值在(-1,1)之间;
  59. // 4. 所有样本的输入层和隐含层的数目是相等的;
  60. // 5. 所有样本使用的是同一个权值矩阵.
  61. //
  63. CMatrix cMatrixInputToHideWeightValue(nHideLayerNumber, nInputLayerNumber);
  65. // 随机初始化矩阵内元素的值
  66. cMatrixInputToHideWeightValue.RandomInitialize ();
  68. matrixInputToHideWeightValue.CopyMatrix (cMatrixInputToHideWeightValue);
  71. /////////////////////////////////////////////////////////////////////
  72. // 构造样本隐含层的阀值矩阵
  73. // 构造规则:
  74. // 1. 样本的数目做为矩阵行数;
  75. // 2. 单个样本的隐含层的数目做为矩阵的列数;
  76. // 3. 随机初始化矩阵中的元素,使值在(-1,1)之间;
  77. // 4. 矩阵中每行的数据都和第一行数据相对应的位置相等.
  78. //
  80. CMatrix cMatrixHideLayerValveValue(nHideLayerNumber,(unsigned int)1);
  82. // 随机初始化矩阵内元素的值
  83. cMatrixHideLayerValveValue.RandomInitialize ();
  85. matrixHideLayerValveValue.CopyMatrix(cMatrixHideLayerValveValue);
  88. /////////////////////////////////////////////////////////////////////
  89. // 构造权值矩阵 -----> 由单个样本的隐含层与输出层之间权值做为元素
  90. // 组成
  91. // 构造规则:
  92. // 1. 单个样本的隐含层的数目做为矩阵的行数;
  93. // 2. 单个样本的输出层的数目做为矩阵的列数;
  94. // 3. 对矩阵中的元素进行随机初始化,值在(-1,1)之间;
  95. // 4. 所有样本的隐含层和输出层的数目是相等的;
  96. // 5. 所有样本使用的是同一个权值矩阵.
  97. //
  99. CMatrix cMatrixHideToOutputWeightValue(nOutputLayerNumber, nHideLayerNumber);
  101. // 对矩阵的元素随机初始化
  102. cMatrixHideToOutputWeightValue.RandomInitialize ();
  104. matrixHideToOutputWeightValue.CopyMatrix (cMatrixHideToOutputWeightValue);
  107. /////////////////////////////////////////////////////////////////////
  108. // 构造样本的输出层的阀值矩阵
  109. // 构造规则:
  110. // 1. 样本的数目做为矩阵的行数;
  111. // 2. 单个样本的输出层的数目做为矩阵的列数;
  112. // 3. 随机初始化矩阵中的元素,使值在(-1,1)之间;
  113. // 4. 矩阵中每行的数据都和第一行数据相对应的位置相等.
  114. //
  116. CMatrix cMatrixOutputLayerValveValue(nOutputLayerNumber,(unsigned int)1);
  118. // 随机初始化矩阵内元素的值
  119. cMatrixOutputLayerValveValue.RandomInitialize ();
  121. matrixOutputLayerValveValue.CopyMatrix(cMatrixOutputLayerValveValue);
  124. }
  126. /////////////////////////////////////////////////////////////////////////////
  127. // Levenberg-Marquart ----> 前向计算    //
  128. /////////////////////////////////////////////////////////////////////////////
  129. __declspec(dllexport) void LMForwardCalculate ( int nInputLayerNumber,
  130. int nHideLayerNumber,
  131. int nOutputLayerNumber,
  132. bool bSimulateDataFlag,
  133. int nComboFunc,
  134. CMatrix &matrixDemoDataInput,
  135. CMatrix &matrixInputLayerValue,
  136. CMatrix &matrixInputToHideWeightValue,
  137. CMatrix &matrixHideLayerValveValue,
  138. CMatrix &matrixHideLayerOutput,
  139. CMatrix &matrixHideToOutputWeightValue,
  140. CMatrix &matrixOutputLayerOutput,
  141. CMatrix &matrixOutputLayerValveValue
  142.    )
  143. {
  145. if(bSimulateDataFlag)
  146. {
  148. CMatrix cMatrixInputLayerValue(matrixDemoDataInput.GetMatrixRowNumber (), nInputLayerNumber);
  150. // 得到样本的输入值
  151. matrixDemoDataInput.CopySubMatrix (cMatrixInputLayerValue, (unsigned int)0, (unsigned int)0);
  153. CMatrix cMatrixTInputLayerValue = cMatrixInputLayerValue.Transpose ();
  155. matrixInputLayerValue.CopyMatrix (cMatrixTInputLayerValue);
  158. }
  160. /////////////////////////////////////////////////////////////////////////
  161. // 得到所有样本的隐含层的净输入
  162. // 构造规则:
  163. // 1. 样本的数目做为矩阵行数;
  164. // 2. 单个样本的隐含层的数目做为矩阵的列数;
  165. // 3. 矩阵元素中的值即为对应的样本的隐含层的净输入:
  166. //    由 
  167. // cMatrixInputLayerValue * cMatrixInputToHideWeightValue 
  168. // + cMatrixHideLayerValveValue
  169. // 得到.
  170. //
  172. CMatrix cMatrixExHideLayerValveValue;
  173. cMatrixExHideLayerValveValue.nncpyi (matrixHideLayerValveValue, matrixDemoDataInput.GetMatrixRowNumber ());
  175. CMatrix cMatrixHideLayerPureInput(nHideLayerNumber, matrixDemoDataInput.GetMatrixRowNumber ());
  177. cMatrixHideLayerPureInput = matrixInputToHideWeightValue * matrixInputLayerValue;
  179. cMatrixHideLayerPureInput += cMatrixExHideLayerValveValue;
  182. /////////////////////////////////////////////////////////////////////
  183. // 算出所有样本的隐含层的输出
  184. // 构造规则:
  185. // 1. 隐含层的输出y与隐含层的输入x的关系可用函数表示
  186. // y = f(x)
  187. // 2. 矩阵的维数和隐含层的净输入矩阵的维数相等
  188. //
  190. CMatrix cMatrixHideLayerOutput(nHideLayerNumber, matrixDemoDataInput.GetMatrixRowNumber ());
  192. switch(nComboFunc)
  193. {
  194. case 0:
  195. cMatrixHideLayerOutput = cMatrixHideLayerPureInput.Sigmoid ();
  196. break;
  198. case 1:
  199. cMatrixHideLayerOutput = cMatrixHideLayerPureInput.tanh ();
  200. break;
  202. case 2:
  203. cMatrixHideLayerOutput = cMatrixHideLayerPureInput.Tansig();
  204. break;
  206. default:
  207. return;
  208. }
  210. matrixHideLayerOutput.CopyMatrix(cMatrixHideLayerOutput);
  212. /////////////////////////////////////////////////////////////////////
  213. // 得到所有样本输出层的净输入
  214. // 构造规则;
  215. // 1. 样本的数目做为矩阵的行数;
  216. // 2. 单个样本的输出层的数目做为矩阵的列数;
  217. // 3. 矩阵中元素的值即为对应样本的输出层的净输入:
  218. // 由
  219. // cMatrixHideLayerOutput * cMatrixHideToOutputWeightValue
  220. // + cMatrixOutputLayerValveValue
  221. // 得到
  222. //
  224. CMatrix cMatrixExOutputLayerValveValue;
  225. cMatrixExOutputLayerValveValue.nncpyi (matrixOutputLayerValveValue, matrixDemoDataInput.GetMatrixRowNumber ());
  227. CMatrix cMatrixOutputLayerPureInput(nOutputLayerNumber, matrixDemoDataInput.GetMatrixRowNumber ());
  229. cMatrixOutputLayerPureInput = matrixHideToOutputWeightValue * cMatrixHideLayerOutput;
  230. cMatrixOutputLayerPureInput  += cMatrixExOutputLayerValveValue;
  233. /////////////////////////////////////////////////////////////////////
  234. // 算出所有样本的输出层的输出
  235. // 构造规则:
  236. // 1. 矩阵的维数与得到的所有样本的输出层的净输入组成的矩阵一样;
  237. // 2. 输出层的输出y和输出层的输入可用关系式
  238. // y = f(x)
  239. // 表示
  240. //
  242. CMatrix cMatrixOutputLayerOutput(nOutputLayerNumber, matrixDemoDataInput.GetMatrixRowNumber ());
  244. switch(nComboFunc)
  245. {
  246. case 0:
  247. cMatrixOutputLayerOutput = cMatrixOutputLayerPureInput.Sigmoid ();
  248. break;
  250. case 1:
  251. cMatrixOutputLayerOutput = cMatrixOutputLayerPureInput.tanh ();
  252. break;
  254. case 2:
  255. cMatrixOutputLayerOutput = cMatrixOutputLayerPureInput.Tansig ();
  256. break;
  258. default:
  259. return ;
  260. }
  262. matrixOutputLayerOutput.CopyMatrix(cMatrixOutputLayerOutput);
  264. }
  267. /////////////////////////////////////////////////////////////////////////////
  268. // Levenberg-Marquart ----> 反馈计算    //
  269. /////////////////////////////////////////////////////////////////////////////
  270. __declspec(dllexport) bool LMDemoDataTrainRepeat ( int nInputLayerNumber,
  271. int nHideLayerNumber,
  272. int nOutputLayerNumber,
  273. bool bSimulateDataFlag,
  274. int nComboFunc,
  275. double nSystemErrorOld,
  276. double nSystemErrorNew,
  277. double nSystemErrorLevel,
  278. double nSystemError,
  279. double nStep,
  280. UINT nMaxTrainTimes,
  281. UINT nTrainTimes,
  282. DWORD ID_SYSTEM_ERROR,
  283. DWORD ID_TRAIN_TIMES,
  284. HWND  hWnd,
  285. CMatrix &matrixDemoDataInput,
  286. CMatrix &matrixInputLayerValue,
  287. CMatrix &matrixInputToHideWeightValue,
  288. CMatrix &matrixHideLayerValveValue,
  289. CMatrix &matrixHideLayerOutput,
  290. CMatrix &matrixHideToOutputWeightValue,
  291. CMatrix &matrixOutputLayerOutput,
  292. CMatrix &matrixOutputLayerValveValue
  293.  )
  294. {
  296. LMForwardCalculate (nInputLayerNumber,
  297. nHideLayerNumber,
  298. nOutputLayerNumber,
  299. bSimulateDataFlag,
  300. nComboFunc,
  301. matrixDemoDataInput,
  302. matrixInputLayerValue,
  303. matrixInputToHideWeightValue,
  304. matrixHideLayerValveValue,
  305. matrixHideLayerOutput,
  306. matrixHideToOutputWeightValue,
  307. matrixOutputLayerOutput,
  308. matrixOutputLayerValveValue
  309. );
  312. /////////////////////////////////////////////////////////////////////
  313. // 算出所有样本的输出层的delta矩阵
  314. // 构造规则:
  315. // 1. 样本的数目为矩阵的行数;
  316. // 2. 样本输出层的数目为矩阵的列数;
  317. // 3. 矩阵中的元素的值y为:
  318. // y = -(前向计算出的输出层的值 - 样本的输出层的值) * f'(net)
  319. //
  322. CMatrix cMatrixTDemoOutput(matrixDemoDataInput.GetMatrixRowNumber (), nOutputLayerNumber);
  324. // 得到样本中输出层的数据
  325. matrixDemoDataInput.CopySubMatrix (cMatrixTDemoOutput, (unsigned int)nInputLayerNumber, (unsigned int)0);
  327. CMatrix cMatrixDemoOutput = cMatrixTDemoOutput.Transpose ();
  329. // 得到样本中输出层的误差
  330. CMatrix cMatrixOutputLayerError(nOutputLayerNumber, matrixDemoDataInput.GetMatrixRowNumber ());
  332. cMatrixOutputLayerError = cMatrixDemoOutput - matrixOutputLayerOutput;
  335. nSystemErrorOld = cMatrixOutputLayerError.GetSystemError ();
  337. for(int nLoopTimes=1; nLoopTimes < nMaxTrainTimes; nLoopTimes++)
  338. {
  339. if(nSystemErrorOld < nSystemErrorLevel)
  340. {
  341. nLoopTimes--;
  342. break;
  343. }
  345. CMatrix cMatrixExHideLayerOutput;
  346. cMatrixExHideLayerOutput.nncpyi (matrixHideLayerOutput, nOutputLayerNumber);
  349. CMatrix cMatrixOutputLayerDelta (nOutputLayerNumber, matrixDemoDataInput.GetMatrixRowNumber());
  351. // 注意: 此处'/' 是 '点乘'!!!
  352. cMatrixOutputLayerDelta = 1 - matrixOutputLayerOutput / matrixOutputLayerOutput;
  354. CMatrix cMatrixExOutputLayerDelta;
  355. cMatrixExOutputLayerDelta.nncpyd (cMatrixOutputLayerDelta);
  357. cMatrixExOutputLayerDelta = cMatrixExOutputLayerDelta * (-1.0);
  360. CMatrix cMatrixTHideToOutputWeightValue (matrixHideToOutputWeightValue.GetMatrixColNumber(), matrixHideToOutputWeightValue.GetMatrixRowNumber());
  361. cMatrixTHideToOutputWeightValue = matrixHideToOutputWeightValue.Transpose();
  363. CMatrix cMatrixExHideLayerDelta;
  364. // 注意: 此处'/' 是 '点乘'!!!
  365. cMatrixExHideLayerDelta.CopyMatrix ( (1 - (cMatrixExHideLayerOutput / cMatrixExHideLayerOutput)) / ( cMatrixTHideToOutputWeightValue * cMatrixExOutputLayerDelta) );
  368. CMatrix cMatrixExInputLayerValue;
  369. cMatrixExInputLayerValue.nncpyi (matrixInputLayerValue, nOutputLayerNumber);
  372. CMatrix cMatrixJ11;
  373. cMatrixJ11.nncpy (cMatrixExHideLayerDelta.Transpose(), cMatrixExInputLayerValue.GetMatrixRowNumber ());
  375. CMatrix cMatrixJ12;
  376. cMatrixJ12.nncpyi(cMatrixExInputLayerValue.Transpose (), cMatrixExHideLayerDelta.GetMatrixRowNumber());
  379. CMatrix cMatrixJ1;
  380. // 注意: 此处'/' 是 '点乘'!!!
  381. cMatrixJ1.CopyMatrix (cMatrixJ11 / cMatrixJ12);
  384. CMatrix cMatrixJ21;
  385. cMatrixJ21.nncpy (cMatrixExOutputLayerDelta.Transpose (), cMatrixExHideLayerOutput.GetMatrixRowNumber ());
  387. CMatrix cMatrixJ22;
  388. cMatrixJ22.nncpyi (cMatrixExHideLayerOutput.Transpose (), cMatrixExOutputLayerDelta.GetMatrixRowNumber ());
  390. CMatrix cMatrixJ2;
  391. // 注意: 此处'/' 是 '点乘'!!!
  392. cMatrixJ2.CopyMatrix (cMatrixJ21 / cMatrixJ22);
  395. CMatrix cMatrixZ;
  396. cMatrixZ.CopyMatrix (MergeMatrix(MergeMatrix(MergeMatrix(cMatrixJ1, cMatrixExHideLayerDelta.Transpose ()), cMatrixJ2), cMatrixExOutputLayerDelta.Transpose ()));
  399. CMatrix cMatrixMOutputLayerError;
  400. cMatrixMOutputLayerError.CopyMatrix ( cMatrixOutputLayerError.MergeColumnsToColumnVector () );
  403. CMatrix cMatrixJE;
  404. cMatrixJE.CopyMatrix ( (cMatrixZ.Transpose ()) * cMatrixMOutputLayerError );
  407. CMatrix cMatrixJJ;
  408. cMatrixJJ.CopyMatrix ( (cMatrixZ.Transpose ()) * cMatrixZ );
  411. // 定义新的输入层到隐含层的权值
  412. CMatrix cMatrixNewInputToHideWeight;
  413. // 定义的新的隐含层的阀值
  414. CMatrix cMatrixNewHideLayerValve;
  415. // 定义新的隐含层到输出层的权值
  416. CMatrix cMatrixNewHideToOutputWeight;
  417. // 定义新的输出层的阀值
  418. CMatrix cMatrixNewOutputLayerValve;
  420. // 定义新的误差矩阵
  421. CMatrix cMatrixNewOutputLayerError(nOutputLayerNumber, matrixDemoDataInput.GetMatrixRowNumber ());
  423. /////////////////////////////////////////////////////////////////
  424. // the weight value is adjusted
  426. while(nStep <= MAX_ADJUST_VALUE)
  427. {
  428. CMatrix cMatrixI (cMatrixZ.GetMatrixColNumber (), cMatrixZ.GetMatrixColNumber ());
  430. cMatrixI.Eye ();
  433. CMatrix cMatrixDX;
  434. cMatrixDX.CopyMatrix ( (((cMatrixJJ + cMatrixI * nStep).Inverse ()) * cMatrixJE) * (-1.0) );
  437. /////////////////////////////////////////////////////////////////////////
  438. // 拆分cMatrixDX矩阵
  440. unsigned int nIndex = 0;
  442. // 得到输入层到隐含层的权值的修正量
  443. CMatrix cMatrixInputToHideWeightChange(nHideLayerNumber, nInputLayerNumber);
  445. cMatrixDX.CopySubMatrixFromVector (cMatrixInputToHideWeightChange, nIndex);
  447. nIndex += nHideLayerNumber * nInputLayerNumber;
  449. // 得到隐含层阀值的修正量
  450. CMatrix cMatrixHideLayerValveChange (nHideLayerNumber, (unsigned int)1);
  452. cMatrixDX.CopySubMatrixFromVector (cMatrixHideLayerValveChange, nIndex);
  455. nIndex += nHideLayerNumber;
  457. // 得到隐含层到输出层的权值的修正量
  458. CMatrix cMatrixHideToOutputWeightChange (nOutputLayerNumber, nHideLayerNumber);
  460. cMatrixDX.CopySubMatrixFromVector (cMatrixHideToOutputWeightChange, nIndex);
  462. nIndex += nOutputLayerNumber * nHideLayerNumber;
  464. // 得到输出层阀值的修正值
  465. CMatrix cMatrixOutputValveChange (nOutputLayerNumber, (unsigned int)1);
  467. cMatrixDX.CopySubMatrixFromVector (cMatrixOutputValveChange, nIndex);
  469. cMatrixNewInputToHideWeight.CopyMatrix (matrixInputToHideWeightValue + cMatrixInputToHideWeightChange);
  471. cMatrixNewHideLayerValve.CopyMatrix (matrixHideLayerValveValue + cMatrixHideLayerValveChange);
  473. cMatrixNewHideToOutputWeight.CopyMatrix (matrixHideToOutputWeightValue + cMatrixHideToOutputWeightChange);
  475. cMatrixNewOutputLayerValve.CopyMatrix (matrixOutputLayerValveValue + cMatrixOutputValveChange);
  477. // 前向计算
  478. LMForwardCalculate (nInputLayerNumber,
  479. nHideLayerNumber,
  480. nOutputLayerNumber,
  481. bSimulateDataFlag,
  482. nComboFunc,
  483. matrixDemoDataInput,
  484. matrixInputLayerValue,
  485. cMatrixNewInputToHideWeight,
  486. cMatrixNewHideLayerValve,
  487. matrixHideLayerOutput,
  488. cMatrixNewHideToOutputWeight,
  489. matrixOutputLayerOutput,
  490. cMatrixNewOutputLayerValve
  491. );
  494. cMatrixNewOutputLayerError = cMatrixDemoOutput - matrixOutputLayerOutput;
  495. nSystemErrorNew =  cMatrixNewOutputLayerError.GetSystemError ();
  497. if(nSystemErrorNew < nSystemErrorOld)
  498. {
  499. break;
  500. }
  501. else
  502. {
  503. nStep *= 10;
  504. }
  506. }// End for while loop
  508. if ( nStep > MAX_ADJUST_VALUE)
  509. {
  510. nLoopTimes--;
  511. return false;
  512. }
  514. nStep *= 0.1;
  516. // 赋值
  517. matrixInputToHideWeightValue = cMatrixNewInputToHideWeight;
  518. matrixHideLayerValveValue = cMatrixNewHideLayerValve;
  519. matrixHideToOutputWeightValue = cMatrixNewHideToOutputWeight;
  520. matrixOutputLayerValveValue = cMatrixNewOutputLayerValve;
  521. cMatrixOutputLayerError = cMatrixNewOutputLayerError;
  522. nSystemErrorOld = nSystemErrorNew;
  524. // 显示数据和程序运行状态
  525. nSystemError = nSystemErrorOld;
  526. nTrainTimes = nLoopTimes;
  529. // 显示系统误差
  530. //char res_buffer[128] = {0};
  531. //sprintf(res_buffer,"%.16lf", nSystemError);
  532. //HWND hwnd = ::GetDlgItem (hWnd, ID_SYSTEM_ERROR);
  533. //::SetWindowText (hwnd, res_buffer);
  535. CString strSystemError;
  536. strSystemError.Format ("%.16lf", nSystemError);
  537. LPCTSTR lpstrSystemError = (LPCTSTR)strSystemError;
  538. HWND hwnd = ::GetDlgItem (hWnd, ID_SYSTEM_ERROR);
  539. ::SetWindowText (hwnd, lpstrSystemError);
  542. // 显示训练次数
  543. CString strTrainTimes;
  544. strTrainTimes.Format ("%u", nTrainTimes + 1);
  545. LPCTSTR lpstrTrainTimes = (LPCTSTR)strTrainTimes;
  546. hwnd = ::GetDlgItem (hWnd, ID_TRAIN_TIMES);
  547. ::SetWindowText (hwnd, lpstrTrainTimes);
  549. }// End the "for" loop
  551. return true;
  552. }
  554. /////////////////////////////////////////////////////////////////////////////
  555. // Back propagation ----> 前向计算(Only for Training)    //
  556. /////////////////////////////////////////////////////////////////////////////
  557. __declspec(dllexport) void BPForwardCalculate ( int nInputLayerNumber,
  558. int nHideLayerNumber,
  559. int nOutputLayerNumber,
  560. bool bSimulateDataFlag,
  561. int nComboFunc,
  562. CMatrix &matrixDemoDataInput,
  563. CMatrix &matrixInputLayerValue,
  564. CMatrix &matrixInputToHideWeightValue,
  565. CMatrix &matrixHideLayerValveValue,
  566. CMatrix &matrixHideLayerOutput,
  567. CMatrix &matrixHideToOutputWeightValue,
  568. CMatrix &matrixOutputLayerOutput,
  569. CMatrix &matrixOutputLayerValveValue,
  570. CMatrix &cMatrixExHideLayerValveValue,
  571. CMatrix &cMatrixExOutputLayerValveValue
  572.    )
  573. {
  575. if(bSimulateDataFlag)
  576. {
  578. CMatrix cMatrixInputLayerValue(matrixDemoDataInput.GetMatrixRowNumber (), nInputLayerNumber);
  580. // 得到样本的输入值
  581. matrixDemoDataInput.CopySubMatrix (cMatrixInputLayerValue, (unsigned int)0, (unsigned int)0);
  583. CMatrix cMatrixTInputLayerValue = cMatrixInputLayerValue.Transpose ();
  585. matrixInputLayerValue.CopyMatrix (cMatrixTInputLayerValue);
  588. }
  590. /////////////////////////////////////////////////////////////////////////
  591. // 得到所有样本的隐含层的净输入
  592. // 构造规则:
  593. // 1. 样本的数目做为矩阵行数;
  594. // 2. 单个样本的隐含层的数目做为矩阵的列数;
  595. // 3. 矩阵元素中的值即为对应的样本的隐含层的净输入:
  596. //    由 
  597. // cMatrixInputLayerValue * cMatrixInputToHideWeightValue 
  598. // + cMatrixHideLayerValveValue
  599. // 得到.
  600. //
  602. //CMatrix cMatrixExHideLayerValveValue;
  603. //cMatrixExHideLayerValveValue.nncpyi (matrixHideLayerValveValue, matrixDemoDataInput.GetMatrixRowNumber ());
  605. CMatrix cMatrixHideLayerPureInput(nHideLayerNumber, matrixDemoDataInput.GetMatrixRowNumber ());
  607. cMatrixHideLayerPureInput = matrixInputToHideWeightValue * matrixInputLayerValue;
  609. cMatrixHideLayerPureInput += cMatrixExHideLayerValveValue;
  611. /////////////////////////////////////////////////////////////////////
  612. // 算出所有样本的隐含层的输出
  613. // 构造规则:
  614. // 1. 隐含层的输出y与隐含层的输入x的关系可用函数表示
  615. // y = f(x)
  616. // 2. 矩阵的维数和隐含层的净输入矩阵的维数相等
  617. //
  619. CMatrix cMatrixHideLayerOutput(nHideLayerNumber, matrixDemoDataInput.GetMatrixRowNumber ());
  621. switch(nComboFunc)
  622. {
  623. case 0:
  624. cMatrixHideLayerOutput = cMatrixHideLayerPureInput.Sigmoid ();
  625. break;
  627. case 1:
  628. cMatrixHideLayerOutput = cMatrixHideLayerPureInput.tanh ();
  629. break;
  631. case 2:
  632. cMatrixHideLayerOutput = cMatrixHideLayerPureInput.Tansig();
  633. break;
  635. default:
  636. return;
  637. }
  639. matrixHideLayerOutput.CopyMatrix(cMatrixHideLayerOutput);
  641. /////////////////////////////////////////////////////////////////////
  642. // 得到所有样本输出层的净输入
  643. // 构造规则;
  644. // 1. 样本的数目做为矩阵的行数;
  645. // 2. 单个样本的输出层的数目做为矩阵的列数;
  646. // 3. 矩阵中元素的值即为对应样本的输出层的净输入:
  647. // 由
  648. // cMatrixHideLayerOutput * cMatrixHideToOutputWeightValue
  649. // + cMatrixOutputLayerValveValue
  650. // 得到
  651. //
  653. //CMatrix cMatrixExOutputLayerValveValue;
  654. //cMatrixExOutputLayerValveValue.nncpyi (matrixOutputLayerValveValue, matrixDemoDataInput.GetMatrixRowNumber ());
  656. CMatrix cMatrixOutputLayerPureInput(nOutputLayerNumber, matrixDemoDataInput.GetMatrixRowNumber ());
  658. cMatrixOutputLayerPureInput = matrixHideToOutputWeightValue * cMatrixHideLayerOutput;
  659. cMatrixOutputLayerPureInput  += cMatrixExOutputLayerValveValue;
  662. /////////////////////////////////////////////////////////////////////
  663. // 算出所有样本的输出层的输出
  664. // 构造规则:
  665. // 1. 矩阵的维数与得到的所有样本的输出层的净输入组成的矩阵一样;
  666. // 2. 输出层的输出y和输出层的输入可用关系式
  667. // y = f(x)
  668. // 表示
  669. //
  671. CMatrix cMatrixOutputLayerOutput(nOutputLayerNumber, matrixDemoDataInput.GetMatrixRowNumber ());
  673. switch(nComboFunc)
  674. {
  675. case 0:
  676. cMatrixOutputLayerOutput = cMatrixOutputLayerPureInput.Sigmoid ();
  677. break;
  679. case 1:
  680. cMatrixOutputLayerOutput = cMatrixOutputLayerPureInput.tanh ();
  681. break;
  683. case 2:
  684. cMatrixOutputLayerOutput = cMatrixOutputLayerPureInput.Tansig ();
  685. break;
  687. default:
  688. return ;
  689. }
  691. matrixOutputLayerOutput.CopyMatrix(cMatrixOutputLayerOutput);
  693. }
  695. /////////////////////////////////////////////////////////////////////////////
  696. // Back propagation ----> 前向计算(Only for Simulating)    //
  697. /////////////////////////////////////////////////////////////////////////////
  698. __declspec(dllexport) void BPForwardCalculate2( int nInputLayerNumber,
  699. int nHideLayerNumber,
  700. int nOutputLayerNumber,
  701. bool bSimulateDataFlag,
  702. int nComboFunc,
  703. CMatrix &matrixDemoDataInput,
  704. CMatrix &matrixInputLayerValue,
  705. CMatrix &matrixInputToHideWeightValue,
  706. CMatrix &matrixHideLayerValveValue,
  707. CMatrix &matrixHideLayerOutput,
  708. CMatrix &matrixHideToOutputWeightValue,
  709. CMatrix &matrixOutputLayerOutput,
  710. CMatrix &matrixOutputLayerValveValue
  711.    )
  712. {
  714. if(bSimulateDataFlag)
  715. {
  717. CMatrix cMatrixInputLayerValue(matrixDemoDataInput.GetMatrixRowNumber (), nInputLayerNumber);
  719. // 得到样本的输入值
  720. matrixDemoDataInput.CopySubMatrix (cMatrixInputLayerValue, (unsigned int)0, (unsigned int)0);
  722. CMatrix cMatrixTInputLayerValue = cMatrixInputLayerValue.Transpose ();
  724. matrixInputLayerValue.CopyMatrix (cMatrixTInputLayerValue);
  727. }
  729. /////////////////////////////////////////////////////////////////////////
  730. // 得到所有样本的隐含层的净输入
  731. // 构造规则:
  732. // 1. 样本的数目做为矩阵行数;
  733. // 2. 单个样本的隐含层的数目做为矩阵的列数;
  734. // 3. 矩阵元素中的值即为对应的样本的隐含层的净输入:
  735. //    由 
  736. // cMatrixInputLayerValue * cMatrixInputToHideWeightValue 
  737. // + cMatrixHideLayerValveValue
  738. // 得到.
  739. //
  741. CMatrix cMatrixExHideLayerValveValue;
  742. cMatrixExHideLayerValveValue.nncpyi (matrixHideLayerValveValue, matrixDemoDataInput.GetMatrixRowNumber ());
  744. CMatrix cMatrixHideLayerPureInput(nHideLayerNumber, matrixDemoDataInput.GetMatrixRowNumber ());
  746. cMatrixHideLayerPureInput = matrixInputToHideWeightValue * matrixInputLayerValue;
  748. cMatrixHideLayerPureInput += cMatrixExHideLayerValveValue;
  751. /////////////////////////////////////////////////////////////////////
  752. // 算出所有样本的隐含层的输出
  753. // 构造规则:
  754. // 1. 隐含层的输出y与隐含层的输入x的关系可用函数表示
  755. // y = f(x)
  756. // 2. 矩阵的维数和隐含层的净输入矩阵的维数相等
  757. //
  759. CMatrix cMatrixHideLayerOutput(nHideLayerNumber, matrixDemoDataInput.GetMatrixRowNumber ());
  761. switch(nComboFunc)
  762. {
  763. case 0:
  764. cMatrixHideLayerOutput = cMatrixHideLayerPureInput.Sigmoid ();
  765. break;
  767. case 1:
  768. cMatrixHideLayerOutput = cMatrixHideLayerPureInput.tanh ();
  769. break;
  771. case 2:
  772. cMatrixHideLayerOutput = cMatrixHideLayerPureInput.Tansig();
  773. break;
  775. default:
  776. return;
  777. }
  779. matrixHideLayerOutput.CopyMatrix(cMatrixHideLayerOutput);
  781. /////////////////////////////////////////////////////////////////////
  782. // 得到所有样本输出层的净输入
  783. // 构造规则;
  784. // 1. 样本的数目做为矩阵的行数;
  785. // 2. 单个样本的输出层的数目做为矩阵的列数;
  786. // 3. 矩阵中元素的值即为对应样本的输出层的净输入:
  787. // 由
  788. // cMatrixHideLayerOutput * cMatrixHideToOutputWeightValue
  789. // + cMatrixOutputLayerValveValue
  790. // 得到
  791. //
  793. CMatrix cMatrixExOutputLayerValveValue;
  794. cMatrixExOutputLayerValveValue.nncpyi (matrixOutputLayerValveValue, matrixDemoDataInput.GetMatrixRowNumber ());
  796. CMatrix cMatrixOutputLayerPureInput(nOutputLayerNumber, matrixDemoDataInput.GetMatrixRowNumber ());
  798. cMatrixOutputLayerPureInput = matrixHideToOutputWeightValue * cMatrixHideLayerOutput;
  799. cMatrixOutputLayerPureInput  += cMatrixExOutputLayerValveValue;
  802. /////////////////////////////////////////////////////////////////////
  803. // 算出所有样本的输出层的输出
  804. // 构造规则:
  805. // 1. 矩阵的维数与得到的所有样本的输出层的净输入组成的矩阵一样;
  806. // 2. 输出层的输出y和输出层的输入可用关系式
  807. // y = f(x)
  808. // 表示
  809. //
  811. CMatrix cMatrixOutputLayerOutput(nOutputLayerNumber, matrixDemoDataInput.GetMatrixRowNumber ());
  813. switch(nComboFunc)
  814. {
  815. case 0:
  816. cMatrixOutputLayerOutput = cMatrixOutputLayerPureInput.Sigmoid ();
  817. break;
  819. case 1:
  820. cMatrixOutputLayerOutput = cMatrixOutputLayerPureInput.tanh ();
  821. break;
  823. case 2:
  824. cMatrixOutputLayerOutput = cMatrixOutputLayerPureInput.Tansig ();
  825. break;
  827. default:
  828. return ;
  829. }
  831. matrixOutputLayerOutput.CopyMatrix(cMatrixOutputLayerOutput);
  833. }
  835. /////////////////////////////////////////////////////////////////////////////
  836. // Back propagation ----> 反馈计算    //
  837. /////////////////////////////////////////////////////////////////////////////
  838. __declspec(dllexport) bool BPDemoDataTrainRepeat ( int nInputLayerNumber,
  839. int nHideLayerNumber,
  840. int nOutputLayerNumber,
  841. bool bSimulateDataFlag,
  842. int nComboFunc,
  843. double nSystemErrorOld,
  844. double nSystemErrorNew,
  845. double nSystemErrorLevel,
  846. double nSystemError,
  847. double nStep,
  848. UINT nMaxTrainTimes,
  849. UINT nTrainTimes,
  850. DWORD ID_SYSTEM_ERROR,
  851. DWORD ID_TRAIN_TIMES,
  852. HWND  hWnd,
  853. CMatrix &matrixDemoDataInput,
  854. CMatrix &matrixInputLayerValue,
  855. CMatrix &matrixInputToHideWeightValue,
  856. CMatrix &matrixHideLayerValveValue,
  857. CMatrix &matrixHideLayerOutput,
  858. CMatrix &matrixHideToOutputWeightValue,
  859. CMatrix &matrixOutputLayerOutput,
  860. CMatrix &matrixOutputLayerValveValue
  861.  )
  862. {
  863. // 根据BP算法修正nStep的初始值
  864. nStep = 0.1;
  866. // 前向计算
  867. LMForwardCalculate (nInputLayerNumber,
  868. nHideLayerNumber,
  869. nOutputLayerNumber,
  870. bSimulateDataFlag,
  871. nComboFunc,
  872. matrixDemoDataInput,
  873. matrixInputLayerValue,
  874. matrixInputToHideWeightValue,
  875. matrixHideLayerValveValue,
  876. matrixHideLayerOutput,
  877. matrixHideToOutputWeightValue,
  878. matrixOutputLayerOutput,
  879. matrixOutputLayerValveValue
  880. );
  883. /////////////////////////////////////////////////////////////////////
  884. // 算出所有样本的输出层的delta矩阵
  885. // 构造规则:
  886. // 1. 样本的数目为矩阵的行数;
  887. // 2. 样本输出层的数目为矩阵的列数;
  888. // 3. 矩阵中的元素的值y为:
  889. // y = (前向计算出的输出层的值 - 样本的输出层的值) .* f'(net)
  890. //
  891. CMatrix cMatrixTDemoOutput(matrixDemoDataInput.GetMatrixRowNumber (), nOutputLayerNumber);
  893. // 得到样本中输出层的数据
  894. matrixDemoDataInput.CopySubMatrix (cMatrixTDemoOutput, (unsigned int)nInputLayerNumber, (unsigned int)0);
  896. CMatrix cMatrixDemoOutput = cMatrixTDemoOutput.Transpose ();
  898. // 得到样本中输出层的误差
  899. CMatrix cMatrixOutputLayerError(nOutputLayerNumber, matrixDemoDataInput.GetMatrixRowNumber ());
  900. cMatrixOutputLayerError = cMatrixDemoOutput - matrixOutputLayerOutput;
  902. nSystemErrorOld = cMatrixOutputLayerError.GetSystemError ();
  904. for(int nLoopTimes=1; nLoopTimes < nMaxTrainTimes; nLoopTimes++)
  905. {
  906. if(nSystemErrorOld < nSystemErrorLevel)
  907. {
  908. nLoopTimes--;
  909. break;
  910. }
  912. // 求输出层的delta值
  913. // 注意: 此处'/' 是 '点乘'!!!
  914. CMatrix cMatrixOutputLayerDelta (nOutputLayerNumber, matrixDemoDataInput.GetMatrixRowNumber());
  915. cMatrixOutputLayerDelta = (matrixOutputLayerOutput - matrixOutputLayerOutput / matrixOutputLayerOutput) / cMatrixOutputLayerError;
  917. CMatrix cMatrixTHideToOutputWeightValue (matrixHideToOutputWeightValue.GetMatrixColNumber(), matrixHideToOutputWeightValue.GetMatrixRowNumber());
  918. cMatrixTHideToOutputWeightValue = matrixHideToOutputWeightValue.Transpose();
  920. // 求隐含层的delta值
  921. // 注意: 此处'/' 是 '点乘'!!!
  922. CMatrix cMatrixHideLayerDelta;
  923. cMatrixHideLayerDelta.CopyMatrix ( (matrixHideLayerOutput - (matrixHideLayerOutput / matrixHideLayerOutput)) / ( cMatrixTHideToOutputWeightValue * cMatrixOutputLayerDelta) );
  925. // 定义新的输入层到隐含层的权值
  926. CMatrix cMatrixNewInputToHideWeight (matrixInputToHideWeightValue.GetMatrixRowNumber (), matrixInputToHideWeightValue.GetMatrixColNumber ());
  927. // 定义的新的隐含层的阀值
  928. CMatrix cMatrixNewHideLayerValve (nHideLayerNumber, matrixDemoDataInput.GetMatrixRowNumber ());
  929. // 定义新的隐含层到输出层的权值
  930. CMatrix cMatrixNewHideToOutputWeight (matrixHideToOutputWeightValue.GetMatrixRowNumber (), matrixHideToOutputWeightValue.GetMatrixColNumber ());
  931. // 定义新的输出层的阀值
  932. CMatrix cMatrixNewOutputLayerValve (nOutputLayerNumber, matrixDemoDataInput.GetMatrixRowNumber ());
  933. // 定义新的误差矩阵
  934. CMatrix cMatrixNewOutputLayerError(nOutputLayerNumber, matrixDemoDataInput.GetMatrixRowNumber ());
  937. // 权值和阀值调整
  938. cMatrixNewHideToOutputWeight = cMatrixOutputLayerDelta * (matrixHideLayerOutput.Transpose ()) * (nStep);
  939. cMatrixNewOutputLayerValve = cMatrixOutputLayerDelta;
  941. cMatrixNewInputToHideWeight = cMatrixHideLayerDelta * (matrixInputLayerValue.Transpose ()) * (nStep);
  942. cMatrixNewHideLayerValve = cMatrixHideLayerDelta;
  944. // 赋值
  945. matrixInputToHideWeightValue += cMatrixNewInputToHideWeight;
  947. CMatrix cMatrixExHideLayerValveValue;
  948. cMatrixExHideLayerValveValue.nncpyi (matrixHideLayerValveValue, matrixDemoDataInput.GetMatrixRowNumber ());
  949. cMatrixExHideLayerValveValue += cMatrixNewHideLayerValve;
  951. matrixHideToOutputWeightValue += cMatrixNewHideToOutputWeight;
  953. CMatrix cMatrixExOutputLayerValveValue;
  954. cMatrixExOutputLayerValveValue.nncpyi (matrixOutputLayerValveValue, matrixDemoDataInput.GetMatrixRowNumber ());
  955. cMatrixExOutputLayerValveValue += cMatrixNewOutputLayerValve;
  957. // 前向计算
  958. BPForwardCalculate (nInputLayerNumber,
  959. nHideLayerNumber,
  960. nOutputLayerNumber,
  961. bSimulateDataFlag,
  962. nComboFunc,
  963. matrixDemoDataInput,
  964. matrixInputLayerValue,
  965. matrixInputToHideWeightValue,
  966. matrixHideLayerValveValue,
  967. matrixHideLayerOutput,
  968. matrixHideToOutputWeightValue,
  969. matrixOutputLayerOutput,
  970. matrixOutputLayerValveValue,
  971. cMatrixExHideLayerValveValue,
  972. cMatrixExOutputLayerValveValue
  973. );
  976. cMatrixNewOutputLayerError = cMatrixDemoOutput - matrixOutputLayerOutput;
  977. nSystemErrorNew =  cMatrixNewOutputLayerError.GetSystemError ();
  979. cMatrixOutputLayerError = cMatrixNewOutputLayerError;
  981. if(nSystemErrorNew < nSystemErrorOld)
  982. {
  983. nSystemErrorOld = nSystemErrorNew;
  984. }
  985. else
  986. {
  987. nStep *= -0.1;
  988. }
  990. // 显示数据和程序运行状态
  991. nSystemError = nSystemErrorOld;
  992. nTrainTimes = nLoopTimes;
  995. // 显示系统误差
  996. CString strSystemError;
  997. strSystemError.Format ("%lf", nSystemError);
  998. LPCTSTR lpstrSystemError = (LPCTSTR)strSystemError;
  999. HWND hwnd = ::GetDlgItem (hWnd, ID_SYSTEM_ERROR);
  1000. ::SetWindowText (hwnd, lpstrSystemError);
  1002. // 显示训练次数
  1003. CString strTrainTimes;
  1004. strTrainTimes.Format ("%u", nTrainTimes + 1);
  1005. LPCTSTR lpstrTrainTimes = (LPCTSTR)strTrainTimes;
  1006. hwnd = ::GetDlgItem (hWnd, ID_TRAIN_TIMES);
  1007. ::SetWindowText (hwnd, lpstrTrainTimes);
  1009. }// End the "for" loop
  1011. return true;
  1012. }