开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 多国语言处理 > 查看源码
Segment.cpp
资源名称：ICTCLASV1.2.rar　[点击查看]
上传用户：sunyong76
上传日期：2021-10-03
资源大小：2236k
文件大小：22k
源码类别：

多国语言处理

开发平台：

Java

Segment.cpp：源码内容
  1. //////////////////////////////////////////////////////////////////////
  2. //ICTCLAS简介：计算所汉语词法分析系统ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)，
  3. //             功能有：中文分词；词性标注；未登录词识别。
  4. //             分词正确率高达97.58%(973专家评测结果)，
  5. //             未登录词识别召回率均高于90%，其中中国人名的识别召回率接近98%;
  6. //             处理速度为31.5Kbytes/s。
  7. //著作权：  Copyright?2002-2005中科院计算所 职务著作权人：张华平 刘群
  8. //遵循协议：自然语言处理开放资源许可证1.0
  9. //Email: zhanghp@software.ict.ac.cn
  10. //Homepage:www.nlp.org.cn;mtgroup.ict.ac.cn
  11. /****************************************************************************
  12.  *
  13.  * Copyright (c) 2000, 2001 
  14.  *     Machine Group
  15.  *     Software Research Lab.
  16.  *     Institute of Computing Tech.
  17.  *     Chinese Academy of Sciences
  18.  *     All rights reserved.
  19.  *
  20.  * This file is the confidential and proprietary property of 
  21.  * Institute of Computing Tech. and the posession or use of this file requires 
  22.  * a written license from the author.
  23.  * Filename: Segment.cpp
  24.  * Abstract:
  25.  *           implementation of the CSegment class.
  26.  * Author:   Kevin Zhang 
  27.  *          (zhanghp@software.ict.ac.cn)
  28.  * Date:     2002-4-23
  29.  *
  30.  * Notes:  N-Shortest paths Word segmentation
  31.  *                
  32.  ****************************************************************************/
  34. #include "stdafx.h"
  35. #include "Segment.h"
  37. #include "..\Utility\Dictionary.h"
  38. #include "..\Utility\Utility.h"
  39. #include "NShortPath.h"
  40. #include <string.h>
  41. #include <math.h>
  43. //////////////////////////////////////////////////////////////////////
  44. // Construction/Destruction
  45. //////////////////////////////////////////////////////////////////////
  47. CSegment::CSegment()
  48. {
  49. //malloc buffer
  50. m_pWordSeg=new PWORD_RESULT[MAX_SEGMENT_NUM];
  51. for(int i=0;i<MAX_SEGMENT_NUM;i++)
  52. {
  53. m_pWordSeg[i]=new WORD_RESULT[MAX_WORDS];
  54. }
  55. m_npWordPosMapTable=0;//Record the start position of possible words
  56. m_nWordCount=0;//Record the End position of possible words
  57. m_graphOptimum.SetRowFirst();//Set row first
  58. }
  60. CSegment::~CSegment()
  61. {
  62. //free buffer
  63. /* 
  64.      * ----- commented by huangjin@ict.ac.cn 2006-5-29 ------ 
  65.      * 
  66.      * for(int i=0;i<MAX_SEGMENT_NUM;i++)
  67.  * {
  68.  * delete m_pWordSeg[i];
  69.  * }
  70.  * delete m_pWordSeg;
  71.      *
  72.      */
  73. /*----Added By huangjin@ict.ac.cn 2006-5-29----*/
  74. if(m_pWordSeg!=NULL)
  75. {
  76. for(int i=0;i<MAX_SEGMENT_NUM;i++)
  77. {
  78. delete []m_pWordSeg[i];
  79. m_pWordSeg[i]=NULL;
  80. }
  81. delete []m_pWordSeg;
  82. m_pWordSeg=NULL;
  83. }
  84. /*-----------------------------------------------*/
  85. /*----Added By huangjin@ict.ac.cn 2006-5-31----*/
  86. if(m_npWordPosMapTable!=NULL)
  87. {
  88. delete []m_npWordPosMapTable;
  89. m_npWordPosMapTable=NULL;
  90. }
  91. /*-----------------------------------------------*/
  92. }
  94. bool CSegment::Segment(char *sSentence,CDictionary &dictCore,int nResultCount)
  95. {
  96. int **nSegRoute;//The segmentation route
  97. nSegRoute=new int*[MAX_SEGMENT_NUM];
  98. for(int i=0;i<MAX_SEGMENT_NUM;i++)
  99. {
  100. nSegRoute[i]=new int[MAX_SENTENCE_LEN/2];
  101. memset(nSegRoute[i],0,MAX_SENTENCE_LEN/2*sizeof(int));
  102. }
  103. m_graphSeg.m_segGraph.SetRowFirst(false);
  104. m_graphOptimum.SetRowFirst(false);
  105.   m_graphSeg.GenerateWordNet(sSentence,dictCore);
  106. CNShortPath sp(&m_graphSeg.m_segGraph,nResultCount);
  107. sp.ShortPath();
  108. sp.Output((int **)nSegRoute,false,&m_nSegmentCount);
  109. m_graphOptimum.SetEmpty();//Set graph optimum empty
  110. i=0;
  111. while(i<m_nSegmentCount)
  112. {
  113. GenerateWord(nSegRoute,i);
  114. //Gernerate word according the Segmentation route
  115. i++;
  116. }
  118. //free the memory
  119. for(i=0;i<MAX_SEGMENT_NUM;i++)
  120. {
  121. delete [] nSegRoute[i];//free the pointer memory
  122. /*----Added By huangjin@ict.ac.cn 2006-5-29----*/
  123. nSegRoute[i]=NULL;
  124. /*-----------------------------------------------*/
  125. }
  126. delete [] nSegRoute;//free the pointer array
  127. /*----Added By huangjin@ict.ac.cn 2006-5-29----*/
  128. nSegRoute=NULL;
  129. /*-----------------------------------------------*/
  131. return true;
  132. }
  133. //Generate Word according the segmentation route
  134. bool CSegment::GenerateWord(int **nSegRoute, int nIndex)
  135. {
  136. unsigned int i=0,k=0;
  137. int j,nStartVertex,nEndVertex,nPOS;
  138. /* 
  139. * ----- commented by huangjin@ict.ac.cn 2006-9-17 ------ 
  140. *
  141. *  char sAtom[WORD_MAXLENGTH],sNumCandidate[100],sCurWord[100];
  142. *
  143. */
  144. /*----Added By huangjin@ict.ac.cn 2006-9-17----*/
  145. char sAtom[WORD_MAXLENGTH],sNumCandidate[WORD_MAXLENGTH],sCurWord[WORD_MAXLENGTH];
  146. /*---------------------------------------------*/
  148. ELEMENT_TYPE fValue;
  149. while(nSegRoute[nIndex][i]!=-1&&nSegRoute[nIndex][i+1]!=-1&&nSegRoute[nIndex][i]<nSegRoute[nIndex][i+1])
  150. {
  151. nStartVertex=nSegRoute[nIndex][i];
  152. j=nStartVertex;//Set the start vertex
  153. nEndVertex=nSegRoute[nIndex][i+1];//Set the end vertex
  154. nPOS=0;
  155. m_graphSeg.m_segGraph.GetElement(nStartVertex,nEndVertex,&fValue,&nPOS);
  156. sAtom[0]=0;
  157. while(j<nEndVertex)
  158. {//Generate the word according the segmentation route
  159. strcat(sAtom,m_graphSeg.m_sAtom[j]);
  160. j++;
  161. }
  162. m_pWordSeg[nIndex][k].sWord[0]=0;//Init the result ending
  163. strcpy(sNumCandidate,sAtom);
  164. /* 
  165. * ----- commented by huangjin@ict.ac.cn 2006-9-12 ------ 
  166. *
  167. * while(sAtom[0]!=0&&(IsAllNum((unsigned char *)sNumCandidate)||IsAllChineseNum(sNumCandidate)))
  168. *
  169. */
  170. /*----Added By huangjin@ict.ac.cn 2006-9-12----*/
  171. bool bHaveDot=false;
  172. while(sAtom[0]!=0&&
  173. (IsAllNum((unsigned char *)sNumCandidate)||
  174. (IsAllChineseNum(sNumCandidate)&&
  175. !(bHaveDot=CC_Find(sNumCandidate,"点")||
  176. (bHaveDot&&!strncmp(m_graphSeg.m_sAtom[j],"分",2)))
  177. )))
  178. /*---------------------------------------------*/
  179. {//Merge all seperate continue num into one number
  180.  //sAtom[0]!=0: add in 2002-5-9
  181. strcpy(m_pWordSeg[nIndex][k].sWord,sNumCandidate);
  182. //Save them in the result segmentation
  183. i++;//Skip to next atom now 
  184. sAtom[0]=0;
  186. while(j<nSegRoute[nIndex][i+1])
  187. {//Generate the word according the segmentation route
  188. strcat(sAtom,m_graphSeg.m_sAtom[j]);
  189. j++;
  190. }
  191. strcat(sNumCandidate,sAtom);
  192. }
  193. unsigned int nLen=strlen(m_pWordSeg[nIndex][k].sWord);
  194. /* 
  195. * ----- commented by huangjin@ict.ac.cn 2006-7-18 ------ 
  196. *
  197. * if(nLen==4&&CC_Find("第上成±—＋∶·．／",m_pWordSeg[nIndex][k].sWord)||nLen==1&&strchr("+-./",m_pWordSeg[nIndex][k].sWord[0]))
  198. *
  199. */
  200. /* 
  201. * ----- commented by huangjin@ict.ac.cn 2006-9-17 ------ 
  202. *
  203. *  /*----Added By huangjin@ict.ac.cn 2006-7-18----*/
  204. if(nLen==2&&CC_Find("第上成±—＋∶·．／",m_pWordSeg[nIndex][k].sWord)||nLen==1&&strchr("+-./",m_pWordSeg[nIndex][k].sWord[0]))
  205. /*---------------------------------------------*
  206. *
  207. */
  208. /*----Added By huangjin@ict.ac.cn 2006-9-17----
  209. if(nLen>0 &&
  210.   (!(nLen%2)&&GetCharCount("第上成±—＋∶·．／",m_pWordSeg[nIndex][k].sWord)==nLen/2 ||
  211.    (nLen%2)&&GetCharCount("+-./",m_pWordSeg[nIndex][k].sWord) == nLen ))
  212. /*---------------------------------------------*/
  213. {//Only one word
  214. strcpy(sCurWord,m_pWordSeg[nIndex][k].sWord);//Record current word
  215. i--;
  217. }
  218. else if(m_pWordSeg[nIndex][k].sWord[0]==0)//Have never entering the while loop
  219. {
  220. strcpy(m_pWordSeg[nIndex][k].sWord,sAtom);
  221. //Save them in the result segmentation
  222. strcpy(sCurWord,sAtom);//Record current word
  224. }
  225. else
  226. {//It is a num．
  228. if(strcmp("－－",m_pWordSeg[nIndex][k].sWord)==0||strcmp("—",m_pWordSeg[nIndex][k].sWord)==0||m_pWordSeg[nIndex][k].sWord[0]=='-'&&m_pWordSeg[nIndex][k].sWord[1]==0)//The delimiter "－－"
  229. {
  230. nPOS=30464;//'w'*256;Set the POS with 'w'
  231. i--;//Not num, back to previous word
  232. }
  233. else
  234. {//Adding time suffix
  236. char sInitChar[3];
  237. unsigned int nCharIndex=0;//Get first char
  238. sInitChar[nCharIndex]=m_pWordSeg[nIndex][k].sWord[nCharIndex];
  239. if(sInitChar[nCharIndex]<0)
  240. {
  241. nCharIndex+=1;
  242. sInitChar[nCharIndex]=m_pWordSeg[nIndex][k].sWord[nCharIndex];
  243. }
  244. nCharIndex+=1;
  245. sInitChar[nCharIndex]='';
  246. if(k>0
  247. &&(abs(m_pWordSeg[nIndex][k-1].nHandle)==27904||abs(m_pWordSeg[nIndex][k-1].nHandle)==29696 )
  248. &&(strcmp(sInitChar,"—")==0||sInitChar[0]=='-')
  249. &&(strlen(m_pWordSeg[nIndex][k].sWord)>nCharIndex))
  250. {//3-4月                                 //27904='m'*256
  251.    //Split the sInitChar from the original word
  252. strcpy(m_pWordSeg[nIndex][k+1].sWord,m_pWordSeg[nIndex][k].sWord+nCharIndex);
  253. m_pWordSeg[nIndex][k+1].dValue=m_pWordSeg[nIndex][k].dValue;
  254. m_pWordSeg[nIndex][k+1].nHandle=27904;
  255. m_pWordSeg[nIndex][k].sWord[nCharIndex]=0;
  256. m_pWordSeg[nIndex][k].dValue=0;
  257. m_pWordSeg[nIndex][k].nHandle=30464;//'w'*256;
  258. m_graphOptimum.SetElement(nStartVertex,nStartVertex+1,m_pWordSeg[nIndex][k].dValue,m_pWordSeg[nIndex][k].nHandle,m_pWordSeg[nIndex][k].sWord);
  259. nStartVertex+=1;
  260. k+=1;
  261. }
  262. nLen=strlen(m_pWordSeg[nIndex][k].sWord);
  263. /* 
  264. * ----- commented by huangjin@ict.ac.cn 2006-7-18 ------ 
  265. *
  266. * if((strlen(sAtom)==2&&CC_Find("月日时分秒",sAtom))||strcmp(sAtom,"月份")==0)
  267. * {
  268. *
  269. */
  270. /*----Added By huangjin@ict.ac.cn 2006-7-18----*/
  271. if(((strlen(sAtom)==2&&CC_Find("月日时分秒",sAtom))||
  272. strcmp(sAtom,"月份")==0||
  273. strcmp(sAtom,"点钟")==0||
  274. strcmp(sAtom,"刻钟")==0))
  275. {
  276. if(!CC_Find(m_pWordSeg[nIndex][k].sWord,"．")&&
  277. !strchr(m_pWordSeg[nIndex][k].sWord,'.')&&
  278. strlen(m_pWordSeg[nIndex][k].sWord)<=6)
  279. {
  280. /*---------------------------------------------*/
  281. strcat(m_pWordSeg[nIndex][k].sWord,sAtom);
  282. strcpy(sCurWord,"未##时");
  283. nPOS=-29696;//'t'*256;
  284. /*----Added By huangjin@ict.ac.cn 2006-7-18----*/
  285. }
  286. else
  287. {
  288. strcpy(sCurWord,"未##数");
  289. nPOS=-27904;//Set the POS with 'm'
  290. i--;//Can not be a time word
  291. }
  292. /*---------------------------------------------*/
  293. }
  294. else if(strcmp(sAtom,"年")==0)
  295. {//2001年
  296.  if(IsYearTime(m_pWordSeg[nIndex][k].sWord))//strncmp(sAtom,"年",2)==0&&
  297.  {//1998年，
  298. strcat(m_pWordSeg[nIndex][k].sWord,sAtom);
  299. strcpy(sCurWord,"未##时");
  300. nPOS=-29696;//Set the POS with 't'
  301.  }
  302.  else
  303.  {
  304. strcpy(sCurWord,"未##数");
  305. nPOS=-27904;//Set the POS with 'm'
  306. i--;//Can not be a time word
  307.  }
  308. }
  309.       else
  310. {
  311. //早晨/t  五点/t 
  312. if(strcmp(m_pWordSeg[nIndex][k].sWord+strlen(m_pWordSeg[nIndex][k].sWord)-2,"点")==0)
  313. {
  314. strcpy(sCurWord,"未##时");
  315. nPOS=-29696;//Set the POS with 't'
  316. }
  317. else 
  318. {
  319. if(!CC_Find("∶·／",m_pWordSeg[nIndex][k].sWord+nLen-2)&&m_pWordSeg[nIndex][k].sWord[nLen-1]!='.'&&m_pWordSeg[nIndex][k].sWord[nLen-1]!='/')
  320. {
  321. strcpy(sCurWord,"未##数");
  322. nPOS=-27904;//'m'*256;Set the POS with 'm'
  323. }
  324. else if(nLen>strlen(sInitChar))
  325. {//Get rid of . example 1.
  326. /*----Added By huangjin@ict.ac.cn 2006-7-19----*/
  327. //前面还有点
  328. if((CC_Find((const char*)m_pWordSeg[nIndex][k].sWord,"．")!=m_pWordSeg[nIndex][k].sWord+nLen-2)
  329. &&(strchr((const char*)m_pWordSeg[nIndex][k].sWord,'.')!=m_pWordSeg[nIndex][k].sWord+nLen-1))
  330. {
  331. /*---------------------------------------------*/
  332. if(m_pWordSeg[nIndex][k].sWord[nLen-1]=='.'||m_pWordSeg[nIndex][k].sWord[nLen-1]=='/')
  333. m_pWordSeg[nIndex][k].sWord[nLen-1]=0;
  334. else
  335. m_pWordSeg[nIndex][k].sWord[nLen-2]=0;
  336. strcpy(sCurWord,"未##数");
  337. nPOS=-27904;//'m'*256;Set the POS with 'm'
  338. i--;
  339. /*----Added By huangjin@ict.ac.cn 2006-7-19----*/
  340. }
  341. /*---------------------------------------------*/
  343. }
  344. }
  345. i--;//Not num, back to previous word
  346. }
  347. }
  348. fValue=0;
  349. nEndVertex=nSegRoute[nIndex][i+1];//Ending POS changed to latter
  350. }
  351. m_pWordSeg[nIndex][k].nHandle=nPOS;//Get the POS of current word
  352. m_pWordSeg[nIndex][k].dValue=fValue;//(int)(MAX_FREQUENCE*exp(-fValue));//Return the frequency of current word
  353. m_graphOptimum.SetElement(nStartVertex,nEndVertex,fValue,nPOS,sCurWord);
  354. //Generate optimum segmentation graph according the segmentation result
  355. i++;//Skip to next atom
  356. k++;//Accept next word
  357. }
  358. m_pWordSeg[nIndex][k].sWord[0]=0;
  359. m_pWordSeg[nIndex][k].nHandle=-1;//Set ending
  360. return true;
  361. }
  363. //DEL bool CSegment::GetSegmentResult(int nIndex,char *sResult)
  364. //DEL {
  365. //DEL  int i=0;
  366. //DEL  char sTempBuffer[WORD_MAXLENGTH];
  367. //DEL  sResult[0]=0;
  368. //DEL  if(nIndex<0||nIndex>=m_nSegmentCount)
  369. //DEL  return false;
  370. //DEL  while(m_WordSeg[nIndex][i].sWord[0]!=0)
  371. //DEL  {
  372. //DEL  sprintf(sTempBuffer,"%s/%c%c",m_WordSeg[nIndex][i].sWord,m_WordSeg[nIndex][i].nHandle/256,m_WordSeg[nIndex][i].nHandle%256);
  373. //DEL  strcat(sResult,sTempBuffer);
  374. //DEL  strcat(sResult,"  ");
  375. //DEL  i++;
  376. //DEL  }
  377. //DEL  return true;
  378. //DEL }
  379. //Word Segmentation based on optimum segmentation graph
  381. //After unknown word recognition
  382. bool CSegment::OptimumSegmet(int nResultCount)
  383. {
  384. int **nSegRoute;//The segmentation route
  385. nSegRoute=new int*[MAX_SEGMENT_NUM];
  386. for(int i=0;i<MAX_SEGMENT_NUM;i++)
  387. {
  388. nSegRoute[i]=new int[MAX_SENTENCE_LEN/2];
  389. }
  390. CNShortPath sp(&m_graphOptimum,nResultCount);
  391. sp.ShortPath();
  392. sp.Output((int **)nSegRoute,false,&m_nSegmentCount);
  393. i=0;
  394. m_graphSeg.m_segGraph=m_graphOptimum;
  395. m_graphOptimum.SetEmpty();//Set graph optimum empty
  396. while(i<m_nSegmentCount)
  397. {
  398. GenerateWord(nSegRoute,i);
  399. //Gernerate word according the Segmentation route
  400. i++;
  401. }
  403. //free the memory
  404. for(i=0;i<MAX_SEGMENT_NUM;i++)
  405. {
  406. delete [] nSegRoute[i];//free the pointer memory
  407. /*----Added By huangjin@ict.ac.cn 2006-5-29----*/
  408. nSegRoute[i]=NULL;
  409. /*-----------------------------------------------*/
  410. }
  411. delete [] nSegRoute;//free the pointer array
  412. /*----Added By huangjin@ict.ac.cn 2006-5-29----*/
  413. nSegRoute=NULL;
  414. /*-----------------------------------------------*/
  415. return true;
  416. }
  418. int CSegment::GetResultCount(PWORD_RESULT pItem)
  419. {
  420. int nCount=0;
  421. while(pItem[nCount].sWord[0]!=0)
  422. {
  423. nCount+=1;
  424. }
  425. return nCount;
  426. }
  428. bool CSegment::GetLastWord(PWORD_RESULT pItem, char *sWordRet)
  429. {
  430. int nCount=0;
  431. sWordRet[0]=0;
  432. while(pItem[nCount].sWord[0]!=0)
  433. {
  434. strcpy(sWordRet,pItem[nCount].sWord);
  435. nCount+=1;
  436. }
  437. return !sWordRet[0];
  438. }
  440. bool CSegment::IsYearTime(char *sNum)
  441. {//Judge whether the sNum is a num genearating year
  442. unsigned int nLen=strlen(sNum);
  443. char sTemp[3];
  444. strncpy(sTemp,sNum,2);
  445. sTemp[2]=0;
  446. if(IsAllSingleByte((unsigned char *)sNum)&&(nLen==4||nLen==2&&sNum[0]>'4'))//1992年, 90年
  447. return true;
  448. if(IsAllNum((unsigned char *)sNum)&&(nLen>=6||nLen==4&&CC_Find("５６７８９",sTemp)))
  449. return true;
  451. /* 
  452. * ----- commented by huangjin@ict.ac.cn 2006-7-21 ------ 
  453. *
  454. *  if(GetCharCount("零○一二三四五六七八九壹贰叁肆伍陆柒捌玖",sNum)==(int)nLen/2&&nLen>=3)
  455. *
  456. */
  457. /*----Added By huangjin@ict.ac.cn 2006-7-21----*/
  458. if(GetCharCount("零○〇一二三四五六七八九壹贰叁肆伍陆柒捌玖",sNum)==(int)nLen/2&&nLen>=3)
  459. /*---------------------------------------------*/
  460. return true;
  461. /* 
  462. * ----- commented by huangjin@ict.ac.cn 2006-7-21 ------ 
  463. *
  464. *  if(nLen==8&&GetCharCount("千仟零○",sNum)==2)//二仟零二年
  465. *
  466. */
  467. /*----Added By huangjin@ict.ac.cn 2006-7-21----*/
  468. if(nLen==8&&GetCharCount("千仟零○〇",sNum)==2)//二仟零二年
  469. /*---------------------------------------------*/
  470. return true;
  471. if(nLen==2&&GetCharCount("千仟",sNum)==1)
  472. return true;
  473. if(nLen==4&&GetCharCount("甲乙丙丁戊己庚辛壬癸",sNum)==1&&GetCharCount("子丑寅卯辰巳午未申酉戌亥",sNum+2)==1)
  474. return true;
  475. return false;
  476. }
  478. //CDynamicArray &aWord: the words array
  479. //CDynamicArray &aWordBinaryNet:the net between words
  480. //double dSmoothingPara: the parameter of data smoothing
  481. //CDictionary &DictBinary: the binary dictionary
  482. //CDictionary &DictCore: the Core dictionary
  483. bool CSegment::BiGraphGenerate(CDynamicArray &aWord, CDynamicArray &aBinaryWordNet,double dSmoothingPara,CDictionary &DictBinary,CDictionary &DictCore)
  484. {
  485. PARRAY_CHAIN pTail,pCur,pNextWords;//Temp buffer
  486. unsigned int nWordIndex=0,nTwoWordsFreq=0,nCurWordIndex,nNextWordIndex;
  487. //nWordIndex: the index number of current word
  488. double dCurFreqency,dValue,dTemp;
  489. char sTwoWords[WORD_MAXLENGTH];
  490. m_nWordCount=aWord.GetTail(&pTail);//Get tail element and return the words count
  491. if(m_npWordPosMapTable)
  492. {//free buffer
  493. delete [] m_npWordPosMapTable;
  494. m_npWordPosMapTable=0;
  495. }
  496. if(m_nWordCount>0)//Word count is greater than 0
  497. m_npWordPosMapTable=new int[m_nWordCount];//Record the  position of possible words
  498. pCur=aWord.GetHead();
  499. while(pCur!=NULL)//Set the position map of words
  500. {
  501. m_npWordPosMapTable[nWordIndex++]=pCur->row*MAX_SENTENCE_LEN+pCur->col;
  502. pCur=pCur->next;
  503. }
  505. pCur=aWord.GetHead();
  506. while(pCur!=NULL)//
  507. {
  508. if(pCur->nPOS>=0)//It's not an unknown words
  509. dCurFreqency=pCur->value;
  510. else//Unknown words
  511. dCurFreqency=DictCore.GetFrequency(pCur->sWord,2);
  512. aWord.GetElement(pCur->col,-1,pCur,&pNextWords);//Get next words which begin with pCur->col
  513. while(pNextWords&&pNextWords->row==pCur->col)//Next words
  514. {
  515. //Current words frequency
  516. strcpy(sTwoWords,pCur->sWord);
  517. strcat(sTwoWords,WORD_SEGMENTER);
  518. strcat(sTwoWords,pNextWords->sWord);
  519. nTwoWordsFreq=DictBinary.GetFrequency(sTwoWords,3);
  520. //Two linked Words frequency
  521. dTemp=(double)1/MAX_FREQUENCE;
  522. //Smoothing
  523. dValue=-log(dSmoothingPara*(1+dCurFreqency)/(MAX_FREQUENCE+80000)+(1-dSmoothingPara)*((1-dTemp)*nTwoWordsFreq/(1+dCurFreqency)+dTemp));
  524. //-log{a*P(Ci-1)+(1-a)P(Ci|Ci-1)} Note 0<a<1
  525. if(pCur->nPOS<0)//Unknown words: P(Wi|Ci);while known words:1
  526.     dValue+=pCur->value;
  528. //Get the position index of current word in the position map table
  529. nCurWordIndex=BinarySearch(pCur->row*MAX_SENTENCE_LEN+pCur->col,m_npWordPosMapTable,m_nWordCount);
  530. nNextWordIndex=BinarySearch(pNextWords->row*MAX_SENTENCE_LEN+pNextWords->col,m_npWordPosMapTable,m_nWordCount);
  531. aBinaryWordNet.SetElement(nCurWordIndex,nNextWordIndex,dValue,pCur->nPOS);
  532. pNextWords=pNextWords->next;//Get next word
  533. }
  534. pCur=pCur->next;
  535. }
  536. return true;
  537. }
  539. bool CSegment::BiSegment(char *sSentence, double dSmoothingPara, CDictionary &dictCore, CDictionary &dictBinary, unsigned int nResultCount)
  540. {
  541. int **nSegRoute;//The segmentation route
  542. nSegRoute=new int*[MAX_SEGMENT_NUM];
  543. unsigned int nLen=strlen(sSentence)+10;
  544. for(int i=0;i<MAX_SEGMENT_NUM;i++)
  545. {
  546. /* 
  547. * ----- commented by huangjin@ict.ac.cn 2006-5-29 ------ 
  548. * 
  549. *  nSegRoute[i]=new int[nLen/2];
  550. * memset(nSegRoute[i],-1,nLen/2*sizeof(int));
  551. *
  552. */
  553. /*----Added By huangjin@ict.ac.cn 2006-5-31----*/
  554. nSegRoute[i]=new int[nLen+1];
  555. memset(nSegRoute[i],-1,(nLen+1)*sizeof(int));
  556. /*-----------------------------------------------*/
  557. }
  559. m_graphSeg.GenerateWordNet(sSentence,dictCore,true);//Generate words array
  560.     CDynamicArray aBiwordsNet;
  561. BiGraphGenerate(m_graphSeg.m_segGraph,aBiwordsNet,dSmoothingPara,dictBinary,dictCore);
  562.     //Generate the biword link net
  563.     
  564. CNShortPath sp(&aBiwordsNet,nResultCount);
  565. sp.ShortPath();
  566. sp.Output(nSegRoute,false,&m_nSegmentCount);
  570. m_graphOptimum.SetEmpty();//Set graph optimum empty
  571. i=0;
  572. while(i<m_nSegmentCount)
  573. {
  574. BiPath2UniPath(nSegRoute[i]);
  575. //Path convert to unipath
  576. GenerateWord(nSegRoute,i);
  577. //Gernerate word according the Segmentation route
  578. i++;
  579. }
  581. //free the memory
  582. for(i=0;i<MAX_SEGMENT_NUM;i++)
  583. {
  584. delete [] nSegRoute[i];//free the pointer memory
  585. /*----Added By huangjin@ict.ac.cn 2006-5-29----*/
  586. nSegRoute[i]=NULL;
  587. /*---------------------------------------------*/
  589. }
  590. delete [] nSegRoute;//free the pointer array
  591. /*----Added By huangjin@ict.ac.cn 2006-5-29----*/
  592. nSegRoute=NULL;
  593. /*---------------------------------------------*/
  595. return true;
  596. }
  598. bool CSegment::BiPath2UniPath(int *npPath)
  599. {//BiPath convert to unipath
  600. int i=0,nTemp=-1;
  601. if(!m_npWordPosMapTable)
  602. return false;
  603. while(npPath[i]!=-1&&npPath[i]<m_nWordCount)
  604. {
  605. nTemp=m_npWordPosMapTable[npPath[i]];
  606. npPath[i]=nTemp/MAX_SENTENCE_LEN;
  607. i++;
  608. }
  609. if(nTemp>0)
  610. npPath[i++]=nTemp%MAX_SENTENCE_LEN;
  611. npPath[i]=-1;
  612. return true;
  613. }
  615. bool CSegment::BiOptimumSegment(unsigned int nResultCount,double dSmoothingPara, CDictionary &dictBinary, CDictionary &dictCore)
  616. {
  617. int **nSegRoute;//The segmentation route
  618. nSegRoute=new int*[MAX_SEGMENT_NUM];
  619. for(int i=0;i<MAX_SEGMENT_NUM;i++)
  620. {
  621. nSegRoute[i]=new int[MAX_SENTENCE_LEN/2];
  622. memset(nSegRoute[i],-1,MAX_SENTENCE_LEN/2*sizeof(int));
  623. }
  625.     CDynamicArray aBiwordsNet;
  626. BiGraphGenerate(m_graphOptimum,aBiwordsNet,dSmoothingPara,dictBinary,dictCore);
  627.     //Generate the biword link net
  628.    
  631. CNShortPath sp(&aBiwordsNet,nResultCount);
  633. sp.ShortPath();
  637. sp.Output((int **)nSegRoute,false,&m_nSegmentCount);
  641. i=0;
  642. m_graphSeg.m_segGraph=m_graphOptimum;
  643. m_graphOptimum.SetEmpty();//Set graph optimum empty
  645. while(i<m_nSegmentCount)
  646. {
  648. BiPath2UniPath(nSegRoute[i]);
  649. //Path convert to unipath
  650. GenerateWord(nSegRoute,i);
  651. //Gernerate word according the Segmentation route
  652. i++;
  653. }
  655. //free the memory
  656. for(i=0;i<MAX_SEGMENT_NUM;i++)
  657. {
  658. delete [] nSegRoute[i];//free the pointer memory
  659. /*----Added By huangjin@ict.ac.cn 2006-5-29----*/
  660. nSegRoute[i]=NULL;
  661. /*---------------------------------------------*/
  662. }
  663. delete [] nSegRoute;//free the pointer array
  664. /*----Added By huangjin@ict.ac.cn 2006-5-29----*/
  665. nSegRoute=NULL;
  666. /*---------------------------------------------*/
  667. return true;
  668. }
  670. /*----Added By huangjin@ict.ac.cn 2006-5-30----*/
  671. void CSegment::ClearSegmentWord(void)
  672. //reset the char buffer
  673. {
  674. if(m_pWordSeg!=NULL)
  675. {
  676. for(int i=0;i<MAX_SEGMENT_NUM;i++)
  677. {
  678. if(m_pWordSeg[i]!=NULL)
  679. {
  680. /*---------------------------------------------*/
  681. /* 
  682. * ----- commented by huangjin@ict.ac.cn 2006-9-12 ------ 
  683. *
  684. *  for(int j=0;j<MAX_WORDS;j++)
  685. *
  686. */
  687. /*----Added By huangjin@ict.ac.cn 2006-9-12----*/
  688. /*---------------------------------------------*/
  689. for(int j=0;j<MAX_WORDS&&m_pWordSeg[i][j].sWord[0];j++)
  690. {
  691. m_pWordSeg[i][j].sWord[0]='';
  692. m_pWordSeg[i][j].dValue=0.0;
  693. m_pWordSeg[i][j].nHandle=0;
  694. }
  695. }
  696. }
  697. }
  698. }
  699. /*-----------------------------------------------*/