开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 多国语言处理 > 查看源码
Segment.cpp
资源名称：ictclas_Source_Code.zip　[点击查看]
上传用户：chen_dj
上传日期：2013-04-22
资源大小：111k
文件大小：9k
源码类别：

多国语言处理

开发平台：

C/C++

Segment.cpp：源码内容
  1. /****************************************************************************
  2.  *
  3.  * Copyright (c) 2000, 2001 
  4.  *     Machine Group
  5.  *     Software Research Lab.
  6.  *     Institute of Computing Tech.
  7.  *     Chinese Academy of Sciences
  8.  *     All rights reserved.
  9.  *
  10.  * This file is the confidential and proprietary property of 
  11.  * Institute of Computing Tech. and the posession or use of this file requires 
  12.  * a written license from the author.
  13.  * Filename: Segment.cpp
  14.  * Abstract:
  15.  *           implementation of the CSegment class.
  16.  * Author:   Kevin Zhang 
  17.  *          (zhanghp@software.ict.ac.cn)
  18.  * Date:     2002-4-23
  19.  *
  20.  * Notes:  N-Shortest paths Word segmentation
  21.  *                
  22.  ****************************************************************************/
  24. #include "stdafx.h"
  25. #include "Segment.h"
  26. #include "..\Utility\Dictionary.h"
  27. #include "..\Utility\Utility.h"
  28. #include "NShortPath.h"
  29. #include <string.h>
  30. #include <math.h>
  32. //////////////////////////////////////////////////////////////////////
  33. // Construction/Destruction
  34. //////////////////////////////////////////////////////////////////////
  36. CSegment::CSegment()
  37. {
  38. //malloc buffer
  39. m_pWordSeg=new PWORD_RESULT[MAX_SEGMENT_NUM];
  40. for(int i=0;i<MAX_SEGMENT_NUM;i++)
  41. {
  42. m_pWordSeg[i]=new WORD_RESULT[MAX_WORDS];
  43. }
  44. }
  46. CSegment::~CSegment()
  47. {
  48. //free buffer
  49. for(int i=0;i<MAX_SEGMENT_NUM;i++)
  50. {
  51. delete m_pWordSeg[i];
  52. }
  53. delete m_pWordSeg;
  54. }
  56. bool CSegment::Segment(char *sSentence,CDictionary &dictCore,int nResultCount)
  57. {
  58. int **nSegRoute;//The segmentation route
  59. nSegRoute=new int*[MAX_SEGMENT_NUM];
  60. for(int i=0;i<MAX_SEGMENT_NUM;i++)
  61. {
  62. nSegRoute[i]=new int[MAX_SENTENCE_LEN/2];
  63. memset(nSegRoute[i],0,MAX_SENTENCE_LEN/2*sizeof(int));
  64. }
  65.   m_graphSeg.GenerateWordNet(sSentence,dictCore);
  66. CNShortPath sp(&m_graphSeg.m_segGraph,nResultCount);
  67. sp.ShortPath();
  68. sp.Output((int **)nSegRoute,false,&m_nSegmentCount);
  69. m_graphOptimum.SetEmpty();//Set graph optimum empty
  70. i=0;
  71. while(i<m_nSegmentCount)
  72. {
  73. GenerateWord(nSegRoute,i);
  74. //Gernerate word according the Segmentation route
  75. i++;
  76. }
  78. //free the memory
  79. for(i=0;i<MAX_SEGMENT_NUM;i++)
  80. {
  81. delete [] nSegRoute[i];//free the pointer memory
  82. }
  83. delete [] nSegRoute;//free the pointer array
  85. return true;
  86. }
  87. //Generate Word according the segmentation route
  88. bool CSegment::GenerateWord(int **nSegRoute, int nIndex)
  89. {
  90. unsigned int i=0,k=0;
  91. int j,nStartVertex,nEndVertex,nPOS;
  92. char sAtom[WORD_MAXLENGTH],sNumCandidate[100];
  93. ELEMENT_TYPE fValue;
  94. while(nSegRoute[nIndex][i]!=-1&&nSegRoute[nIndex][i+1]!=-1&&nSegRoute[nIndex][i]<nSegRoute[nIndex][i+1])
  95. {
  96. nStartVertex=nSegRoute[nIndex][i];
  97. j=nStartVertex;//Set the start vertex
  98. nEndVertex=nSegRoute[nIndex][i+1];//Set the end vertex
  99. nPOS=0;
  100. m_graphSeg.m_segGraph.GetElement(nStartVertex,nEndVertex,&fValue,&nPOS);
  101. sAtom[0]=0;
  102. while(j<nEndVertex)
  103. {//Generate the word according the segmentation route
  104. strcat(sAtom,m_graphSeg.m_sAtom[j]);
  105. j++;
  106. }
  107. m_pWordSeg[nIndex][k].sWord[0]=0;//Init the result ending
  108. strcpy(sNumCandidate,sAtom);
  109. while(sAtom[0]!=0&&(IsAllNum((unsigned char *)sNumCandidate)||IsAllChineseNum(sNumCandidate)))
  110. {//Merge all seperate continue num into one number
  111.  //sAtom[0]!=0: add in 2002-5-9
  112. strcpy(m_pWordSeg[nIndex][k].sWord,sNumCandidate);
  113. //Save them in the result segmentation
  114. i++;//Skip to next atom now 
  115. sAtom[0]=0;
  117. while(j<nSegRoute[nIndex][i+1])
  118. {//Generate the word according the segmentation route
  119. strcat(sAtom,m_graphSeg.m_sAtom[j]);
  120. j++;
  121. }
  122. strcat(sNumCandidate,sAtom);
  123. }
  124. if(m_pWordSeg[nIndex][k].sWord[0]==0)//Have never entering the while loop
  125. {
  126. strcpy(m_pWordSeg[nIndex][k].sWord,sAtom);
  127. //Save them in the result segmentation
  128. }
  129. else
  130. {//It is a num
  131. if(strcmp("－－",m_pWordSeg[nIndex][k].sWord)==0||strcmp("—",m_pWordSeg[nIndex][k].sWord)==0||m_pWordSeg[nIndex][k].sWord[0]=='-')//The delimiter "－－"
  132. {
  133. nPOS=30464;//'w'*256;Set the POS with 'w'
  134. i--;//Not num, back to previous word
  135. }
  136. else
  137. {//Adding time suffix
  139. char sInitChar[3];
  140. unsigned int nCharIndex=0;//Get first char
  141. sInitChar[nCharIndex]=m_pWordSeg[nIndex][k].sWord[nCharIndex];
  142. if(sInitChar[nCharIndex]<0)
  143. {
  144. nCharIndex+=1;
  145. sInitChar[nCharIndex]=m_pWordSeg[nIndex][k].sWord[nCharIndex];
  146. }
  147. nCharIndex+=1;
  148. sInitChar[nCharIndex]='';
  149. if(k>0&&m_pWordSeg[nIndex][k-1].nHandle==27904&&(strcmp(sInitChar,"—")==0||sInitChar[0]=='-')&&(strlen(m_pWordSeg[nIndex][k].sWord)>nCharIndex))
  150. {//3-4月                                 //27904='m'*256
  151.    //Split the sInitChar from the original word
  152. strcpy(m_pWordSeg[nIndex][k+1].sWord,m_pWordSeg[nIndex][k].sWord+nCharIndex);
  153. m_pWordSeg[nIndex][k+1].dValue=m_pWordSeg[nIndex][k].dValue;
  154. m_pWordSeg[nIndex][k+1].nHandle=27904;
  155. m_pWordSeg[nIndex][k].sWord[nCharIndex]=0;
  156. m_pWordSeg[nIndex][k].dValue=0;
  157. m_pWordSeg[nIndex][k].nHandle=30464;//'w'*256;
  158. m_graphOptimum.SetElement(nStartVertex,nStartVertex+1,m_pWordSeg[nIndex][k].dValue,m_pWordSeg[nIndex][k].nHandle);
  159. nStartVertex+=1;
  160. k+=1;
  161. }
  162. unsigned int nLen=strlen(m_pWordSeg[nIndex][k].sWord);
  163. if((strlen(sAtom)==2&&CC_Find("月日时分秒",sAtom))||strcmp(sAtom,"月份")==0)
  164. {//2001年
  165. strcat(m_pWordSeg[nIndex][k].sWord,sAtom);
  166. nPOS=29696;//'t'*256;//Set the POS with 'm'
  167. }
  168. else if(strcmp(sAtom,"年")==0)
  169. {
  170.  if(IsYearTime(m_pWordSeg[nIndex][k].sWord))//strncmp(sAtom,"年",2)==0&&
  171.  {//1998年，
  172. strcat(m_pWordSeg[nIndex][k++].sWord,sAtom);
  173. nPOS='t'*256;//Set the POS with 'm'
  174.  }
  175.  else
  176.     i--;//Can not be a time word
  177. }
  178.       else
  179. {
  180. //早晨/t  五点/t 
  181. if(strcmp(m_pWordSeg[nIndex][k].sWord+strlen(m_pWordSeg[nIndex][k].sWord)-2,"点")==0)
  182. {
  183. nPOS='t'*256;//Set the POS with 'm'
  184. }
  185. else 
  186. {
  187. if(m_pWordSeg[nIndex][k].sWord[0]!='.')
  188. nPOS='m'*256;//Set the POS with 'm'
  189. if(nLen>1&&m_pWordSeg[nIndex][k].sWord[nLen-1]=='.')
  190. {//Get rid of . example 1.
  191. m_pWordSeg[nIndex][k].sWord[nLen-1]=0;
  192. i--;
  193. }
  194. }
  195. i--;//Not num, back to previous word
  196. }
  197. }
  198. fValue=0;
  199. nEndVertex=nSegRoute[nIndex][i+1];//Ending POS changed to latter
  200. }
  201. m_pWordSeg[nIndex][k].nHandle=nPOS;//Get the POS of current word
  202. m_pWordSeg[nIndex][k].dValue=fValue;//(int)(MAX_FREQUENCE*exp(-fValue));//Return the frequency of current word
  203. m_graphOptimum.SetElement(nStartVertex,nEndVertex,fValue,nPOS);
  204. //Generate optimum segmentation graph according the segmentation result
  205. i++;//Skip to next atom
  206. k++;//Accept next word
  207. }
  208. m_pWordSeg[nIndex][k].sWord[0]=0;
  209. m_pWordSeg[nIndex][k].nHandle=-1;//Set ending
  210. return true;
  211. }
  213. //DEL bool CSegment::GetSegmentResult(int nIndex,char *sResult)
  214. //DEL {
  215. //DEL  int i=0;
  216. //DEL  char sTempBuffer[WORD_MAXLENGTH];
  217. //DEL  sResult[0]=0;
  218. //DEL  if(nIndex<0||nIndex>=m_nSegmentCount)
  219. //DEL  return false;
  220. //DEL  while(m_WordSeg[nIndex][i].sWord[0]!=0)
  221. //DEL  {
  222. //DEL  sprintf(sTempBuffer,"%s/%c%c",m_WordSeg[nIndex][i].sWord,m_WordSeg[nIndex][i].nHandle/256,m_WordSeg[nIndex][i].nHandle%256);
  223. //DEL  strcat(sResult,sTempBuffer);
  224. //DEL  strcat(sResult,"  ");
  225. //DEL  i++;
  226. //DEL  }
  227. //DEL  return true;
  228. //DEL }
  229. //Word Segmentation based on optimum segmentation graph
  231. //After unknown word recognition
  232. bool CSegment::OptimumSegmet(int nResultCount)
  233. {
  234. int **nSegRoute;//The segmentation route
  235. nSegRoute=new int*[MAX_SEGMENT_NUM];
  236. for(int i=0;i<MAX_SEGMENT_NUM;i++)
  237. {
  238. nSegRoute[i]=new int[MAX_SENTENCE_LEN/2];
  239. }
  240. CNShortPath sp(&m_graphOptimum,nResultCount);
  241. sp.ShortPath();
  242. sp.Output((int **)nSegRoute,false,&m_nSegmentCount);
  243. i=0;
  244. m_graphSeg.m_segGraph=m_graphOptimum;
  245. m_graphOptimum.SetEmpty();//Set graph optimum empty
  246. while(i<m_nSegmentCount)
  247. {
  248. GenerateWord(nSegRoute,i);
  249. //Gernerate word according the Segmentation route
  250. i++;
  251. }
  253. //free the memory
  254. for(i=0;i<MAX_SEGMENT_NUM;i++)
  255. {
  256. delete [] nSegRoute[i];//free the pointer memory
  257. }
  258. delete [] nSegRoute;//free the pointer array
  259. return true;
  260. }
  262. int CSegment::GetResultCount(PWORD_RESULT pItem)
  263. {
  264. int nCount=0;
  265. while(pItem[nCount].sWord[0]!=0)
  266. {
  267. nCount+=1;
  268. }
  269. return nCount;
  270. }
  272. bool CSegment::GetLastWord(PWORD_RESULT pItem, char *sWordRet)
  273. {
  274. int nCount=0;
  275. sWordRet[0]=0;
  276. while(pItem[nCount].sWord[0]!=0)
  277. {
  278. strcpy(sWordRet,pItem[nCount].sWord);
  279. nCount+=1;
  280. }
  281. return !sWordRet[0];
  282. }
  284. bool CSegment::IsYearTime(char *sNum)
  285. {//Judge whether the sNum is a num genearating year
  286. unsigned int nLen=strlen(sNum);
  287. char sTemp[3];
  288. strncpy(sTemp,sNum,2);
  289. sTemp[2]=0;
  290. if(IsAllSingleByte((unsigned char *)sNum)&&(nLen>=3||nLen==2&&sNum[0]>'4'))//1992年, 90年
  291. return true;
  292. if(IsAllNum((unsigned char *)sNum)&&(nLen>=6||nLen==4&&CC_Find("５６７８９",sTemp)))
  293. return true;
  294. if(GetCharCount("零○一二三四五六七八九壹贰叁肆伍陆柒捌玖",sNum)==(int)nLen/2&&nLen>=3)
  295. return true;
  296. if(nLen==8&&GetCharCount("千仟零○",sNum)==2)//二仟零二年
  297. return true;
  298. return false;
  299. }