开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 多国语言处理 > 查看源码
WordSegment.cpp
资源名称：TextClassify.rar　[点击查看]
上传用户：sanxfzhen
上传日期：2014-12-28
资源大小：2324k
文件大小：9k
源码类别：

多国语言处理

开发平台：

Visual C++

WordSegment.cpp：源码内容
  1. // WordSegment.cpp: implementation of the CWordSegment class.
  2. //
  3. //////////////////////////////////////////////////////////////////////
  5. #include "stdafx.h"
  6. #include "WordSegment.h"
  7. #include ".\Utility\Utility.h"
  9. const unsigned short CWordSegment::uTag = 0x0001;  // word classify tag
  10. const unsigned short CWordSegment::uPlace = 0x0002; // Chinese place name
  11. const unsigned short CWordSegment::uPerson = 0x0004;  // chinese name
  12. const unsigned short CWordSegment::uTransPerson = 0x0008; // translation name, include translation
  14. char CWordSegment::m_pSentence[MAX_PATH*10];        //用来存放经过去掉空格回车等字母后的句子
  15. CWordSegment g_wordSeg;
  16. //////////////////////////////////////////////////////////////////////
  17. // Construction/Destruction
  18. //////////////////////////////////////////////////////////////////////
  19. AFX_INLINE UINT AFXAPI HashKey(CString key)
  20. {
  21. return HashKey((LPCTSTR)key);
  22. }
  24. CWordSegment::CWordSegment()
  25. {
  26. m_nInit=0;
  27. m_nOperateType=0;
  28. m_dSmoothingPara=0.1;//Smoothing parameter
  29. }
  31. CWordSegment::~CWordSegment()
  32. {
  33. FreeWordSegment();
  34. }
  36. bool CWordSegment::InitWorgSegment(char *pPath, int nLanguage)
  37. {
  38. if(!m_nInit)
  39. {
  40. char filename[MAX_PATH];
  41. if(nLanguage==0)
  42. {
  43. strcpy(filename,pPath);
  44. strcat(filename,"\data\coreDict.dct");
  45. if(!m_dictCore.Load(filename)) return false;
  47. strcpy(filename,pPath);
  48. strcat(filename,"\data\lexical.ctx");
  49. if(!m_POSTagger.LoadContext(filename))  return false;
  50. m_POSTagger.SetTagType();
  52. strcpy(filename,pPath);
  53. strcat(filename,"\data\nr");
  54. if(!m_uPerson.Configure(filename,TT_PERSON)) return false;
  56. strcpy(filename,pPath);
  57. strcat(filename,"\data\ns");
  58. if(!m_uPlace.Configure(filename,TT_PLACE)) return false;
  60. strcpy(filename,pPath);
  61. strcat(filename,"\data\tr");
  62. if(!m_uTransPerson.Configure(filename,TT_TRANS_PERSON)) return false;
  64. strcpy(filename,pPath);
  65. strcat(filename,"\data\BigramDict.dct");
  66. if(!m_dictBigram.Load(filename)) return false;
  67. }
  69. FILE *stream;
  70. char word[MAX_PATH];
  71. strcpy(filename,pPath);
  72. if(nLanguage==0)
  73. {
  74. strcat(filename,"\data\stopwords.txt");
  75. m_nInit=1;
  76. }
  77. else
  78. {
  79. strcat(filename,"\data\engstopwords.txt");
  80. m_nInit=2;
  81. }
  82. if((stream  = fopen( filename, "r" )) == NULL)
  83. return false;
  84. while(!feof(stream))
  85. {
  86. fscanf(stream,"%sn",word); 
  87. if(word[0]!='') m_lstStopWords.SetAt(word,1);
  88. }
  89. m_lstStopWords.SetAt("rn",1);
  90. m_lstStopWords.SetAt(" rn",1);
  91. m_lstStopWords.SetAt("n",1);
  92. m_lstStopWords.SetAt(" n",1);
  93. fclose(stream);
  94. }
  95. return true;
  96. }
  98. void CWordSegment::FreeWordSegment(void)
  99. {
  100. if(m_nInit==1)
  101. {
  102. m_lstStopWords.RemoveAll();
  103. m_dictCore.ReleaseDict();
  104. m_dictBigram.ReleaseDict();
  105. m_POSTagger.ReleaseSpan();
  106. m_uPerson.ReleaseUnknowWord();
  107. m_uTransPerson.ReleaseUnknowWord();
  108. m_uPlace.ReleaseUnknowWord();
  109. }
  110. if(m_nInit==2)
  111. {
  112. m_lstStopWords.RemoveAll();
  113. }
  114. m_nInit=0;
  115. }
  117. void CWordSegment::SetSegSetting(unsigned short Setting)
  118. {
  119. m_nOperateType=Setting;
  120. }
  122. unsigned short CWordSegment::GetSegSetting()
  123. {
  124. return m_nOperateType;
  125. }
  127. bool CWordSegment::Segment(char* sentence)
  128. {
  129. int nIndex,nResultCount;
  130. strcpy(m_pNewSentence,SENTENCE_BEGIN);
  131. strcat(m_pNewSentence,sentence);
  132. strcat(m_pNewSentence,SENTENCE_END);
  133. m_Seg.BiSegment(m_pNewSentence, m_dSmoothingPara,m_dictCore,m_dictBigram,1);
  134. nResultCount=m_Seg.m_nSegmentCount;
  135. for(nIndex=0;nIndex<m_Seg.m_nSegmentCount;nIndex++)
  136. {
  137. if(m_nOperateType&&uPerson)
  138. m_uPerson.Recognition(m_Seg.m_pWordSeg[nIndex],m_Seg.m_graphOptimum,m_Seg.m_graphSeg,m_dictCore);
  139. if(m_nOperateType&&uTransPerson)
  140. m_uTransPerson.Recognition(m_Seg.m_pWordSeg[nIndex],m_Seg.m_graphOptimum,m_Seg.m_graphSeg,m_dictCore);
  141. if(m_nOperateType&&uPlace)
  142. m_uPlace.Recognition(m_Seg.m_pWordSeg[nIndex],m_Seg.m_graphOptimum,m_Seg.m_graphSeg,m_dictCore);
  143. }
  144. m_Seg.BiOptimumSegment(1,m_dSmoothingPara,m_dictBigram,m_dictCore);
  146. for(nIndex=0;nIndex<m_Seg.m_nSegmentCount;nIndex++)
  147. {
  148. if(m_nOperateType&&uTag)
  149. m_POSTagger.POSTagging(m_Seg.m_pWordSeg[nIndex],m_dictCore,m_dictCore);
  150. }
  151. return true;
  152. }
  154. int CWordSegment::GetSegmentCount()
  155. {
  156. return m_Seg.m_nSegmentCount;
  157. }
  159. PWORD_RESULT CWordSegment::GetWordSeg(int index)
  160. {
  161. return m_Seg.m_pWordSeg[index];
  162. }
  164. bool CWordSegment::isInStopWords(char *pWord)
  165. {
  166.   int t;
  167.   return(m_lstStopWords.Lookup(pWord,t)>0);
  168. }
  170. //bStopWord=true 去掉停用词
  171. //bTag=true      结果文件中包含词性标记
  172. int CWordSegment::SegmentFile(const char *source, const char *target, BOOL bStopWord, BOOL bTag)
  173. {
  174. CFile fin;
  175. FILE *fout;
  176. if(!fin.Open(source,CFile::modeRead))
  177. return -1;
  178. if((fout=fopen(target,"w+"))==NULL)
  179. {
  180. fin.Close();
  181. return -1;
  182. }
  183. //读入文件的内容
  184. int num=0;
  185. unsigned int flen=fin.GetLength();
  186. char *buffer=new char[flen+1];
  187. flen=fin.ReadHuge(buffer,flen);
  188. buffer[flen]='';
  189. fin.Close();
  192. int i,j,sum;
  193. char *w;
  194. //realcnt为文章中去掉停用词后剩下的总共词数
  195. //nStart为一个句子在buffer中的开始位置
  196. int nStart=0,nNewStart=0;
  197. bool flag=true;
  198. int nSentenceLen=0;
  199. int realcnt=0;
  200. while(buffer[nStart]!='')
  201. {
  202. flag=true;
  203. nSentenceLen=ParseFile(buffer,nStart,nNewStart);
  204. nStart=nNewStart;
  205. if(nSentenceLen==0) continue;
  206. if(m_pSentence[0]>0) //如果是一个英文单词
  207. {
  208. //如果英文单词的长度大于等于2,且不是数字
  209. if((nSentenceLen>=2)&&((m_pSentence[0]<'0')||(m_pSentence[0]>'9')))
  210. {
  211. fprintf(fout,"%sn",m_pSentence);
  212. realcnt++;
  213. }
  214. }
  215. else //如果是汉字串
  216. {
  217. if(nSentenceLen%2!=0) continue;
  218. if(nSentenceLen==2) //如果是单个汉字
  219. {
  220. fprintf(fout,"%sn",m_pSentence);;
  221. realcnt++;
  222. }
  223. else
  224. {
  225. g_wordSeg.Segment(m_pSentence);
  226. for(i=0;i<g_wordSeg.GetSegmentCount();i++)
  227. {
  228. sum=0;
  229. PWORD_RESULT pItem=g_wordSeg.GetWordSeg(i);
  230. while(pItem[sum].sWord[0]!=0) sum++;
  232. for(j=1;j<sum-1;j++)
  233. {
  234. w=pItem[j].sWord;
  235. if(w[0]==''||(bStopWord&&g_wordSeg.isInStopWords(w))) flag=false;
  236. if(flag)
  237. {
  238. fprintf(fout,"%sn",w);
  239. realcnt++;
  240. }
  241. }
  242. }
  243. }
  244. }
  245. }
  246. fclose(fout);
  247. delete[] buffer;
  248. return realcnt;
  249. }
  251. //对pBuffer中的文字进行处理，得到一个句子的结束位置nEnd
  252. //并且将去掉空格回车等字母后的句子放入变量m_pSentence
  253. int CWordSegment::ParseFile(char *pBuffer, int nStart, int &nEnd)
  254. {
  255. //nSum为得到的句子包含的字节数
  256. int nCurrent,nSum=0;
  257. byte bChar[2];
  258. //是否为中文句子
  259. bool bChinese=true;
  260. nCurrent=nStart;
  261. //去掉句首的全角和半角空格
  262. //判断句子是以中文字母开头，还是英文字母开头
  263. while(pBuffer[nCurrent]!='')
  264. {
  265. bChar[0]=pBuffer[nCurrent];
  266. if(bChar[0]==' '||bChar[0]=='r'||bChar[0]=='n')
  267. nCurrent++;
  268. else if(bChar[0]==0xA1)
  269. {
  270. bChar[1]=pBuffer[nCurrent+1];
  271. if(bChar[1]==0xA1) 
  272. nCurrent+=2;
  273. else
  274. {
  275. bChinese=true;
  276. break;
  277. }
  278. }
  279. else if(pBuffer[nCurrent]>0)
  280. {
  281. bChinese=false;
  282. break;
  283. }
  284. else
  285. {
  286. bChinese=true;
  287. break;
  288. }
  289. }
  291. while(pBuffer[nCurrent]!='')
  292. {
  293. bChar[0]=pBuffer[nCurrent];
  294. if(bChar[0]>127)
  295. {
  296. if(!bChinese) break;
  297. nCurrent++;
  298. bChar[1]=pBuffer[nCurrent];
  299. //0xA1A1为全角的空格
  300. if((bChar[0]!=0xA1)||(bChar[1]!=0xA1))
  301. {
  302. //如果为"的"字,或为标点符号或其它全角字母
  303. if(((bChar[0]==0xB5)&&(bChar[1]==0xC4))||
  304. ((bChar[0]==0xA1)&&(bChar[1]>0xA1)&&(bChar[1]<=0xFE))||
  305. ((bChar[0]==0xA2)&&(bChar[1]>=0xA1)&&(bChar[1]<=0xFC))||
  306. ((bChar[0]==0xA3)&&(bChar[1]>=0xA1)&&(bChar[1]<=0xFE))||
  307. ((bChar[0]==0xA4)&&(bChar[1]>=0xA1)&&(bChar[1]<=0xF3))||
  308. ((bChar[0]==0xA5)&&(bChar[1]>=0xA1)&&(bChar[1]<=0xF6))||
  309. ((bChar[0]==0xA6)&&(bChar[1]>=0xA1)&&(bChar[1]<=0xF5))||
  310. ((bChar[0]==0xA7)&&(bChar[1]>=0xA1)&&(bChar[1]<=0xF1))||
  311. ((bChar[0]==0xA8)&&(bChar[1]>=0x40)&&(bChar[1]<=0xE9))||
  312. ((bChar[0]==0xA9)&&(bChar[1]>=0x40)&&(bChar[1]<=0xEF))||
  313. ((bChar[0]==0xAA)&&(bChar[1]==0xA5)))
  314. {
  315. nCurrent++;
  316. break;
  317. }
  318. //如果后半部分小于0x80，代表是一个错误的汉字
  319. else if(bChar[1]>=0x80)
  320. {
  321. m_pSentence[nSum]=pBuffer[nCurrent-1];
  322. nSum++;
  323. m_pSentence[nSum]=pBuffer[nCurrent];
  324. nSum++;
  325. }
  326. }
  327. }
  328. else
  329. {
  330. if(bChar[0]==' '||bChar[0]=='r'||bChar[0]=='n')
  331. {
  332. if(!bChinese)
  333. {
  334. nCurrent++;
  335. break;
  336. }
  337. }
  338. else
  339. {
  340. //if(bChar[0]=='!'||bChar[0]=='?'||bChar[0]==':'||
  341. // bChar[0]==';'||bChar[0]=='.')
  342. if((bChar[0]>32&&bChar[0]<=47)||(bChar[0]>=58&&bChar[0]<=64)||
  343. (bChar[0]>=91&&bChar[0]<=96)||(bChar[0]>=123&&bChar[0]<=127))
  344. {
  345. nCurrent++;
  346. break;
  347. }
  348. else if(bChinese) break;
  349. else
  350. {
  351. m_pSentence[nSum]=pBuffer[nCurrent];
  352. nSum++;
  353. }
  354. }
  355. }
  356. nCurrent++;
  357. }
  358. m_pSentence[nSum]='';
  359. nEnd=nCurrent;
  360. return nSum;
  361. }