开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 多国语言处理 > 词法分析 > 查看源码
MPWordSeg.cpp
资源名称：Pwswnr.rar　[点击查看]
上传用户：qzyuheng
上传日期：2013-04-28
资源大小：71k
文件大小：8k
源码类别：

词法分析

开发平台：

Visual C++

MPWordSeg.cpp：源码内容
  1. #include "stdafx.h"
  2. #include "math.h" // 包含log函数的定义
  4. #include "MPWordSeg.h"
  5. #include "MyDictionary.h"
  6. #include "MyFileApp.h"
  7. #include "NameRecognizer.h"
  8. /*
  9. # define MaxWordLength 8  // 最大词长为8个字节（即4个汉字）
  10. # define Separator "/  "    // 词界标记
  11. # define CorpusSize 200000
  12. */
  14. extern int MaxWordLength;
  15. extern CString Separator;
  16. extern long CorpusSize;
  18. CMyDictionary pDict; // 定义一个词典类对象，全局变量
  20. // 以下是最大概率法分词程序
  22. struct Candidate {
  23. short offset, length;  // 候选词在输入串中的起点，长度
  24. short goodPrev;  // 最佳前趋词的序号
  25. float fee, sumFee; // 候选词的费用，路径上的累计费用
  26. } Candidates[100];// 假定最多100个候选词
  28. short getTmpWords(CString &s)
  29. { // 从输入串中挑选可能是词的单位作为最大概率法分词的候选词
  30. short i=0,j,len,restlen,n=s.GetLength();
  31. long freq;
  32. CString w;
  33. for(j=0;j<n;j+=2) {
  34. for(len=2;len<=MaxWordLength;len+=2) {
  35. restlen=n-j; 
  37. if (len<=restlen) // 如果剩余词长度不够长，跳出循环
  38. w=s.Mid(j,len);
  39. else
  40. break;
  42. freq=pDict.GetFreq(w); // 如果在数据库中将wfreq字段设为双精度型数字，则返回0值
  43. if(len>2 && freq==-1)
  44. continue;
  45. if(freq==-1) 
  46. freq=0;
  47. Candidates[i].offset=j;
  48. Candidates[i].length=len;
  49. Candidates[i].fee = (float)(-log((double)(freq+1)/CorpusSize));
  50. Candidates[i].sumFee=0.0F;// 置初值
  51. i++;
  52. }
  53. }
  54. return i;
  55. }
  57. void getPrev(short i)
  58. { // 计算每一个候选词的最佳前趋词，以及当前词的最小累计费用
  59. if(Candidates[i].offset==0) {
  60. Candidates[i].goodPrev=-1;
  61. Candidates[i].sumFee=Candidates[i].fee;
  62. return;
  63. }
  65. short j,minID=-1;
  67. // for(j=i-1;j>=0;j--) {
  68. // if(Candidates[j].offset+Candidates[j].length==Candidates[i].offset)
  69. // break;
  70. // }
  71. // for(;Candidates[j].offset+Candidates[j].length==Candidates[i].offset;j--)
  73. for(j=i-1;j>=0;j--) 
  74. { //向左查找所有候选词，得到前驱词集合，从中挑选最佳前趋词
  75. if(Candidates[j].offset+Candidates[j].length==Candidates[i].offset) {
  76. if(minID==-1 || Candidates[j].sumFee<=Candidates[minID].sumFee)
  77. minID=j;
  78. }
  79. if(Candidates[i].offset-Candidates[j].offset>=8) // 向左查找候选词最远不超过4个汉字
  80. break;
  81. }
  83. Candidates[i].goodPrev=minID;
  84. Candidates[i].sumFee=Candidates[i].fee+Candidates[minID].sumFee;
  85. return;
  86. }
  89. CString SegmentHzStrMP(CString s1)
  90. {//最大概率法分词程序，处理一个字符串
  92. int len=s1.GetLength();
  93. short n=getTmpWords(s1); // 获得候选词
  94. short minID=-1;
  95. short i;
  97. //////////////////////////////////
  98. // 计算最大概率程序段开始
  100. for(i=0;i<n;i++) {
  101. getPrev(i); // 获得最佳左邻词
  102. if(Candidates[i].offset+Candidates[i].length==len) { // 如果当前词是s1中最后一个可能的候选词
  103. if(minID==-1||Candidates[i].sumFee<Candidates[minID].sumFee) // 如果这个末尾候选词的累计费用最小
  104. minID=i; // 把当前词的序号赋给minID，这就是最小费用路径的终点词的序号
  105.  // 这就是最后分词结果最右边的那个词的序号
  106. }
  107. }
  108. // 计算最大概率程序段结束
  109. //////////////////////////////////
  111. //////////////////////////////////
  112. // 以下是输出分词结果程序段
  113. CString s2=""; 
  114. /* 
  116.     // 以下是最大概率法分词输出分词结果开始
  117. for(i=minID;i>=0;i=Candidates[i].goodPrev) // 从右向左取候选词
  118. s2=s1.Mid(Candidates[i].offset,Candidates[i].length)+Separator+s2; 
  119. // 最大概率法分词输出分词结果结束
  121. */
  122. ///////////////////////////////////////////////////
  123. // 识别中文姓名程序段开始
  125. CString tmp="";
  126. for(i=minID;i>=0;i=Candidates[i].goodPrev) {
  128. CString w=s1.Mid(Candidates[i].offset,Candidates[i].length);
  130. if(w.GetLength()==2) // 如果是单字，就将它加入到tmp串中
  131. tmp=w+tmp;
  132. else {
  133. if(tmp.GetLength()>0) {
  134. if(tmp.GetLength()==2)
  135. s2=tmp+Separator+s2;
  136. else
  137. // s2=CheckStr(tmp)+Separator+s2;
  138. s2=CheckStr(tmp)+s2; // CheckStr has already output a separator after each word
  139. tmp="";
  140. }
  141. s2=w+Separator+s2;
  142. }
  143. }
  145. if(tmp.GetLength()>0) {
  146. if(tmp.GetLength()==2)
  147. s2=tmp+Separator+" "+s2;
  148. else
  149. // s2=CheckStr(tmp)+Separator+s2;
  150. s2=CheckStr(tmp)+s2;
  151. tmp="";
  152. }
  153. // 识别中文姓名程序段结束
  154. /////////////////////////////////////////////////////
  156. return s2;
  157. }
  159. CString SegmentSentenceMP (CString s1)  
  160. {// 最大概率法分词程序：对句子进行分词处理的函数
  161. CString s2="";
  162. int i,dd;
  163. while(!s1.IsEmpty()) {
  164. unsigned char ch=(unsigned char) s1[0];
  165. if(ch<128) { // 处理西文字符
  166. i=1;
  167. dd=s1.GetLength();
  168. while(i<dd && ((unsigned char)s1[i]<128) && (s1[i]!=10) && (s1[i]!=13)) // s1[i]不能是换行符或回车符
  169. i++;
  170. if ((ch!=32) && (ch!=10) && (ch!=13)) // 如果不是西文空格或换行或回车符
  171. s2 += s1.Left(i) + Separator;
  172. else {
  173. if (ch==10 || ch==13)   // 如果是换行或回车符，将它拷贝给s2输出
  174. s2+=s1.Left(i);
  175. }
  176. s1=s1.Mid(i);
  177. continue;
  178. }
  179. else { 
  180. if (ch<176) { // 中文标点等非汉字字符
  181. i=0;
  182. dd=s1.GetLength();
  183. while(i<dd && ((unsigned char)s1[i]<176) && ((unsigned char)s1[i]>=161)
  184. && (!((unsigned char)s1[i]==161 && ((unsigned char)s1[i+1]>=162 && (unsigned char)s1[i+1]<=168)))
  185. && (!((unsigned char)s1[i]==161 && ((unsigned char)s1[i+1]>=171 && (unsigned char)s1[i+1]<=191)))
  186. && (!((unsigned char)s1[i]==163 && ((unsigned char)s1[i+1]==172 || (unsigned char)s1[i+1]==161) 
  187. || (unsigned char)s1[i+1]==168 || (unsigned char)s1[i+1]==169 || (unsigned char)s1[i+1]==186
  188. || (unsigned char)s1[i+1]==187 || (unsigned char)s1[i+1]==191))) // 
  189. i=i+2; // 假定没有半个汉字
  190. if (i==0)
  191. i=i+2;
  192. if (!(ch==161 && (unsigned char)s1[1]==161)) // 不处理中文空格
  193. s2+=s1.Left(i) + Separator; // 其他的非汉字双字节字符可能连续输出
  194. s1=s1.Mid(i);
  195. continue;
  196. }
  197. }
  199. // 以下处理汉字串
  201. i=2;
  202. dd=s1.GetLength();
  203. while(i<dd && (unsigned char)s1[i]>=176) 
  204. // while(i<dd && (unsigned char)s1[i]>=128 && (unsigned char)s1[i]!=161)
  205. i+=2;
  207. s2+=SegmentHzStrMP(s1.Left(i));
  208. s1=s1.Mid(i);
  209. }
  210. /////////////////////////////////////////////////////
  211. // 以下程序段用于将表示时间的单位合并成一个分词单位
  213. int TmpPos;
  214. const char * p;
  215. CString s2_part_1;
  217. if (s2.Find("  年/")>=0) {
  218. TmpPos=s2.Find("  年/");
  219. s2_part_1=s2.Mid(0,TmpPos);
  220. p=(LPCTSTR) s2_part_1;
  221. p=p+TmpPos-2;
  222. if (p[0]=='1'||p[0]=='2'||p[0]=='3'||p[0]=='4'||p[0]=='5'||p[0]=='6'||p[0]=='7'||p[0]=='8'||p[0]=='9'||p[0]=='0') {
  223. s2_part_1=s2_part_1.Mid(0,TmpPos-1);
  224. s2=s2_part_1+s2.Mid(TmpPos+2);
  225. }
  226. }
  228. if (s2.Find("  月/")>=0) {
  229. TmpPos=s2.Find("  月/");
  230. s2_part_1=s2.Mid(0,TmpPos);
  231. p=(LPCTSTR) s2_part_1;
  232. p=p+TmpPos-2;
  233. if (p[0]=='1'||p[0]=='2'||p[0]=='3'||p[0]=='4'||p[0]=='5'||p[0]=='6'||p[0]=='7'||p[0]=='8'||p[0]=='9'||p[0]=='0') {
  234. s2_part_1=s2_part_1.Mid(0,TmpPos-1);
  235. s2=s2_part_1+s2.Mid(TmpPos+2);
  236. }
  237. }
  239. if (s2.Find("  日/")>=0) {
  240. TmpPos=s2.Find("  日/");
  241. s2_part_1=s2.Mid(0,TmpPos);
  242. p=(LPCTSTR) s2_part_1;
  243. p=p+TmpPos-2;
  244. if (p[0]=='1'||p[0]=='2'||p[0]=='3'||p[0]=='4'||p[0]=='5'||p[0]=='6'||p[0]=='7'||p[0]=='8'||p[0]=='9'||p[0]=='0') {
  245. s2_part_1=s2_part_1.Mid(0,TmpPos-1);
  246. s2=s2_part_1+s2.Mid(TmpPos+2);
  247. }
  248. }
  250. ////////    合并时间单位程序段结束
  251. ///////////////////////////////////////////////
  253. return s2;
  254. }
  256. void SegmentAFileMP (CString FileName)
  257. {  // 最大概率法分词程序：对文件进行分词处理
  258. if (pDict.myDatabaseName.IsEmpty()) {
  259. AfxMessageBox("您没有打开词库，无法进行分词处理");
  260. if(pDict.OpenMDB()==FALSE)
  261. return;
  262. }
  264. FILE * in, * out;
  265. in = fopen((const char*) FileName,"rt");
  266. if(in==NULL) {
  267. AfxMessageBox("无法打开文件");
  268. return;
  269. }
  270. FileName=ChangeFileName(FileName,"-seg");
  271. out = fopen((const char*) FileName,"wt");
  272. if(out==NULL) {
  273. AfxMessageBox("无法创建文件");
  274. fclose(in);
  275. return;
  276. }
  278. CStdioFile inFile(in),outFile(out);
  280. char s[2048];
  281. CString line;
  283. while(inFile.ReadString(s,2048)) {// 循环读入文件中的每一行
  284. line = s;
  285. line = SegmentSentenceMP(line); // 调用句子分词函数进行分词处理
  286. outFile.WriteString(line); // 将分词结果写入目标文件
  287. }
  288. inFile.Close();
  289. outFile.Close();
  290. }
  292. // 最大概率法分词程序结束