开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 多国语言处理 > 查看源码
Utility.cpp
资源名称：TextClassify.rar　[点击查看]
上传用户：sanxfzhen
上传日期：2014-12-28
资源大小：2324k
文件大小：18k
源码类别：

多国语言处理

开发平台：

Visual C++

Utility.cpp：源码内容
  1. //////////////////////////////////////////////////////////////////////
  2. //ICTCLAS简介：计算所汉语词法分析系统ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)，
  3. //             功能有：中文分词；词性标注；未登录词识别。
  4. //             分词正确率高达97.58%(973专家评测结果)，
  5. //             未登录词识别召回率均高于90%，其中中国人名的识别召回率接近98%;
  6. //             处理速度为31.5Kbytes/s。
  7. //著作权：  Copyright?2002-2005中科院计算所 职务著作权人：张华平 刘群
  8. //遵循协议：自然语言处理开放资源许可证1.0
  9. //Email: zhanghp@software.ict.ac.cn
  10. //Homepage:www.nlp.org.cn;mtgroup.ict.ac.cn
  11. /****************************************************************************
  12.  *
  13.  * Copyright (c) 2000, 2001 
  14.  *     Machine Group
  15.  *     Software Research Lab.
  16.  *     Institute of Computing Tech.
  17.  *     Chinese Academy of Sciences
  18.  *     All rights reserved.
  19.  *
  20.  * This file is the confidential and proprietary property of 
  21.  * Institute of Computing Tech. and the posession or use of this file requires 
  22.  * a written license from the author.
  23.  * Filename: Utility.c
  24.  * Abstract:
  25.  *           Utility functions for Chinese Language Processing
  26.  * Author:   Kevin Zhang 
  27.  *          (zhanghp@software.ict.ac.cn)
  28.  * Date:     2002-1-8
  29.  *
  30.  * Notes:
  31.  *                
  32.  ****************************************************************************/
  33. #include "stdafx.h"
  34. #include "Utility.h"
  35. #include <stdio.h>
  36. #include <string.h>
  37. /*********************************************************************
  38.  *
  39.  *  Func Name  : GB2312_Generate
  40.  *
  41.  *  Description:  Generate the GB2312 List file
  42.  *              
  43.  *
  44.  *  Parameters : sFilename: the file name for the output GB2312 List
  45.  *    
  46.  *  Returns    : bool
  47.  *  Author     : Kevin Zhang  
  48.  *  History    : 
  49.  *              1.create 2002-1-8
  50.  *********************************************************************/
  51. bool GB2312_Generate(char *sFileName)
  52. {
  53.    FILE *fp;
  54.    unsigned int i,j;
  56.    if((fp=fopen(sFileName,"wt"))==NULL)
  57.    return false;//fail while opening the file
  58.    for(i=161;i<255;i++)
  59.    for(j=161;j<255;j++)
  60.    fprintf(fp,"%c%c,%d,%dn",i,j,i,j);
  61.    fclose(fp);
  62.    return true;
  63. }
  64. /*********************************************************************
  65.  *
  66.  *  Func Name  : CC_Generate
  67.  *
  68.  *  Description:  Generate the Chinese Char List file
  69.  *              
  70.  *
  71.  *  Parameters : sFilename: the file name for the output CC List
  72.  *    
  73.  *  Returns    : bool
  74.  *  Author     : Kevin Zhang  
  75.  *  History    : 
  76.  *              1.create 2002-1-8
  77.  *********************************************************************/
  78. bool CC_Generate(char *sFileName)
  79. {
  80.    FILE *fp;
  81.    unsigned int i,j;
  82.    if((fp=fopen(sFileName,"wt"))==NULL)
  83.    return false;//fail while opening the file
  84.    for(i=176;i<255;i++)
  85.    for(j=161;j<255;j++)
  86.    fprintf(fp,"%c%c,%d,%dn",i,j,i,j);
  87.    fclose(fp);
  88.    return true;
  89. }
  90. /*********************************************************************
  91.  *
  92.  *  Func Name  : CC_Find
  93.  *
  94.  *  Description: Find a Chinese sub-string in the Chinese String 
  95.  *              
  96.  *
  97.  *  Parameters :  string:Null-terminated string to search
  98.  *
  99.  *        strCharSet:Null-terminated string to search for
  100.  *
  101.  *  Returns    : char *
  102.  *  Author     : Kevin Zhang  
  103.  *  History    : 
  104.  *              1.create 2002-1-8
  105.  *********************************************************************/
  106. char *CC_Find(const char *string, const char *strCharSet)
  107. {
  108.    char *cp=strstr(string,strCharSet);
  109.    if(cp!=NULL&&(cp-string)%2==1)
  110.    {
  111.   return NULL;
  112.    }
  113.    return cp;
  114. }
  115. /*********************************************************************
  116.  *
  117.  *  Func Name  : charType
  118.  *
  119.  *  Description: Judge the type of sChar or (sChar,sChar+1)
  120.  *              
  121.  *
  122.  *  Parameters : sFilename: the file name for the output CC List
  123.  *    
  124.  *  Returns    : int : the type of char
  125.  *  Author     : Kevin Zhang  
  126.  *  History    : 
  127.  *              1.create 2002-1-8
  128.  *********************************************************************/
  129. int charType(unsigned char *sChar)
  130. {
  131.   if(*sChar<128)
  132.   {
  133.  if(strchr("42!,.?()[]{}+=",(int)*sChar))
  134.  return CT_DELIMITER;
  135.  return CT_SINGLE;
  136.   }
  137.   else if(*sChar==162)
  138.   return CT_INDEX;
  139.   else if(*sChar==163&&*(sChar+1)>175&&*(sChar+1)<186)
  140.   return CT_NUM;
  141.   else if(*sChar==163&&(*(sChar+1)>=193&&*(sChar+1)<=218||*(sChar+1)>=225&&*(sChar+1)<=250))
  142.   return CT_LETTER;
  143.   else if(*sChar==161||*sChar==163)
  144.   return CT_DELIMITER;
  145.   else if(*sChar>=176&&*sChar<=247)
  146.       return CT_CHINESE;
  147.   else
  148.       return CT_OTHER;
  149. }
  150. /*********************************************************************
  151.  *
  152.  *  Func Name  : GetCCPrefix
  153.  *
  154.  *  Description: Get the max Prefix string made up of Chinese Char
  155.  *              
  156.  *
  157.  *  Parameters : sSentence: the original sentence which includes Chinese or Non-Chinese char
  158.  *    
  159.  *  Returns    : the end of the sub-sentence
  160.  *  Author     : Kevin Zhang  
  161.  *  History    : 
  162.  *              1.create 2002-1-8
  163.  *********************************************************************/
  164. unsigned int  GetCCPrefix(unsigned char *sSentence)
  165. {
  166.    unsigned int nLen=strlen((const char *)sSentence),nCurPos=0;
  167.    while(nCurPos<nLen&&sSentence[nCurPos]>175&&sSentence[nCurPos]<248)
  168.    {
  169.       nCurPos+=2;//Get next Chinese Char
  170.    }
  171.    return nCurPos;
  172. }
  173. /*********************************************************************
  174.  *
  175.  *  Func Name  : IsAllSingleByte
  176.  *
  177.  *  Description: Judge the string is all made up of Single Byte Char
  178.  *              
  179.  *
  180.  *  Parameters : sSentence: the original sentence which includes Chinese or Non-Chinese char
  181.  *    
  182.  *  Returns    : the end of the sub-sentence
  183.  *  Author     : Kevin Zhang  
  184.  *  History    : 
  185.  *              1.create 2002-1-24
  186.  *********************************************************************/
  187. bool IsAllChinese(unsigned char *sString)
  188. {
  189. unsigned int nLen=strlen((const char *)sString),i=0;
  190. while(i<nLen-1&&sString[i]<248&&sString[i]>175)
  191. {
  192. i+=2;
  193. }
  194. if(i<nLen)
  195. return false;
  196. return true;
  197. }
  198. /*********************************************************************
  199.  *
  200.  *  Func Name  : IsAllNonChinese
  201.  *
  202.  *  Description: Judge the string is all made up of Single Byte Char
  203.  *              
  204.  *
  205.  *  Parameters : sSentence: the original sentence which includes Chinese or Non-Chinese char
  206.  *    
  207.  *  Returns    : the end of the sub-sentence
  208.  *  Author     : Kevin Zhang  
  209.  *  History    : 
  210.  *              1.create 2002-1-24
  211.  *********************************************************************/
  212. bool IsAllNonChinese(unsigned char *sString)
  213. {
  214. unsigned int nLen=strlen((const char *)sString),i=0;
  215. while(i<nLen)
  216. {
  217. if(sString[i]<248&&sString[i]>175)
  218. return false;
  219. if(sString[i]>128)
  220. i+=2;
  221. else
  222. i+=1;
  223. }
  224.     return true;
  225. }
  226. /*********************************************************************
  227.  *
  228.  *  Func Name  : IsAllSingleByte
  229.  *
  230.  *  Description: Judge the string is all made up of Single Byte Char
  231.  *              
  232.  *
  233.  *  Parameters : sSentence: the original sentence which includes Chinese or Non-Chinese char
  234.  *    
  235.  *  Returns    : the end of the sub-sentence
  236.  *  Author     : Kevin Zhang  
  237.  *  History    : 
  238.  *              1.create 2002-1-24
  239.  *********************************************************************/
  240. bool IsAllSingleByte(unsigned char *sString)
  241. {
  242. unsigned int nLen=strlen((const char *)sString),i=0;
  243. while(i<nLen&&sString[i]<128)
  244. {
  245. i++;
  246. }
  247. if(i<nLen)
  248. return false;
  249. return true;
  250. }
  251. /*********************************************************************
  252.  *
  253.  *  Func Name  : IsAllNum
  254.  *
  255.  *  Description: Judge the string is all made up of Num Char
  256.  *              
  257.  *
  258.  *  Parameters : sSentence: the original sentence which includes Chinese or Non-Chinese char
  259.  *    
  260.  *  Returns    : the end of the sub-sentence
  261.  *  Author     : Kevin Zhang  
  262.  *  History    : 
  263.  *              1.create 2002-1-24
  264.  *********************************************************************/
  265. bool IsAllNum(unsigned char *sString)
  266. {
  268. unsigned int nLen=strlen((const char *)sString),i=0;
  269. char sChar[3];
  270. sChar[2]=0;
  271. if(i<nLen)//Get prefix such as + -
  272. {
  273. sChar[0]=sString[i++];
  274. if(sChar[0]<0)//Get first char
  275. sChar[1]=sString[i++];
  276. else
  277. sChar[1]=0;
  278. if(!strstr("±+—-＋",sChar))
  279. {
  280. i=0;
  281. }
  282. }
  283. while(i<nLen-1&&sString[i]==163&&sString[i+1]>175&&sString[i+1]<186)
  284. {
  285. i+=2;
  286. }
  287. if(i<nLen)//Get middle delimiter such as .
  288. {
  289. sChar[0]=sString[i++];
  290. if(sChar[0]<0)//Get first char
  291. sChar[1]=sString[i++];
  292. else
  293. sChar[1]=0;
  294. if(CC_Find("∶·．／",sChar)||sChar[0]=='.'||sChar[0]=='/')
  295. {//98．1％
  296. while(i<nLen-1&&sString[i]==163&&sString[i+1]>175&&sString[i+1]<186)
  297. {
  298. i+=2;
  299. }
  300. }
  301. else
  302. {
  303. i-=strlen(sChar);
  304. }
  305. }
  307. if(i>=nLen)
  308. return true;
  309. while(i<nLen&&sString[i]>'0'-1&&sString[i]<'9'+1)
  310. {//single byte number char
  311. i+=1;
  312. }
  313. if(i<nLen)//Get middle delimiter such as .
  314. {
  315. sChar[0]=sString[i++];
  316. if(sChar[0]<0)//Get first char
  317. sChar[1]=sString[i++];
  318. else
  319. sChar[1]=0;
  320. if(CC_Find("∶·．／",sChar)||sChar[0]=='.'||sChar[0]=='/')
  321. {//98．1％
  322. while(i<nLen&&sString[i]>'0'-1&&sString[i]<'9'+1)
  323. {
  324. i+=1;
  325. }
  326. }
  327. else
  328. {
  329. i-=strlen(sChar);
  330. }
  331. }
  332. if(i<nLen)//Get middle delimiter such as .
  333. {
  334. sChar[0]=sString[i++];
  335. if(sChar[0]<0)//Get first char
  336. sChar[1]=sString[i++];
  337. else
  338. sChar[1]=0;
  339. if(!CC_Find("百千万亿佰仟％‰",sChar)&&sChar[0]!='%')
  340. i-=strlen(sChar);
  341. }
  342. if(i>=nLen)
  343. return true;
  344. return false;
  345. }
  346. /*********************************************************************
  347.  *
  348.  *  Func Name  : IsAllIndex
  349.  *
  350.  *  Description: Judge the string is all made up of Index Num Char
  351.  *              
  352.  *
  353.  *  Parameters : sSentence: the original sentence which includes Chinese or Non-Chinese char
  354.  *    
  355.  *  Returns    : the end of the sub-sentence
  356.  *  Author     : Kevin Zhang  
  357.  *  History    : 
  358.  *              1.create 2002-1-24
  359.  *********************************************************************/
  360. bool IsAllIndex(unsigned char *sString)
  361. {
  362. unsigned int nLen=strlen((const char *)sString),i=0;
  363. while(i<nLen-1&&sString[i]==162)
  364. {
  365. i+=2;
  366. }
  367. if(i>=nLen)
  368. return true;
  369.  while(i<nLen&&(sString[i]>'A'-1&&sString[i]<'Z'+1)||(sString[i]>'a'-1&&sString[i]<'z'+1))
  370.  {//single byte number char
  371. i+=1;
  372.  }
  374. if(i<nLen)
  375. return false;
  376. return true;
  378. }
  379. /*********************************************************************
  380.  *
  381.  *  Func Name  : IsAllLetter
  382.  *
  383.  *  Description: Judge the string is all made up of Letter Char
  384.  *              
  385.  *
  386.  *  Parameters : sSentence: the original sentence which includes Chinese or Non-Chinese char
  387.  *    
  388.  *  Returns    : the end of the sub-sentence
  389.  *  Author     : Kevin Zhang  
  390.  *  History    : 
  391.  *              1.create 2002-1-24
  392.  *********************************************************************/
  393. bool IsAllLetter(unsigned char *sString)
  394. {
  395. unsigned int nLen=strlen((const char *)sString),i=0;
  396. while(i<nLen-1&&sString[i]==163&&((sString[i+1]>=193&&sString[i+1]<=218)||(sString[i+1]>=225&&sString[i+1]<=250)))
  397. {
  398. i+=2;
  399. }
  400. if(i<nLen)
  401. return false;
  403. return true;
  404. }
  405. /*********************************************************************
  406.  *
  407.  *  Func Name  : IsAllDelimiter
  408.  *
  409.  *  Description: Judge the string is all made up of Delimiter
  410.  *              
  411.  *
  412.  *  Parameters : sSentence: the original sentence which includes Chinese or Non-Chinese char
  413.  *    
  414.  *  Returns    : the end of the sub-sentence
  415.  *  Author     : Kevin Zhang  
  416.  *  History    : 
  417.  *              1.create 2002-1-24
  418.  *********************************************************************/
  419. bool IsAllDelimiter(unsigned char *sString)
  420. {
  421. unsigned int nLen=strlen((const char *)sString),i=0;
  422. while(i<nLen-1&&(sString[i]==161||sString[i]==163))
  423. {
  424. i+=2;
  425. }
  426. if(i<nLen)
  427. return false;
  428. return true;
  429. }
  430. /*********************************************************************
  431.  *
  432.  *  Func Name  : BinarySearch
  433.  *
  434.  *  Description: Lookup the index of nVal in the table nTable which length is nTableLen
  435.  *
  436.  *  Parameters : nPOS: the POS value
  437.  *
  438.  *  Returns    : the index value
  439.  *  Author     : Kevin Zhang  
  440.  *  History    : 
  441.  *              1.create 2002-1-25
  442.  *********************************************************************/
  443. int BinarySearch(int nVal, int *nTable,int nTableLen)
  444. {
  445. int nStart=0,nEnd=nTableLen-1,nMid=(nStart+nEnd)/2;
  446. while(nStart<=nEnd)//Binary search
  447. {
  448.        if(nTable[nMid]==nVal)
  449.    {
  450. return nMid;//find it
  451.    }
  452.    else if(nTable[nMid]<nVal)
  453.    {
  454.    nStart=nMid+1;
  455.    }
  456.    else
  457.        {
  458.    nEnd=nMid-1;
  459.    }
  460.    nMid=(nStart+nEnd)/2;
  461. }
  462. return -1;//Can not find it;
  463. }
  464. /*********************************************************************
  465.  *
  466.  *  Func Name  : IsForeign
  467.  *
  468.  *  Description: Decide whether the word is not a Non-fereign word
  469.  *
  470.  *  Parameters : sWord: the word
  471.  *
  472.  *  Returns    : the index value
  473.  *  Author     : Kevin Zhang  
  474.  *  History    : 
  475.  *              1.create 2002-1-26
  476.  *********************************************************************/
  477. bool IsForeign(char *sWord)
  478. {
  479.   int nForeignCount=GetForeignCharCount(sWord),nCharCount=strlen(sWord);
  480.   if(nCharCount>2||nForeignCount>=1*nCharCount/2)
  481.   return true;
  482.   return false;
  483. }
  484. /*********************************************************************
  485.  *
  486.  *  Func Name  : IsAllForeign
  487.  *
  488.  *  Description: Decide whether the word is not a Non-fereign word
  489.  *
  490.  *  Parameters : sWord: the word
  491.  *
  492.  *  Returns    : the index value
  493.  *  Author     : Kevin Zhang  
  494.  *  History    : 
  495.  *              1.create 2002-3-25
  496.  *********************************************************************/
  497. bool IsAllForeign(char *sWord)
  498. {
  499.   unsigned int nForeignCount=(unsigned int)GetForeignCharCount(sWord);
  500.   if(2*nForeignCount==strlen(sWord))
  501.   return true;
  502.   return false;
  503. }
  504. /*********************************************************************
  505.  *
  506.  *  Func Name  : IsForeign
  507.  *
  508.  *  Description: Decide whether the word is Chinese Num word
  509.  *
  510.  *  Parameters : sWord: the word
  511.  *
  512.  *  Returns    : the index value
  513.  *  Author     : Kevin Zhang  
  514.  *  History    : 
  515.  *              1.create 2002-1-26
  516.  *********************************************************************/
  517. bool IsAllChineseNum(char *sWord)
  518. {//百分之五点六的人早上八点十八分起床
  519.   unsigned int  k; 
  520.   char tchar[3];
  521.   char ChineseNum[]="零○一二两三四五六七八九十廿百千万亿壹贰叁肆伍陆柒捌玖拾佰仟∶·．／点";//
  522.   char sPrefix[]="几数第上成";
  523.   for(k = 0; k < strlen(sWord); k+=2)
  524.   {
  525.      strncpy(tchar,sWord+k,2) ;
  526.      tchar[2]='';
  527.  if(strncmp(sWord+k,"分之",4)==0)//百分之五
  528.  {
  529. k+=2;
  530. continue;
  531.  }
  533.  if(!CC_Find(ChineseNum, tchar)&&!(k==0&&CC_Find(sPrefix, tchar)))
  534.  return false;
  535.   }
  536.   return true;
  537. }
  538. /*********************************************************************
  539.  *
  540.  *  Func Name  : GetForeignCharCount
  541.  *
  542.  *  Description: 
  543.  *
  544.  *  Parameters : sWord: the word
  545.  *
  546.  *  Returns    : the index value
  547.  *  Author     : Kevin Zhang  
  548.  *  History    : 
  549.  *              1.create 2002-4-4
  550.  *              2.Modify  2002-5-21
  551.  *********************************************************************/
  552. int GetForeignCharCount(char *sWord)
  553. {
  554.   unsigned int nForeignCount,nCount;
  555.   nForeignCount=GetCharCount(TRANS_ENGLISH,sWord);//English char counnts
  556.   nCount=GetCharCount(TRANS_JAPANESE,sWord);//Japan char counnts
  557.   if(nForeignCount<=nCount)
  558. nForeignCount=nCount;
  559.   nCount=GetCharCount(TRANS_RUSSIAN,sWord);//Russian char counnts
  560.   if(nForeignCount<=nCount)
  561. nForeignCount=nCount;
  562.   return nForeignCount;
  563. }
  564. /*********************************************************************
  565.  *
  566.  *  Func Name  : GetCharCount
  567.  *
  568.  *  Description: Get the count of char which is in sWord and in sCharSet
  569.  *
  570.  *  Parameters : sWord: the word
  571.  * 
  572.  *  Returns    : COUNT
  573.  *  Author     : Kevin Zhang  
  574.  *  History    : 
  575.  *              1.create 2002-5-21
  576.  *********************************************************************/
  577. int GetCharCount(char *sCharSet,char *sWord)
  578. {
  579.   unsigned int  k=0; 
  580.   char tchar[3];
  581.   int nCount=0;
  582.   tchar[2]=0;
  583.   while(k < strlen(sWord))
  584.   {
  585.      tchar[0]=sWord[k];
  586.    tchar[1]=0;
  587.  if(sWord[k]<0)
  588.  {
  589.  tchar[1]=sWord[k+1];
  590.  k+=1;
  591.  }
  592.  k+=1;
  593.  if((tchar[0]<0&&CC_Find(sCharSet, tchar))||strchr(sCharSet,tchar[0]))
  594.           nCount++;
  595.   }
  596.   return nCount;
  597. }
  598. /*********************************************************************
  599.  *
  600.  *  Func Name  : GetForeignCharCount
  601.  *
  602.  *  Description: Return the foreign type 
  603.  *
  604.  *  Parameters : sWord: the word
  605.  *
  606.  *  Returns    : the index value
  607.  *  Author     : Kevin Zhang  
  608.  *  History    : 
  609.  *              1.create 2002-4-4
  610.  *              2.Modify  2002-5-21
  611.  *********************************************************************/
  612. int GetForeignType(char *sWord)
  613. {
  614.   unsigned int nForeignCount,nCount,nType=TT_ENGLISH;
  615.   nForeignCount=GetCharCount(TRANS_ENGLISH,sWord);//English char counnts
  616.   nCount=GetCharCount(TRANS_RUSSIAN,sWord);//Russian char counnts
  617.   if(nForeignCount<nCount)
  618.   {
  619.   nForeignCount=nCount;
  620.   nType=TT_RUSSIAN;
  621.   }
  622.   nCount=GetCharCount(TRANS_JAPANESE,sWord);//Japan char counnts
  623.   if(nForeignCount<nCount)
  624.   {
  625.   nForeignCount=nCount;
  626.   nType=TT_JAPANESE;
  627.   }
  628.   return nType;
  629. }
  630. bool PostfixSplit(char *sWord, char *sWordRet, char *sPostfix)
  631. {
  632. char sSinglePostfix[]=POSTFIX_SINGLE;
  633. char sMultiPostfix[][9]=POSTFIX_MUTIPLE;
  634. unsigned int nPostfixLen=0,nWordLen=strlen(sWord);
  635. int i=0;
  637. while(sMultiPostfix[i][0]!=0&&strncmp(sWord+nWordLen-strlen(sMultiPostfix[i]),sMultiPostfix[i],strlen(sMultiPostfix[i]))!=0)
  638. {//Try to get the postfix of an address
  639. i++;
  640. }
  641. strcpy(sPostfix,sMultiPostfix[i]);
  642. nPostfixLen=strlen(sMultiPostfix[i]);//Get the length of place postfix
  644. if(nPostfixLen==0)
  645. {
  646. sPostfix[2]=0;
  647. strncpy(sPostfix,sWord+nWordLen-2,2);
  648. if(CC_Find(sSinglePostfix,sPostfix))
  649. nPostfixLen=2;
  650. }
  652. strncpy(sWordRet,sWord,nWordLen-nPostfixLen);
  653. sWordRet[nWordLen-nPostfixLen]=0;//Get the place name which have erasing the postfix
  654. sPostfix[nPostfixLen]=0;
  655.     return true;
  656. }