开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 多国语言处理 > 查看源码
Utility.cpp
资源名称：ICTCLASV1.2.rar　[点击查看]
上传用户：sunyong76
上传日期：2021-10-03
资源大小：2236k
文件大小：25k
源码类别：

多国语言处理

开发平台：

Java

Utility.cpp：源码内容
  1. //////////////////////////////////////////////////////////////////////
  2. //ICTCLAS简介：计算所汉语词法分析系统ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)，
  3. //             功能有：中文分词；词性标注；未登录词识别。
  4. //             分词正确率高达97.58%(973专家评测结果)，
  5. //             未登录词识别召回率均高于90%，其中中国人名的识别召回率接近98%;
  6. //             处理速度为31.5Kbytes/s。
  7. //著作权：  Copyright?2002-2005中科院计算所 职务著作权人：张华平 刘群
  8. //遵循协议：自然语言处理开放资源许可证1.0
  9. //Email: zhanghp@software.ict.ac.cn
  10. //Homepage:www.nlp.org.cn;mtgroup.ict.ac.cn
  11. /****************************************************************************
  12.  *
  13.  * Copyright (c) 2000, 2001 
  14.  *     Machine Group
  15.  *     Software Research Lab.
  16.  *     Institute of Computing Tech.
  17.  *     Chinese Academy of Sciences
  18.  *     All rights reserved.
  19.  *
  20.  * This file is the confidential and proprietary property of 
  21.  * Institute of Computing Tech. and the posession or use of this file requires 
  22.  * a written license from the author.
  23.  * Filename: Utility.c
  24.  * Abstract:
  25.  *           Utility functions for Chinese Language Processing
  26.  * Author:   Kevin Zhang 
  27.  *          (zhanghp@software.ict.ac.cn)
  28.  * Date:     2002-1-8
  29.  *
  30.  * Notes:
  31.  *                
  32.  ****************************************************************************/
  33. #include "stdafx.h"
  34. #include "Utility.h"
  35. #include <stdio.h>
  36. #include <string.h>
  37. /*********************************************************************
  38.  *
  39.  *  Func Name  : GB2312_Generate
  40.  *
  41.  *  Description:  Generate the GB2312 List file
  42.  *              
  43.  *
  44.  *  Parameters : sFilename: the file name for the output GB2312 List
  45.  *    
  46.  *  Returns    : bool
  47.  *  Author     : Kevin Zhang  
  48.  *  History    : 
  49.  *              1.create 2002-1-8
  50.  *********************************************************************/
  51. bool GB2312_Generate(char *sFileName)
  52. {
  53.    FILE *fp;
  54.    unsigned int i,j;
  56.    if((fp=fopen(sFileName,"wt"))==NULL)
  57.    return false;//fail while opening the file
  58.    for(i=161;i<255;i++)
  59.    for(j=161;j<255;j++)
  60.    fprintf(fp,"%c%c,%d,%dn",i,j,i,j);
  61.    fclose(fp);
  62.    return true;
  63. }
  64. /*********************************************************************
  65.  *
  66.  *  Func Name  : CC_Generate
  67.  *
  68.  *  Description:  Generate the Chinese Char List file
  69.  *              
  70.  *
  71.  *  Parameters : sFilename: the file name for the output CC List
  72.  *    
  73.  *  Returns    : bool
  74.  *  Author     : Kevin Zhang  
  75.  *  History    : 
  76.  *              1.create 2002-1-8
  77.  *********************************************************************/
  78. bool CC_Generate(char *sFileName)
  79. {
  80.    FILE *fp;
  81.    unsigned int i,j;
  82.    if((fp=fopen(sFileName,"wt"))==NULL)
  83.    return false;//fail while opening the file
  84.    for(i=176;i<255;i++)
  85.    for(j=161;j<255;j++)
  86.    fprintf(fp,"%c%c,%d,%dn",i,j,i,j);
  87.    fclose(fp);
  88.    return true;
  89. }
  90. /*********************************************************************
  91.  *
  92.  *  Func Name  : CC_Find
  93.  *
  94.  *  Description: Find a Chinese sub-string in the Chinese String 
  95.  *              
  96.  *
  97.  *  Parameters :  string:Null-terminated string to search
  98.  *
  99.  *        strCharSet:Null-terminated string to search for
  100.  *
  101.  *  Returns    : char *
  102.  *  Author     : Kevin Zhang  
  103.  *  History    : 
  104.  *              1.create 2002-1-8
  105.  *********************************************************************/
  106. char *CC_Find(const char *string, const char *strCharSet)
  107. {
  108. /*----Added By huangjin@ict.ac.cn 2006-9-13----*/
  109. if(!string||!strCharSet)
  110. return NULL;
  111. /*---------------------------------------------*/
  113.    char *cp=strstr(string,strCharSet);
  114.    if(cp!=NULL&&(cp-string)%2==1)
  115.    {
  116.   return NULL;
  117.    }
  118.    return cp;
  119. }
  120. /*********************************************************************
  121.  *
  122.  *  Func Name  : charType
  123.  *
  124.  *  Description: Judge the type of sChar or (sChar,sChar+1)
  125.  *              
  126.  *
  127.  *  Parameters : sFilename: the file name for the output CC List
  128.  *    
  129.  *  Returns    : int : the type of char
  130.  *  Author     : Kevin Zhang  
  131.  *  History    : 
  132.  *              1.create 2002-1-8
  133.  *********************************************************************/
  134. int charType(unsigned char *sChar)
  135. {
  136.   if(*sChar<128)
  137.   {
  138.   /* 
  139.   * ----- commented by huangjin@ict.ac.cn 2006-5-31 ------ 
  140.   * 
  141.   *  if(strchr("42!,.?()[]{}+=",(int)*sChar))
  142.   *  return CT_DELIMITER;
  143.   *
  144.   */
  145.   /*----Added By huangjin@ict.ac.cn 2006-7-4-----*/
  146.   if(strchr(".,;:?!%(){+}[]/=42'<>",(int)*sChar))  
  147.   return CT_SINGLE_DELIMITER;
  148.   else if(sChar[0]>='0'&&sChar[0]<='9')
  149.    return CT_SINGLE_NUM;
  150.  /*---------------------------------------------*/   
  151.  return CT_SINGLE;
  152.   }
  153.   /*----Added By huangjin@ict.ac.cn 2006-9-13----
  154.   else if(*(sChar+1)<128)//Invalid word
  155.   return CT_OTHER;
  156.   /*---------------------------------------------*/
  157.   else if(*sChar==162)
  158.   return CT_INDEX;
  159.   else if(*sChar==163&&*(sChar+1)>175&&*(sChar+1)<186)
  160.   return CT_NUM;
  161.   else if(*sChar==163&&(*(sChar+1)>=193&&*(sChar+1)<=218||*(sChar+1)>=225&&*(sChar+1)<=250))
  162.   return CT_LETTER;
  163.   else if(*sChar==161||*sChar==163)
  164.   return CT_DELIMITER;
  165.   else if(*sChar>=176&&*sChar<=247)   
  166.   return CT_CHINESE;
  167.   else
  168.       return CT_OTHER;
  169. }
  170. /*********************************************************************
  171.  *
  172.  *  Func Name  : GetCCPrefix
  173.  *
  174.  *  Description: Get the max Prefix string made up of Chinese Char
  175.  *              
  176.  *
  177.  *  Parameters : sSentence: the original sentence which includes Chinese or Non-Chinese char
  178.  *    
  179.  *  Returns    : the end of the sub-sentence
  180.  *  Author     : Kevin Zhang  
  181.  *  History    : 
  182.  *              1.create 2002-1-8
  183.  *********************************************************************/
  184. unsigned int  GetCCPrefix(unsigned char *sSentence)
  185. {
  186.    unsigned int nLen=strlen((const char *)sSentence),nCurPos=0;
  187.    while(nCurPos<nLen&&sSentence[nCurPos]>175&&sSentence[nCurPos]<248)
  188.    {
  189.       nCurPos+=2;//Get next Chinese Char
  190.    }
  191.    return nCurPos;
  192. }
  193. /*********************************************************************
  194.  *
  195.  *  Func Name  : IsAllSingleByte
  196.  *
  197.  *  Description: Judge the string is all made up of Single Byte Char
  198.  *              
  199.  *
  200.  *  Parameters : sSentence: the original sentence which includes Chinese or Non-Chinese char
  201.  *    
  202.  *  Returns    : the end of the sub-sentence
  203.  *  Author     : Kevin Zhang  
  204.  *  History    : 
  205.  *              1.create 2002-1-24
  206.  *********************************************************************/
  207. bool IsAllChinese(unsigned char *sString)
  208. {
  209. unsigned int nLen=strlen((const char *)sString),i=0;
  210. while(i<nLen-1&&sString[i]<248&&sString[i]>175)
  211. {
  212. i+=2;
  213. }
  214. if(i<nLen)
  215. return false;
  216. return true;
  217. }
  218. /*********************************************************************
  219.  *
  220.  *  Func Name  : IsAllNonChinese
  221.  *
  222.  *  Description: Judge the string is all made up of Single Byte Char
  223.  *              
  224.  *
  225.  *  Parameters : sSentence: the original sentence which includes Chinese or Non-Chinese char
  226.  *    
  227.  *  Returns    : the end of the sub-sentence
  228.  *  Author     : Kevin Zhang  
  229.  *  History    : 
  230.  *              1.create 2002-1-24
  231.  *********************************************************************/
  232. bool IsAllNonChinese(unsigned char *sString)
  233. {
  234. unsigned int nLen=strlen((const char *)sString),i=0;
  235. while(i<nLen)
  236. {
  237. if(sString[i]<248&&sString[i]>175)
  238. return false;
  239. if(sString[i]>128)
  240. i+=2;
  241. else
  242. i+=1;
  243. }
  244.     return true;
  245. }
  246. /*********************************************************************
  247.  *
  248.  *  Func Name  : IsAllSingleByte
  249.  *
  250.  *  Description: Judge the string is all made up of Single Byte Char
  251.  *              
  252.  *
  253.  *  Parameters : sSentence: the original sentence which includes Chinese or Non-Chinese char
  254.  *    
  255.  *  Returns    : the end of the sub-sentence
  256.  *  Author     : Kevin Zhang  
  257.  *  History    : 
  258.  *              1.create 2002-1-24
  259.  *********************************************************************/
  260. bool IsAllSingleByte(unsigned char *sString)
  261. {
  262. unsigned int nLen=strlen((const char *)sString),i=0;
  263. while(i<nLen&&sString[i]<128)
  264. {
  265. i++;
  266. }
  267. if(i<nLen)
  268. return false;
  269. return true;
  270. }
  271. /*********************************************************************
  272.  *
  273.  *  Func Name  : IsAllNum
  274.  *
  275.  *  Description: Judge the string is all made up of Num Char
  276.  *              
  277.  *
  278.  *  Parameters : sSentence: the original sentence which includes Chinese or Non-Chinese char
  279.  *    
  280.  *  Returns    : the end of the sub-sentence
  281.  *  Author     : Kevin Zhang  
  282.  *  History    : 
  283.  *              1.create 2002-1-24
  284.  *********************************************************************/
  286. /* 
  287. * ----- commented by huangjin@ict.ac.cn 2006-6-2 ------ 
  288. *
  289. bool IsAllNum(unsigned char *sString)
  290. {
  291. unsigned int nLen=strlen((const char *)sString),i=0;
  292. char sChar[3];
  293. sChar[2]=0;
  294. if(i<nLen)//Get prefix such as + -
  295. {
  296. sChar[0]=sString[i++];
  297. if(sChar[0]<0)//Get first char
  298. sChar[1]=sString[i++];
  299. else
  300. sChar[1]=0;
  301. if(!strstr("±+—-＋",sChar))
  302. {
  303. i=0;
  304. }
  305. }
  306. while(i<nLen-1&&sString[i]==163&&sString[i+1]>175&&sString[i+1]<186)
  307. {
  308. i+=2;
  309. }
  311. if(i<nLen)//Get middle delimiter such as .
  312. {
  313. sChar[0]=sString[i++];
  314. if(sChar[0]<0)//Get first char
  315. sChar[1]=sString[i++];
  316. else
  317. sChar[1]=0;
  318. if(CC_Find("∶·．／",sChar)||sChar[0]=='.'||sChar[0]=='/')
  319. {//98．1％
  320. while(i<nLen-1&&sString[i]==163&&sString[i+1]>175&&sString[i+1]<186)
  321. {
  322. i+=2;
  323. }
  324. }
  325. else
  326. {
  327. i-=strlen(sChar);
  328. }
  329. }
  331. if(i>=nLen)
  332. return true;
  333. while(i<nLen&&sString[i]>'0'-1&&sString[i]<'9'+1)
  334. {//single byte number char
  335. i+=1;
  336. }
  337. if(i<nLen)//Get middle delimiter such as .
  338. {
  339. sChar[0]=sString[i++];
  340. if(sChar[0]<0)//Get first char
  341. sChar[1]=sString[i++];
  342. else
  343. sChar[1]=0;
  344. if(CC_Find("∶·．／",sChar)||sChar[0]=='.'||sChar[0]=='/')
  345. {//98．1％
  346. while(i<nLen&&sString[i]>'0'-1&&sString[i]<'9'+1)
  347. {
  348. i+=1;
  349. }
  350. }
  351. else
  352. {
  353. i-=strlen(sChar);
  354. }
  355. }
  356. if(i<nLen)//Get middle delimiter such as .
  357. {
  358. sChar[0]=sString[i++];
  359. if(sChar[0]<0)//Get first char
  360. sChar[1]=sString[i++];
  361. else
  362. sChar[1]=0;
  363. if(!CC_Find("百千万亿佰仟％‰",sChar)&&sChar[0]!='%')
  364. i-=strlen(sChar);
  365. }
  366. if(i>=nLen)
  367. return true;
  368. return false;
  369. }
  370. *
  371. */
  372. /*----Added By huangjin@ict.ac.cn 2006-6-2----*/
  373. bool IsAllNum(unsigned char *sString)
  374. {
  375. unsigned int nLen=strlen((const char *)sString),i=0;
  376. char sChar[3];
  377. sChar[2]=0;
  378. if(i<nLen)//Get prefix such as + -
  379. {
  380. sChar[0]=sString[i++];
  381. if(sChar[0]<0)//Get first char
  382. sChar[1]=sString[i++];
  383. else
  384. sChar[1]=0;
  386. /* 
  387. * ----- commented by huangjin@ict.ac.cn 2006-7-18 ------ 
  388. *
  389. *  if(!CC_Find("±第—＋",sChar)&&!strchr("+-.",sChar[0]))//在句子中是否可以找到子串
  390. *
  391. */
  393. /*----Added By huangjin@ict.ac.cn 2006-7-18----*/
  394. if(!CC_Find("±第－＋",sChar)&&!strchr("+-.",sChar[0]))//在句子中是否可以找到子串
  395. /*---------------------------------------------*/
  396. {
  397. i=0;
  398. }
  399. else if ( strlen(sChar)==nLen && sChar[0]=='.')
  400. {//只有一个简单的起始符号是不行的
  401. return false;
  402. }
  403. }
  405. bool bMatch=true;
  406. bool bDBC = true;//用来控制要么全是半角要么全是全角
  407. bool bSBC = true;
  409. while( i<nLen && bMatch )
  410. {
  411. bMatch=false;
  412. if(bDBC&&i<nLen-1&&sString[i]==163&&sString[i+1]>175&&sString[i+1]<186 )
  413. {//判断汉字是否为"０ １ ２ ３ ４ ５ ６ ７ ８ ９",需用两个字节判断
  414. bSBC=false;
  415. bMatch=true;
  416. do
  417. {
  418. i+=2;
  419. }while(bDBC&&i<nLen-1&&sString[i]==163&&sString[i+1]>175&&sString[i+1]<186);
  420. }
  421. else if(bSBC&&i<nLen&&sString[i]>'0'-1&&sString[i]<'9'+1)
  422. {//single byte number char
  423. bDBC=false;
  424. bMatch=true;
  425. do
  426. {
  427. i+=1;
  428. }while(bSBC&&i<nLen&&sString[i]>'0'-1&&sString[i]<'9'+1);
  429. }
  431. if(i<nLen&&bMatch)//Get middle delimiter such as .
  432. {
  433. sChar[0]=sString[i++];
  434. if(sChar[0]<0)//Get first char
  435. sChar[1]=sString[i++];
  436. else
  437. sChar[1]=0;
  438. if(!CC_Find("∶·．／",sChar)&&!strchr(":./",sChar[0]))
  439. {//98．1％
  440. i-=strlen(sChar);
  441. break;
  442. }
  443. }
  444. if(i>=nLen&&bMatch)
  445. return true;
  446. }
  448. if(i<nLen)//postfix
  449. {
  450. /* 
  451. * ----- commented by huangjin@ict.ac.cn 2006-7-18 ------ 
  452. *
  453. *  sChar[0]=sString[i++];
  454. * if(sChar[0]<0)//Get first char
  455. * sChar[1]=sString[i++];
  456. * else
  457. * sChar[1]=0;
  458. * if(!CC_Find("百千万亿佰仟％‰",sChar)&&sChar[0]!='%')
  459. * i-=strlen(sChar);
  460. *
  461. */
  462. /*----Added By huangjin@ict.ac.cn 2006-7-18----*/
  463. //可能是多个后缀，比如４２万亿
  464. do
  465. {
  466. sChar[0]=sString[i++];
  467. if(sChar[0]<0)
  468. sChar[1]=sString[i++];
  469. else
  470. sChar[1]=0;
  471. if(CC_Find("％‰",sChar)||sChar[0]=='%')
  472. {
  473. break;
  474. }
  475. else if(CC_Find("百千万亿佰仟兆",sChar))
  476. {
  477. continue;
  478. }
  479. else
  480. {
  481. i-=strlen(sChar);
  482. break;
  483. }
  484. }while(i<nLen);
  485. /*---------------------------------------------*/
  486. }
  487. if(i>=nLen&&bMatch)
  488. return true;
  489. return false;
  490. }
  491. /*---------------------------------------------*/
  492. /*********************************************************************
  493.  *
  494.  *  Func Name  : IsAllIndex
  495.  *
  496.  *  Description: Judge the string is all made up of Index Num Char
  497.  *              
  498.  *
  499.  *  Parameters : sSentence: the original sentence which includes Chinese or Non-Chinese char
  500.  *    
  501.  *  Returns    : the end of the sub-sentence
  502.  *  Author     : Kevin Zhang  
  503.  *  History    : 
  504.  *              1.create 2002-1-24
  505.  *********************************************************************/
  506. bool IsAllIndex(unsigned char *sString)
  507. {
  508. unsigned int nLen=strlen((const char *)sString),i=0;
  509. while(i<nLen-1&&sString[i]==162)
  510. {
  511. i+=2;
  512. }
  513. if(i>=nLen)
  514. return true;
  515.  while(i<nLen&&(sString[i]>'A'-1&&sString[i]<'Z'+1)||(sString[i]>'a'-1&&sString[i]<'z'+1))
  516.  {//single byte number char
  517. i+=1;
  518.  }
  520. if(i<nLen)
  521. return false;
  522. return true;
  524. }
  525. /*********************************************************************
  526.  *
  527.  *  Func Name  : IsAllLetter
  528.  *
  529.  *  Description: Judge the string is all made up of Letter Char
  530.  *              
  531.  *
  532.  *  Parameters : sSentence: the original sentence which includes Chinese or Non-Chinese char
  533.  *    
  534.  *  Returns    : the end of the sub-sentence
  535.  *  Author     : Kevin Zhang  
  536.  *  History    : 
  537.  *              1.create 2002-1-24
  538.  *********************************************************************/
  539. bool IsAllLetter(unsigned char *sString)
  540. {
  541. unsigned int nLen=strlen((const char *)sString),i=0;
  542. while(i<nLen-1&&sString[i]==163&&((sString[i+1]>=193&&sString[i+1]<=218)||(sString[i+1]>=225&&sString[i+1]<=250)))
  543. {
  544. i+=2;
  545. }
  546. if(i<nLen)
  547. return false;
  549. return true;
  550. }
  551. /*********************************************************************
  552.  *
  553.  *  Func Name  : IsAllDelimiter
  554.  *
  555.  *  Description: Judge the string is all made up of Delimiter
  556.  *              
  557.  *
  558.  *  Parameters : sSentence: the original sentence which includes Chinese or Non-Chinese char
  559.  *    
  560.  *  Returns    : the end of the sub-sentence
  561.  *  Author     : Kevin Zhang  
  562.  *  History    : 
  563.  *              1.create 2002-1-24
  564.  *********************************************************************/
  565. bool IsAllDelimiter(unsigned char *sString)
  566. {
  567. unsigned int nLen=strlen((const char *)sString),i=0;
  568. while(i<nLen-1&&(sString[i]==161||sString[i]==163))
  569. {
  570. i+=2;
  571. }
  572. if(i<nLen)
  573. return false;
  574. return true;
  575. }
  576. /*********************************************************************
  577.  *
  578.  *  Func Name  : BinarySearch
  579.  *
  580.  *  Description: Lookup the index of nVal in the table nTable which length is nTableLen
  581.  *
  582.  *  Parameters : nPOS: the POS value
  583.  *
  584.  *  Returns    : the index value
  585.  *  Author     : Kevin Zhang  
  586.  *  History    : 
  587.  *              1.create 2002-1-25
  588.  *********************************************************************/
  589. int BinarySearch(int nVal, int *nTable,int nTableLen)
  590. {
  591. int nStart=0,nEnd=nTableLen-1,nMid=(nStart+nEnd)/2;
  592. while(nStart<=nEnd)//Binary search
  593. {
  594.        if(nTable[nMid]==nVal)
  595.    {
  596. return nMid;//find it
  597.    }
  598.    else if(nTable[nMid]<nVal)
  599.    {
  600.    nStart=nMid+1;
  601.    }
  602.    else
  603.        {
  604.    nEnd=nMid-1;
  605.    }
  606.    nMid=(nStart+nEnd)/2;
  607. }
  608. return -1;//Can not find it;
  609. }
  610. /*********************************************************************
  611.  *
  612.  *  Func Name  : IsForeign
  613.  *
  614.  *  Description: Decide whether the word is not a Non-fereign word
  615.  *
  616.  *  Parameters : sWord: the word
  617.  *
  618.  *  Returns    : the index value
  619.  *  Author     : Kevin Zhang  
  620.  *  History    : 
  621.  *              1.create 2002-1-26
  622.  *********************************************************************/
  623. bool IsForeign(char *sWord)
  624. {
  625.   int nForeignCount=GetForeignCharCount(sWord),nCharCount=strlen(sWord);
  626.   if(nCharCount>2||nForeignCount>=1*nCharCount/2)
  627.   return true;
  628.   return false;
  629. }
  630. /*********************************************************************
  631.  *
  632.  *  Func Name  : IsAllForeign
  633.  *
  634.  *  Description: Decide whether the word is not a Non-fereign word
  635.  *
  636.  *  Parameters : sWord: the word
  637.  *
  638.  *  Returns    : the index value
  639.  *  Author     : Kevin Zhang  
  640.  *  History    : 
  641.  *              1.create 2002-3-25
  642.  *********************************************************************/
  643. bool IsAllForeign(char *sWord)
  644. {
  645.   unsigned int nForeignCount=(unsigned int)GetForeignCharCount(sWord);
  646.   if(2*nForeignCount==strlen(sWord))
  647.   return true;
  648.   return false;
  649. }
  650. /*********************************************************************
  651.  *
  652.  *  Func Name  : IsForeign
  653.  *
  654.  *  Description: Decide whether the word is Chinese Num word
  655.  *
  656.  *  Parameters : sWord: the word
  657.  *
  658.  *  Returns    : the index value
  659.  *  Author     : Kevin Zhang  
  660.  *  History    : 
  661.  *              1.create 2002-1-26
  662.  *********************************************************************/
  663. bool IsAllChineseNum(char *sWord)
  664. {//百分之五点六的人早上八点十八分起床
  665.   unsigned int  k; 
  666.   char tchar[3];
  667.   /* 
  668.   * ----- commented by huangjin@ict.ac.cn 2006-7-21 ------ 
  669.   *
  670.   * char ChineseNum[]="零○一二两三四五六七八九十廿百千万亿壹贰叁肆伍陆柒捌玖拾佰仟∶·．／点";//
  671.   *
  672.   */
  673.   /*----Added By huangjin@ict.ac.cn 2006-7-21----*/
  674.   char ChineseNum[]="零○〇一二两三四五六七八九十廿百千万亿壹贰叁肆伍陆柒捌玖拾佰仟∶·．／点";//
  675.   /*---------------------------------------------*/
  676.   
  677.   char sPrefix[]="几数第上成";
  678.   for(k = 0; k < strlen(sWord); k+=2)
  679.   {
  680.      strncpy(tchar,sWord+k,2) ;
  681.      tchar[2]='';
  682.  if(strncmp(sWord+k,"分之",4)==0)//百分之五
  683.  {
  684. k+=2;
  685. continue;
  686.  }
  688.  
  689.  if(!CC_Find(ChineseNum, tchar)&&!(k==0&&CC_Find(sPrefix, tchar)))   
  690.  return false;
  691.   }
  692.   /*----Added By huangjin@ict.ac.cn 2006-7-18----*/
  693.   //这里需要说明的是，按上述规则判断的数字有可能是有错误的，比如说
  694.   //本周遇上一道难题 --> 上一 被判断为数词
  695.   //这些前缀的组合是有规律的,例如"上"和"成"应该跟"百千万亿佰仟"
  696.   if(strlen(sWord)>=4)
  697.   {
  698.    strncpy(tchar,sWord,2) ;
  699.    tchar[2]='';
  700.    if(CC_Find("上成", tchar))
  701.    {
  702.    strncpy(tchar,sWord+2,2) ;
  703.    tchar[2]='';
  704.    if(!CC_Find("百千万亿佰仟",tchar))
  705.    {
  706.    return false;
  707.    }
  708.    }
  710.    /*----Added By huangjin@ict.ac.cn 2006-9-17----*/
  711.    if(GetCharCount("∶·．／点", sWord)*2==(int)strlen(sWord))// such as ··
  712.    return false;
  713.    /*---------------------------------------------*/
  714.   }
  715.   /*---------------------------------------------*/
  717.   
  718.   return true;
  719. }
  720. /*********************************************************************
  721.  *
  722.  *  Func Name  : GetForeignCharCount
  723.  *
  724.  *  Description: 
  725.  *
  726.  *  Parameters : sWord: the word
  727.  *
  728.  *  Returns    : the index value
  729.  *  Author     : Kevin Zhang  
  730.  *  History    : 
  731.  *              1.create 2002-4-4
  732.  *              2.Modify  2002-5-21
  733.  *********************************************************************/
  734. int GetForeignCharCount(char *sWord)
  735. {
  736.   unsigned int nForeignCount,nCount;
  737.   nForeignCount=GetCharCount(TRANS_ENGLISH,sWord);//English char counnts
  738.   nCount=GetCharCount(TRANS_JAPANESE,sWord);//Japan char counnts
  739.   if(nForeignCount<=nCount)
  740. nForeignCount=nCount;
  741.   nCount=GetCharCount(TRANS_RUSSIAN,sWord);//Russian char counnts
  742.   if(nForeignCount<=nCount)
  743. nForeignCount=nCount;
  744.   return nForeignCount;
  745. }
  746. /*********************************************************************
  747.  *
  748.  *  Func Name  : GetCharCount
  749.  *
  750.  *  Description: Get the count of char which is in sWord and in sCharSet
  751.  *
  752.  *  Parameters : sWord: the word
  753.  * 
  754.  *  Returns    : COUNT
  755.  *  Author     : Kevin Zhang  
  756.  *  History    : 
  757.  *              1.create 2002-5-21
  758.  *********************************************************************/
  759. int GetCharCount(char *sCharSet,char *sWord)
  760. {
  761.   unsigned int  k=0; 
  762.   char tchar[3];
  763.   int nCount=0;
  764.   tchar[2]=0;
  765.   while(k < strlen(sWord))
  766.   {
  767.      tchar[0]=sWord[k];
  768.    tchar[1]=0;
  769.  if(sWord[k]<0)
  770.  {
  771.  tchar[1]=sWord[k+1];
  772.  k+=1;
  773.  }
  774.  k+=1;
  775.  if((tchar[0]<0&&CC_Find(sCharSet, tchar))||strchr(sCharSet,tchar[0]))
  776.           nCount++;
  777.   }
  778.   return nCount;
  779. }
  780. /*********************************************************************
  781.  *
  782.  *  Func Name  : GetForeignCharCount
  783.  *
  784.  *  Description: Return the foreign type 
  785.  *
  786.  *  Parameters : sWord: the word
  787.  *
  788.  *  Returns    : the index value
  789.  *  Author     : Kevin Zhang  
  790.  *  History    : 
  791.  *              1.create 2002-4-4
  792.  *              2.Modify  2002-5-21
  793.  *********************************************************************/
  794. int GetForeignType(char *sWord)
  795. {
  796.   unsigned int nForeignCount,nCount,nType=TT_ENGLISH;
  797.   nForeignCount=GetCharCount(TRANS_ENGLISH,sWord);//English char counnts
  798.   nCount=GetCharCount(TRANS_RUSSIAN,sWord);//Russian char counnts
  799.   if(nForeignCount<nCount)
  800.   {
  801.   nForeignCount=nCount;
  802.   nType=TT_RUSSIAN;
  803.   }
  804.   nCount=GetCharCount(TRANS_JAPANESE,sWord);//Japan char counnts
  805.   if(nForeignCount<nCount)
  806.   {
  807.   nForeignCount=nCount;
  808.   nType=TT_JAPANESE;
  809.   }
  810.   return nType;
  811. }
  812. bool PostfixSplit(char *sWord, char *sWordRet, char *sPostfix)
  813. {
  814. char sSinglePostfix[]=POSTFIX_SINGLE;
  815. char sMultiPostfix[][9]=POSTFIX_MUTIPLE;
  816. unsigned int nPostfixLen=0,nWordLen=strlen(sWord);
  817. int i=0;
  819. while(sMultiPostfix[i][0]!=0&&strncmp(sWord+nWordLen-strlen(sMultiPostfix[i]),sMultiPostfix[i],strlen(sMultiPostfix[i]))!=0)
  820. {//Try to get the postfix of an address
  821. i++;
  822. }
  823. strcpy(sPostfix,sMultiPostfix[i]);
  824. nPostfixLen=strlen(sMultiPostfix[i]);//Get the length of place postfix
  826. if(nPostfixLen==0)
  827. {
  828. sPostfix[2]=0;
  829. strncpy(sPostfix,sWord+nWordLen-2,2);
  830. if(CC_Find(sSinglePostfix,sPostfix))
  831. nPostfixLen=2;
  832. }
  834. strncpy(sWordRet,sWord,nWordLen-nPostfixLen);
  835. sWordRet[nWordLen-nPostfixLen]=0;//Get the place name which have erasing the postfix
  836. sPostfix[nPostfixLen]=0;
  837.     return true;
  838. }
  840. /*----Added By huangjin@ict.ac.cn 2006-9-12----*/
  841. /*********************************************************************
  842.  *
  843.  *  Func Name  : GetChar
  844.  *
  845.  *  Description: Get the first char from sSentence and store it in sRetChar.
  846.  *  The first char could be SBC case or DBC case.
  847.  *
  848.  *  Parameters : const char *sSentence, char *sRetChar
  849.  *
  850.  *  Returns    : The length of sRetChar, exclude the NULL end, should be 0, 1 or 2
  851.  *  Author     : Huang Jin  
  852.  *  History    : 
  853.  *              1.create 2006-09-12
  854.  *        
  855.  *********************************************************************/
  856. unsigned int GetChar(const char *sSentence, char *sRetChar)
  857. {
  858. unsigned int nLen=0;
  859. if(!sSentence||!sRetChar)
  860. return nLen;
  862. sRetChar[nLen++]=sSentence[0];
  863. if(sRetChar[0]<0)
  864. {
  865. sRetChar[nLen++]=sSentence[1];
  866. }
  867. sRetChar[nLen]='';
  868. return nLen;   
  869. }
  870. /*********************************************************************
  871.  *
  872.  *  Func Name  : IsChineseNumCadidate
  873.  *
  874.  *  Description: Decide wether the word is Chinese Number Cadidate
  875.  *
  876.  *  Parameters : const char *sChar
  877.  *
  878.  *  Returns    : return true if the word is Chinese Number Cadidate, otherwise false
  879.  *  Author     : Huang Jin  
  880.  *  History    : 
  881.  *              1.create 2006-09-12
  882.  *        
  883.  *********************************************************************/
  884. bool IsChineseNumCadidate(const char* sChar)
  885. {
  886. static const char ChineseNumCadidate[] = {"零○〇一二两三四五六七八九十廿卅卌百千万亿兆壹贰叁肆伍陆柒捌玖拾佰仟"};
  887. static const char OtherChineseNumCadidate[] = {"点"};
  888. return (CC_Find(ChineseNumCadidate,sChar) || CC_Find(OtherChineseNumCadidate,sChar));
  889. }
  890. unsigned int ChineseNumRecognize( const char* sNumCadidate, const char* sRestSentence )
  891. {
  892. if(!sNumCadidate)
  893. return -1;
  895. int nEnd = strlen(sNumCadidate);
  896. if(nEnd<3) //at least two words
  897. return -1;
  899.     char sFirstChar[3]="";
  900. char sLastChar[3]="";
  902. GetChar(sNumCadidate,sFirstChar);
  903.     GetChar(sNumCadidate+nEnd-2,sLastChar);
  905. if(CC_Find("分点",sFirstChar))//"分之" and "点" shouldn't be at the beginning
  906. return -1;
  908. if(CC_Find("点",sLastChar))
  909. {
  910. nEnd-=2;
  911. }
  912. /*----Added By huangjin@ict.ac.cn 2006-9-14----*/
  913. else if(nEnd>4&&!strcmp("之",sLastChar))//"分之"shouldn't be at the endning
  914. {
  915. nEnd-=4;
  916. }
  917. /*---------------------------------------------*/
  918. else if(sRestSentence&&*sRestSentence)
  919. {
  920. char sRestChar[3]="";
  921. GetChar(sRestSentence,sRestChar);
  922. if(CC_Find("千",sLastChar))
  923. {
  924. if(CC_Find("米瓦里克卡赫",sRestChar))
  925. {
  926. nEnd-=2;
  927. }
  928. }
  929. else
  930. {//五点十 分
  931. char* pFind=CC_Find(sNumCadidate,"点");
  932. if(pFind&&!strcmp(sRestChar,"分"))
  933. {
  934. nEnd=nEnd-strlen(pFind)+2;
  935. }
  936. }
  937. }
  938. return nEnd;
  939. }
  940. /*---------------------------------------------*/