开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 多国语言处理 > 查看源码
Dictionary.cpp
资源名称：ICTCLASV1.2.rar　[点击查看]
上传用户：sunyong76
上传日期：2021-10-03
资源大小：2236k
文件大小：37k
源码类别：

多国语言处理

开发平台：

Java

Dictionary.cpp：源码内容
  1. //////////////////////////////////////////////////////////////////////
  2. //ICTCLAS简介：计算所汉语词法分析系统ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)，
  3. //             功能有：中文分词；词性标注；未登录词识别。
  4. //             分词正确率高达97.58%(973专家评测结果)，
  5. //             未登录词识别召回率均高于90%，其中中国人名的识别召回率接近98%;
  6. //             处理速度为31.5Kbytes/s。
  7. //著作权：  Copyright?2002-2005中科院计算所 职务著作权人：张华平 刘群
  8. //遵循协议：自然语言处理开放资源许可证1.0
  9. //Email: zhanghp@software.ict.ac.cn
  10. //Homepage:www.nlp.org.cn;mtgroup.ict.ac.cn
  11. /****************************************************************************
  12.  *
  13.  * Copyright (c) 2000, 2001 
  14.  *     Machine Group
  15.  *     Software Research Lab.
  16.  *     Institute of Computing Tech.
  17.  *     Chinese Academy of Sciences
  18.  *     All rights reserved.
  19.  *
  20.  * This file is the confidential and proprietary property of 
  21.  * Institute of Computing Tech. and the posession or use of this file requires 
  22.  * a written license from the author.
  23.  * Filename: Dictionary.cpp
  24.  * Abstract:
  25.  *           implementation of the CDictionary class.
  26.  * Author:   Kevin Zhang 
  27.  *          (zhanghp@software.ict.ac.cn)
  28.  * Date:     2002-1-8
  29.  *
  30.  * Notes:
  31.  *                
  32.  ****************************************************************************/
  33. #include "stdafx.h"
  34. #include "Dictionary.h"
  35. #include "Utility.h"
  36. #include <string.h>
  37. #include <stdlib.h>
  38. #include <malloc.h>
  39. #include <stdio.h>
  40. //////////////////////////////////////////////////////////////////////
  41. // Construction/Destruction
  42. //////////////////////////////////////////////////////////////////////
  44. CDictionary::CDictionary()
  45. {
  46.   //initilization
  47.   memset(m_IndexTable,0,sizeof(m_IndexTable));
  48.   m_pModifyTable=NULL;
  49.   /*----Added By huangjin@ict.ac.cn 2006-9-12----*/
  50.   m_bAvailable=false;
  51.   /*---------------------------------------------*/
  52. }
  54. CDictionary::~CDictionary()
  55. {
  56. /* 
  57. * ----- commented by huangjin@ict.ac.cn 2006-5-29 ------ 
  58. * 
  59. * for(int i=0;i<CC_NUM;i++)
  60. * {//delete the memory of word item array in the dictionary
  61. * for(int j=0;j<m_IndexTable[i].nCount;j++)
  62. * delete m_IndexTable[i].pWordItemHead[j].sWord;
  63. *
  64. * delete [] m_IndexTable[i].pWordItemHead;
  65. *}
  66.     * DelModified();
  67. *
  68. */
  69. /*----Added By huangjin@ict.ac.cn 2006-5-29----*/
  70. ClearDictionary();
  71. /*---------------------------------------------*/
  72. }
  73. /*********************************************************************
  74.  *
  75.  *  Func Name  : Load
  76.  *
  77.  *  Description: Load the dictionary from the file .dct
  78.  *              
  79.  *
  80.  *  Parameters : sFilename: the file name
  81.  *
  82.  *  Returns    : success or fail
  83.  *  Author     : Kevin Zhang  
  84.  *  History    : 
  85.  *              1.create 2002-1-9
  86.  *********************************************************************/
  87. bool CDictionary::Load(char *sFilename,bool bReset)
  88. {
  89.    FILE *fp;
  90.    int i,j,nBuffer[3];
  91.    if((fp=fopen(sFilename,"rb"))==NULL)
  92.    return false;//fail while opening the file
  93.    
  94.    //Release the memory for new files
  95.    /* 
  96. * ----- commented by huangjin@ict.ac.cn 2006-5-29 ------ 
  97. * 
  98. * for(int i=0;i<CC_NUM;i++)
  99. * {//delete the memory of word item array in the dictionary
  100. * for(int j=0;j<m_IndexTable[i].nCount;j++)
  101. * delete m_IndexTable[i].pWordItemHead[j].sWord;
  102. *
  103. * delete [] m_IndexTable[i].pWordItemHead;
  104. *}
  105.     * DelModified();
  106. *
  107. */
  108.    /*----Added By huangjin@ict.ac.cn 2006-5-29----*/
  109. ClearDictionary();
  110. /*---------------------------------------------*/
  111.    for(i=0;i<CC_NUM;i++)
  112.    {
  113.    fread(&(m_IndexTable[i].nCount),sizeof(int),1,fp);
  114.        if(m_IndexTable[i].nCount>0)
  115.      m_IndexTable[i].pWordItemHead=new WORD_ITEM[m_IndexTable[i].nCount];
  116.    else 
  117.    {
  118.    m_IndexTable[i].pWordItemHead=0;
  119.    continue;
  120.    }
  121.        j=0;
  122.    while(j<m_IndexTable[i].nCount)
  123.    {
  124.          fread(nBuffer,sizeof(int),3,fp);
  125.          m_IndexTable[i].pWordItemHead[j].sWord=new char[nBuffer[1]+1];
  126.     if(nBuffer[1])//String length is more than 0
  127.  {
  128.  fread(m_IndexTable[i].pWordItemHead[j].sWord,sizeof(char),nBuffer[1],fp);
  129.  }
  130.  m_IndexTable[i].pWordItemHead[j].sWord[nBuffer[1]]=0;
  131.         if(bReset)//Reset the frequency
  132.           m_IndexTable[i].pWordItemHead[j].nFrequency=0;
  133.  else
  134.               m_IndexTable[i].pWordItemHead[j].nFrequency=nBuffer[0];
  135.  m_IndexTable[i].pWordItemHead[j].nWordLen=nBuffer[1];
  136.  m_IndexTable[i].pWordItemHead[j].nHandle=nBuffer[2];
  137.    j+=1;//Get next item in the original table.
  138.    }
  139.    }
  140.    fclose(fp);
  141.    /*----Added By huangjin@ict.ac.cn 2006-9-12----*/
  142.    m_bAvailable=true;
  143.    /*---------------------------------------------*/
  144.    return true;
  145. }
  146. /*********************************************************************
  147.  *
  148.  *  Func Name  : Save
  149.  *
  150.  *  Description: Save the dictionary as the file .dct
  151.  *              
  152.  *
  153.  *  Parameters : sFilename: the file name
  154.  *
  155.  *  Returns    : success or fail
  156.  *  Author     : Kevin Zhang  
  157.  *  History    : 
  158.  *              1.create 2002-1-9
  159.  *********************************************************************/
  161. bool CDictionary::Save(char *sFilename)
  162. {
  163.    FILE *fp;
  164.    int i,j,nCount,nBuffer[3];
  165.    PWORD_CHAIN pCur;
  166.    if((fp=fopen(sFilename,"wb"))==NULL)
  167.    return false;//fail while opening the file
  168.    for(i=0;i<CC_NUM;i++)
  169.    {
  170.    pCur=NULL;
  171.    if(m_pModifyTable)
  172.    {//Modification made
  173.    nCount=m_IndexTable[i].nCount+m_pModifyTable[i].nCount-m_pModifyTable[i].nDelete;
  174.    fwrite(&nCount,sizeof(int),1,fp);
  175.    pCur=m_pModifyTable[i].pWordItemHead;
  176.    j=0;
  177.    while(pCur!=NULL&&j<m_IndexTable[i].nCount)
  178.    {//Output to the file after comparision
  179.    if(strcmp(pCur->data.sWord,m_IndexTable[i].pWordItemHead[j].sWord)<0||(strcmp(pCur->data.sWord,m_IndexTable[i].pWordItemHead[j].sWord)==0&&pCur->data.nHandle<m_IndexTable[i].pWordItemHead[j].nHandle))
  180.    {//Output the modified data to the file
  181.  nBuffer[0]=pCur->data.nFrequency;
  182.          nBuffer[1]=pCur->data.nWordLen;
  183.      nBuffer[2]=pCur->data.nHandle;
  184.                  fwrite(nBuffer,sizeof(int),3,fp);
  185.  if(nBuffer[1])//String length is more than 0
  186.           fwrite(pCur->data.sWord,sizeof(char),nBuffer[1],fp);
  187.                  pCur=pCur->next;//Get next item in the modify table.
  188.    }
  189.    else if(m_IndexTable[i].pWordItemHead[j].nFrequency==-1)
  190.    {//The item has been removed,so skip it
  191.    j+=1;
  192.    }
  193.    else if(strcmp(pCur->data.sWord,m_IndexTable[i].pWordItemHead[j].sWord)>0||(strcmp(pCur->data.sWord,m_IndexTable[i].pWordItemHead[j].sWord)==0&&pCur->data.nHandle>m_IndexTable[i].pWordItemHead[j].nHandle))
  194.    {//Output the index table data to the file
  195.  nBuffer[0]=m_IndexTable[i].pWordItemHead[j].nFrequency;
  196.  nBuffer[1]=m_IndexTable[i].pWordItemHead[j].nWordLen;
  197.  nBuffer[2]=m_IndexTable[i].pWordItemHead[j].nHandle;
  198.  fwrite(nBuffer,sizeof(int),3,fp);
  199.  if(nBuffer[1])//String length is more than 0
  200.    fwrite(m_IndexTable[i].pWordItemHead[j].sWord,sizeof(char),nBuffer[1],fp);
  201.  j+=1;//Get next item in the original table.
  202.    }
  203.    }
  204.    if(j<m_IndexTable[i].nCount)
  205.    {
  206.    while(j<m_IndexTable[i].nCount)
  207.    {
  208.    if(m_IndexTable[i].pWordItemHead[j].nFrequency!=-1)
  209.    {//Has been deleted
  210.  nBuffer[0]=m_IndexTable[i].pWordItemHead[j].nFrequency;
  211.  nBuffer[1]=m_IndexTable[i].pWordItemHead[j].nWordLen;
  212.  nBuffer[2]=m_IndexTable[i].pWordItemHead[j].nHandle;
  213.  fwrite(nBuffer,sizeof(int),3,fp);
  214.  if(nBuffer[1])//String length is more than 0
  215.    fwrite(m_IndexTable[i].pWordItemHead[j].sWord,sizeof(char),nBuffer[1],fp);
  216.    }
  217.    j+=1;//Get next item in the original table.
  218.    }
  219.    }
  220.    else////No Modification
  221.    while(pCur!=NULL)//Add the rest data to the file.
  222.    {
  223.  nBuffer[0]=pCur->data.nFrequency;
  224.          nBuffer[1]=pCur->data.nWordLen;
  225.      nBuffer[2]=pCur->data.nHandle;
  226.                  fwrite(nBuffer,sizeof(int),3,fp);
  227.  if(nBuffer[1])//String length is more than 0
  228.    fwrite(pCur->data.sWord,sizeof(char),nBuffer[1],fp);
  229.                  pCur=pCur->next;//Get next item in the modify table.
  230.    }
  231.    }
  232.    else
  233.    {
  234.    fwrite(&m_IndexTable[i].nCount,sizeof(int),1,fp);
  235.    //write to the file
  236.            j=0;  
  237.    while(j<m_IndexTable[i].nCount)
  238.    {
  239.  nBuffer[0]=m_IndexTable[i].pWordItemHead[j].nFrequency;
  240.      nBuffer[1]=m_IndexTable[i].pWordItemHead[j].nWordLen;
  241.  nBuffer[2]=m_IndexTable[i].pWordItemHead[j].nHandle;
  242.              fwrite(nBuffer,sizeof(int),3,fp);
  243.  if(nBuffer[1])//String length is more than 0
  244.    fwrite(m_IndexTable[i].pWordItemHead[j].sWord,sizeof(char),nBuffer[1],fp);
  245.    j+=1;//Get next item in the original table.
  246.    }
  247.    }
  248.    }
  249.    fclose(fp);
  250.    return true;
  251. }
  252. /*********************************************************************
  253.  *
  254.  *  Func Name  : AddItem
  255.  *
  256.  *  Description: Add a word item to the dictionary
  257.  *              
  258.  *
  259.  *  Parameters : sWord: the word
  260.  *               nHandle:the handle number
  261.  *               nFrequency: the frequency
  262.  *  Returns    : success or fail
  263.  *  Author     : Kevin Zhang  
  264.  *  History    : 
  265.  *              1.create 2002-1-9
  266.  *********************************************************************/
  268. bool CDictionary::AddItem(char *sWord, int nHandle,int nFrequency)
  269. {
  271.    char sWordAdd[WORD_MAXLENGTH-2];
  272.    int nPos,nFoundPos;
  273.    PWORD_CHAIN pRet,pTemp,pNext;
  274.    int i=0;
  275.    if(!PreProcessing(sWord, &nPos,sWordAdd,true))
  276.    return false;
  277.    if(FindInOriginalTable(nPos,sWordAdd,nHandle,&nFoundPos))
  278.    {//The word exists in the original table, so add the frequency
  279.     //Operation in the index table and its items 
  280.        if(m_IndexTable[nPos].pWordItemHead[nFoundPos].nFrequency==-1)
  281.    {//The word item has been removed
  282.       m_IndexTable[nPos].pWordItemHead[nFoundPos].nFrequency=nFrequency;
  283.         if(!m_pModifyTable)//Not prepare the buffer
  284.   {
  285.    m_pModifyTable=new MODIFY_TABLE[CC_NUM];
  286.    memset(m_pModifyTable,0,CC_NUM*sizeof(MODIFY_TABLE));
  287.   }
  288.   m_pModifyTable[nPos].nDelete-=1;
  289.    }
  290.    else
  291.   m_IndexTable[nPos].pWordItemHead[nFoundPos].nFrequency+=nFrequency;
  292.    return true;
  293.    }
  295.    //The items not exists in the index table.
  296.    //As following, we have to find the item whether exists in the modify data region
  297.    //If exists, change the frequency .or else add a item
  298.    if(!m_pModifyTable)//Not prepare the buffer
  299.    {
  300.    m_pModifyTable=new MODIFY_TABLE[CC_NUM];
  301.    memset(m_pModifyTable,0,CC_NUM*sizeof(MODIFY_TABLE));
  302.    }
  303.    if(FindInModifyTable(nPos,sWordAdd,nHandle,&pRet))
  304.    {
  305.    if(pRet!=NULL)
  306.    pRet=pRet->next;
  307.    else
  308.    pRet=m_pModifyTable[nPos].pWordItemHead;
  309.    pRet->data.nFrequency+=nFrequency;
  310.    return true;
  311.    }
  312.    //find the proper position to add the word to the modify data table and link
  313.    pTemp=new WORD_CHAIN;//Allocate the word chain node
  314.    if(pTemp==NULL)//Allocate memory failure
  315.    return false;
  316.    memset(pTemp,0,sizeof(WORD_CHAIN));//init it with 0
  317.    pTemp->data.nHandle=nHandle;//store the handle 
  318.    pTemp->data.nWordLen=strlen(sWordAdd);
  319.    pTemp->data.sWord=new char[1+pTemp->data.nWordLen];
  320.    strcpy(pTemp->data.sWord,sWordAdd);
  321.    pTemp->data.nFrequency=nFrequency;
  322.    pTemp->next=NULL;   
  323.    if(pRet!=NULL)
  324.    {
  325.    pNext=pRet->next;//Get the next item before the current item
  326.    pRet->next=pTemp;//link the node to the chain
  327.    }
  328.    else
  329.    {
  330.    pNext=m_pModifyTable[nPos].pWordItemHead;
  331.    m_pModifyTable[nPos].pWordItemHead=pTemp;//Set the pAdd as the head node
  332.    }
  333.    pTemp->next=pNext;//Very important!!!! or else it will lose some node
  334.    //Modify in 2001-10-29
  335.    m_pModifyTable[nPos].nCount++;//the number increase by one
  336.    return true;
  337. }
  338. bool CDictionary::DelItem(char *sWord,int nHandle)
  339. {
  340.    char sWordDel[WORD_MAXLENGTH-2];
  341.    int nPos,nFoundPos,nTemp;
  342.    PWORD_CHAIN pPre,pTemp,pCur;
  343.    if(!PreProcessing(sWord, &nPos,sWordDel))
  344.    return false;
  345.    if(FindInOriginalTable(nPos,sWordDel,nHandle,&nFoundPos))
  346.    {
  347.        if(!m_pModifyTable)//Not prepare the buffer
  348.    {
  349.    m_pModifyTable=new MODIFY_TABLE[CC_NUM];
  350.    memset(m_pModifyTable,0,CC_NUM*sizeof(MODIFY_TABLE));
  351.    }
  352.        m_IndexTable[nPos].pWordItemHead[nFoundPos].nFrequency=-1;
  353.    m_pModifyTable[nPos].nDelete+=1;
  354.    if(nHandle==-1)//Remove all items which word is sWordDel,ignoring the handle
  355.    {
  356. /*    nTemp=nFoundPos-1;//Check its previous position
  357.    while(nTemp>0&&strcmp(m_IndexTable[nPos].pWordItemHead[nFoundPos].sWord,sWordDel)==0)
  358.    {
  359. m_IndexTable[nPos].pWordItemHead[nTemp].nFrequency=-1;
  360. m_pModifyTable[nPos].nDelete+=1;
  361. nTemp-=1;
  362.    }
  363. */    nTemp=nFoundPos+1;//Check its previous position
  364.    while(nTemp<m_IndexTable[nPos].nCount&&strcmp(m_IndexTable[nPos].pWordItemHead[nFoundPos].sWord,sWordDel)==0)
  365.    {
  366. m_IndexTable[nPos].pWordItemHead[nTemp].nFrequency=-1;
  367. m_pModifyTable[nPos].nDelete+=1;
  368. nTemp+=1;
  369.    }
  370.    }
  371.    return true;
  372.    }
  373.    //Operation in the modify table and its items 
  374.    if(FindInModifyTable(nPos,sWordDel,nHandle,&pPre))
  375.    {
  376.      pCur=m_pModifyTable[nPos].pWordItemHead;
  377.      if(pPre!=NULL)
  378.  pCur=pPre->next;
  379.          while(pCur!=NULL && _stricmp(pCur->data.sWord,sWordDel)==0&&(pCur->data.nHandle==nHandle||nHandle<0))
  380.  {
  381.  pTemp=pCur;
  382.       if(pPre!=NULL)//pCur is the first item
  383.  pPre->next=pCur->next;
  384.  else
  385.  m_pModifyTable[nPos].pWordItemHead=pCur->next;
  386.  pCur=pCur->next;
  387.  /* 
  388.  * ----- commented by huangjin@ict.ac.cn 2006-5-29 ------ 
  389.  * 
  390.  *  delete pTemp->data.sWord;//Delete the word
  391.  *
  392.  */  
  393.  /*----Added By huangjin@ict.ac.cn 2006-5-29----*/
  394.  delete []pTemp->data.sWord;//Delete the word
  395.  pTemp->data.sWord=NULL;
  396.  /*---------------------------------------------*/
  397.  delete pTemp;
  399.  /*----Added By huangjin@ict.ac.cn 2006-9-18----*/
  400.  m_pModifyTable[nPos].nCount--;
  401.  /*---------------------------------------------*/
  402.  }  
  403.    return true;
  404.    }
  405.    return false;
  406. }
  407. bool CDictionary::DelModified()
  408. {
  409.   PWORD_CHAIN pTemp,pCur;
  410.   if(!m_pModifyTable)
  411.   return true;
  412.   for(int i=0;i<CC_NUM;i++)
  413.   {
  414.       pCur=m_pModifyTable[i].pWordItemHead;
  415.   while(pCur!=NULL)
  416.   {
  417.   pTemp=pCur;
  418.   pCur=pCur->next;
  419.   /* 
  420.   * ----- commented by huangjin@ict.ac.cn 2006-5-29 ------ 
  421.   * 
  422.   *  delete pTemp->data.sWord;//Delete the word
  423.   *
  424.   */  
  425.   /*----Added By huangjin@ict.ac.cn 2006-5-29----*/
  426.   delete []pTemp->data.sWord;//Delete the word
  427.   pTemp->data.sWord=NULL;
  428.   /*---------------------------------------------*/
  429.   delete pTemp;
  430.   }
  431.   }
  432.   delete [] m_pModifyTable;
  433.   m_pModifyTable=NULL;
  434.   return true;
  435. }
  436. bool CDictionary::IsExist(char *sWord,  int nHandle)
  437. {
  438.    char sWordFind[WORD_MAXLENGTH-2];
  439.    int nPos;
  440.    if(!PreProcessing(sWord, &nPos,sWordFind))
  441.    return false;
  442.    return(FindInOriginalTable(nPos,sWordFind,nHandle)||FindInModifyTable(nPos,sWordFind,nHandle));
  443. }
  444. bool CDictionary::GetHandle(char *sWord,int *pnCount,int *pnHandle,int *pnFrequency)
  445. {
  446.    char sWordGet[WORD_MAXLENGTH-2];
  447.    int nPos,nFoundPos,nTemp;
  448.    PWORD_CHAIN pPre,pCur;
  449.    *pnCount=0;
  450.    if(!PreProcessing(sWord, &nPos,sWordGet))
  451.    return false;
  452.    if(FindInOriginalTable(nPos,sWordGet,-1,&nFoundPos))
  453.    {
  454.        pnHandle[*pnCount]=m_IndexTable[nPos].pWordItemHead[nFoundPos].nHandle;
  455.    pnFrequency[*pnCount]=m_IndexTable[nPos].pWordItemHead[nFoundPos].nFrequency;
  456.    *pnCount+=1;
  457. /*    nTemp=nFoundPos-1;//Check its previous position
  458.    while(nTemp>0&&strcmp(m_IndexTable[nPos].pWordItemHead[nTemp].sWord,sWordGet)==0)
  459.    {
  460.    pnHandle[*pnCount]=m_IndexTable[nPos].pWordItemHead[nTemp].nHandle;
  461.    pnFrequency[*pnCount]=m_IndexTable[nPos].pWordItemHead[nTemp].nFrequency;
  462.    *pnCount+=1;
  463.        nTemp-=1;
  464.    }
  465. */    nTemp=nFoundPos+1;//Check its previous position
  466.    while(nTemp<m_IndexTable[nPos].nCount&&strcmp(m_IndexTable[nPos].pWordItemHead[nTemp].sWord,sWordGet)==0)
  467.    {
  468.    pnHandle[*pnCount]=m_IndexTable[nPos].pWordItemHead[nTemp].nHandle;
  469.    pnFrequency[*pnCount]=m_IndexTable[nPos].pWordItemHead[nTemp].nFrequency;
  470.    *pnCount+=1;
  471.    nTemp+=1;
  472.    }
  473.    return true;
  474.    }
  475.    //Operation in the index table and its items 
  476.    if(FindInModifyTable(nPos,sWordGet,-1,&pPre))
  477.    {
  478.      pCur=m_pModifyTable[nPos].pWordItemHead;
  479.      if(pPre!=NULL)
  480.  pCur=pPre->next;
  481.          while(pCur!=NULL && _stricmp(pCur->data.sWord,sWordGet)==0)
  482.  {
  483.  pnHandle[*pnCount]=pCur->data.nHandle;
  484.  pnFrequency[*pnCount]=pCur->data.nFrequency;
  485.  *pnCount+=1;
  486.    pCur=pCur->next;
  487.  }
  488.    return true;
  489.    }
  490.    return false;
  491. }
  492. /*********************************************************************
  493.  *
  494.  *  Func Name  : FindInOriginalTable
  495.  *
  496.  *  Description: judge the word and handle exist in the inner table and its items
  497.  *              
  498.  *
  499.  *  Parameters : nInnerCode: the inner code of the first CHines char
  500.  *               sWord: the word
  501.  *               nHandle:the handle number
  502.  *               *nPosRet:the position which node is matched
  503.  *
  504.  *  Returns    : success or fail
  505.  *  Author     : Kevin Zhang  
  506.  *  History    : 
  507.  *              1.create 2002-1-9
  508.  *********************************************************************/
  510. bool CDictionary::FindInOriginalTable(int nInnerCode,char *sWord,int nHandle,int *nPosRet)
  511. {
  512. /*----Added By huangjin@ict.ac.cn 2006-9-17----*/
  513. if(nInnerCode<0)
  514. return false;
  515. /*---------------------------------------------*/
  516.     PWORD_ITEM pItems=m_IndexTable[nInnerCode].pWordItemHead;
  517. int nStart=0,nEnd=m_IndexTable[nInnerCode].nCount-1,nMid=(nStart+nEnd)/2,nCount=0,nCmpValue;
  518. while(nStart<=nEnd)//Binary search
  519. {
  520.        nCmpValue=strcmp(pItems[nMid].sWord,sWord);
  521.        if(nCmpValue==0&&(pItems[nMid].nHandle==nHandle||nHandle==-1))
  522.    {
  523.    if(nPosRet)
  524.    {
  525.    if(nHandle==-1)//Not very strict match
  526.    {//Add in 2002-1-28
  527.    nMid-=1;
  528.    while(nMid>=0&&strcmp(pItems[nMid].sWord,sWord)==0)
  529.    //Get the first item which match the current word
  530.    nMid--;
  531.                    if(nMid<0||strcmp(pItems[nMid].sWord,sWord)!=0)
  532.    nMid++;
  533.    }
  534.    /* 
  535. * ----- commented by huangjin@ict.ac.cn 2006-9-12 ------ 
  536. *
  537. * if(nPosRet)
  538. *
  539. */
  540.     *nPosRet=nMid;       
  541. /* 
  542. * ----- commented by huangjin@ict.ac.cn 2006-9-12 ------ 
  543. *
  544. * return true;
  545. *
  546. */    
  547.    }
  548.     /* 
  549. * ----- commented by huangjin@ict.ac.cn 2006-9-12 ------ 
  550. *
  551. * if(nPosRest)
  552. * *nPosRet=nMid;
  553. *
  554.    */         
  555. return true;//find it
  556.    }
  557.    else if(nCmpValue<0||(nCmpValue==0&&pItems[nMid].nHandle<nHandle&&nHandle!=-1))
  558.    {
  559.    nStart=nMid+1;
  560.    }
  561.    else if(nCmpValue>0||(nCmpValue==0&&pItems[nMid].nHandle>nHandle&&nHandle!=-1))
  562.        {
  563.    nEnd=nMid-1;
  564.    }
  565.    nMid=(nStart+nEnd)/2;
  566. }
  567.     if(nPosRet)
  568. {
  569. //Get the previous position
  570. *nPosRet=nMid-1;
  571. }
  572. return false;
  573. }
  575. /*********************************************************************
  576.  *
  577.  *  Func Name  : FindInModifyTable
  578.  *
  579.  *  Description: judge the word and handle exist in the modified table and its items
  580.  *              
  581.  *
  582.  *  Parameters : nInnerCode: the inner code of the first CHines char
  583.  *               sWord: the word
  584.  *               nHandle:the handle number
  585.  *               *pFindRet: the node found
  586.  *
  587.  *  Returns    : success or fail
  588.  *  Author     : Kevin Zhang  
  589.  *  History    : 
  590.  *              1.create 2002-1-9
  591.  *********************************************************************/
  592. bool CDictionary::FindInModifyTable(int nInnerCode,char *sWord,int nHandle,PWORD_CHAIN *pFindRet)
  593. {
  594. /*----Added By huangjin@ict.ac.cn 2006-9-17----*/
  595. if(nInnerCode<0)
  596. return false;
  597. /*---------------------------------------------*/
  598.    PWORD_CHAIN pCur,pPre;
  599.    if(m_pModifyTable==NULL)//empty
  600.    return false;
  601.    pCur=m_pModifyTable[nInnerCode].pWordItemHead;
  602.    pPre=NULL;
  603.    while(pCur!=NULL&&(_stricmp(pCur->data.sWord,sWord)<0||(_stricmp(pCur->data.sWord,sWord)==0&&pCur->data.nHandle<nHandle)))
  604.    //sort the link chain as alphabet
  605.    {
  606.        pPre=pCur;
  607.    pCur=pCur->next;
  608.    }
  609.    if(pFindRet)
  610.      *pFindRet=pPre;
  611.    if(pCur!=NULL && _stricmp(pCur->data.sWord,sWord)==0&&(pCur->data.nHandle==nHandle||nHandle<0))
  612.    {//The node exists, delete the node and return 
  613.    return true;
  614.    }
  615.    return false;
  616. }
  617. /*********************************************************************
  618.  *
  619.  *  Func Name  : GetWordType
  620.  *
  621.  *  Description: Get the type of word
  622.  *              
  623.  *
  624.  *  Parameters : sWord: the word
  626.  *  Returns    : the type
  627.  *  Author     : Kevin Zhang  
  628.  *  History    : 
  629.  *              1.create 2002-1-9
  630.  *********************************************************************/
  631. int CDictionary::GetWordType(char *sWord)
  632. {
  633.    int nType=charType((unsigned char *)sWord),nLen=strlen(sWord);
  634.    if(nLen>0&&nType==CT_CHINESE&&IsAllChinese((unsigned char *)sWord))
  635.    return WT_CHINESE;//Chinese word
  636.    else if(nLen>0&&nType==CT_DELIMITER)
  637.        return WT_DELIMITER;//Delimiter
  638.    else
  639.    return WT_OTHER;//other invalid
  640. }
  641. /*********************************************************************
  642.  *
  643.  *  Func Name  : PreProcessing
  644.  *
  645.  *  Description: Get the type of word
  646.  *              
  647.  *
  648.  *  Parameters : sWord: the word
  650.  *  Returns    : the type
  651.  *  Author     : Kevin Zhang  
  652.  *  History    : 
  653.  *              1.create 2002-1-9
  654.  *********************************************************************/
  655. bool CDictionary::PreProcessing(char *sWord, int *nId, char *sWordRet,bool bAdd)
  656. {
  657.    //Position for the delimeters
  658.    int nType=charType((unsigned char *)sWord),nLen=strlen(sWord);
  659.    int nEnd=nLen-1,nBegin=0;
  660.    if(nLen==0)
  661.    return false;
  662.    while(nEnd>=0&&sWord[nEnd]==' ')
  663. nEnd-=1;
  664.    while(nBegin<=nEnd&&sWord[nBegin]==' ')
  665. nBegin+=1;
  666.    if(nBegin>nEnd)
  667.    return false;
  668.    if(nEnd!=nLen-1||nBegin!=0)
  669.    {
  670.    strncpy(sWord,sWord+nBegin,nEnd-nBegin+1);
  671.    sWord[nEnd-nBegin+1]=0;
  672.    }
  673. /*
  674.    if((bAdd||strlen(sWord)>4)&&IsAllChineseNum(sWord))
  675.    {  //Only convert the Chinese Num to 3755 while 
  676.       //Get the inner code of the first Chinese Char
  677.        strcpy(sWord,"五十八");
  678.    }
  679. */   
  680.    if(nType==CT_CHINESE)//&&IsAllChinese((unsigned char *)sWord)
  681.    {//Chinese word
  682.    *nId=CC_ID(sWord[0],sWord[1]);
  683.    //Get the inner code of the first Chinese Char
  684. strcpy(sWordRet,&sWord[2]);//store the word,not store the first Chinese Char
  685. return true;
  686.    }
  687. /* if(nType==CT_NUM&&IsAllNum((unsigned char *)sWord))
  688.    {
  689.    *nId=3756;
  690.        //Get the inner code of the first Chinese Char
  691.        sWordRet[0]=0;//store the word,not store the first Chinese Char
  692.    return true;
  693.    }
  694. */ if(nType==CT_DELIMITER)
  695.    {//Delimiter
  696.    *nId=3755;
  697.        //Get the inner code of the first Chinese Char
  698.        strcpy(sWordRet,sWord);//store the word,not store the first Chinese Char
  699.    return true;
  700.    }
  701. /*
  702.    if(nType==CT_LETTER&&IsAllLetter((unsigned char *)sWord))
  703.    {
  704.    *nId=3757;
  705.        //Get the inner code of the first Chinese Char
  706.        sWordRet[0]=0;//store the word,not store the first Chinese Char
  707.    return true;
  708.    }
  709.    if(nType==CT_SINGLE&&IsAllSingleByte((unsigned char *)sWord))
  710.    {
  711.    *nId=3758;
  712.        //Get the inner code of the first Chinese Char
  713.        sWordRet[0]=0;//store the word,not store the first Chinese Char
  714.    return true;
  715.    }
  716.    if(nType==CT_INDEX&&IsAllIndex((unsigned char *)sWord))
  717.    {
  718.    *nId=3759;
  719.        //Get the inner code of the first Chinese Char
  720.        sWordRet[0]=0;//store the word,not store the first Chinese Char
  721.    return true;
  722.    }
  723. */
  724.    return false;//other invalid
  725. }
  726. /*********************************************************************
  727.  *
  728.  *  Func Name  : MergePOS
  729.  *
  730.  *  Description: Merge all the POS into nHandle,
  731.  *              just get the word in the dictionary and set its Handle as nHandle
  732.  *              
  733.  *
  734.  *  Parameters : nHandle: the only handle which will be attached to the word
  736.  *  Returns    : the type
  737.  *  Author     : Kevin Zhang  
  738.  *  History    : 
  739.  *              1.create 2002-1-21
  740.  *********************************************************************/
  741. bool CDictionary::MergePOS(int nHandle)
  742. {
  743.     int i,j,nCompare;
  744. char sWordPrev[WORD_MAXLENGTH];
  745. PWORD_CHAIN pPre,pCur,pTemp;
  746.     if(!m_pModifyTable)//Not prepare the buffer
  747.     {
  748.    m_pModifyTable=new MODIFY_TABLE[CC_NUM];
  749.    memset(m_pModifyTable,0,CC_NUM*sizeof(MODIFY_TABLE));
  750.     }
  751. for( i=0;i<CC_NUM;i++)//Operation in the index table
  752. {//delete the memory of word item array in the dictionary
  753. sWordPrev[0]=0;//Set empty
  754. for(j=0;j<m_IndexTable[i].nCount;j++)
  755. {
  756. nCompare=_stricmp(sWordPrev,m_IndexTable[i].pWordItemHead[j].sWord);
  757.             if((j==0||nCompare<0)&&m_IndexTable[i].pWordItemHead[j].nFrequency!=-1)
  758. {//Need to modify its handle
  759.     m_IndexTable[i].pWordItemHead[j].nHandle=nHandle;//Change its handle
  760. strcpy(sWordPrev,m_IndexTable[i].pWordItemHead[j].sWord);//Refresh previous Word
  761. }
  762. else if(nCompare==0&&m_IndexTable[i].pWordItemHead[j].nFrequency!=-1)
  763. {//Need to delete when not delete and same as previous word
  764. m_IndexTable[i].pWordItemHead[j].nFrequency=-1;//Set delete flag
  765. m_pModifyTable[i].nDelete+=1;//Add the number of being deleted
  766. }
  767. }
  768. }
  769. for( i=0;i<CC_NUM;i++)//Operation in the modify table
  770. {
  771.  pPre=NULL;
  772.      pCur=m_pModifyTable[i].pWordItemHead;
  773.  sWordPrev[0]=0;//Set empty
  774.          while(pCur!=NULL)
  775.  {
  776.  if(_stricmp(pCur->data.sWord,sWordPrev)>0)
  777.  {//The new word
  778. pCur->data.nHandle=nHandle;//Chang its handle
  779. strcpy(sWordPrev,pCur->data.sWord);//Set new previous word
  780. pPre=pCur;//New previous pointer
  781. pCur=pCur->next;
  782.  }
  783.  else
  784.  {//The same word as previous,delete it.
  785.  pTemp=pCur;
  786.       if(pPre!=NULL)//pCur is the first item
  787.  pPre->next=pCur->next;
  788.  else
  789.  m_pModifyTable[i].pWordItemHead=pCur->next;
  790.  pCur=pCur->next;
  791.  /* 
  792.  * ----- commented by huangjin@ict.ac.cn 2006-5-29 ------ 
  793.  * 
  794.  *  delete pTemp->data.sWord;//Delete the word
  795.  *
  796.  */  
  797.  /*----Added By huangjin@ict.ac.cn 2006-5-29----*/
  798.  delete []pTemp->data.sWord;//Delete the word
  799.  pTemp->data.sWord=NULL;
  800.  /*---------------------------------------------*/
  801.  delete pTemp;//Delete the item
  802.  }
  803.  }
  804.    }
  805. return true;
  806. }
  807. /*********************************************************************
  808.  *
  809.  *  Func Name  : GetMaxMatch
  810.  *
  811.  *  Description: Get the max match to the word
  812.  *              
  813.  *
  814.  *  Parameters : nHandle: the only handle which will be attached to the word
  816.  *  Returns    : success or fail
  817.  *  Author     : Kevin Zhang  
  818.  *  History    : 
  819.  *              1.create 2002-1-21
  820.  *********************************************************************/
  821. bool CDictionary::GetMaxMatch(char *sWord, char *sWordRet,int *npHandleRet)
  822. {
  823. /* 
  824. * ----- commented by huangjin@ict.ac.cn 2006-6-1 ------ 
  825. *
  826. *  char sWordGet[WORD_MAXLENGTH-2],sFirstChar[3];
  827. *
  828. */
  829. /*----Added By huangjin@ict.ac.cn 2006-6-1----*/
  830. char sWordGet[WORD_MAXLENGTH-2]="",sFirstChar[3]="";
  831. /*---------------------------------------------*/
  833. int nPos,nFoundPos,nTemp;
  834. PWORD_CHAIN pCur;
  835. *npHandleRet=-1;
  836. if(!PreProcessing(sWord, &nPos,sWordGet))
  837. return false;
  838. sWordRet[0]=0;
  839.    /* 
  840. * ----- commented by huangjin@ict.ac.cn 2006-5-31 ------ 
  841. *
  842. *  strncpy(sFirstChar,sWord,strlen(sWord)-strlen(sWordGet));//Get the first char
  843. * sFirstChar[strlen(sWord)-strlen(sWordGet)]=0;//Set the end flag
  844. *
  845. */
  846. /*----Added By huangjin@ict.ac.cn 2006-5-31----*/
  847. if(strlen(sWord)>strlen(sWordGet))
  848. {
  849. strncpy(sFirstChar,sWord,strlen(sWord)-strlen(sWordGet));//Get the first char
  850. sFirstChar[strlen(sWord)-strlen(sWordGet)]=0;//Set the end flag
  851. }
  852. /*---------------------------------------------*/
  853.    
  854. /* 
  855. * ----- commented by huangjin@ict.ac.cn 2006-9-17 ------ 
  856. *
  857. * FindInOriginalTable(nPos,sWordGet,-1,&nFoundPos);
  858. *
  859. */
  860. /*----Added By huangjin@ict.ac.cn 2006-9-17----*/
  861. if(!FindInOriginalTable(nPos,sWordGet,-1,&nFoundPos))
  862. return false;
  863. /*---------------------------------------------*/
  864.    
  865.    nTemp=nFoundPos;//Check its previous position
  866.    if(nFoundPos==-1)
  867. nTemp=0;
  868.    while(nTemp<m_IndexTable[nPos].nCount&&CC_Find(m_IndexTable[nPos].pWordItemHead[nTemp].sWord,sWordGet)!=m_IndexTable[nPos].pWordItemHead[nTemp].sWord)
  869.    {//Get the next
  870.    nTemp+=1;
  871.    }
  872.    if(nTemp<m_IndexTable[nPos].nCount&&CC_Find(m_IndexTable[nPos].pWordItemHead[nTemp].sWord,sWordGet)==m_IndexTable[nPos].pWordItemHead[nTemp].sWord)
  873.    {
  874.    strcpy(sWordRet,sFirstChar);
  875.    strcat(sWordRet,m_IndexTable[nPos].pWordItemHead[nTemp].sWord);
  876.    *npHandleRet=m_IndexTable[nPos].pWordItemHead[nTemp].nHandle;
  877.    return true;
  878.    }//Cannot get the item and retrieve the modified data if exists
  879.     //Operation in the index table and its items 
  880.    if(m_pModifyTable&&m_pModifyTable[nPos].pWordItemHead)//Exists 
  881.    pCur=m_pModifyTable[nPos].pWordItemHead;
  882.    else
  883.    pCur=NULL;
  884.    while(pCur!=NULL&&strcmp(pCur->data.sWord,sWordGet)<=0&&CC_Find(pCur->data.sWord,sWordGet)!=pCur->data.sWord)//
  885.    {
  886.    pCur=pCur->next;
  887.    }
  888.    /* 
  889. * ----- commented by huangjin@ict.ac.cn 2006-9-17 ------ 
  890. *
  891. * if(pCur!=NULL&&CC_Find(pCur->data.sWord,sWordGet)!=pCur->data.sWord)
  892. *
  893. */
  894. /*----Added By huangjin@ict.ac.cn 2006-9-17----*/
  895. if(pCur!=NULL&&CC_Find(pCur->data.sWord,sWordGet)==pCur->data.sWord)
  896. /*---------------------------------------------*/   
  897.    {//Get it
  898.    strcpy(sWordRet,sFirstChar);
  899.    strcat(sWordRet,pCur->data.sWord);
  900.    *npHandleRet=pCur->data.nHandle;
  901.    return true;
  902.    }
  903.    return false;
  904. }
  905. /*********************************************************************
  906.  *
  907.  *  Func Name  : GetPOSValue
  908.  *
  909.  *  Description: Get the POS value according the POS string
  910.  *              
  911.  *
  912.  *  Parameters : 
  914.  *  Returns    : the value
  915.  *  Author     : Kevin Zhang  
  916.  *  History    : 
  917.  *              1.create 2002-1-29
  918.  *********************************************************************/
  919. int CDictionary::GetPOSValue(char *sPOS)
  920. {
  921. int nPOS;
  922. char *sPlusPos,sTemp[4];
  923. if(strlen(sPOS)<3)
  924. {
  925. nPOS=sPOS[0]*256+sPOS[1];
  926. }
  927. else
  928. {
  929. sPlusPos=strchr(sPOS,'+');
  930. strncpy(sTemp,sPOS,sPlusPos-sPOS);
  931. sTemp[sPlusPos-sPOS]=0;
  932.         nPOS=100*GetPOSValue(sTemp);
  933. strncpy(sTemp,sPlusPos+1,4);
  934.         nPOS+=atoi(sTemp);
  935. }
  936. return nPOS;
  937. }
  938. /*********************************************************************
  939.  *
  940.  *  Func Name  : GetPOSString
  941.  *
  942.  *  Description: Get the POS string according the POS value
  943.  *              
  944.  *
  945.  *  Parameters : 
  947.  *  Returns    : success or fail
  948.  *  Author     : Kevin Zhang  
  949.  *  History    : 
  950.  *              1.create 2002-1-29
  951.  *********************************************************************/
  952. bool CDictionary::GetPOSString(int nPOS, char *sPOSRet)
  953. {
  954.     if(nPOS>'a'*25600) 
  955. {
  956. if((nPOS/100)%256!=0)
  957.   sprintf(sPOSRet,"%c%c+%d",nPOS/25600,(nPOS/100)%256,nPOS%100);
  958. else
  959. sprintf(sPOSRet,"%c+%d",nPOS/25600,nPOS%100);
  960. }
  961. else
  962. {
  963.   if(nPOS>256)
  964. sprintf(sPOSRet,"%c%c",nPOS/256,nPOS%256);
  965.   else
  966. sprintf(sPOSRet,"%c",nPOS%256);
  967. }
  968. return true;
  969. }
  971. int CDictionary::GetFrequency(char *sWord, int nHandle)
  972. {
  973.    char sWordFind[WORD_MAXLENGTH-2];
  974.    int nPos,nIndex;
  975.    PWORD_CHAIN pFound;
  976.    if(!PreProcessing(sWord, &nPos,sWordFind))
  977.    return 0;
  978.    if(FindInOriginalTable(nPos,sWordFind,nHandle,&nIndex))
  979.    {
  980. return m_IndexTable[nPos].pWordItemHead[nIndex].nFrequency;
  981.    }
  982.    if(FindInModifyTable(nPos,sWordFind,nHandle,&pFound))
  983.    {
  984.    return pFound->data.nFrequency;
  985.    }
  986.    return 0;
  987. }
  989. bool CDictionary::Output(char *sFilename)
  990. {
  991.    FILE *fp;
  992.    int i,j;
  993.    PWORD_CHAIN pCur;
  994.    char sPrevWord[WORD_MAXLENGTH]="", sCurWord[WORD_MAXLENGTH],sPOS[10];
  995.    if((fp=fopen(sFilename,"wb"))==NULL)
  996.    return false;//fail while opening the file
  997.    if(m_pModifyTable)
  998.    {//Modification made, not to output when modify table exists.
  999.    return false;
  1000.    }   
  1001.    for(i=0;i<CC_NUM;i++)
  1002.    {
  1003.    pCur=NULL;
  1004.        j=0;  
  1005.    while(j<m_IndexTable[i].nCount)
  1006.    {
  1007.  GetPOSString(m_IndexTable[i].pWordItemHead[j].nHandle,sPOS);
  1008.  //Get the POS string
  1009.  sprintf(sCurWord,"%c%c%s",CC_CHAR1(i),CC_CHAR2(i),m_IndexTable[i].pWordItemHead[j].sWord);
  1010.          if(strcmp(sPrevWord,sCurWord)!=0)
  1011.  fprintf(fp,"n%s %s",sCurWord,sPOS);
  1012.  else
  1013.  fprintf(fp," %s",sPOS);
  1014.  strcpy(sPrevWord,sCurWord);
  1015.    j+=1;//Get next item in the original table.
  1016.    }
  1017.    }
  1018.    fclose(fp);
  1019.    return true;
  1020. }
  1021. bool CDictionary::OutputChars(char *sFilename)
  1022. {
  1023.    FILE *fp;
  1024.    int i,j;
  1025.    char sPrevWord[WORD_MAXLENGTH]="", sCurWord[WORD_MAXLENGTH];
  1026.    if((fp=fopen(sFilename,"wb"))==NULL)
  1027.    return false;//fail while opening the file
  1028.    if(m_pModifyTable)
  1029.    {//Modification made, not to output when modify table exists.
  1030.    return false;
  1031.    }   
  1032.    for(i=0;i<CC_NUM;i++)
  1033.    {
  1034.        j=0;  
  1035.    while(j<m_IndexTable[i].nCount)
  1036.    {
  1037.  sprintf(sCurWord,"%c%c%s",CC_CHAR1(i),CC_CHAR2(i),m_IndexTable[i].pWordItemHead[j].sWord);
  1038.          if(strcmp(sPrevWord,sCurWord)!=0&&m_IndexTable[i].pWordItemHead[j].nFrequency>50)//
  1039.  fprintf(fp,"%s",sCurWord);
  1040.  strcpy(sPrevWord,sCurWord);
  1041.    j+=1;//Get next item in the original table.
  1042.    }
  1043.    }
  1044.    fclose(fp);
  1045.    return true;
  1047. }
  1049. bool CDictionary::Merge(CDictionary dict2, int nRatio)
  1050. //Merge dict2 into current dictionary and the frequency ratio from dict2 and current dict is nRatio
  1051. {
  1052.    int i,j,k,nCmpValue;
  1053.    char sWord[WORD_MAXLENGTH];
  1054.    if(m_pModifyTable||dict2.m_pModifyTable)
  1055.    {//Modification made, not to output when modify table exists.
  1056.    return false;
  1057.    }   
  1058.    for(i=0;i<CC_NUM;i++)
  1059.    {
  1060.        j=0; 
  1061.    k=0; 
  1062.    while(j<m_IndexTable[i].nCount&&k<dict2.m_IndexTable[i].nCount)
  1063.    {
  1064.  nCmpValue=strcmp(m_IndexTable[i].pWordItemHead[j].sWord,dict2.m_IndexTable[i].pWordItemHead[k].sWord);
  1065.  if(nCmpValue==0)//Same Words and determine the different handle
  1066.  {
  1067.  if(m_IndexTable[i].pWordItemHead[j].nHandle<dict2.m_IndexTable[i].pWordItemHead[k].nHandle)
  1068. nCmpValue=-1;
  1069.  else if(m_IndexTable[i].pWordItemHead[j].nHandle>dict2.m_IndexTable[i].pWordItemHead[k].nHandle)
  1070. nCmpValue=1;
  1071.  }
  1073.  if(nCmpValue==0)
  1074.  {
  1075.  m_IndexTable[i].pWordItemHead[j].nFrequency=(nRatio*m_IndexTable[i].pWordItemHead[j].nFrequency+dict2.m_IndexTable[i].pWordItemHead[k].nFrequency)/(nRatio+1);
  1076.  j+=1;
  1077.  k+=1;
  1078.  }
  1079.  else if(nCmpValue<0)//Get next word in the current dictionary
  1080.  {
  1081.  m_IndexTable[i].pWordItemHead[j].nFrequency=(nRatio*m_IndexTable[i].pWordItemHead[j].nFrequency)/(nRatio+1);
  1082.  j+=1;
  1083.  }
  1084.  else//Get next word in the second dictionary
  1085.  {
  1086.   if(dict2.m_IndexTable[i].pWordItemHead[k].nFrequency>(nRatio+1)/10)
  1087.   {
  1088.   sprintf(sWord,"%c%c%s",CC_CHAR1(i),CC_CHAR2(i),dict2.m_IndexTable[i].pWordItemHead[k].sWord);
  1089.   AddItem(sWord,dict2.m_IndexTable[i].pWordItemHead[k].nHandle,dict2.m_IndexTable[i].pWordItemHead[k].nFrequency/(nRatio+1));
  1090.   }
  1091.  k+=1;
  1092.  }
  1093.    }
  1094.    while(j<m_IndexTable[i].nCount)//words in current dictionary are left
  1095.    {
  1096.  m_IndexTable[i].pWordItemHead[j].nFrequency=(nRatio*m_IndexTable[i].pWordItemHead[j].nFrequency)/(nRatio+1);
  1097.  j+=1;
  1098.    }
  1099.    while(k<dict2.m_IndexTable[i].nCount)//words in Dict2 are left
  1100.    {
  1101. if(dict2.m_IndexTable[i].pWordItemHead[k].nFrequency>(nRatio+1)/10)
  1102. {
  1103.  sprintf(sWord,"%c%c%s",CC_CHAR1(i),CC_CHAR2(i),dict2.m_IndexTable[i].pWordItemHead[k].sWord);
  1104.  AddItem(sWord,dict2.m_IndexTable[i].pWordItemHead[k].nHandle,dict2.m_IndexTable[i].pWordItemHead[k].nFrequency/(nRatio+1));
  1105. }
  1106.         k+=1;
  1107.    }
  1108.    }
  1109.    return true;
  1110. }
  1111. //Delete word item which 
  1112. //(1)frequency is 0 
  1113. //(2)word is same as following but the POS value is parent set of the following
  1114. //for example "江泽民/n/0" will deleted, because "江泽民/nr/0" is more detail and correct
  1115. bool CDictionary::Optimum()
  1116. {
  1117.    int nPrevPOS,i,j,nPrevFreq;
  1118.    char sPrevWord[WORD_MAXLENGTH],sCurWord[WORD_MAXLENGTH];
  1119.    for(i=0;i<CC_NUM;i++)
  1120.    {
  1121.        j=0;  
  1122.    sPrevWord[0]=0;
  1123.    nPrevPOS=0;
  1124.    nPrevFreq=-1;
  1125.    while(j<m_IndexTable[i].nCount)
  1126.    {
  1127.  sprintf(sCurWord,"%c%c%s",CC_CHAR1(i),CC_CHAR2(i),m_IndexTable[i].pWordItemHead[j].sWord);
  1128.          if(nPrevPOS==30720||nPrevPOS==26368||nPrevPOS==29031||(strcmp(sPrevWord,sCurWord)==0&&nPrevFreq==0&&m_IndexTable[i].pWordItemHead[j].nHandle/256*256==nPrevPOS))
  1129.  {//Delete Previous word item
  1130.   //Delete word with POS 'x','g' 'qg'
  1131. DelItem(sPrevWord,nPrevPOS);
  1132.  }
  1133.  strcpy(sPrevWord,sCurWord);
  1134.  nPrevPOS=m_IndexTable[i].pWordItemHead[j].nHandle;
  1135.  nPrevFreq=m_IndexTable[i].pWordItemHead[j].nFrequency;
  1136.    j+=1;//Get next item in the original table.
  1137.    }
  1138.    }
  1139.    return true;
  1140. }
  1141. /*----Added By huangjin@ict.ac.cn 2006-5-29----*/
  1142. void CDictionary::ClearDictionary()
  1143. {
  1144. /*----Added By huangjin@ict.ac.cn 2006-9-12----*/
  1145.    if(!m_bAvailable)
  1146.    return; //needn't to clear.
  1147.    /*---------------------------------------------*/
  1149. for(int i=0;i<CC_NUM;i++)
  1150. {//delete the memory of word item array in the dictionary
  1151. for(int j=0;j<m_IndexTable[i].nCount;j++)
  1152. {
  1153. delete []m_IndexTable[i].pWordItemHead[j].sWord;
  1154. m_IndexTable[i].pWordItemHead[j].sWord=NULL;
  1155. }
  1157. delete [] m_IndexTable[i].pWordItemHead;
  1158. m_IndexTable[i].pWordItemHead=NULL;
  1159. m_IndexTable[i].nCount=0;
  1160. }
  1161.     DelModified();
  1163. /*----Added By huangjin@ict.ac.cn 2006-9-12----*/
  1164. m_bAvailable=false;
  1165.    /*---------------------------------------------*/
  1166. }
  1167. /*-----------------------------------------------*/