开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Windows编程 > 输入法编程 > 查看源码
CreateLib.cpp
资源名称：JSiemXP2008-11-14.rar　[点击查看]
上传用户：hyb6888
上传日期：2016-01-24
资源大小：5186k
文件大小：13k
源码类别：

输入法编程

开发平台：

Visual C++

CreateLib.cpp：源码内容
  1. // reateLib.cpp: implementation of the CreateLib class.
  2. //
  3. //////////////////////////////////////////////////////////////////////
  5. #include "stdafx.h"
  6. #include "CreateLib.h"
  8. #include "stdio.h"
  9. #include "malloc.h"
  10. char ms[1000];
  12. //////////////////////////////////////////////////////////////////////
  13. // Construction/Destruction
  14. //////////////////////////////////////////////////////////////////////
  16. CreateLib::CreateLib()
  17. {
  18. pChHead=new mynode[20000];
  19. LIBlonEnCh=0;
  20. LIBnum=0;
  21. }
  23. CreateLib::~CreateLib()
  24. {
  25. delete []pChHead;
  27. }
  28. //////////////////////////////////////////////////////////////////
  29. //              建立码表程序部分
  30. //
  31. //外部条件:  需要CA结点结构，
  33. int CreateLib::CreatChiLib(char *CodeSource,char *userdefine,char *ExCodeSource,char *outfname,long Locbase, long LocGoldeNum, long LocGoldeLen)
  34. {
  35. int i; 
  36. long tt;
  37. unsigned long clon=0,lon=0,countAdd;
  38. char ss[1000];
  39. FILE  *fp; 
  40. int hnum ;
  41. tool mytool;
  42. HANDLE  houtfile;
  43. DWORD retbyteNum;
  46. this->Base=Locbase;
  47. this->GoldeLen=LocGoldeLen;
  48. this->GoldeNum=GoldeNum;
  50. if(Base>1000 || GoldeLen>1000 || GoldeNum>1000){
  51.  sprintf(ms,"Base:%d   GoldeLen:%d   GoldeNum:%d",Base,GoldeLen,GoldeNum);
  52.  MessageBox(0,ms,"参数错",0);
  53.  return -1;
  54. }
  56. this->Base=Locbase;
  57. this->GoldeLen=LocGoldeLen;
  58. this->GoldeNum=LocGoldeNum;
  60.    //如遇更大数据可用头三字符确定头结点
  61.    //LocGoldeNum=27时，使用头二个字符本变量为729,头三个19683,但要视变量而定LocGoldeNum
  62.    hnum=Sqrt(LocGoldeNum,3);
  63.    for(i=0;i<hnum+1;i++)//头接点设置
  64.    {
  65.    pChHead[i].Next=NULL;
  66.    pChHead[i].Enstr=NULL;
  67.    pChHead[i].Chistr=NULL;
  68.    }
  71.    //////////////////////////////////////////////////////////
  72.    //先为用户词库、五笔词库、扩展词库
  73.    sprintf(ss,"%s",userdefine);
  74.    fp=fopen(ss, "r");    /*打开附加文件*/ 
  75.    if(fp==NULL){
  76.   sprintf(ss,"CreatChiLib函数装载附加文件失败:n%s",userdefine);
  77.       MessageBox(0,ss,"源文件没找到",0);
  78.   return -1;
  79. }
  81.     //由源文件生成结点。
  82.    if(CreatNode(fp)!=0)//用户词库
  83.    return 0;
  85.    ///////////////////////////////////////////////////////////
  86.    fp=fopen(CodeSource, "r");    /*打开主库文件只读*/ 
  87.    if(fp==NULL){
  88.   sprintf(ss,"CreatChiLib函数装载n%sn文件失败",CodeSource);
  89.       MessageBox(0,ss,"源文件没找到",0);
  90.   return -1;
  91. }
  93.    //由源文件生成结点。
  94.    if(CreatNode(fp)!=0)//主词库
  95.    return 0;
  97.    ///////////////////////////////////////////////////////////
  99. fp=fopen(ExCodeSource, "r");    /*打开扩展文件*/ 
  100.     if(fp==NULL){
  101.    sprintf(ss,"CreatChiLib函数装载n%sn文件失败",ExCodeSource);
  102.        MessageBox(0,ss,"源文件没找到",0);
  103.    return -1;
  104. }
  106.    //由源文件生成结点。
  107.    if(CreatNodeEx(fp,&mytool)!=0)//扩展词库
  108.    return 0;
  110.     /////////////////////////////////////////////////////////////////
  111.     //代码写入文件中;
  112. //由于outfname可能处于映射中，不能用fopen独占打开。
  113. //输出数据占用时间较少可不必进行改进，
  114. //需改进生成结点程序，它占用了80%以上的时间。
  116.     houtfile=CreateFile(outfname,
  117. GENERIC_READ|GENERIC_WRITE,FILE_SHARE_WRITE|FILE_SHARE_READ ,NULL,
  118. OPEN_ALWAYS,FILE_ATTRIBUTE_NORMAL,NULL);
  119. if(houtfile==INVALID_HANDLE_VALUE)
  120. {
  121.     sprintf(ss,"CreatChiLib函数装载n%sn文件失败",outfname);
  122.         MessageBox(0,ss,"输出文件不能打开",0);
  123. return -1;
  124. }
  127. {
  128. long headlon;
  130. headlon=32;
  131. tt=headlon;
  132. WriteFile(houtfile,&tt,4,&retbyteNum,0);        // headlon;
  133.     WriteFile(houtfile,&LIBnum,4,&retbyteNum,0);    // 输出索引个数      IndexNum
  134. tt=1000;
  135. WriteFile(houtfile,&tt,4,&retbyteNum,0);        // NullIndex;
  137. tt=headlon+LIBnum*4+4000;
  138. WriteFile(houtfile,&tt,4,&retbyteNum,0);    //字库Start
  139.     WriteFile(houtfile,&LIBlonEnCh,4,&retbyteNum,0);   //输出字库长度
  141. tt=headlon+LIBnum*4+4000+LIBlonEnCh;
  142. WriteFile(houtfile,&tt,4,&retbyteNum,0);//ExCodeStart
  143. tt=mytool.NodeNum*5;
  144. WriteFile(houtfile,&tt,4,&retbyteNum,0);//ExCodelong
  146. tt=headlon+LIBnum*4+4000+LIBlonEnCh+mytool.NodeNum*5;
  147. WriteFile(houtfile,&tt,4,&retbyteNum,0);//FileLong
  149. }
  152.     //输出索引
  153. countAdd=0;
  154. for(i=0;i<hnum;i++)         
  155. if(pChHead[i].Next!=NULL)
  156. countAdd=writeIndex(&pChHead[i],houtfile,countAdd); 
  158.     //输出空索引1000个
  159. tt=0;
  160. for(i=0;i<1000;i++)  
  161. WriteFile(houtfile,&tt,4,&retbyteNum,0);//FileLong
  164.     //输出字库
  165. for(i=0;i<hnum;i++)         
  166. if(pChHead[i].Next!=NULL)
  167. writeChLib(&pChHead[i],houtfile);  
  170. //输出识别码
  171.     mytool.OutExCode(houtfile);
  173. CloseHandle(houtfile);
  174. return 0;
  175. }
  177. //输出地址
  178. //返回值已计数地址
  179. unsigned long CreateLib::writeIndex(mynode *pHead, HANDLE outfp, unsigned long count)
  180. {
  181. mynode *h;
  182. unsigned long PC;
  183. DWORD retbyteNum;
  185. h=pHead->Next;
  186. while(h!=NULL)
  187. {
  188. PC=count;
  189. WriteFile(outfp,&PC,4,&retbyteNum,0);
  190. count+=h->len;
  191. h=h->Next;
  192. }
  193. return count;
  194. }
  196.  //输出中文字库
  197. CreateLib::writeChLib(mynode *pHead, HANDLE outfp)
  198. {  
  199. mynode *h;
  200. DWORD retbyteNum;
  201. char ss[2000],*p,*pp;
  203.     h=pHead->Next;
  204. while(h!=NULL)   //中文
  205. {
  206. strcpy(ss,h->Enstr);
  207. p=ss;
  208. pp=p;
  209. pp+=strlen(ss)+1;
  210. if(h->Chistr!=NULL)
  211. {
  212. strcpy(pp,h->Chistr);
  213. pp+=strlen(h->Chistr)+1;
  214. }
  215. else
  216. {
  217. strcpy(pp,"");
  218. pp++;
  219. }
  221. if(h->ChistrEx!=NULL)
  222. {
  223. strcpy(pp,h->ChistrEx);
  224. pp+=strlen(h->ChistrEx)+1;
  225. }
  226. else
  227. {
  228. strcpy(pp,"");
  229. pp++;
  230. }
  232. WriteFile(outfp,p,h->len,&retbyteNum,0);
  233. h=h->Next;
  234. }
  235.   return 0;
  236. }
  239. //新接点插入
  240. //返回为2，说明结点重复，直接余去
  241. //返回为1，说明结点被合并。
  242. //返回为0，说明结点成功插入
  243. CreateLib::inertNewdnode(mynode *NP, mynode *pHead)
  244. {
  245. mynode *P;
  246. char *ss, *cc,*rep;//由于拼音之类的重码多，会tg很快大于1000
  247. int ret=0, reptrue,h=0;
  249. NP->len=strlen(NP->Chistr)+strlen(NP->Enstr)+3;
  250. P=pHead;
  251. while(1)//大字库的90%时间主要消耗在这里.
  252. {
  253. h++;
  254.   if(P->Next==NULL)
  255.   break;
  256.   else
  257. if(strcmp(P->Next->Enstr, NP->Enstr)>=0)//如果相等也要后移
  258. break;
  259. else
  260. P=P->Next;
  261. }
  263. //P结束于比它小者，或者后面为空的结点之前。
  265.     //if(strcmp("LKAN",strupr(NP->Enstr))==0)
  266. // MessageBox(0,NP->Enstr,"00",0);
  268. if(P->Next==NULL|| P->Next==0)
  269. {
  270. P->Next=NP;
  271. }
  272. else
  273. {
  274. if(strcmp(P->Next->Enstr, NP->Enstr)==0)//英文相同
  275. {
  276. reptrue=0;
  277. strlen(P->Next->Chistr);
  278.     cc=new char[(strlen(NP->Chistr)+strlen(P->Next->Chistr)+2)];
  280. strcpy(cc,P->Next->Chistr);
  281. rep = strtok(cc, ";"); //判断编码是否重复
  282. while(rep){
  283. if(strcmp(rep,NP->Chistr)==0)
  284. reptrue=1;
  285. rep = strtok(NULL, ";");
  286. }
  288. if(reptrue)  //编码和汉字串相等则直接余
  289. ret=2;
  290. else                       //编码相同则合并编码
  291. {                          //为了简便，汉字串的空间不释放，直接余弃
  292.    ss=new char[(strlen(NP->Chistr)+strlen(P->Next->Chistr)+2)];
  293.    strcpy(ss,P->Next->Chistr);
  294.    strcat(ss,";");
  295.    strcat(ss,NP->Chistr);
  296.    P->Next->Chistr=ss;
  297.    P->Next->len+=strlen(NP->Chistr)+1;//加上新结点的长度
  298.    ret=1;
  299. }
  300. }
  301. else  //英文不同
  302. {
  303. NP->Next=P->Next;
  304. P->Next=NP;
  305. }
  306. }
  307. return ret;
  308. }
  309. //新接点插入
  310. //返回为2，说明结点重复，直接余去
  311. //返回为1，说明结点被合并。
  312. //返回为3，说明结点直拉挂在扩展区
  313. //返回为0，说明结点成功插入
  314. CreateLib::inertNewdnodeEx(mynode *NP, mynode *pHead)
  315. {
  316. mynode *P;
  317. char *ss, *cc,*rep;//由于拼音之类的重码多，会tg很快大于1000
  318. int ret=0, reptrue,h=0,lon;
  320. NP->len=strlen(NP->ChistrEx)+strlen(NP->Enstr)+3;
  322. P=pHead;
  323. while(1)//大字库的90%时间主要消耗在这里.
  324. {
  325. h++;
  326.   if(P->Next==NULL)
  327.   break;
  328.   else
  329. if(strcmp(P->Next->Enstr, NP->Enstr)>=0)//如果相等也要后移
  330. break;
  331. else
  332. P=P->Next;
  333. }
  335. //P结束于比它小者，或者后面为空的结点之前。
  337.     //if(strcmp("LKAN",strupr(NP->Enstr))==0)
  338. // MessageBox(0,NP->Enstr,"00",0);
  340. if(P->Next==NULL|| P->Next==0)
  341. {
  342. P->Next=NP;
  343. }
  344. else
  345. {
  346. if(strcmp(P->Next->Enstr, NP->Enstr)==0)//英文相同
  347. {
  348. reptrue=0;
  349. if(P->Next->ChistrEx!=NULL)
  350. {
  351. //strlen(P->Next->ChistrEx);
  352. lon=strlen(NP->ChistrEx)+strlen(P->Next->ChistrEx)+2;
  353. cc=new char[lon];
  354. strcpy(cc,P->Next->ChistrEx);
  355. }
  356. else
  357. {
  358. lon=strlen(NP->ChistrEx)+2;
  359. cc=new char[(strlen(NP->ChistrEx)+2)];
  360. strcpy(cc,"");
  361. }
  363. rep = strtok(cc, ";"); //判断编码是否重复
  364. while(rep){
  365. if(strcmp(rep,NP->ChistrEx)==0)
  366. reptrue=1;
  367. rep = strtok(NULL, ";");
  368. }
  370. if(reptrue)  //编码和汉字串相等则直接余
  371. ret=2;
  372. else                       //编码相同则合并编码
  373. {                          //为了简便，汉字串的空间不释放，直接余弃
  374. if(P->Next->ChistrEx!=NULL)
  375. {
  376.    ss=new char[lon];
  377.    strcpy(ss,P->Next->ChistrEx);
  378.    strcat(ss,";");
  379.    strcat(ss,NP->ChistrEx);
  380.    P->Next->ChistrEx=ss;
  381.    P->Next->len+=strlen(NP->ChistrEx)+1;//加上新结点的长度
  382.    ret=1;
  383. }
  384. else
  385. {
  386.    ss=new char[lon];
  387.    strcpy(ss,NP->ChistrEx);
  388.    P->Next->ChistrEx=ss;
  389.    P->Next->len+=strlen(NP->ChistrEx)+1;//加上新结点的长度
  390.    if(P->Next->Chistr!=NULL)    //
  391.    P->Next->len--;
  392.    ret=3;
  393. }
  394. }
  395. }
  396. else  //英文不同
  397. {
  398. NP->Next=P->Next;
  399. P->Next=NP;
  400. }
  401. }
  402. return ret;
  403. }
  405. //求平方
  406. unsigned long CreateLib::Sqrt(long num, int p)
  407. {
  408. int i;
  409. unsigned long ret=1;
  411. for(i=0;i<p;i++)
  412. {
  413.    ret=ret*num;
  414. }
  415. return ret;
  416. }
  417. //由指定的编码转换成头接点号。供建立结点时找头结点用
  418. long CreateLib::getheadID(char *ss, long lon)
  419. {
  420. long i,n,ret=0;
  421. char s1[100];
  422. strcpy(s1,ss);
  423. strupr(s1);
  424. n=strlen(ss);
  425. for(i=0;i<lon&&i<n;i++)
  426. {
  427. ret+=(s1[i]-Base)*Sqrt(GoldeNum,lon-1-i);
  428. }
  429. if(ret<0)
  430. MessageBox(0,"getheadID",0,0);
  431.     return ret;
  432. }
  434. //将文件中的原编码形成结点，分发到不同头结点中
  435. // 返回为0表示成功，为1表示失败。
  436. //GoldeNum 为编码长度 GoldeLen为编码数
  438. int CreateLib::CreatNode(FILE  *fp)
  439. {
  440.    int tt;     //tt用于判断文件是否结束
  441.    int t;      //t用于判断结点插入情况
  442.    int count=0,ret=0; 
  443.    int sslon,codelon;
  444.    char ss[1000],code[200];
  445.    char cc[1000];
  446.    mynode  *NP ;
  448.    
  450.    tt=fscanf(fp,"%s %s",code,ss);
  451.    while(tt>-1)
  452.    {
  453.    sslon=strlen(ss);
  454.    codelon=strlen(code);
  455.    if(codelon==0||sslon==0){
  456.    sprintf(cc,"代码:%s n汉字串为:%s n位置:%d ",code,ss,LIBnum);
  457.    MessageBox(0,cc,"代码或字串为空",0);
  458.    ret=1;
  459.    break;
  460.    }
  461.    /*
  462.    if(codelon>GoldeLen){
  463.    sprintf(cc,"代码:%s n汉字串为:%s n位置:%d n GoldeLen指定为：%d",code,ss,LIBnum,GoldeLen);
  464.    MessageBox(0,cc,"代码长度大于GoldeLen中的指定值",0);
  465.    ret=1;
  466.    break;
  467.    }*/
  469.    ht=getheadID(code,3);
  470.    //由头二个字符确定头接点,本变量为2,头三个3
  473.    //*******************准备新结点***************************
  474.    NP=new mynode;//分配新结点
  476.    strupr(code);     //将代码变成大写,否则会发生冲突不同代码计算出相等值;
  477.    NP->Enstr=(char *)malloc(codelon+1);//汉字串
  478.    strcpy(NP->Enstr,code);
  479.  
  480.    NP->Chistr=(char *)malloc( sslon+1);//汉字串
  481.    strcpy(NP->Chistr,ss);
  482.    NP->Next=NULL;
  483.    NP->len=codelon+sslon+2;
  486.      //*******************新结点就序***************************
  487.          //大约占1/5时间
  488.  t=inertNewdnode(NP,&pChHead[ht]);//新接点插入
  490.  if(t==0){
  491.  LIBnum++;                 //统计结点个数
  492.  LIBlonEnCh+=strlen(ss)+strlen(code)+3; //计算下一个代码地址.
  493.  }
  494.  else//为2就不处理直接放弃
  495.  if(t==1) //英文代码相等
  496.  {
  497.  LIBlonEnCh+=strlen(ss)+1;
  498.  }
  500.    tt=fscanf(fp,"%s %s",code,ss);
  501.    }
  503.    fclose(fp);//关闭源文件
  504. return ret;
  505. }
  507. //将文件中的原编码形成结点，分发到不同头结点中
  508. // 返回为0表示成功，为1表示失败。
  509. //GoldeNum 为编码长度 GoldeLen为编码数
  510. //mytool的主要目的是接收扩展识别码
  511. int CreateLib::CreatNodeEx(FILE *fp,tool *mytool)
  512. {
  513.    int tt;     //tt用于判断文件是否结束
  514.    int t;      //t用于判断结点插入情况
  515.    int count=0,ret=0; 
  516.    int sslon,codelon;
  517.    char ss[1000],code[200];
  518.    char cc[1000];
  519.    mynode  *NP ;
  521.    tt=fscanf(fp,"%s %s",code,ss);
  522.    while(tt>-1)
  523.    {
  524.    sslon=strlen(ss);
  525.    codelon=strlen(code);
  526.    if(codelon==0||sslon==0){
  527.    sprintf(cc,"代码:%s n汉字串为:%s n位置:%d ",code,ss,LIBnum);
  528.    MessageBox(0,cc,"代码或字串为空",0);
  529.    ret=1;
  530.    break;
  531.    }
  533.    ht=getheadID(code,3);
  534.    //由头二个字符确定头接点,本变量为2,头三个3
  536.    //*******************准备新结点***************************
  537.    NP=new mynode;    //分配新结点
  539.    strupr(code);     //将代码变成大写,否则会发生冲突不同代码计算出相等值;
  540.    NP->Enstr=(char *)malloc(codelon+1);//汉字串
  541.    strcpy(NP->Enstr,code);
  543.    mytool->InsertStr(code);       //插入识别码库
  544.  
  545.    NP->ChistrEx=(char *)malloc( sslon+1);//汉字串
  546.    strcpy(NP->ChistrEx,ss);
  547.    NP->Next=NULL;
  548.    NP->len=codelon+sslon+2;
  550.    //*******************新结点就序***************************
  551.          //大约占4/5时间
  552. t=inertNewdnodeEx(NP,&pChHead[ht]);//新接点插入
  554.  if(t==0){
  555.  LIBnum++;                 //统计结点个数
  556.  LIBlonEnCh+=strlen(ss)+strlen(code)+3; //计算下一个代码地址.
  557.  }
  558.  else//为2就不处理直接放弃
  559.  {
  560.  if(t==1) //英文代码相等
  561.  {
  562.  LIBlonEnCh+=strlen(ss)+1;
  563.  }
  564.  if(t==3) //直接挂在扩展区
  565.  {
  566.  LIBlonEnCh+=strlen(ss);
  567.  }
  568.  }
  570.    tt=fscanf(fp,"%s %s",code,ss);
  571.    }
  573.    fclose(fp);//关闭源文件
  574. return ret;
  575. }