开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 多国语言处理 > 词法分析 > 查看源码
MyDictionary.cpp
资源名称：Pwswnr.rar　[点击查看]
上传用户：qzyuheng
上传日期：2013-04-28
资源大小：71k
文件大小：11k
源码类别：

词法分析

开发平台：

Visual C++

MyDictionary.cpp：源码内容
  1. #include "stdafx.h"
  2. #include "MyDictionary.h"
  4. #ifdef _DEBUG
  5. #define new DEBUG_NEW
  6. #undef THIS_FILE
  7. static char THIS_FILE[] = __FILE__;
  8. #endif
  10. // # define MaxWordLength 8  // 最大词长为8个字节（即4个汉字）
  11. extern int MaxWordLength;
  13. /////////////////////////////////////////////////////////////////////////////
  14. // CWordTagSet
  16. IMPLEMENT_DYNAMIC(CWordTagSet, CDaoRecordset)
  18. CWordTagSet::CWordTagSet(CDaoDatabase* pdb)
  19. : CDaoRecordset(pdb)
  20. {
  21. //{{AFX_FIELD_INIT(CWordTagSet)
  22. m_wid = 0;
  23. m_pos = _T("");
  24. m_pfreq = 0;
  25. m_pid = 0;
  26. m_word = _T("");
  27. m_wfreq = 0;
  28. m_wid2 = 0;
  29. m_nFields = 7;
  30. //}}AFX_FIELD_INIT
  31. m_nDefaultType = dbOpenSnapshot;
  32. m_WordParam=""; // 给词语参数赋值
  33. m_TagParam="";  // 给词性标记参数赋值
  34. m_nParams = 2;  // 参数个数为2
  35. }
  37. /*
  38. CString CWordTagSet::GetDefaultDBName()
  39. {
  40. return _T("Lexicon.mdb");
  41. }
  43. CString CWordTagSet::GetDefaultSQL()
  44. {
  45. return _T("[poss],[words]");
  46. }
  47. */
  48. void CWordTagSet::DoFieldExchange(CDaoFieldExchange* pFX)
  49. {
  50. //{{AFX_FIELD_MAP(CWordTagSet)
  51. pFX->SetFieldType(CDaoFieldExchange::param);
  52. DFX_Text(pFX,"wordParam",m_WordParam);
  53. DFX_Text(pFX,"tagParam",m_TagParam);
  54. pFX->SetFieldType(CDaoFieldExchange::outputColumn);
  55. DFX_Long(pFX, _T("[poss].[wid]"), m_wid);
  56. DFX_Text(pFX, _T("[pos]"), m_pos);
  57. DFX_Long(pFX, _T("[pfreq]"), m_pfreq);
  58. DFX_Long(pFX, _T("[pid]"), m_pid);
  59. DFX_Text(pFX, _T("[word]"), m_word);
  60. DFX_Long(pFX, _T("[wfreq]"), m_wfreq);
  61. DFX_Long(pFX, _T("[words].[wid]"), m_wid2);
  62. //}}AFX_FIELD_MAP
  63. }
  65. /////////////////////////////////////////////////////////////////////////////
  66. // CWordTagSet diagnostics
  68. #ifdef _DEBUG
  69. void CWordTagSet::AssertValid() const
  70. {
  71. CDaoRecordset::AssertValid();
  72. }
  74. void CWordTagSet::Dump(CDumpContext& dc) const
  75. {
  76. CDaoRecordset::Dump(dc);
  77. }
  78. #endif //_DEBUG
  80. int CWordTagSet::GetFreq(CString w, CString t)
  81. {
  82. // 参量赋值
  83. m_WordParam=w;
  84. m_TagParam=t;
  86. // 设置查询条件
  88. m_strFilter="words.wid=poss.wid AND word=wordParam AND pos=tagParam";
  90. // 执行查询
  92. Requery();
  94. if(GetRecordCount()==0)
  95. return -1;
  96. else
  97. return m_pfreq;  // 返回该词语在这一词性标记下的出现次数
  98. }
  100. int CWordTagSet::GetFreqs(CString w, CObArray &a)
  101. {// 第二个参数是动态数组，存放查询到的标记及其出现次数
  102. m_WordParam=w; // 只给一个参数变量赋值
  104. m_strFilter="words.wid=poss.wid AND word=wordParam";
  106. Requery();
  107. if(GetRecordCount()==0)
  108. return 0;
  109. for(int i=0;i<a.GetSize();i++)
  110. if (a[i])
  111. delete a[i];
  112. a.RemoveAll();
  113. i=0;
  114. CTagFreq * tf;
  115. while(!IsEOF()) {
  116. tf=new CTagFreq(m_pos,m_pfreq);
  117. a.Add(tf);
  118. i++;
  119. MoveNext();
  120. }
  121. return i;
  122. }
  124. /////////////////////////////////////////////////
  125. /////////////////////////////////////////////////
  126. // CMyDictionary类成员函数定义
  128. BOOL CMyDictionary :: OpenMDB()
  129. {//打开词语表，词性标记表
  131. if (myDatabaseName.IsEmpty()) {
  132. CFileDialog dlg(TRUE, "mdb", "*.mdb",OFN_OVERWRITEPROMPT);
  133. if (dlg.DoModal()!=IDOK) { 
  134. AfxMessageBox("您没有打开词库");
  135. return FALSE;
  136. }
  137.       myDatabaseName = dlg.GetPathName();
  138.     }
  140. if(pDatabase)
  141. return FALSE;
  143. pDatabase=new CDaoDatabase;
  144. pDatabase->Open(myDatabaseName);
  146. pWordsDef=new CDaoTableDef(pDatabase);
  147. pWordsDef->Open("words"); // 打开词表结构，用词表名words作为参数
  148. pWords=new CDaoRecordset(pDatabase);
  149. pWords->Open(pWordsDef); // 打开词表记录集，用词表结构指针作为参数
  151. pTagsDef=new CDaoTableDef(pDatabase);
  152. pTagsDef->Open("poss"); // 打开词性表结构，用词性表名poss作为参数
  153. pTags=new CDaoRecordset(pDatabase);
  154. pTags->Open(pTagsDef); // 打开词性表记录集，用词性表结构指针作为参数
  156. pNamesDef=new CDaoTableDef(pDatabase);
  157. pNamesDef->Open("names"); // 打开姓名表结构，用姓名表名names作为参数
  158. pNames=new CDaoRecordset(pDatabase);
  159. pNames->Open(pNamesDef); // 打开姓名表记录集，用姓名表结构指针作为参数
  161. pHanziDef=new CDaoTableDef(pDatabase);
  162. pHanziDef->Open("hanzixm");
  163. pHanzi=new CDaoRecordset(pDatabase);
  164. pHanzi->Open(pHanziDef);
  166. return TRUE;
  167. }
  169. BOOL CMyDictionary :: CloseMDB()
  170. {// 构析函数，关闭词语表，词性标记表，中文姓名表
  171. if(pWords) {
  172. pWords->Close();
  173. delete pWords;
  174. }
  176. if(pTags) {
  177. pTags->Close();
  178. delete pTags;
  179. }
  180. if(pWordsDef) {
  181. pWordsDef->Close();
  182. delete pWordsDef;
  183. }
  184. if(pTagsDef) {
  185. pTagsDef->Close();
  186. delete pTagsDef;
  187. }
  188. if(pDatabase) {
  189. pDatabase->Close();
  190. delete pDatabase;
  191. AfxDaoTerm(); // can now safely terminate DAO
  192. }
  193. else
  194. return FALSE;
  196. myDatabaseName = "";
  197. return TRUE;
  198. }
  200. long CMyDictionary :: GetWordID(CString w)
  201. {
  202. COleVariant kw(w,VT_BSTRT),kwi;
  203. pWords->SetCurrentIndex("word");
  204. if(pWords->Seek("=",&kw)) {
  205. kwi=pWords->GetFieldValue("wid");
  206. return kwi.lVal;
  207. }
  208. else 
  209. return -1;
  210. }
  212. long CMyDictionary::GetFreq(CString w)
  213. {
  214. COleVariant kw(w,VT_BSTRT),kf;
  215. pWords->SetCurrentIndex("word");
  216. if(pWords->Seek("=",&kw)) {
  217. kf=pWords->GetFieldValue("wfreq");
  218. return kf.lVal;
  219. }
  220. else return -1;
  221. }
  224. long CMyDictionary::GetFreq(CString w, CString t)
  225. {// 查找某词以某标记出现的次数
  226. long i=GetWordID(w); // 从词语words表中取词语标识号
  227. if(i==-1)  // 没有这个词
  228. return 0;
  229. COleVariant kwi(i,VT_I4),kt,kf;
  230. pTags->SetCurrentIndex("wid");
  231. if(!pTags->Seek("=",&kwi))
  232. return 0;
  233. while(!pTags->IsEOF())
  234. { // 如果在词性表poss中找到了词语标识号
  235. kwi = pTags->GetFieldValue("wid"); // 取词性表poss中的当前记录的词语代号值
  236. if(kwi.lVal != i) // 如果当前记录的wid值发生变化，表示已经不是正在查找的词，则终止查询
  237. break; 
  239. kt=pTags->GetFieldValue("pos"); // 取当前记录的词性标记值
  240. if(!strcmp((const char *)kt.pbVal,(const char*)t)) { // 找到词性标记吻合的记录
  241. kf=pTags->GetFieldValue("pfreq"); // 取当前记录的频次值
  242. return kf.lVal;
  243. }
  244. pTags->MoveNext(); // 移动记录指针到下一条记录
  245. }
  246. return -1; // 没有找到词性标记吻合的记录，返回-1
  247. }
  250. long CMyDictionary::GetFreq(CString w, CObArray & a)
  251. {// 查找一个词语在词典中的所有词性标记的出现次数
  252. long i;
  253. for(i=0;i<a.GetSize();i++)
  254. delete a[i];
  255. a.RemoveAll();
  256. i=GetWordID(w);
  257. if(i==-1)
  258. return 0;
  259. pTags->SetCurrentIndex("wid");
  260. CTagFreq * p;
  261. COleVariant kwi(i,VT_I4), kt,kf;
  262. if(!pTags->Seek("=",&kwi))
  263. return 0;
  264. while(!pTags->IsEOF()) {
  265. kwi=pTags->GetFieldValue("wid");
  266. if(kwi.lVal!=i)
  267. break;
  268. kt=pTags->GetFieldValue("pos");
  269. kf=pTags->GetFieldValue("pfreq");
  270. p=new CTagFreq((LPCSTR) (kt.bstrVal), kf.lVal);
  271. a.Add(p);
  272. pTags->MoveNext();
  273. }
  274. return a.GetSize();
  275. }
  277. long CMyDictionary::Insert(CString w, long freq)
  278. {//向词库中的words表加入一个词在语料库中的出现次数信息,freq的缺省值为1
  279. if(w.GetLength()>MaxWordLength || w=="") // w太长或为空
  280. return -1;
  282. COleVariant kw(w,VT_BSTRT), kf;
  283. pWords->SetCurrentIndex("word");
  284. if(pWords->Seek("=",&kw)) { // 如果这个词在词库中已经存在
  285. kf=pWords->GetFieldValue("wfreq");
  286. kf.lVal+=freq;
  287. pWords->Edit();
  288. pWords->SetFieldValue("wfreq",kf);
  289. pWords->Update();
  290. kf=pWords->GetFieldValue("wid");
  291. }
  292. else {// 如果这个词在词库中还不存在
  293. long recn=pWords->GetRecordCount(); // 查现有记录个数
  294. pWords->AddNew(); // 增加一条空白记录
  295. pWords->SetFieldValue("word",kw); // 设置word字段的值为当前词语
  296. kf=freq; // 对变量kf进行赋值
  297. pWords->SetFieldValue("wfreq",kf); // 设置freq字段的值
  298. kf.lVal=recn+1; // 在当前表中最后一条记录后添加一条新记录
  299. pWords->SetFieldValue("wid",kf); // 设置 wid字段的值
  300. pWords->Update(); // 更新数据库中的数据
  301. }
  302. return kf.lVal; // 返回该词语的 wid 信息（词语代号）
  303. }
  305. long CMyDictionary :: Insert(CString w, CString t, long freq)
  306. {// 向词库中words表和poss表分别插入一个词以某种词性出现的次数，freq的缺省值为1
  307. if(w.GetLength()>MaxWordLength || w=="" || t.GetLength()>4 || t=="")
  308. return -1;
  310. long i=Insert(w); // 先更新词表中的词频信息，将该词的出现次数加1
  312. COleVariant kt(t,VT_BSTRT), kwi(i,VT_I4), kf;
  313. pTags->SetCurrentIndex("widTag");
  314. if(pTags->Seek("=",&kwi,&kt)) {
  315. kf=pTags->GetFieldValue("pfreq"); // 获取当前记录的pfreq值
  316. kf.lVal+=freq;
  317. pTags->Edit();
  318. pTags->SetFieldValue("pfreq",kf); // 设置poss表中pfreq中的值
  319. pTags->Update();
  320. kf=pTags->GetFieldValue("pid"); // 获取当前记录的pid值
  321. }
  322. else {
  323. long recn=pTags->GetRecordCount();
  324. pTags->AddNew();
  325. pTags->SetFieldValue("pos",kt); // 设置poss表中pos字段的值
  326. kf=freq;
  327. pTags->SetFieldValue("pfreq",kf); // 设置poss表中pfreq字段的值
  328. pTags->SetFieldValue("wid",kwi); // 设置poss表中wid字段的值
  329. kf.lVal=recn+1; // 在当前表中最后一条记录后添加一条新记录
  330. pTags->SetFieldValue("pid",kf); // 设置poss表中pid字段的值
  331. pTags->Update();
  332. }
  333. return kf.lVal;// 返回词语的词性标记序号值pid（词性标记代号）
  334. }
  337. CString CMyDictionary::GetTagOfWord(CString w)
  338. { //获取一个词语的词性标记
  339. CString tag="";
  340. long i;
  342. i=GetWordID(w);
  343. if(i==-1)
  344. tag="n"; // 所有未登录词的词性暂且假定为n
  345. pTags->SetCurrentIndex("wid");
  346. COleVariant kwi(i,VT_I4),kt;
  347. if(!pTags->Seek("=",&kwi))
  348. return tag;
  349. // else { // 取该词在词库中第一个词性标记
  350. // kt=pTags->GetFieldValue("pos");
  351. // tag=kt.bstrVal;
  352. // }
  354. while(!pTags->IsEOF()) {// 取该词所有词性标记,切词后，将一个词所有的词性标记
  355. // 加到分词符/后面
  356. kwi=pTags->GetFieldValue("wid");
  357. if(kwi.lVal!=i)
  358. break; // 如果当前词只有一个词性，并且标记为g，也会输出这个结果
  359. kt=pTags->GetFieldValue("pos");
  360. tag=kt.bstrVal; // 这条语句是为了只输出一个词性标记结果而添加的
  361. // if(tag!="") { // 被注释的语句是用来输出所有的词性标记
  362. if(tag!="g") { // 这里是只输出一个词性标记，并且该标记不是语素
  363. // tag=tag+"-"+kt.bstrVal;
  364. return tag;
  365. }
  366. else
  367. // tag=tag+kt.bstrVal;
  368. pTags->MoveNext();
  369. }
  371. return tag;
  372. }
  374. /////////////////////////////////////////////////////////
  375. /////////////////////////////////////////////////////////
  376. // 访问姓名表的成员函数代码开始
  378. double CMyDictionary:: GetFee(CString name, BOOL full)
  379. { // 在词库姓名表中查找姓氏（第二个参数为TRUE）或人名（第二个参数为FALSE）的费用
  380. if(full) {
  381. COleVariant kwl(name.Left(2), VT_BSTRT), kw2(name.Mid(2), VT_BSTRT), kf;
  382. pNames->SetCurrentIndex("name");
  383. if(pNames->Seek("=",&kwl,&kw2)) {
  384. kf=pNames->GetFieldValue("fee");
  385. return kf.dblVal;
  386. }
  387. else
  388. return 20.0;
  389. }
  390. else {
  391. COleVariant kw(name,VT_BSTRT), kf;
  392. pNames->SetCurrentIndex("gname");
  393. if(pNames->Seek("=",&kw)) {
  394. kf=pNames->GetFieldValue("fee");
  395. return kf.dblVal;
  396. }
  397. else
  398. return 20.0;
  399. }
  400. }
  402. BOOL CMyDictionary::Insert(CString sName, CString gName,double f)
  403. {// 向词库中姓名表插入一个姓名
  404. if(sName.GetLength()>4 || gName.GetLength()>4) // 如果词串太长，超过字段宽度，失败
  405. return -1;
  407. COleVariant kw1(sName, VT_BSTRT), kw2(gName, VT_BSTRT);
  408. pNames->SetCurrentIndex("name");
  409. if(!pNames->Seek("=",&kw1,&kw2)) { // 如果姓名表中没有这个姓名，就插入
  410. pNames->AddNew();
  411. pNames->SetFieldValue("sname",kw1);
  412. pNames->SetFieldValue("gname",kw2);
  413. pNames->SetFieldValue("fee",f);
  414. pNames->Update();
  415. return TRUE;
  416. }
  417. else 
  418. return FALSE;
  419. }
  421. long CMyDictionary:: GetSnameFreq(CString hz)
  422. {// 从词库中取一个汉字作为姓使用的出现次数
  423. COleVariant kw(hz,VT_BSTRT),kf;
  424. pHanzi->SetCurrentIndex("hanzi");
  425. if(pHanzi->Seek("=",&kw)) {
  426. kf=pHanzi->GetFieldValue("snamefreq");
  427. return kf.lVal;
  428. }
  429. else 
  430. return -1;
  431. }
  433. long CMyDictionary:: GetGnameFreq(CString hz)
  434. {// 从词库中取汉字作为名使用的出现次数
  435. COleVariant kw(hz,VT_BSTRT),kf;
  436. pHanzi->SetCurrentIndex("hanzi");
  437. if(pHanzi->Seek("=",&kw)) {
  438. kf=pHanzi->GetFieldValue("gnamefreq");
  439. return kf.lVal;
  440. }
  441. else 
  442. return -1;
  443. }
  445. // 访问姓名表的成员函数代码结束
  446. //////////////////////////////////////////////////////
  447. //////////////////////////////////////////////////////