开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 多国语言处理 > 查看源码
WORDLIST.H
资源名称：TextClassify.rar　[点击查看]
上传用户：sanxfzhen
上传日期：2014-12-28
资源大小：2324k
文件大小：3k
源码类别：

多国语言处理

开发平台：

Visual C++

WORDLIST.H：源码内容
  1. // WordList.h: interface for the CWordList class.
  2. //
  3. //////////////////////////////////////////////////////////////////////
  5. #if !defined(AFX_WORDLIST_H__D7A246C0_9CD0_11D3_BAA2_0000250394FE__INCLUDED_)
  6. #define AFX_WORDLIST_H__D7A246C0_9CD0_11D3_BAA2_0000250394FE__INCLUDED_
  8. #if _MSC_VER > 1000
  9. #pragma once
  10. #endif // _MSC_VER > 1000
  12. #include <afxtempl.h>
  13. #define CataMax 200
  15. class CWordNode;
  16. void AFXAPI SerializeElements(CArchive& ar,CWordNode* pElements,int nCount);
  18. class CWordNode
  19. {
  20. public:
  21. CWordNode();
  22. ~CWordNode();
  23. CWordNode& operator = (const CWordNode& x);
  24. void AllocBuffer(int nLen);
  25. void DeallocBuffer();
  26. void Serialize(CArchive& ar);
  27. public:
  28. void Copy(CWordNode& wordNode);
  29. void InitBuffer(int nLen);
  30. long GetWordNum();
  31. long GetDocNum();
  32. long GetCataWordNum(int cataID);
  33. long GetCataDocNum(int cataID);
  34. int  MaxWeightIndex();
  35. void ComputeWeight(long sum, bool bMult=false);
  36. //在特征选择的时候用来保存特征的类别区分度
  37. //在特征选择完成之后，它用来保存每个特征的"log(训练文档总数/特征的文档频率)"值
  38. double m_dWeight;
  39. short m_nAllocLen;
  40. int m_nWordID;           //特征的ID
  41. double *m_pCataWeight;   //特征对于每个类别的区分度
  42. double *m_pCataWeightPro;  //特征属于每个类别的概率
  43. //特征在整个文档集中的文档频率,实际就是函数GetDocNum()返回的值
  44. //如果特征不是从训练文档集中选择得到的，就无法使用GetDocNum()得到特征的文档频率
  45. //所以，此处使用m_lDocFreq来记录特征的文档频率
  46. long m_lDocFreq;         //特征在整个文档集中的文档频率
  47. //特征在整个文档集中的词频,实际就是函数GetWordNum()返回的值
  48. //如果特征不是从训练文档集中选择得到的，就无法使用GetWordNum()得到特征的词频
  49. //所以，此处使用m_lWordFreq来记录特征的词频
  50. long m_lWordFreq;        //特征在整个文档集中的词频
  51. long *m_pCataDocFreq;    //特征在每一个类别中的文档频率
  52. long *m_pCataWordFreq;   //特征在每一个类别中的词频
  53. long m_lDocID;           //得到特征的文档频率的时候用到
  54. };
  56. AFX_INLINE UINT AFXAPI HashKey(CString key);
  57. typedef CTypedPtrList<CPtrList,CWordNode*> CPWordList;
  59. class CWordList  
  60. {
  61. public:
  62. CWordNode& Add(const CString str,  long docID);
  63. bool GetListFromFile(CString strFileName);
  64. CString GetWordByID(long wordID);
  65. CWordList();
  66. CWordList& operator =(CWordList &x);
  67. virtual ~CWordList();
  69. void Serialize(CArchive& ar);
  70. void DumpToFile(CString strFileName);
  71. void DumpWordList(CString strFileName);
  72. void DumpWordProList(CString strFileName,int CataNum);
  73. bool GetFromFile(CString strFileName);
  75. void InitWordList();
  76. //如果词表中不存在这个词,则加入词表
  77. CWordNode& Add(const CString);
  78. //如果词表中不存在这个词,则加入词表,并且根据docID决定文档频率是否加1
  79. CWordNode& Add(const CString, short, long, int);
  80. void SetAt(const CString,CWordNode&);
  81. //获得词表中词的总数
  82. int  GetCount();
  83. long GetWordNum();
  84. BOOL Lookup(CString str, CWordNode &wordNode);
  86. CWordNode& GetNext(POSITION &, CString &);
  87. POSITION GetFirstPosition(void);
  88. void IndexWord();
  89. //计算每个词的反比文档频率
  90. void ComputeWeight(long sum, bool bMult=false);
  91. public :
  92. bool GetProFromFile(CString strFileName);
  93. CWordNode& GetWordProByID(POSITION& pos,int j);
  94. double GetWordProByID(POSITION &pos,long wordID,int classnum);
  95. CMap<CString,CString,CWordNode,CWordNode&> m_lstWordList;
  96. };
  97. #endif // !defined(AFX_WORDLIST_H__D7A246C0_9CD0_11D3_BAA2_0000250394FE__INCLUDED_)