开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 多国语言处理 > 查看源码
WordSegment.h
资源名称：TextClassify.rar　[点击查看]
上传用户：sanxfzhen
上传日期：2014-12-28
资源大小：2324k
文件大小：2k
源码类别：

多国语言处理

开发平台：

Visual C++

WordSegment.h：源码内容
  1. // WordSegment.h: interface for the CWordSeg class.
  2. //
  3. //////////////////////////////////////////////////////////////////////
  5. #if !defined(AFX_WORDSEGMENT_H__18EFCCE0_4780_45CA_962A_8128DD2FC299__INCLUDED_)
  6. #define AFX_WORDSEGMENT_H__18EFCCE0_4780_45CA_962A_8128DD2FC299__INCLUDED_
  8. #if _MSC_VER > 1000
  9. #pragma once
  10. #endif // _MSC_VER > 1000
  12. #include ".\Utility\Dictionary.h"
  13. #include ".\Segment\Segment.h"
  14. #include ".\Tag\Span.h"
  15. #include ".\Unknown\UnknowWord.h"
  16. #include <afxtempl.h>
  17. #include "UTILITYDictionary.h" // Added by ClassView
  19. AFX_INLINE UINT AFXAPI HashKey(CString key);
  21. class CWordSegment  
  22. {
  23. public:
  24. CWordSegment();
  25. virtual ~CWordSegment();
  26. bool InitWorgSegment(char *, int nLanguage=0);
  27. void FreeWordSegment();
  28. void SetSegSetting(unsigned short);
  29. unsigned short GetSegSetting();
  30. bool Segment(char*);
  31. bool isInStopWords(char*);
  32. public:
  33. int SegmentFile(const char *source, const char * target, BOOL bStopWord=true, BOOL bTag=false);
  34. PWORD_RESULT GetWordSeg(int index);
  35. int GetSegmentCount();
  36. static const unsigned short uTag;  // word classify tag
  37. static const unsigned short uPlace; // Chinese place name
  38. static const unsigned short uPerson;  // chinese name
  39. static const unsigned short uTransPerson; // translation name, include translation
  40. private:
  41. static int ParseFile(char *pBuffer, int nStart, int &nEnd);
  42. private:
  43. //m_nInit>0 初始化了; m_nInit=1 分词初始化; m_nInit=2 英文初始化
  44. int m_nInit;
  45. CMap<CString,CString,int,int> m_lstStopWords;
  46. unsigned short m_nOperateType;
  47. double m_dSmoothingPara;
  48. char m_pNewSentence[MAX_PATH*10];
  49. static char m_pSentence[MAX_PATH*10];
  50. CSegment m_Seg;//Seg class
  51. CDictionary m_dictCore,m_dictBigram;//Core dictionary,bigram dictionary
  52. CSpan m_POSTagger;//POS tagger
  53. CUnknowWord m_uPerson,m_uTransPerson,m_uPlace;//Person recognition
  54. };
  55. extern CWordSegment g_wordSeg;
  56. #endif // !defined(AFX_WORDSEGMENT_H__18EFCCE0_4780_45CA_962A_8128DD2FC299__INCLUDED_)