开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > 多国语言处理 > 查看源码
Span.h
资源名称：Codes and Application.rar　[点击查看]
上传用户：yxl0916
上传日期：2007-05-25
资源大小：2245k
文件大小：4k
源码类别：

多国语言处理

开发平台：

Visual C++

Span.h：源码内容
  1. //////////////////////////////////////////////////////////////////////
  2. //ICTCLAS简介：计算所汉语词法分析系统ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)，
  3. //             功能有：中文分词；词性标注；未登录词识别。
  4. //             分词正确率高达97.58%(973专家评测结果)，
  5. //             未登录词识别召回率均高于90%，其中中国人名的识别召回率接近98%;
  6. //             处理速度为31.5Kbytes/s。
  7. //著作权：  Copyright?2002-2005中科院计算所 职务著作权人：张华平 刘群
  8. //遵循协议：自然语言处理开放资源许可证1.0
  9. //Email: zhanghp@software.ict.ac.cn
  10. //Homepage:www.nlp.org.cn;mtgroup.ict.ac.cn
  11. /****************************************************************************
  12.  *
  13.  * Copyright (c) 2000, 2001 
  14.  *     Machine Group
  15.  *     Software Research Lab.
  16.  *     Institute of Computing Tech.
  17.  *     Chinese Academy of Sciences
  18.  *     All rights reserved.
  19.  *
  20.  * This file is the confidential and proprietary property of 
  21.  * Institute of Computing Tech. and the posession or use of this file requires 
  22.  * a written license from the author.
  23.  * Filename: Span.h: 
  24.  * Abstract:
  25.  *          interface for the CSpan class.
  26.  * Author:   Kevin Zhang 
  27.  *          (zhanghp@software.ict.ac.cn)
  28.  * Date:     2002-4-23
  29.  *
  30.  * Notes:    Tagging with Hidden Markov Model
  31.  *                
  32.  ****************************************************************************/
  35. #if !defined(AFX_SPAN_H__178113DA_8D45_4D47_B6DA_CB62C001BC35__INCLUDED_)
  36. #define AFX_SPAN_H__178113DA_8D45_4D47_B6DA_CB62C001BC35__INCLUDED_
  38. #if _MSC_VER > 1000
  39. #pragma once
  40. #endif // _MSC_VER > 1000
  41. #include "..\Utility\Dictionary.h"
  42. #include "..\Utility\ContextStat.h"
  43. #include "..\Segment\DynamicArray.h"
  45. #define MAX_WORDS_PER_SENTENCE 120
  46. #define MAX_UNKNOWN_PER_SENTENCE 200
  47. #define MAX_POS_PER_WORD 20
  48. #define LITTLE_FREQUENCY 6
  49. enum TAG_TYPE{
  50. TT_NORMAL,
  51. TT_PERSON,
  52. TT_PLACE,
  53. TT_TRANS_PERSON
  54. };
  55. class CSpan  
  56. {
  57. public:
  58. bool PlaceRecognize(CDictionary &dictCore,CDictionary &placeDict);
  59. bool PersonRecognize(CDictionary &personDict);
  60. bool POSTagging(PWORD_RESULT pWordItems,CDictionary &dictCore,CDictionary &dictUnknown);
  61. //POS tagging with Hidden Markov Model
  62. void SetTagType(enum TAG_TYPE nType=TT_NORMAL);
  63. //Set the tag type
  64. bool LoadContext(char *sFilename);
  65. CSpan();//CDictionary &dict
  66. virtual ~CSpan();
  67. int m_nUnknownIndex;
  68. //The number of unknown word
  69. int m_nUnknownWords[MAX_UNKNOWN_PER_SENTENCE][2];
  70. //The start and ending possition of unknown position
  71. ELEMENT_TYPE m_dWordsPossibility[MAX_UNKNOWN_PER_SENTENCE];
  72. //The possibility of unknown words
  73. CContextStat m_context;//context
  74. protected:
  75. ELEMENT_TYPE  ComputePossibility(int nStartPos,int nLength,CDictionary &dict);
  76. int GetFrom(PWORD_RESULT pWordItems,int nIndex,CDictionary &dictCore,CDictionary &dictUnknown);
  77. //Get words from the word items, start from nIndex, Function for unknown words recognition
  78. bool GuessPOS(int nIndex,int *pSubIndex);
  79. bool GetBestPOS();
  80. bool Reset(bool bContinue=true);
  81. bool Disamb();
  82. private:
  83. enum TAG_TYPE m_tagType;//The type of tagging
  84. int m_nStartPos;
  86. int m_nBestTag[MAX_WORDS_PER_SENTENCE];
  87. //Record the Best Tag
  89. char m_sWords[MAX_WORDS_PER_SENTENCE][WORD_MAXLENGTH];
  90. int m_nWordPosition[MAX_WORDS_PER_SENTENCE];
  91. int m_nTags[MAX_WORDS_PER_SENTENCE][MAX_POS_PER_WORD];
  92. char m_nBestPrev[MAX_WORDS_PER_SENTENCE][MAX_POS_PER_WORD];
  93. char m_nCurLength;
  94. double m_dFrequency[MAX_WORDS_PER_SENTENCE][MAX_POS_PER_WORD];
  95. };
  96. #endif // !defined(AFX_SPAN_H__178113DA_8D45_4D47_B6DA_CB62C001BC35__INCLUDED_)