开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Internet/网络编程 > 搜索引擎 > 查看源码
ISOLatin1AccentFilter.cs
资源名称：xunlong0.6.rar　[点击查看]
上传用户：zhangkuixh
上传日期：2013-09-30
资源大小：5473k
文件大小：5k
源码类别：

搜索引擎

开发平台：

C#

ISOLatin1AccentFilter.cs：源码内容
  1. /*
  2.  * Copyright 2004-2005 The Apache Software Foundation
  3.  * 
  4.  * Licensed under the Apache License, Version 2.0 (the "License");
  5.  * you may not use this file except in compliance with the License.
  6.  * You may obtain a copy of the License at
  7.  * 
  8.  * http://www.apache.org/licenses/LICENSE-2.0
  9.  * 
  10.  * Unless required by applicable law or agreed to in writing, software
  11.  * distributed under the License is distributed on an "AS IS" BASIS,
  12.  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13.  * See the License for the specific language governing permissions and
  14.  * limitations under the License.
  15.  */
  17. using System;
  19. namespace Lucene.Net.Analysis
  20. {
  22. /// <summary> A filter that replaces accented characters in the ISO Latin 1 character set 
  23. /// (ISO-8859-1) by their unaccented equivalent. The case will not be altered.
  24. /// <p>
  25. /// For instance, '&agrave;' will be replaced by 'a'.
  26. /// <p>
  27. /// </summary>
  28. public class ISOLatin1AccentFilter : TokenFilter
  29. {
  30. public ISOLatin1AccentFilter(TokenStream input):base(input)
  31. {
  32. }
  34. public override Token Next()
  35. {
  36. Token t = input.Next();
  37. if (t == null)
  38. return null;
  39. // Return a token with filtered characters.
  40. return new Token(RemoveAccents(t.TermText()), t.StartOffset(), t.EndOffset(), t.Type());
  41. }
  43. /// <summary> To replace accented characters in a String by unaccented equivalents.</summary>
  44. public static System.String RemoveAccents(System.String input)
  45. {
  46. System.Text.StringBuilder output = new System.Text.StringBuilder();
  47. for (int i = 0; i < input.Length; i++)
  48. {
  49. switch (input[i])
  50. {
  52. case 'u00C0': 
  53. // Ã€
  54. case 'u00C1': 
  55. // Ã?
  56. case 'u00C2': 
  57. // Ã‚
  58. case 'u00C3': 
  59. // Ãƒ
  60. case 'u00C4': 
  61. // Ã„
  62. case 'u00C5':  // Ã…
  63. output.Append("A");
  64. break;
  66. case 'u00C6':  // Ã†
  67. output.Append("AE");
  68. break;
  70. case 'u00C7':  // Ã‡
  71. output.Append("C");
  72. break;
  74. case 'u00C8': 
  75. // Ãˆ
  76. case 'u00C9': 
  77. // Ã‰
  78. case 'u00CA': 
  79. // ÃŠ
  80. case 'u00CB':  // Ã‹
  81. output.Append("E");
  82. break;
  84. case 'u00CC': 
  85. // ÃŒ
  86. case 'u00CD': 
  87. // Ã?
  88. case 'u00CE': 
  89. // ÃŽ
  90. case 'u00CF':  // Ã?
  91. output.Append("I");
  92. break;
  94. case 'u00D0':  // Ã?
  95. output.Append("D");
  96. break;
  98. case 'u00D1':  // Ã‘
  99. output.Append("N");
  100. break;
  102. case 'u00D2': 
  103. // Ã’
  104. case 'u00D3': 
  105. // Ã“
  106. case 'u00D4': 
  107. // Ã”
  108. case 'u00D5': 
  109. // Ã•
  110. case 'u00D6': 
  111. // Ã–
  112. case 'u00D8':  // Ã˜
  113. output.Append("O");
  114. break;
  116. case 'u0152':  // Å’
  117. output.Append("OE");
  118. break;
  120. case 'u00DE':  // Ãž
  121. output.Append("TH");
  122. break;
  124. case 'u00D9': 
  125. // Ã™
  126. case 'u00DA': 
  127. // Ãš
  128. case 'u00DB': 
  129. // Ã›
  130. case 'u00DC':  // Ãœ
  131. output.Append("U");
  132. break;
  134. case 'u00DD': 
  135. // Ã?
  136. case 'u0178':  // Å¸
  137. output.Append("Y");
  138. break;
  140. case 'u00E0': 
  141. // Ã 
  142. case 'u00E1': 
  143. // Ã¡
  144. case 'u00E2': 
  145. // Ã¢
  146. case 'u00E3': 
  147. // Ã£
  148. case 'u00E4': 
  149. // Ã¤
  150. case 'u00E5':  // Ã¥
  151. output.Append("a");
  152. break;
  154. case 'u00E6':  // Ã¦
  155. output.Append("ae");
  156. break;
  158. case 'u00E7':  // Ã§
  159. output.Append("c");
  160. break;
  162. case 'u00E8': 
  163. // Ã¨
  164. case 'u00E9': 
  165. // Ã©
  166. case 'u00EA': 
  167. // Ãª
  168. case 'u00EB':  // Ã«
  169. output.Append("e");
  170. break;
  172. case 'u00EC': 
  173. // Ã¬
  174. case 'u00ED': 
  175. // Ã­
  176. case 'u00EE': 
  177. // Ã®
  178. case 'u00EF':  // Ã¯
  179. output.Append("i");
  180. break;
  182. case 'u00F0':  // Ã°
  183. output.Append("d");
  184. break;
  186. case 'u00F1':  // Ã±
  187. output.Append("n");
  188. break;
  190. case 'u00F2': 
  191. // Ã²
  192. case 'u00F3': 
  193. // Ã³
  194. case 'u00F4': 
  195. // Ã´
  196. case 'u00F5': 
  197. // Ãµ
  198. case 'u00F6': 
  199. // Ã¶
  200. case 'u00F8':  // Ã¸
  201. output.Append("o");
  202. break;
  204. case 'u0153':  // Å“
  205. output.Append("oe");
  206. break;
  208. case 'u00DF':  // ÃŸ
  209. output.Append("ss");
  210. break;
  212. case 'u00FE':  // Ã¾
  213. output.Append("th");
  214. break;
  216. case 'u00F9': 
  217. // Ã¹
  218. case 'u00FA': 
  219. // Ãº
  220. case 'u00FB': 
  221. // Ã»
  222. case 'u00FC':  // Ã¼
  223. output.Append("u");
  224. break;
  226. case 'u00FD': 
  227. // Ã½
  228. case 'u00FF':  // Ã¿
  229. output.Append("y");
  230. break;
  232. default: 
  233. output.Append(input[i]);
  234. break;
  236. }
  237. }
  238. return output.ToString();
  239. }
  240. }
  241. }