ChineseAnalyzer.java
上传用户:cctqzzy
上传日期:2022-03-14
资源大小:12198k
文件大小:2k
源码类别:

搜索引擎

开发平台:

Java

  1. //package org.apache.lucene.analysis.cn;
  2. /**
  3.  * Licensed to the Apache Software Foundation (ASF) under one or more
  4.  * contributor license agreements.  See the NOTICE file distributed with
  5.  * this work for additional information regarding copyright ownership.
  6.  * The ASF licenses this file to You under the Apache License, Version 2.0
  7.  * (the "License"); you may not use this file except in compliance with
  8.  * the License.  You may obtain a copy of the License at
  9.  *
  10.  *     http://www.apache.org/licenses/LICENSE-2.0
  11.  *
  12.  * Unless required by applicable law or agreed to in writing, software
  13.  * distributed under the License is distributed on an "AS IS" BASIS,
  14.  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15.  * See the License for the specific language governing permissions and
  16.  * limitations under the License.
  17.  */
  18. package chapter8;
  19. import java.io.Reader;
  20. import org.apache.lucene.analysis.Analyzer;
  21. import org.apache.lucene.analysis.TokenStream;
  22. /**
  23.  * Title: ChineseAnalyzer
  24.  * Description:
  25.  *   Subclass of org.apache.lucene.analysis.Analyzer
  26.  *   build from a ChineseTokenizer, filtered with ChineseFilter.
  27.  * Copyright:   Copyright (c) 2001
  28.  * Company:
  29.  * @author Yiyi Sun
  30.  * @version 1.0
  31.  *
  32.  */
  33. public class ChineseAnalyzer extends Analyzer {
  34.     public ChineseAnalyzer() {
  35.     }
  36.     /**
  37.     * Creates a TokenStream which tokenizes all the text in the provided Reader.
  38.     *
  39.     * @return  A TokenStream build from a ChineseTokenizer filtered with ChineseFilter.
  40.     */
  41.     public final TokenStream tokenStream(String fieldName, Reader reader) {
  42.         TokenStream result = new ChineseTokenizer(reader);
  43.         result = new ChineseFilter(result);
  44.         return result;
  45.     }
  46. }