开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Internet/网络编程 > 搜索引擎 > 查看源码
WebParserFilter.java
资源名称：LuceneAndNuch_Ch1-10.rar　[点击查看]
上传用户：cctqzzy
上传日期：2022-03-14
资源大小：12198k
文件大小：3k
源码类别：

搜索引擎

开发平台：

Java

WebParserFilter.java：源码内容
  2. package chapter2;
  4. import java.io.*;
  5. import java.net.*;
  6. import java.io.File;
  7. import java.io.FileReader;
  8. import java.io.FileWriter;
  10. public class WebParserFilter { 
  12. private static String src_File_Path = "D:\workshop\ch2\htmlsrc.html";
  13. private static String dst_File_Path = "D:\workshop\ch2\puresrc.txt";
  15.  public static void main(String[] args) throws IOException {
  16.  
  17.         try { 
  18.         
  19.          ParserFilter();
  20.        } catch (IOException e) { 
  21.            System.err.println("下载失败，请检查输入地址是否正确。");  
  22.            System.exit(1);
  23.        } 
  24.   }
  25.  
  26.  public static void ParserFilter()  throws IOException {
  27.      try { 
  28.      int j = 0; 
  29.      boolean bflag = true;
  31.         boolean bContent = true;
  32.         StringBuffer sBuffer = new StringBuffer(8096*2); 
  33.         char[] cBuffer = new char[8096*2]; 
  34.         char[] dstBuffer = new char[8096*2]; 
  35.         int nCount = 0;
  36.         
  37.       File srcfile = new File(src_File_Path);
  38. FileReader fpReader = new FileReader(srcfile);
  40. File dstfile = new File(dst_File_Path);
  41. FileWriter fpWriter = new FileWriter(dstfile);
  43.      nCount = fpReader.read(cBuffer);
  45. for(int i = 0; i < nCount;i++)
  46.         {
  47.             if( bContent == false )
  48.             {
  49.                 if(cBuffer[i] == '>')
  50.                  bContent = true;
  51.                 else
  52.                     continue;
  53.             } else {
  54.                 if(cBuffer[i] == '<')
  55.                 {
  56.                  bContent = false;
  57.                     continue;
  58.                 } else if(cBuffer[i] == 'n' || cBuffer[i] == ' ' || cBuffer[i] == '　' ||  cBuffer[i] == ' ')
  59.                 {
  60.                  continue;
  61.                 }else if(  cBuffer[i]   == '&' && cBuffer[i+1] == 'n' 
  62.                      && cBuffer[i+2] == 'b' && cBuffer[i+3] == 's' 
  63.                      && cBuffer[i+4] == 'p' && cBuffer[i+5] == ';')
  64.                 {
  65.                  i =i+5;
  66.                  continue;
  67.                 }
  68.                 
  69.                 dstBuffer[j++] = cBuffer[i];
  70.             }
  71.         }
  73. bflag = true;
  74. for(int m = 0; m < j; m++)
  75.         {   // 英文和数字不拆分
  76. if(    ( dstBuffer[m] <= 'Z' &&  dstBuffer[m] >= 'A' )
  77. || ( dstBuffer[m] <= 'z' &&  dstBuffer[m] >= 'a' ) 
  78. || ( dstBuffer[m] <= '9' &&  dstBuffer[m] >= '0' ))
  79. {
  80. if( bflag == false)
  81. {
  82. sBuffer.append(' ');
  83. }
  84. sBuffer.append(dstBuffer[m]);
  85. bflag = true;
  86. //sBuffer.append(' ');
  87. } else {
  88.   // 过滤标点符号
  89. if(    dstBuffer[m] == '、' || dstBuffer[m] == '|' 
  90. || dstBuffer[m] == '”'  || dstBuffer[m] == '：'
  91. || dstBuffer[m] == ';'  || dstBuffer[m] == '.')
  92. {
  93. sBuffer.append(' ');
  94. continue;
  95. }
  96. if( bflag == true)
  97. {
  98. sBuffer.append(' ');
  99. }
  100. // 中文字符用空格分离
  101. sBuffer.append(dstBuffer[m]);
  102. sBuffer.append(' ');
  103. bflag = false;
  104. }
  105.         }
  107. System.out.println(sBuffer.toString());
  108. fpWriter.write(sBuffer.toString());
  110. fpReader.close();
  111. fpWriter.close();
  112.      } catch (UnknownHostException e) {
  113.          System.err.println("无法访问指定主机."); 
  114.          System.exit(1);
  115.     } catch (IOException e) { 
  116.         throw e;
  117.     }  
  118.  }
  119. }