开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Internet/网络编程 > 搜索引擎 > 查看源码
skip.properties
资源名称：jspider-src-0.5.0-dev.zip　[点击查看]
上传用户：qing5858
上传日期：2015-10-27
资源大小：6056k
文件大小：2k
源码类别：

搜索引擎

开发平台：

Java

skip.properties：源码内容
  1. # -----------------------------------------------------------------------------
  2. # Site Configuration File (Skips the site, will not trigger any handling)
  3. # -----------------------------------------------------------------------------
  4. #
  5. # $Id: skip.properties,v 1.1 2003/04/25 21:28:58 vanrogu Exp $
  6. #
  7. # This is a site configuration file for all sites that should not be handled.
  8. #
  9. # -----------------------------------------------------------------------------
  11. site.handle=false
  13. # -----------------------------------------------------------------------------
  14. # Proxy Configuration
  15. # -----------------------------------------------------------------------------
  17. site.proxy.use=true
  21. # -----------------------------------------------------------------------------
  22. # Throttling Configuration
  23. # -----------------------------------------------------------------------------
  25. site.throttle.provider=net.javacoding.jspider.core.throttle.impl.DistributedLoadThrottleProvider
  26. site.throttle.config.interval=500
  30. # -----------------------------------------------------------------------------
  31. # Cookie Configuration
  32. # -----------------------------------------------------------------------------
  34. site.cookies.use=true
  38. # -----------------------------------------------------------------------------
  39. # Robots.txt configuration
  40. # -----------------------------------------------------------------------------
  42. site.robotstxt.fetch=true
  43. site.robotstxt.obey=true
  45. # -----------------------------------------------------------------------------
  46. # User Agent configuration
  47. # -----------------------------------------------------------------------------
  49. #site.userAgent=JSpider (http://j-spider.sourceforge.net)
  52. # -----------------------------------------------------------------------------
  53. # Rules Configuration
  54. # -----------------------------------------------------------------------------
  56. site.rules.spider.count=1
  57. site.rules.spider.1.class=net.javacoding.jspider.mod.rule.InternallyReferencedOnlyRule
  59. site.rules.parser.count=1
  60. site.rules.parser.1.class=net.javacoding.jspider.mod.rule.BaseSiteOnlyRule