开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Internet/网络编程 > 搜索引擎 > 查看源码
j-spider.sourceforge.net.properties
资源名称：jspider-src-0.5.0-dev.zip　[点击查看]
上传用户：qing5858
上传日期：2015-10-27
资源大小：6056k
文件大小：2k
源码类别：

搜索引擎

开发平台：

Java

j-spider.sourceforge.net.properties：源码内容
  1. # -----------------------------------------------------------------------------
  2. # J-Spider Site Configuration File (http://j-spider.sourceforge.net)
  3. # -----------------------------------------------------------------------------
  4. #
  5. # $Id: j-spider.sourceforge.net.properties,v 1.14 2003/04/25 21:28:55 vanrogu Exp $
  6. #
  7. # This is a site configuration file for the j-spider.sourceforge.net site.
  8. # (Explanation of all the settings can be found in the default.properties file
  9. # and on the JSpider website)
  10. #
  11. # -----------------------------------------------------------------------------
  13. site.handle=true
  15. # -----------------------------------------------------------------------------
  16. # Proxy Configuration
  17. # -----------------------------------------------------------------------------
  19. site.proxy.use=true
  23. # -----------------------------------------------------------------------------
  24. # Throttling Configuration
  25. # -----------------------------------------------------------------------------
  27. site.throttle.provider=net.javacoding.jspider.core.throttle.impl.DistributedLoadThrottleProvider
  28. site.throttle.config.interval=500
  32. # -----------------------------------------------------------------------------
  33. # Cookie Configuration
  34. # -----------------------------------------------------------------------------
  36. site.cookies.use=true
  40. # -----------------------------------------------------------------------------
  41. # Robots.txt configuration
  42. # -----------------------------------------------------------------------------
  44. site.robotstxt.fetch=true
  45. site.robotstxt.obey=true
  47. # -----------------------------------------------------------------------------
  48. # User Agent configuration
  49. # -----------------------------------------------------------------------------
  51. #site.userAgent=JSpider (http://j-spider.sourceforge.net)
  54. # -----------------------------------------------------------------------------
  55. # Rules Configuration
  56. # -----------------------------------------------------------------------------
  58. site.rules.spider.count=2
  59. site.rules.spider.1.class=net.javacoding.jspider.mod.rule.ForbiddenPathRule
  60. site.rules.spider.1.config.path=/apidocs
  61. site.rules.spider.2.class=net.javacoding.jspider.mod.rule.ForbiddenPathRule
  62. site.rules.spider.2.config.path=/xref
  64. site.rules.parser.count=1
  65. site.rules.parser.1.class=net.javacoding.jspider.mod.rule.BaseSiteOnlyRule