robots.txt
上传用户:huiyue
上传日期:2022-04-08
资源大小:1429k
文件大小:0k
源码类别:

搜索引擎

开发平台:

ASP/ASPX

  1. # robots.txt for http://www.searcharoo.net/
  2. User-agent: *
  3. Disallow: /Search # prevent indexing of search results page
  4. Disallow: /App_Code/ # iis won't let us in here anyway
  5. Disallow: /Bin/
  6. Disallow: /Code/
  7. Disallow: /obj/
  8. Disallow: /Properties/
  9. Disallow: /Temp/
  10. Disallow: /z_ # prevent indexing of the catalog!
  11. Disallow: /Web # prevent web.config, webapplication.csproj
  12. User-agent: Searcharoo
  13. Disallow: /z_
  14. User-agent: MSN
  15. Disallow: /
  16. User-agent: Altavista
  17. Disallow: /