-
-
AWebsearchprogram.zip
这是一个web搜索的基本程序，从命令行输入搜索条件（起始的URL、处理url的最大数、要搜索的字符串),
它就会逐个对Internet上的URL进行实时搜索,查找并输出匹配搜索条件的页面。 这个程序的原型来自《java编程艺术》，
为了更好的分析，站长去掉了其中的GUI部分，并稍作修改以适用jdk1.5。以这个程序为基础，可以写出在互联网上搜索
诸如图像、邮件、网页下载之类的“爬虫”。
-
spider.rar
工具说明：
1.类文件的作用是监控搜索引擎爬虫对网站的操作。
2.本类为php代码，只适用于php系统的网站。
3.代码没有使用到数据库，直接把记录写在文本文件中，请在根目录建立spider文件夹。
4.代码产生的记录，仅供参考，并不保证包含所有的记录，因为没有运行到本代码的文件是不会记录的。
5.本代码为免费代码，可以随便复制，修改使用，但是希望能保留一点我的版权信息。
使用方法：
请将需要统计的页面加入以下代码，并调用，一般修改在全局调用的文件中。
...
-
python 淘宝爬虫
... amp;n=200&m=api4h5&style=list&page={}'
def url_get(url):
# print('GET ' + url)
header = dict()
header ... 'keep-alive'
header['DNT'] = '1'
#header['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/537 ...
-
爬虫与正则
... Chrome/47.0.2526.106 Safari/537.36 )"}
TimeOut=5
root="http://money.163.com/special/002534M5/review.html"
Page =requests.session().get(root,headers=head,timeout=TimeOut)
Coding= (Page.encoding)
contens= ...
-
XPath-Helper 爬虫 网络
... XPath查询。结果框会立即反映更改。
5.重复步骤（2）关闭控制台。
如果 ... down Shift as you mouse over elements on the page. The query box will continuously update to show the ... console. The results box will immediately reflect your changes.
5. Repeat step (2) to close the console.
If the ...
-
phantomjs1.9.8历史版本用于爬虫
... ();
//设置参数
desiredCapabilities.setCapability("phantomjs.page.settings.userAgent", "Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:50 ... webDriver.quit();
}
}
python版使用webdriver+PhantomJs爬虫使用，参考http://www.cnblogs.com/kuqs/p/6395284.html
-
Python的爬虫框架Scrapy实例。抓取京东评论代码和视频
... 态度，如有冒犯，我也不知道了。
这次爬虫使用的是Python的爬虫框架Scrapy。
主要流程代码如下：
# -*- coding: utf-8 -*-
import scrapy
from scrapy import Request
... action?productId=17209509645&score=0&sortType=5&pageSize=10&page;=%d"
def start_requests(self):
...
-
Web爬虫Harvestman.zip
Harvestman 是一个非常简单、轻量级的 Web 爬虫，使用 Ruby 编写，示例代码：
require 'harvestman'
Harvestman.crawl 'http://www.foo.com/bars?page=*', (1..5) do
price = css 'div.item-price a'
...
end ...
-
WPX.NEWS工具集：爬虫采集器和密码管理器
... 的代理服务器自动获取配置说明：
------------------------------------------
使用爬虫采集器建议使用代理爬取（虽然 ... 目标，可以填：https://ip.jiangxianli.com/?page=1 (填多个，记得换行， ... .layui-table tbody tr td:eq(0)
（5）代理服务器端口，可以填 ... 不打勾用不了代理服务器。
==============================================
爬虫采集器的信息采集配置（添加 ...
-
Python爬虫爬取博客实现可视化过程解析
...
import requests
num=0
b=[]
for i in range(1,11):
link='https://www.cnblogs.com/echoDetected/default.html?page='+str(i)
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML ...
-
Go To English Version 超过100万源码资源，1000万源码文件免费下载
