资源说明:twitterNode
基于Node.js的Twitter Streaming API 1.1爬网程序
这是一个基于node.js的搜寻器,用于从Twitter Streaming API v1.1收集信息。 它通过使用node.js oAuth库与oAuth配合使用(运行“ npm install oauth”进行安装)。 搜寻器可以很好地处理大量数据,将Twitter发送的多块消息整理在一起,并在将数据写入文件之前检查数据的完整性。 我已经运行了长达9个月,没有任何问题,而且爬虫每秒处理多达50条推文。
输出文件格式为JSON,各个推文之间用“,\ n”组合分隔,易于解析。 搜寻器会为每天的数据收集自动创建一个新文件,从而可以非常快速地提取必要的tweet。 这很简单,这就是重点。
要使用它,请使用Twitter API登录信息填充包含的爬网程序文件(即stateCollegeC
本源码包内暂不包含可直接显示的源代码文件,请下载源码包。