English
资源说明：1.爬取结果如下：
2.代码解读：
①首先自定义一个爬取类：
import requests
from bs4 import BeautifulSoup
class spider:
②构造函数为：
page:表示抓取页数
self.url = 'https://search.jd.com/Search?keyword=裤子&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&offset=5&wq=裤子&page=' + str(page)\n self.headers = {'User-Agent': 'Mo
在本篇【Python程序设计之爬虫读取(2)】中，我们主要探讨了如何使用Python进行网页数据抓取，特别是针对京东商品搜索页面的数据提取。以下是对关键知识点的详细解析：
1. **网络爬虫基础**：
网络爬虫是一种自动化浏览互联网并获取网页信息的程序。在Python中，常用的是使用`requests`库来发送HTTP请求，获取网页内容；然后使用`BeautifulSoup`库解析HTML文档，提取所需数据。
2. **自定义爬虫类**：
我们创建了一个名为`spider`的类，这是爬虫程序的基础结构。这个类包含了爬虫的主要功能，如初始化、获取HTML内容、解析HTML以及主执行函数。
3. **构造函数**：
构造函数（`__init__`）用于初始化爬虫类的实例。在这个例子中，`page`参数用于指定要抓取的京东搜索结果页数，`self.url`变量存储了根据页数动态生成的京东搜索URL，`self.headers`设置了伪装成浏览器的`User-Agent`，以避免被网站识别为爬虫而屏蔽。
4. **获取HTML内容**：
`get_html`方法是获取网页HTML内容的函数，使用`requests.get()`发送GET请求，获取URL对应的网页响应对象`res`。然后通过`res.encoding`设置正确的编码方式，防止出现乱码，再将响应内容转化为字符串并返回。
5. **解析HTML**：
`get_information`方法负责解析HTML并提取所需数据。它首先调用`get_html`获取HTML，然后使用`BeautifulSoup`解析这个HTML文档。通过`find_all`方法查找指定标签和类名的元素，如商品图片（`"div", class_='p-img'`）、价格（`"div", class_='p-price'`）、商品名称（`"div", class_="p-name"`）和商品描述（`"em"`）。同时，也使用CSS选择器`select()`来选取特定子标签的内容，例如商品描述。
6. **数据提取**：
在`get_information`方法中，遍历找到的元素列表，使用`find`或`select`方法进一步获取每个元素内的具体信息，如商品名称、商品描述、图片链接和价格等。将这些信息打印出来。
7. **主执行函数**：
`main`方法作为爬虫程序的入口，调用`get_information`方法开始爬取和解析过程。
8. **源代码结构**：
源代码中，`spider`类包含了所有必要的功能，包括构造函数、获取HTML的方法、解析HTML的方法和主执行函数。通过实例化这个类，并调用`main`方法，整个爬虫流程就可以运行起来。
总结，本文档介绍了如何使用Python的`requests`和`BeautifulSoup`库构建一个简单的网络爬虫，抓取京东商品搜索页面的商品信息，包括名称、描述、图片和价格。这个例子提供了一个基础的爬虫框架，可以根据实际需求进行扩展和优化，例如增加错误处理、数据存储、多线程爬取等功能。
本源码包内暂不包含可直接显示的源代码文件，请下载源码包。
