Python 爬虫基础库 request 的基础运用

在 Python 爬虫开发中，requests库是一个非常强大且常用的工具。它为我们提供了简洁而高效的方式来发送 HTTP 请求，并获取响应数据。

我们需要安装requests库。可以通过 pip 命令轻松完成安装：pip install requests

安装完成后，就可以开始使用requests库了。以下是一个简单的示例，展示如何发送一个 GET 请求并获取网页内容：

import requests

response = requests.get('https://www.example.com')
print(response.text)

在上述代码中，requests.get() 方法用于发送 GET 请求到指定的 URL，然后将获取到的响应存储在 response 对象中。通过 response.text 可以获取到响应的文本内容。

除了 GET 请求，requests 库还支持其他常见的 HTTP 方法，如 POST、PUT、DELETE 等。例如，发送一个 POST 请求可以这样写：

data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://www.example.com/post_endpoint', data=data)

在发送 POST 请求时，我们可以通过 data 参数传递要发送的数据。

另外，requests 库还提供了丰富的功能来处理请求的头部信息、设置超时时间、处理异常等。例如，设置请求头部：

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}
response = requests.get('https://www.example.com', headers=headers)

设置超时时间可以避免程序在等待响应时无限阻塞：

response = requests.get('https://www.example.com', timeout=5)

在实际的爬虫开发中，还需要处理各种异常情况，例如网络连接错误、服务器错误等。requests 库提供了相应的机制来捕获和处理这些异常。

requests 库为 Python 爬虫开发提供了坚实的基础，通过其灵活而强大的功能，我们能够轻松地与各种网站进行交互，获取所需的数据。但在使用爬虫时，一定要遵守法律法规和网站的使用规则，确保合法合规地获取数据。