如何在Python爬虫中添加代理

在进行Python爬虫开发时，添加代理是一项重要的技巧。合理使用代理可以避免IP被封禁，提高爬虫的稳定性和效率。那么，如何在Python爬虫中添加代理呢？

要明确代理的类型。常见的代理类型有HTTP代理、HTTPS代理和SOCKS代理等。不同类型的代理在使用上会有一些差异。

以使用requests库为例，这是Python中常用的HTTP请求库。如果要添加HTTP或HTTPS代理，操作相对简单。首先需要获取可用的代理服务器地址和端口号。可以从一些公开的代理列表网站获取，也可以使用付费的代理服务。

假设获取到一个HTTP代理地址为http://proxy.example.com:8080，在代码中添加代理的方式如下：

import requests

proxies = {
    "http": "http://proxy.example.com:8080",
    "https": "https://proxy.example.com:8080"
}

response = requests.get('http://example.com', proxies=proxies)
print(response.text)

在上述代码中，通过创建一个proxies字典，分别指定了HTTP和HTTPS协议对应的代理地址，然后在requests.get方法中传入proxies参数，即可使用代理发送请求。

如果使用的是SOCKS代理，就需要借助requests库的扩展库requests - socks。首先要安装该库，使用pip install requests - socks命令即可。假设SOCKS代理地址为socks5://127.0.0.1:1080，代码示例如下：

import requests
from requests_socks import ProxyType, SocksProxy

proxies = SocksProxy(
    proxy_type=ProxyType.SOCKS5,
    host='127.0.0.1',
    port=1080
)

response = requests.get('http://example.com', proxies=proxies)
print(response.text)

在Scrapy框架中添加代理也有相应的方法。可以在settings.py文件中设置代理，通过修改DOWNLOADER_MIDDLEWARES配置项，添加代理中间件。然后在中间件类中实现代理的逻辑。

在Python爬虫中添加代理需要根据具体的需求和使用的库或框架来选择合适的方法。要注意代理服务器的稳定性和可用性，以确保爬虫能够正常运行。