python带分页爬虫的实现方法

在网络数据抓取领域，Python以其丰富的库和简洁的语法成为众多开发者的首选。当面对大量数据且需要分页获取时，实现一个带分页的爬虫显得尤为重要。

我们需要选择合适的库。常用的有requests库用于发送HTTP请求，BeautifulSoup库用于解析网页内容。

假设我们要爬取一个简单的分页网站，比如一个商品列表页，每页展示一定数量的商品信息。第一步是发送请求获取网页内容。使用requests库很容易实现：

import requests
url = "https://example.com/page={}"
page_number = 1
response = requests.get(url.format(page_number))
if response.status_code == 200:
    html_content = response.text

接下来，使用BeautifulSoup库来解析网页内容，提取我们需要的数据。例如，要提取商品标题：

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
product_titles = soup.find_all('div', class_='product-title')
for title in product_titles:
    print(title.text.strip())

实现分页的关键在于如何遍历不同的页码。通常，分页的URL有一定规律，我们可以通过循环来改变页码参数，获取不同页面的数据：

for page_number in range(1, 11):  # 假设要爬取前10页
    url = "https://example.com/page={}"
    response = requests.get(url.format(page_number))
    if response.status_code == 200:
        html_content = response.text
        soup = BeautifulSoup(html_content, 'html.parser')
        product_titles = soup.find_all('div', class_='product-title')
        for title in product_titles:
            print(title.text.strip())

在实际应用中，还需要考虑一些细节。比如，网站可能有反爬虫机制，我们需要设置合适的请求头来模拟浏览器访问；为了避免过于频繁的请求对服务器造成压力，我们可以添加适当的延迟：

import time
for page_number in range(1, 11):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
    }
    url = "https://example.com/page={}"
    response = requests.get(url.format(page_number), headers=headers)
    if response.status_code == 200:
        html_content = response.text
        soup = BeautifulSoup(html_content, 'html.parser')
        product_titles = soup.find_all('div', class_='product-title')
        for title in product_titles:
            print(title.text.strip())
    time.sleep(2)  # 每次请求后延迟2秒

通过以上步骤，我们就可以实现一个简单的Python带分页爬虫，满足从分页网站获取数据的需求。当然，实际场景可能更加复杂，需要不断地调整和优化代码。