python爬虫如何传递两个参数

在Python爬虫开发中，有时我们需要传递两个或多个参数来实现更复杂的数据采集和处理任务。本文将介绍几种常见的方法来传递两个参数。

方法一：通过函数参数传递

在编写爬虫程序时，我们可以定义一个函数，并在函数调用时将两个参数传递进去。例如：

import requests

def crawl_data(url, keyword):
    response = requests.get(url)
    # 在这里可以根据keyword进行数据筛选和处理
    data = response.text
    filtered_data = [line for line in data.splitlines() if keyword in line]
    return filtered_data

url = "https://example.com"
keyword = "python"
result = crawl_data(url, keyword)
print(result)

在上述代码中，crawl_data函数接受url和keyword两个参数，然后在函数内部使用这两个参数进行数据采集和筛选。

方法二：使用字典传递参数

我们还可以将两个参数封装在一个字典中，然后将字典传递给爬虫函数。例如：

import requests

def crawl_data(params):
    url = params["url"]
    keyword = params["keyword"]
    response = requests.get(url)
    data = response.text
    filtered_data = [line for line in data.splitlines() if keyword in line]
    return filtered_data

params = {
    "url": "https://example.com",
    "keyword": "python"
}
result = crawl_data(params)
print(result)

这种方法的优点是可以方便地扩展参数的数量，并且在函数调用时更加清晰明了。

方法三：使用类和实例属性传递参数

定义一个类，将两个参数作为类的实例属性，然后在类的方法中使用这些属性。例如：

import requests

class Crawler:
    def __init__(self, url, keyword):
        self.url = url
        self.keyword = keyword

    def crawl_data(self):
        response = requests.get(self.url)
        data = response.text
        filtered_data = [line for line in data.splitlines() if self.keyword in line]
        return filtered_data

crawler = Crawler("https://example.com", "python")
result = crawler.crawl_data()
print(result)

通过以上几种方法，我们可以在Python爬虫中灵活地传递两个参数，以满足不同的需求。