技术文摘
python爬虫如何连接mysql
Python爬虫如何连接MySQL
在数据抓取与处理领域,Python爬虫和MySQL数据库的结合能发挥巨大作用。Python以其简洁高效的特性成为爬虫开发的热门语言,而MySQL作为稳定且功能强大的数据库,用于存储爬虫获取的数据十分合适。那么,Python爬虫究竟该如何连接MySQL呢?
需要安装相关的驱动。最常用的是pymysql库,通过pip install pymysql命令就能轻松完成安装。安装完成后,在Python代码中引入这个库:import pymysql。
接下来就是建立连接的关键步骤。使用pymysql.connect()函数来创建与MySQL数据库的连接对象。函数中有几个重要参数:host表示MySQL服务器的地址,若在本地运行,一般为'localhost';user是登录MySQL的用户名;password为对应的密码;database指定要连接的数据库名称;port默认是3306,不过如果服务器设置有变动,就需要修改为正确的端口号。示例代码如下:
try:
connection = pymysql.connect(
host='localhost',
user='root',
password='123456',
database='test_db',
port=3306
)
print("连接成功!")
except pymysql.Error as e:
print(f"连接失败:{e}")
连接成功后,就可以对数据库进行操作了。通常会使用游标(cursor)对象来执行SQL语句。通过连接对象的cursor()方法获取游标,如cursor = connection.cursor()。
如果要执行查询操作,使用cursor.execute()方法执行SQL查询语句,然后通过cursor.fetchall()获取所有查询结果,cursor.fetchone()获取单条结果。例如:
sql = "SELECT * FROM your_table"
try:
cursor.execute(sql)
results = cursor.fetchall()
for row in results:
print(row)
except pymysql.Error as e:
print(f"查询错误:{e}")
若要执行插入、更新或删除操作,同样使用cursor.execute()方法执行SQL语句,完成操作后要记得使用连接对象的commit()方法提交事务,确保数据的持久化。如插入操作:
sql = "INSERT INTO your_table (column1, column2) VALUES (%s, %s)"
data = ('value1', 'value2')
try:
cursor.execute(sql, data)
connection.commit()
print("插入成功!")
except pymysql.Error as e:
connection.rollback()
print(f"插入错误:{e}")
最后,操作完成后要关闭游标和连接,释放资源,使用cursor.close()和connection.close()。掌握这些步骤,就能让Python爬虫顺利连接并操作MySQL数据库,高效地存储和管理抓取到的数据。
- 实现服务器配置:禁止 IP 直接访问,只允许域名访问的步骤
- Docker 中 MySQL 开启 binlog 日志的方法
- Docker 中 rocketmq-console 工具的安装部署教程
- Docker 实现 RocketMq 集群部署的方法
- Webpack 启动服务器及处理 SourceMap 的操作指南
- 虚拟机挂起恢复后 Docker 部署应用的连接问题解决之道
- 银河麒麟 V10 服务器版安装达梦 DM8 数据库全流程
- Nacos 服务器安装详细步骤
- Docker 镜像映射端口号的修改方法
- docker 容器启动后修改或添加端口的方法
- Ubuntu 饥荒服务器快速搭建详细步骤
- 查看 Docker 中 MySQL 版本的方法
- Centos 服务器部署前后端项目实战指南
- Docker 私有仓库搭建步骤的实现
- Docker 容器 TCP 或 UDP 端口映射方法 - 基于 docker-compose.yml