将爬取下来的数据保存为csv格式存储到mysql中

python是数据处理的好帮手,处理好的数据如果用在其他平台上展现,就得暂时存储为其他的格式文件存放在数据库中方便调用。

今天我们学习的内容是将爬取下来的数据保存为csv格式,存储到mysql中的基础步骤

1、安装mysql+配置mysql

2、了解如何查看数据库+表格

我这里选择的是在cmd进入mysql

#直接进入cmd
mysql -u root -p

将爬取下来的数据保存为csv格式存储到mysql中 

#查看目前素有的数据库,一定要加分号;,mysql识别分号结束符!!!
show databases; 
#进入该数据库
use 数据库名;  
#查看该数据库的表  
show tables; 

将爬取下来的数据保存为csv格式存储到mysql中

3、创建数据库+表格

#创建数据库,分号结尾!
create database 数据库名称; 
#添加表
create table 表名(列名 列类型, 列名 列类型)

将爬取下来的数据保存为csv格式存储到mysql中

如果创建失败,注意自己的符号是不是写错了,用到的所有单引号是tab键上面的键,用它添加单引号

4、将 csv 文件的内容插到 mysql表中

import pandas as pd
from sqlalchemy import create_engine


#df是dataframe格式的,webCount是表的名字
df = pd.read_csv('webCount.csv')

# 当engine连接的时候我们就插入数据
engine=create_engine('mysql+pymysql://root:密码@localhost:接口3306/数据库名')
with engine.connect() as conn, conn.begin():
    df.to_sql('webCount', conn,index=False, if_exists='replace')

运行一下,查看我们的数据表,数据是不是都进去了

select *from 数据表名;

我们就将 csv 中的内容插入到数据库啦

 

 

上一篇:使用了多进程,调用requests发送请求,报错递归超过最大深度


下一篇:Hive表的基本操作(必会)