python是数据处理的好帮手,处理好的数据如果用在其他平台上展现,就得暂时存储为其他的格式文件存放在数据库中方便调用。
今天我们学习的内容是将爬取下来的数据保存为csv格式,存储到mysql中的基础步骤
1、安装mysql+配置mysql
2、了解如何查看数据库+表格
我这里选择的是在cmd进入mysql
#直接进入cmd mysql -u root -p
#查看目前素有的数据库,一定要加分号;,mysql识别分号结束符!!! show databases; #进入该数据库 use 数据库名; #查看该数据库的表 show tables;
3、创建数据库+表格
#创建数据库,分号结尾! create database 数据库名称; #添加表 create table 表名(列名 列类型, 列名 列类型)
如果创建失败,注意自己的符号是不是写错了,用到的所有单引号是tab键上面的键,用它添加单引号
4、将 csv 文件的内容插到 mysql表中
import pandas as pd from sqlalchemy import create_engine #df是dataframe格式的,webCount是表的名字 df = pd.read_csv('webCount.csv') # 当engine连接的时候我们就插入数据 engine=create_engine('mysql+pymysql://root:密码@localhost:接口3306/数据库名') with engine.connect() as conn, conn.begin(): df.to_sql('webCount', conn,index=False, if_exists='replace')
运行一下,查看我们的数据表,数据是不是都进去了
select *from 数据表名;
我们就将 csv 中的内容插入到数据库啦