爬取网贷之家平台数据保存到mysql数据库

# coding utf-8
import requests
import json
import datetime
import pymysql user_agent = 'User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)' # 用来伪装用户身份
headers = {'User-Agent': user_agent}
p2plist_url = 'http://www.wdzj.com/wdzj/html/json/dangan_search.json' # 用来存放平台的JSON数据页面
print('正在抓取数据')
s1 = datetime.datetime.now()
r = requests.get(p2plist_url)
content = r.text
content = json.loads(content) # 加载JSON数据
s2 = datetime.datetime.now()
s3 = (s2 - s1).total_seconds()
#print(content)
print('抓取完成^\n共用时%s秒' % round(s3)) con = pymysql.connect(host="192.168.0.204", user="root", password="jenkins!666", db="ceshi", port=3306) # 连接数据库
cur = con.cursor() # 创建游标
create_table = 'create table shuju (id int(10) auto_increment primary key,name varchar(20) NOT NULL,pin varchar(20) NOT NULL)' # 创建一个数据库
try:
cur.execute(create_table)
con.commit()
print('创表成功')
except Exception as e:
print('创表失败\n%s ' % e)
con.rollback() # 插入数据语句
for x in content:
sql = "insert into shuju (name,id,pin) values ('%s','%d','%s')" % (x['platName'], x['platId'], x['platPin'])
try:
cur.execute(sql)
con.commit()
print('插入成功 %s %s %s' % (x['platName'], x['platId'], x['platPin']))
except Exception as e:
print('插入错误\n%s ' % e)
con.rollback()
cur.close() # 关闭游标
con.close() # 关闭连接 之前用pycaharm无法实现主键自增是因为,第一次创建表时没有配置id自增,后来改成id自增模式,但是没有把原先的表给删除,所有一直无法实现id自增 参照文档

https://www.cnblogs.com/buddyquan/p/6293503.html


上一篇:【win7 + win server 2008】设置定时任务,设置.bat 文件去执行php脚本 == 用来配合爬虫程序简直不要太爽


下一篇:【定时任务|开机启动】Windows Server 2008/2012 计划任务配置(任务计划程序)每分钟执行BAT