Python爬取豆瓣指定书籍的短评
#!/usr/bin/python
# coding=utf-8
import re
import sys
import time
import random
import urllib
import urllib2
import MySQLdb
# 爬取豆瓣评论
class Douban:
# 构造函数
def __init__(self, url, name):
# 采集的地址
#self.url = 'https://book.douban.com/subject/26356948/comments/hot'
self.url = url
# 存储的文件名
self.filename = str(name) + '.txt'
# 数据库配置
self.database = {
'host': '127.0.0.1',
'username': 'root',
'password': 'root',
'database': 'douban',
'charset': 'utf8',
'table': str(name),
}
# HTTP请求超时
self.http_timeout = 10
# 请求计数器
self.request_counter = 0
# 错误代码计数器
self.error_counter = 0
# 数据库第一次错误
self.db_error_first = True
# 替换换行符
def replaceSpace(self, string):
string = string.replace('\r\n', ' ')
string = string.replace('\n', ' ')
string = string.replace('\r', ' ')
return string
# 清洗单页评论，返回为单条评论的列表
def getCommentsPage(self, url):
user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'
headers = {'User-Agent': user_agent}
request = urllib2.Request(url, headers=headers)
try:
response = urllib2.urlopen(request, timeout=self.http_timeout)
comments_page_raw = response.read()
reg = r'.*?<li.*?class="comment-item".*?>(.*?)</li>.*?'
comments_page = re.findall(reg, comments_page_raw, re.I | re.M | re.S)
return comments_page
except urllib2.HTTPError, e:
errmsg = 'HTTP Error: ' + e.code + ',' + e.reason
print unicode(errmsg, 'utf-8')
if e.code == 403 or e.code == '403':
# 服务器拒绝服务，等等...等等... 等120秒
print unicode('服务器拒绝服务，等等...等等... 等120秒', 'utf-8')
time.sleep(120)
response = urllib2.urlopen(request, timeout=self.http_timeout)
comments_page_raw = response.read()
reg = r'.*?<li.*?class="comment-item".*?>(.*?)</li>.*?'
comments_page = re.findall(reg, comments_page_raw, re.I | re.M | re.S)
return comments_page
elif e.code == 404 or e.code == '404':
# not found... 已爬取完毕，结束程序
print unicode('not found... 已爬取完毕，结束程序', 'utf-8')
# 结束程序
sys.exit(0)
else:
print unicode('HTTP 未知错误', 'utf-8')
# 错误次数累加
self.error_counter += 1
# 判断是否进行中断
if self.error_counter == 20:
info = '错误次数已达%d次，结束程序' % self.error_counter
print unicode(info, 'utf-8')
sys.exit(1)
# 清洗单条评论，返回单条评论的昵称、头像、内容...的列表
def getCommentsItem(self, comment_raw):
# 昵称， 豆瓣主页，头像， 点赞， 星级评价， 日期， 评价内容
reg = r'<div.*?<a.*?title="(.*?)" href="(.*?)".*?<img src="(.*?)".*?class="vote-count">(.*?)</span>.*?<span.*?title="(.*?)"></span>.*?<span>(.*?)</span>.*?<p class="comment-content">(.*?)</p>.*?</div>'
# 匹配
comment = re.findall(reg, comment_raw, re.I | re.M | re.S)
# 返回数据
return comment
# 操作单页内容
def getPageContent(self, url):
# 获取单页评论的列表
comments = self.getCommentsPage(url)
# 迭代出单条评论
for comment in comments:
# 清洗单条评论
contents = self.getCommentsItem(comment)
for content in contents:
# 存到文件
self.saveFile(content)
# 存到数据库
self.saveDatabase(content)
# 测试输出
self.testPrint(content)
# 测试输出
def testPrint(self, content):
print content[0]
print content[1]
print content[2]
print content[3]
print content[4]
print content[5]
print self.replaceSpace(content[6])
print '\n'
# 保存到数据库
def saveDatabase(self, content):
# 打开数据库连接
db = MySQLdb.connect(
self.database['host'],
self.database['username'],
self.database['password'],
self.database['database'],
charset=self.database['charset'],
)
# 获取游标
cursor = db.cursor()
# SQL语句
sql = "INSERT INTO %s (username, homepage, header_img, like_num, star_rating, publish_date, comment_content) VALUES ('%s', '%s', '%s', '%s', '%s', '%s', '%s');" % (
self.database['table'], content[0], content[1], content[2], content[3], content[4], content[5],
self.replaceSpace(content[6]))
# print sql
# 添加数据
try:
# 执行SQL语句
cursor.execute(sql)
# 提交到数据库执行
db.commit()
except:
# 回滚
db.rollback()
# 判断数据库是否是第一次错误
if self.db_error_first:
print 'Failed to find database table, Trying to create database [%s].\n\n' % self.database['table']
time.sleep(2)
# 创建数据表的SQL语句
create_table = '''CREATE TABLE IF NOT EXISTS %s (
id INT(6) NOT NULL PRIMARY KEY AUTO_INCREMENT COMMENT '评论id',
username VARCHAR(50) NOT NULL DEFAULT '' COMMENT '用户名',
homepage VARCHAR(200) NOT NULL DEFAULT '' COMMENT '豆瓣主页',
header_img VARCHAR(200) NOT NULL DEFAULT '' COMMENT '头像',
like_num INT(6) NOT NULL DEFAULT '0' COMMENT '点赞量',
star_rating VARCHAR(10) NOT NULL DEFAULT '' COMMENT '星级评价',
publish_date VARCHAR(12) NOT NULL DEFAULT '' COMMENT '发表日期',
comment_content VARCHAR(2000) NOT NULL DEFAULT '' COMMENT '评价内容'
)DEFAULT CHARSET=utf8;''' % self.database['table']
# 执行SQL语句
cursor.execute(create_table)
db.commit()
# 设定数据库错误的标志
self.db_error_first = False
# 执行异常前的SQL语句
cursor.execute(sql)
db.commit()
else:
# 数据库非第一次放生错误
print 'Database Error'
# 关闭数据库连接
db.close()
# 保存到文件
def saveFile(self, content):
# 一行数据（即一条评论）
# item = content[5] + '\t' + content[4] + '\t' + content[3] + '\t' + content[0] + '\t\t' + content[1] + '\t\t' + content[2] + '\t\t' + content[6] + '\r\n'
item = self.replaceSpace(content[6]) + '\r\n'
# 尝试去将文件存储到文件
try:
# 打开文件
file = open(self.filename, 'ab+')
# 写入
file.write(item)
# 关闭文件
file.close()
except:
# 发生错误
print 'File Error'
# 入口函数
def start(self, first=1, last=10):
# 按设定页码，采集数据
for page in range(first, last + 1):
# 时间戳
timestrap = str(int(time.time())) + '000'
# get参数
getdata = {'p': page, '_': timestrap}
# URL编码的url
url = self.url + '?' + urllib.urlencode(getdata)
# 开始采集的提示信息
info_start = "----- ----- ----- [INFO] 正在获取第%d页 ----- ----- ----- \n%s\n" % (page, url)
print unicode(info_start, 'utf-8')
# 休眠2秒
time.sleep(2)
# 获取第page页的内容
self.getPageContent(url)
# 结束采集的提示信息
info_end = "----- ----- ----- [INFO] 第%d页已加载完毕 ----- ----- ----- \n" % page
print unicode(info_end, 'utf-8')
# 采集次数自增
self.request_counter += 1
# 判断采集次数，并根据条件休眠
if self.request_counter % 50 == 0:
# 特定情况下，休息60秒
print unicode('\n每采集50页，休息60秒...\n', 'utf-8')
# 休眠
time.sleep(60)
else:
# 普通情况下，休息随机的时间
_time = 5 + int(random.uniform(0, 6))
print unicode('sleep %ds\n\n\n' % _time, 'utf-8')
# 休眠
time.sleep(_time)
# 摆渡人
#url = 'https://book.douban.com/subject/26356948/comments/hot' # 短评地址
#name = 'baiduren' # 名称
# 芳华
url = 'https://book.douban.com/subject/27010212/comments/hot' # 短评地址
name = 'fanghua' # 名称
# 实例化爬虫对象
bookSpyder = Douban(url, name)
# 设定爬取的页码范围，并开始爬取
bookSpyder.start(1, 333)