库需求
- requests(对网站发起请求)
- beautifulsoup(提取html信息)
- re(正则表达式)
- fake_useragent(生成假的请求头)
- xlwt(处理excel文档)
准备
打开豆瓣Top250书籍网站https://book.douban.com/top250,观察其html特点,找到储存书本信息的位置。
代码
import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
import re
import xlwt
ua=UserAgent()#生成假的请求头
def getBooks(page):
if page==0:
url='https://book.douban.com/top250'
else:
url='https://book.douban.com/top250'+'?start='+str(page*25) #根据top250的网站url特点进行循环构造
try:
user_agent = ua.random
res = requests.get(url,headers={'User-Agent': user_agent})#利用假的请求头进行请求,以提高爬虫成功率
html=res.text
res.raise_for_status() # 如果返回的状态码不是200, 则抛出异常;
res.encoding = res.apparent_encoding # 判断网页的编码格式, 便于respons.text知道如何解码;
except Exception as e:
print("爬取错误")
html=res.text
return html
def processHtml(html):
soup=BeautifulSoup(html,"html.parser")
return soup
def getTitle(soup):
lists=soup.find_all('div',class_="pl2")#找到储存书籍标题的部分
titles=[]
for item in lists:
url=item.find('a').get('title')
titles.append(url)#在列表的尾部添加一个元素,达到扩充列表的目的
return titles#返回主页每一本书对应的题目
def getUrls(soup):
lists=soup.find_all('div',class_="pl2")
urls=[]
for item in lists:
url=item.find('a').get('href')#寻找每一本书对应的网址
urls.append(url)#在列表的尾部添加一个元素,达到扩充列表的目的
return urls#返回主页每一本书对应的网址
def getBasicMessage(soup):
lists=soup.find_all('p',class_="pl")
messages=[]
for item in lists:
message=item.string #只提取字符串部分,滤去标签
messages.append(message)
return messages
def getStars(soup):
lists=soup.find_all('span',class_="rating_nums")
stars=[]
for item in lists:
star=float(item.string)#只提取字符串,并将评分转化为浮点数形式
stars.append(star)
return stars
def getPeopleNumbers(soup):
lists=soup.find_all('span',class_="pl")
peoples=[]
for item in lists:
people=item.text
peoples.append(people)
num = []
for i in peoples:
r = re.findall(r"\d+\.?\d*",i)#提取字符串中数字的正则表达式
num.append(int(r[0]))#将字符串转化为整数
return num
if __name__ == '__main__':
book=xlwt.Workbook(encoding='utf-8')#设置文档的编码格式为utf-8
sheet=book.add_sheet('豆瓣图书Top250')#建立excel工作簿
sheet.write(0,0,'名称')#在excel中写入标题
sheet.write(0,1,'网址')
sheet.write(0,2,'基本信息')
sheet.write(0,3,'评分')
sheet.write(0,4,'人数')
for i in range (0,10):#爬取十个页面(top1-top250)
print('爬取第%d页的数据'%(i+1))
html=getBooks(i)
soup=processHtml(html)
list1=getTitle(soup)
list2=getUrls(soup)
list3=getBasicMessage(soup)
list4=getStars(soup)
list5=getPeopleNumbers(soup)
for n in range (0,25):#将每个页面中每一本书的信息写入excel中
print('爬取第%d本书'%(i*25+n+1))
sheet.write(i*25+n+1,0,list1[n])
sheet.write(i*25+n+1,1,list2[n])
sheet.write(i*25+n+1,2,list3[n])
sheet.write(i*25+n+1,3,list4[n])
sheet.write(i*25+n+1,4,list5[n])
book.save(u'豆瓣最受欢迎的250本书.xls')#保存文件,注意不能是xlsx
print("爬取完毕")