一，准备工作。
工具：win10+Python3.6
爬取目标：爬取图中红色方框的内容。
原则：能在源码中看到的信息都能爬取出来。
信息表现方式：CSV转Excel。
二，具体步骤。
先给出具体代码吧：
import requests
import re
from bs4 import BeautifulSoup
import pandas as pd def gethtml(url):
try:
r = requests.get(url,timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return "It is failed to get html!" def getcontent(url):
html = gethtml(url)
soup = BeautifulSoup(html,"html.parser")
# print(soup.prettify())
div = soup.find("div",class_="indent")
tables = div.find_all("table") price = []
date = []
nationality = []
nation = [] #standard
bookname=[]
link = []
score = []
comment = []
people = []
peo = [] #standard
author = []
for table in tables:
bookname.append(table.find_all("a")[1]['title']) #bookname
link.append(table.find_all("a")[1]['href']) #link
score.append(table.find("span",class_="rating_nums").string) #score
comment.append(table.find_all("span")[-1].string) #comment in a word people_info = table.find_all("span")[-2].text
people.append(re.findall(r'\d+', people_info)) #How many people comment on this book? Note:But there are sublist in the list. navistr = (table.find("p").string) #nationality,author,translator,press,date,price
infos = str(navistr.split("/")) #Note this info:The string has been interrupted.
infostr = str(navistr) #Note this info:The string has not been interrupted.
s = infostr.split("/")
if re.findall(r'\[', s[0]): # If the first character is "[",match the author.
w = re.findall(r'\s\D+', s[0])
author.append(w[0])
else:
author.append(s[0]) #Find all infomations from infos.Just like price,nationality,author,translator,press,date
price_info = re.findall(r'\d+\.\d+', infos)
price.append((price_info[0])) #We can get price.
date.append(s[-2]) #We can get date.
nationality_info = re.findall(r'[[](\D)[]]', infos)
nationality.append(nationality_info) #We can get nationality.Note:But there are sublist in the list.
for i in nationality:
if len(i) == 1:
nation.append(i[0])
else:
nation.append("中") for i in people:
if len(i) == 1:
peo.append(i[0]) print(bookname)
print(author)
print(nation)
print(score)
print(peo)
print(date)
print(price)
print(link) # 字典中的key值即为csv中列名
dataframe = pd.DataFrame({'书名': bookname, '作者': author,'国籍': nation,'评分': score,'评分人数': peo,'出版时间': date,'价格': price,'链接': link,}) # 将DataFrame存储为csv,index表示是否显示行名，default=True
dataframe.to_csv("C:/Users/zhengyong/Desktop/test.csv", index=False, encoding='utf-8-sig',sep=',') if __name__ == '__main__':
url = "https://book.douban.com/top250?start=0" #If you want to add next pages,you have to alter the code.
getcontent(url)
1，爬取大致信息。
选用如下*：
import requests
import re
from bs4 import BeautifulSoup def gethtml(url):
try:
r = requests.get(url,timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return "It is failed to get html!" def getcontent(url):
html = gethtml(url)
bsObj = BeautifulSoup(html,"html.parser") if __name__ == '__main__':
url = "https://book.douban.com/top250?icn=index-book250-all"
getcontent(url)
这样就能从bsObj获取我们想要的信息。
2，信息具体提取。
所有信息都在一个div中，这个div下有25个table，其中每个table都是独立的信息单元，我们只用造出提取一个table的*（前提是确保这个*的兼容性）。我们发现：一个div父节点下有25个table子节点，用如下方式提取：
div = soup.find("div",class_="indent")
tables = div.find_all("table")
书名可以直接在节点中的title中提取（原始代码确实这么丑，但不影响）：
<a href="https://book.douban.com/subject/1770782/" onclick=""moreurl(this,{i:'0'})"" title="追风筝的人">
追风筝的人
</a>
据如下代码提取：
bookname.append(table.find_all("a")[1]['title']) #bookname
相似的不赘述。
评价人数打算用正则表达式提取：
people.append(re.findall(r'\d+', people_info)) #How many people comment on this book? Note:But there are sublist in the list.
people_info = 13456人评价。
在看其余信息：
<p class="pl">[美] 卡勒德·胡赛尼 / 李继宏 / 上海人民出版社 / 2006-5 / 29.00元</p>
其中国籍有个“【】”符号，如何去掉？第一行给出回答。
nationality_info = re.findall(r'[[](\D)[]]', infos)
nationality.append(nationality_info) #We can get nationality.Note:But there are sublist in the list.
for i in nationality:
if len(i) == 1:
nation.append(i[0])
else:
nation.append("中")
其中有国籍的都写出了，但是没写出的我们发现都是中国，所以我们把国籍为空白的改写为“中”：
for i in nationality:
if len(i) == 1:
nation.append(i[0])
else:
nation.append("中")
还有list中存在list的问题也很好解决：
for i in people:
if len(i) == 1:
peo.append(i[0])
长度为1证明不是空序列，就加上序号填写处具体值，使变为一个没有子序列的序列。
打印结果如下图：
基本是我们想要的了。
然后写入csv：
dataframe = pd.DataFrame({'书名': bookname, '作者': author,'国籍': nation,'评分': score,'评分人数': peo,'出版时间': date,'价格': price,'链接': link,})
# 将DataFrame存储为csv,index表示是否显示行名，default=True
dataframe.to_csv("C:/Users/zhengyong/Desktop/test.csv", index=False, encoding='utf-8-sig',sep=',')
注意：如果没有加上encoding='utf-8-sig'会存在乱码问题，所以这里必须得加，当然你用其他方法也可。
最后一个翻页的问题，这里由于我没做好兼容性问题，所以后面的页码中提取信息老是出问题，但是这里还是写一下方法：
for i in range(10):
url = "https://book.douban.com/top250?start=" + str(i*25)
getcontent(url)
注意要加上str。
效果图：
其实这里的效果图与我写入csv的传人顺序不一致，后期我会看看原因。
三，总结。
大胆细心，这里一定要细心，很多细节不好好深究后面会有很多东西修改。