Python爬虫实战，requests+xpath模块，Python实现爬取豆瓣影评

2022-03-15 20:39:18

前言

利用利用requests+xpath爬取豆瓣影评，废话不多说。

让我们愉快地开始吧~

开发工具

**Python版本：**3.6.4

相关模块：

requests模块；

jieba模块；

pandas模块

numpy模块

pyecharts模块；

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

前期准备

1.获取页面内容

# 爬取页面 url\
douban_url = 'https://movie.douban.com/subject/26647117/comments?status=P'\
# requests 发送请求\
get_response = requests.get(douban_url)\
# 将返回的响应码转换成文本（整个网页）\
get_data = get_response.text

2.分析页面内容，获取我们想要的内容

浏览器中打开我们要爬取的页面
按F12进入开发者工具，查看我们想要的数据在哪里
这里我们只要评论人+评论内

分析我们获取的 xpath值

'/html/body/div[3]/div[1]/div/div[1]/div[4]/**div[1]** /div[2]/h3/span[2]/a'
'/html/body/div[3]/div[1]/div/div[1]/div[4]/**div[2]** /div[2]/h3/span[2]/a'
'/html/body/div[3]/div[1]/div/div[1]/div[4]/**div[3]** /div[2]/h3/span[2]/a'

通过观察我们发现,这几个xpath只有细微不同,上面加粗的部分已数加的格式改变，所以我们要爬取所有的 commentator（评论者），只需把xpath改为：

'/html/body/div[3]/div[1]/div/div[1]/div[4]/**div**/div[2]/h3/span[2]/a'

即不要后面的序号，当我们查询时，会自动捕获类似的xpath。

同样的分析，我们可以得到评论内容的xpath为：

'/html/body/div[3]/div[1]/div/div[1]/div[4]/**div**/div[2]/p'

# （跟在上面代码后）解析页面，并输出获取内容\
a = etree.HTML(get_data)\
commentator = s.xpath('/html/body/div[3]/div[1]/div/div[1]/div[4]/div/div[2]/h3/span[2]/a/text()')\
comment_content = a.xpath('/html/body/div[3]/div[1]/div/div[1]/div[4]/div/div[2]/p/text()')\
# 解析获取内容，去除多余内容\
for i in range(0,len(files)):\
   print(commentator[i]+'说：')\
   files[i].strip(r'\n')\
   files[i].strip(' ')\
   print(comment_content[i])

运行结果

Oriol Paulo说： 'Wrath of silence' is quite different from the crime movies I've seen. It's a mix of genres. It's a crime movie,a mystery movie,an action movie,it's also a social realistic movie. Xin Yu Kun plays very well the mix of different genres in this film,and it has a powerful ending.

文文周说： 对于平均水准以上的年轻导演，应毫不吝啬予以鼓励，对于年龄一大把了还言之无物的导演，才要无情打击。

西楼尘说： 老板儿子吃真空羊肉，贪婪绞入碎肉机；屠夫儿子喝污染井水，正义只在电视屏。戳瞎左眼，被戳伤的同乡都能包庇；咬断舌头，被救助的律师却不敢发声。凭蛮力垒不成金字塔，靠假声变不成兔子妈。超人面具如同良心咒，送不回原主；寻子告示像是招魂符，在风里飘摇。真相埋进泥土，藏入山洞，终于再无人知。

#85说： 忻钰坤第二部作品不是一部秀操作的《心迷宫2.0》，要说风格像谁，都像也都不像：凝视山洞的库布里克单点透视、像科恩兄弟一样塑造的神经质杀手、《老男孩》一样的长廊Fight…不一样的是，不只是想告诉你凶手是谁，而是他的选择，以及像手术刀一样划开上层失态、中层失德、底层失语、人间失格的社会症结

一口吃掉小蛋糕说： 结尾太赞，配乐非常喜欢，如果能去掉字幕就好了。从姜武拿起烟灰缸的时候就猜到了结尾。只不过细思极恐，井水为什么越来越咸？为什么那么多人都水肿？村长是知道的，不然不会喝矿泉水。然而这个梗，最后却没有过多的交代

大大肉罐说： 上层伪善残暴，中层冷漠自私，下层失语无力。

武侠小王子说： 当年摩托罗拉的电量还是大大不如诺基亚。

劉瀟陽说： 仅仅是80%成片，已经精彩绝伦。中国类型片就该这么拍。良好的多线叙事控制力，深穴映射人性，爆炸增长的经济，暴裂难控的社会问题，男人无声的愤恨和伤痛，就像无法发声的底层人民。黑暗结尾，孩子没有寻回，真相没有昭显，这却是社会真相。有时恶人作恶，仅是为了与相同利益者变成真正的同盟。

木卫二说： 不断向下，堕入黑暗的那种片子，鞭挞了社会主要矛盾，且不负责提供解谜快感，所以看完会很沉，很堵。如果《心迷宫》还是手工时代的自发创作，《暴裂无声》明显是工业时代（卡司动作特效）的考量，三人较劲，律师一角太弱，宋洋战力太强，姜武模式化。优点和缺陷都比较明显。

巴伐利亞酒神说： 结局太他妈的屌了，看完在影院倒吸一口凉气。影射也很牛逼啊，1984的摩托牌照，一个底层屌丝的人设为哑巴（没有话语权），律师（代表中产和法律）和煤老板（代表权贵和黑恶*）的相互勾结。所以即便张保民拥有《黄海》里绵正赫那样爆表的武力值，也只能沦为这个残酷社会的牺牲品。

凌睿说： 当你望着深渊的时候，深渊也在望着你。

frozenmoon说： 昌万年是食肉者，徐文杰是喝汤的，而张保民本人就是“肉”，原本他们在食物链的一个位置安之若素的扮演自己的角色，但意外冲垮了一切。失控之后，每个人都发现自己不过都是“肉”，昌摘下假发和西装，也得臣服于暴力和运气，徐走出金钱和言辞的保护也要面对残酷，张的代价或许更大。人性暴裂的闷响。

无耻不混蛋说： 影片最打动我的，不是那些显而易见、甚至昭然若揭的隐喻，而是整部影片的“失语”。我们属于“失语的一代”，对应片中，不仅仅只是表层的哑巴张保民的“生理性失语”，更是，精英阶层律师在片尾所选择的“主动性失语”。而影片对“失语”的精准展示，不仅敏感捕捉到了时代痛点，而且极为戳痛人心。

3.实现翻页，并把评论人和评论内容存入csv文件

翻页1

和前面分析xpath不同，我们只要找出每页之间url的不同之处和规律即可。

# start 属性表示开始位置\
turn_page1 = 'https://movie.douban.com/subject/26647117/comments?status=P'\
turn_page2 = 'https://movie.douban.com/subject/26647117/comments?start=20&limit=20&sort=new_score&status=P'\
turn_page3 = 'https://movie.douban.com/subject/26647117/comments?start=40&limit=20&sort=new_score&status=P'\
turn_page4 = 'https://movie.douban.com/subject/26647117/comments?start=60&limit=20&sort=new_score&status=P'

观察发现，除了第一个，每个url就只有 start的值不同，而且每次增加20，上面已经说了start属性，通过观察我们也不难发现，每个页面只有20条评论，这个是由 limit这个属性控制的（小编已经试过，人为改动是没有用的，估计是豆瓣的反爬，但并不影响我们），我这里想说明的是这个start的值之所以会以20为增量，就是这个 limit 控制的。

翻页2

# 获取评论总数\
 comment_counts = a.xpath('/html/body/div[3]/div[1]/div/div[1]/div[1]/ul/li[1]/span/text()')\
 comment_counts = int(comment_counts[0].strip("看过()"))\
 # 计算出总的的页面数（每页有20条评论）\
 page_counts = int(comment_counts/20)\
 # 请求访问，并把爬取数据存入csv文件\
 for i in range(0,page_counts):\
    turn_page_url = 'https://movie.douban.com/subject/26647117/comments?start={}&limit=20&sort=new_score&status=P'.format(i*20)\
    get_respones_data(turn_page_url)

在完成上面之前，我们肯定要把之前写的代码进行修改，让代码看起，我们可以把前面写的代码封装成一个函数get_respones_data()，传入一个访问url参数,获得返回的HTML。

代码实现

import requests\
from lxml import etree\
import pandas as pd\
def get_respones_data(douban_url = 'https://movie.douban.com/subject/26647117/comments?status=P'):\
     # requests 发送请求\
     get_response = requests.get(douban_url)\
     # 将返回的响应码转换成文本（整个网页）\
     get_data = get_response.text\
     # 解析页面\
     a = etree.HTML(get_data)\
     return a\
 first_a = get_respones_data()\
 # 翻页\
 comment_counts = first_a.xpath('/html/body/div[3]/div[1]/div/div[1]/div[1]/ul/li[1]/span/text()')\
 comment_counts = int(comment_counts[0].strip("看过()"))\
 page_counts = int(comment_counts / 20)\
#小编已经测试过了，如果没有登入的话最多只能访问10个页面，也就是200条评论\
#下一期小编将教大家如何应对反爬\
 for i in range(0, page_counts+1):\
     turn_page_url = 'https://movie.douban.com/subject/26647117/comments?start={}&limit=20&sort=new_score&status=P'.format(\
         i * 20)\
     print(turn_page_url)\
     a = get_respones_data(turn_page_url)\
     # 获取评论人和评论内容\
     commentator = a.xpath('/html/body/div[3]/div[1]/div/div[1]/div[4]/div/div[2]/h3/span[2]/a/text()')\
     comment_content = a.xpath('/html/body/div[3]/div[1]/div/div[1]/div[4]/div/div[2]/p/text()')\
     # 解析内容，并存入csv文件\
     content = [' ' for i in range(0, len(commentator))]\
     for i in range(0, len(commentator)):\
         comment_content[i].strip(r'\n')\
         comment_content[i].strip(' ')\
         content_s = [commentator[i],comment_content[i]]\
         content[i] = content_s\
     name = ['评论人','评论内容']\
     file_test = pd.DataFrame(columns=name, data=content)\
     if i == 0:\
         file_test.to_csv(r'H:\PyCoding\FlaskCoding\Test_all\test0609\app\comment_content.cvs',encoding='utf-8',index=False)\
     else:\
         file_test.to_csv(r'H:\PyCoding\FlaskCoding\Test_all\test0609\app\comment_content.cvs',mode='a+',encoding='utf-8',index=False)

数据可视化

安装新模块

pip install jieba\
pip install re\
pip install csv\
pip install pyecharts\
pip install numpy

1解析数据

1    with codecs.open(r'H:\PyCoding\FlaskCoding\Test_all\test0609\app\comment_content.cvs', 'r', 'utf-8') as csvfile:\
2        content = ''\
3        reader = csv.reader(csvfile)\
4        i =0\
5        for file1 in reader:\
6            if i == 0 or i ==1:\
7                pass\
8            else:\
9                content =content + file1[1]\
10            i = i +1\
11        # 去除所有评论里多余的字符\
12        content = re.sub('[,，。. \r\n]', '', content)

2分析数据

# 切词，将整个评论分解成一个个的词语\
segment = jieba.lcut(content)\
words_df = pd.DataFrame({'segment': segment})\
# quoting=3 表示stopwords.txt里的内容全部不引用\
stopwords = pd.read_csv(r"H:\PyCoding\FlaskCoding\Test_all\test0609\app\stopwords.txt", index_col=False, quoting=3, sep="\t", names=['stopword'], encoding='utf-8')\
words_df = words_df[~words_df.segment.isin(stopwords.stopword)]\
# 计算每个词语重复出现次数\
words_stat = words_df.groupby(by=['segment'])['segment'].agg({"计数": numpy.size})\
words_stat = words_stat.reset_index().sort_values(by=["计数"], ascending=False)

3数据可视化

1 test = words_stat.head(1000).values\
# 获取所有词语\
2 words = [test[i][0] for i in range(0,len(test))]\
# 获取词语对于的出现次数\
3 counts = [test[i][1] for i in range(0,len(test))]\
4wordcloud = WordCloud(width=1300, height=620)\
# 生成词云图\
5 wordcloud.add("爆裂无声", words, counts, word_size_range=[20, 100])\
6 wordcloud.render()

码农公寓

Python爬虫实战，requests+xpath模块，Python实现爬取豆瓣影评

前言

开发工具

环境搭建

前期准备

1.获取页面内容

2.分析页面内容，获取我们想要的内容

运行结果

3.实现翻页，并把评论人和评论内容存入csv文件

代码实现

数据可视化

安装新模块

1解析数据

2分析数据

3数据可视化

效果展示

码农公寓

前言

开发工具

环境搭建

前期准备

1.获取页面内容

2.分析页面内容，获取我们想要的内容

运行结果

3.实现翻页，并把评论人和评论内容存入csv文件

代码实现

数据可视化

安装新模块

1解析数据

2分析数据

3数据可视化

效果展示

相关文章