用python爬取《龙岭迷窟》评论,制作词云,看看与《盗墓笔记》的区别在哪里

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

本文章来自腾讯云 作者:Python进阶者

想要学习Python?有问题得不到第一时间解决?来看看这里“1039649593”满足你的需求,资料都已经上传至文件中,可以自行下载!还有海量最新2020python学习资料。
点击查看
用python爬取《龙岭迷窟》评论,制作词云,看看与《盗墓笔记》的区别在哪里

用python爬取《龙岭迷窟》评论,制作词云,看看与《盗墓笔记》的区别在哪里
豆瓣评分与观众
对于一部国产网剧,如果想分析它的评分与评价,那么似乎只有豆瓣这一个网站可以选择了。

而每一个学python的人,应该写过豆瓣,拉勾,网易云“三剑客”的爬虫吧?

那么爬虫部分就不一一赘述了。

for comment in comments:
    # 获取用户名
    user = comment.xpath('.//h3/span[2]/a/text()')[0]
    # 获取评星
    star = comment.xpath('.//h3/span[2]/span[2]/@class')[0][7:8]
    # 获取时间
    date_time = comment.xpath('.//h3/span[2]/span[3]/@title')
    # 获取评论文字
    comment = comment.xpath('.//p/span/text()')[0].strip()

 

目前无论采用哪种方法,豆瓣的爬虫都只能爬到500条评论。

首先在评分分布上,有70.6%的人都给出了5星好评,给1星的最少仅为3.2%,百分百的好剧评分分布
用python爬取《龙岭迷窟》评论,制作词云,看看与《盗墓笔记》的区别在哪里
不过我们是数据可视化了500条短评,所以最终据结果与豆瓣评分对比肯定差异较大。

关于评论时间的走势图呢,发现分布非常不均匀。
用python爬取《龙岭迷窟》评论,制作词云,看看与《盗墓笔记》的区别在哪里
为什么呢?仔细一看两个极值点分别是4月2日和4月9日,正好相差一周。

如果看过这部剧的同学相信一下就知道原因了。

《龙岭迷窟》网剧是每周三晚8点更新,那么当晚和第二天对该剧的评分以及新剧情的讨论肯定是最高峰啊。

用python爬取《龙岭迷窟》评论,制作词云,看看与《盗墓笔记》的区别在哪里
我们在爬取豆瓣的评分评论时,顺便还爬到了评论用户的个人主页url。

那么我们也可以根据url对他的个人主页进行访问,顺便获取他的个人信息。

再利用pyecharts制作《龙岭迷窟》豆瓣短评用户的地域分布图。
用python爬取《龙岭迷窟》评论,制作词云,看看与《盗墓笔记》的区别在哪里
其中评论人群北京最多,其次是上海、广东。

(这个最好跟豆瓣的用户群体对比一下)

龙岭迷窟 x 精绝古城
在凹凸数据做的统计中,《龙岭迷窟》、《精绝古城》 是目前评分最高的两部《鬼吹灯》系列影视化作品。

用python爬取《龙岭迷窟》评论,制作词云,看看与《盗墓笔记》的区别在哪里
那么就看看大家分别对他们的评价如何吧。
用python爬取《龙岭迷窟》评论,制作词云,看看与《盗墓笔记》的区别在哪里
用python爬取《龙岭迷窟》评论,制作词云,看看与《盗墓笔记》的区别在哪里
两个词云图中的词语基本都是正向的。

不过《龙岭迷窟》中主要围绕潘粤明饰演的胡八一、高伟光饰演的鹧鸪哨以及王胖子,而张雨绮饰演的雪莉杨讨论度却不高。

《精绝古城》则正好相反,陈乔恩的关注度非常高。

看过很多分析豆瓣的文章,这次我们玩点新的。

看看哪些观众看过这两部网剧,又是分别打多少分的?分别怎么评价的?

分别爬取两部剧的评论各500条,利用 merge() 方法将两个表横向,并指定评论用户url为内连接的连接键。

df3 = pd.merge(df1,df2,on='user_url',how = 'inner')

 

看看其中给龙岭迷窟打分> 精绝古城的评分与评论:

df3[df3['star_x'] > df3['star_y']][['name_x','star_x','comment_x','star_y','comment_y']]```

 

用python爬取《龙岭迷窟》评论,制作词云,看看与《盗墓笔记》的区别在哪里
给龙岭迷窟打分> 精绝古城的评论似乎也没有什么强有力的理由,唯一一个就是给精绝古城打1分的,是认为陈乔恩不适合这个角色。

其中给龙岭迷窟打分< 精绝古城的评分与评论:

df3[df3['star_x'] < df3['star_y']][['name_x','star_x','comment_x','star_y','comment_y']]

用python爬取《龙岭迷窟》评论,制作词云,看看与《盗墓笔记》的区别在哪里
吐槽胡八一太胖可还行

龙岭迷窟 x 黄皮子坟
这两部剧对比更像是中青年的胡胖搭档的对比。

上一节做了词云,此处就来个词频吧。

用python爬取《龙岭迷窟》评论,制作词云,看看与《盗墓笔记》的区别在哪里
用python爬取《龙岭迷窟》评论,制作词云,看看与《盗墓笔记》的区别在哪里
《黄皮子坟》相比《龙岭迷窟》,阮经天的*省口音还是提到的比较多的词语。

看看哪些观众看过这两部网剧,又是分别打多少分的?分别怎么评价的?

看看其中给龙岭迷窟打分> 黄皮子坟的评分与评论:
用python爬取《龙岭迷窟》评论,制作词云,看看与《盗墓笔记》的区别在哪里
其中打低分的理由很多,相对于演员选角,剧本改编的问题似乎更受质疑。

其中给龙岭迷窟打分< 黄皮子坟的评分与评论:

龙岭迷窟 x 盗墓笔记
《鬼吹灯》和《盗墓笔记》作为国内最出名的两部盗墓题材小说,非常相似,都是铁三角组合。

大家经常拿他们俩对比,影视化作品自然也不会少了相互对比。

其实我是想做一个用户人群的画像,但是豆瓣无法获取更多的评论用户个人信息。

所以我选择了百度指数,看看分别搜索这两部小说的人群有什么不同点?
用python爬取《龙岭迷窟》评论,制作词云,看看与《盗墓笔记》的区别在哪里
用python爬取《龙岭迷窟》评论,制作词云,看看与《盗墓笔记》的区别在哪里
非常明显,《盗墓笔记》的粉丝群体中女性比例远高于《鬼吹灯》。

个人认为主要是受到小说内容,以及后期影视化过程中演员选角的影响。

看《盗墓笔记》的年龄段相对于《鬼吹灯》来说,也较低一些。

那么改编成网剧后,大家又是如何评价的呢?

看看其中给龙岭迷窟打分> 盗墓笔记的评分与评论:
用python爬取《龙岭迷窟》评论,制作词云,看看与《盗墓笔记》的区别在哪里
真的是满屏的1分啊,不多说自己看吧。

现在我回忆起来也只记得“上交国家”和随处可见的“红牛”了。

其中给龙岭迷窟打分< 盗墓笔记的评分与评论:

小结
很高兴国产网剧能又出现一部好剧,同时演员又都在线。

潘粤明在《怒晴湘西》演过陈玉楼,在本剧又演胡八一,再次体验一人饰演两个角色。“李大嘴”姜超饰演的王凯旋,终于像王胖子了。身为一个厨子,拿个工兵铲炒炒菜怎么了。

看的出来《龙岭迷窟》剧组从主角到配角他们都在用心地在挑选、在打磨。

这样的剧确实配得上观众给出的高分。

但其中仍然也有很多国产剧的通病。

上一篇:我是怎么样把自己的 github 项目推向榜首的。


下一篇:let和const命令