Python爬虫项目-豆瓣网电影排名TOP250

开发背景:该项目是给电影爱好者提供的,利用爬虫爬取豆瓣网上电影榜排名TOP250的电影,然后选取自己最喜欢的电影看,有电影名称,电影链接,导演,演员,以及有多少人观看并评分

功能介绍:实时爬取豆瓣网上电影的前TOP250名,以便选择,效果如图一:

Python爬虫项目-豆瓣网电影排名TOP250

              图一

解析出用到的网页,爬取要用到的数据以及生成可视化Excel表,并将表格保存。

爬取网站:豆瓣电影 Top 250

 

1.进入网站,打开开发者模式,解析页面并得到三个要爬取的网址:

Python爬虫项目-豆瓣网电影排名TOP250

Python爬虫项目-豆瓣网电影排名TOP250

2.用getData请求相对应页面以得到数据并保存数据到列表:

Python爬虫项目-豆瓣网电影排名TOP250

完整函数如下:

Python爬虫项目-豆瓣网电影排名TOP250

Python爬虫项目-豆瓣网电影排名TOP250

Python爬虫项目-豆瓣网电影排名TOP250

4.书写main函数,运行创建的函数:

Python爬虫项目-豆瓣网电影排名TOP250

5.运行效果截图:

Python爬虫项目-豆瓣网电影排名TOP250

Python爬虫项目-豆瓣网电影排名TOP250

上一篇:「数据采集」实验二


下一篇:python爬虫报错