day02爬取豆瓣电影信息

'''
爬取豆瓣电影信息:
电影名称,电影url,电影导演
电影主演,电影年份,电影类型
电影评分,电影简介,电影评论
'''
爬虫三部曲
import  requests
import  re
#1.发送请求
def get_page(url):
    reponse=requests.get(url)
    return reponse
#2.解析数据
def parse_index(html):
    movie_list=re.findall('<div class="item">.*?<em class="">(.*?)</em>.*?<a href="(.*?)">.*?<span class="title">(.*?)</span>.*?导演: (.*?)主演: (.*?)<br>(.*?)</p>.*?<span class="rating_num" .*?>(.*?)</span>.*?<span>(.*?)人评价</span>.*?<span class="inq">(.*?)</span>',
            html,
            re.S)
    return movie_list
#3.保存数据
def save_data(movie):
    top, m_url, name, daoyan, actor, year_type, point, talk, desc = movie
    year_type=year_type.strip('\n')
    data = f'''
              ===============欢迎来到豆瓣电影===============
                              电影排名:{top}
                              电影url:{m_url}
                              电影名称:{name}
                              电影导演:{daoyan}
                              电影主演:{actor}
                              电影类型:{year_type}
                              电影评分:{point}
                              电影简介:{desc}
                              电影评论:{talk}
              =================欢迎下次再来==================
              \n
              \n
            '''
    print(data)
    with open('douban_top250.text','a',encoding='utf-8')as f:
        f.write(data)

    print(f'电影:{name}写入成功...')
#拼接所有主页
if __name__ == '__main__':
    num=0
    for line in range(10):
        url=f'https://movie.douban.com/top250?start={num}&filter='
        num+=25
        print(url)
#1.往每个主页发送请求
index_res=get_page(url)
#2.解析主页获取电影信息
movie_list=parse_index(index_res.text)
#3. 保存数据
        for movie in movie_list:
            save_data(movie)

 

上一篇:题解 P3909 异或之积


下一篇:取消input框的默认样式