ajax的get方法获取豆瓣电影前10页的数据

# _*_ coding : utf-8 _*_
# @Time : 2021/11/2 11:45
# @Author : 秋泊酱

# 1页数据 电影条数20
# https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&
# start=0&limit=20

# 2页数据
# https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&
# start=20&limit=20

# 3页数据
# https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&
# start=40&limit=20

# 4页数据
# https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&
# start=60&limit=20

# page页      1  2   3   4
# start开始   0  20  40  60

# 算法
# start (page - 1)*20


# 下载豆瓣电影前10页的数据
# (1) 请求对象的定制
# (2) 获取响应的数据
# (3) 下载数据

import urllib.parse
import urllib.request

# 1) 请求对象的定制
def create_request(page):
    base_url = 'https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&'

    data = {
        'start': (page - 1) * 20,
        'limit': 20
    }
    # 常用 urllib.parse.urlencode 进行 URL 的 get 请求参数拼接
    data = urllib.parse.urlencode(data)

    url = base_url + data

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
    }
    # 请求对象的定制
    request = urllib.request.Request(url=url, headers=headers)
    # 函数返回
    return request

# 2) 获取响应的数据
def get_content(request):
    # 模拟浏览器B,向服务器S,发送请求
    response = urllib.request.urlopen(request)
    # 获取响应数据
    content = response.read().decode('utf-8')
    # 函数返回
    return content

# 3) 下载数据
def down_load(page,content):
    # python的字符串拼接,两边都要是str字符串类型
    with open('douban_' + str(page) + '.json', 'w', encoding='utf-8')as fp:
        fp.write(content)


# 程序的入口
if __name__ == '__main__':
    start_page = int(input('请输入起始的页码'))
    end_page = int(input('请输入结束的页面'))

    for page in range(start_page,end_page+1):
#         每一页都有自己的请求对象的定制
        request = create_request(page)
#         获取响应的数据
        content = get_content(request)
#         下载
        down_load(page,content)

ajax的get方法获取豆瓣电影前10页的数据

上一篇:python安装包时出现四次:WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None


下一篇:scrapyd和scrapyd-client使用教程