py爬虫要即使关闭response

import requests
import json

url = "https://movie.douban.com/j/new_search_subjects"

# 重新封装get的参数
# 这些参数信息都是通过浏览器抓到的,在Header中的查询字符串参数中
pram = {
    "sort": "U",
    "range": "0,10",
    "tags": "搞笑",
    "start": "0"
}
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.18 Safari/537.36 Edg/93.0.961.11"
}
resp = requests.get(url=url, params=pram, headers=headers)
# print(resp.request.headers)  # 查询User-Agent,并更改
# print(resp.text)  # 输出为空,原因:你被反爬了!!
text = resp.text
print(resp.json())
resp.close()

对于这个小程序,第一次写的时候,没加resp.close(),加上之前访问了很多次这个url,在没加resp.close()的情况下一直报错。之后看了下一集的教程,人家就说了用完了就得close掉。

所以,我换个了url,换个请求参数之后print(resp.json())就可以正常打印json格式了。

上一篇:java读取word文档


下一篇:实时获取雪球某代码数据