第一个小爬虫
爬虫准备
pip install requests
爬虫的定义
爬虫是指通过编写程序来获取到互联网上的资源
from urllib.request import urlopen
url = "http://www.baidu.com"
resp = urlopen(url) # 打开网址
with open("mybaidu.html", mode="w", encoding="utf-8") as f: # utf-8 解决乱码问题
f.write(resp.read().decode("utf-8"))
# resp.read().decode("utf-8")
UTF-8
UTF-8（8位元，Universal Character Set/Unicode Transformation Format）是针对Unicode的一种可变长度字符编码。它可以用来表示Unicode标准中的任何字符，而且其编码中的第一个字节仍与ASCII相容，使得原来处理ASCII字符的软件无须或只进行少部分修改后，便可继续使用。因此，它逐渐成为电子邮件、网页及其他存储或传送文字的应用中，优先采用的编码。