python学习笔记(7)--爬虫隐藏代理

说明:

1. 好像是这个网站的代理http://www.xicidaili.com/

2. 第2,3行的模块不用导入,之前的忘删了。。

3. http://www.whatismyip.com.tw/这个网站可以查看本机ip

4. 指定代理,创建代理,安装代理,打开链接,over。。

5. urllib.request.ProxyHandler({"http":"110.72.20.12:8123"}) -> urllib.request.build_opener -> request.install_opener -> urllib.request.urlopen

 import urllib.request
import urllib.parse
import json iplist = ["110.72.20.12:8123","180.76.154.5:8888"]
proxies = {
"http": "http://10.10.1.10:3128",
"https": "http://10.10.1.10:1080",
}
url = "http://www.whatismyip.com.tw/"
# url = "http://www.tuwenclub.com" proxy_support = urllib.request.ProxyHandler({"http":"110.72.20.12:8123"})
opener = urllib.request.build_opener(proxy_support)
opener.addheaders = [("User-Agent","Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0")]
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read().decode("utf-8") print(html)
上一篇:获取App的PackageName包名和LauncherActivity启动页


下一篇:【Spring学习笔记-3】国际化支持