python爬虫入门（1）-urllib模块

2022-06-08 14:30:14

作用：用于读取来自网上(服务器上)的数据

基本方法：urllib.request.urlopen(url,data=None,[]timeout]*,cafile=None,cadefault=False,context=None)

url:需要打开的网址
data:Post提交的数据
timeout:设置网站的访问超时时间

示例1：获取页面

    import urllib.request

    response = urllib.request.urlopen("http://www.fishc.com")#是一个HTTP响应类型

    html =response.read()#读取响应内容，为bytes类型

    # print(type(html),html) #输出的为一串<class 'bytes'>

    html = html.decode('utf-8')#bytes类型解码为str类型

    print(html)

示例2：抓一只猫

import urllib.request

response = urllib.request.urlopen("http://placekitten.com/g/400/400")

cat_img = response.read()

with open('cat_400_400.jpg','wb')as f:

　　f.write(cat_img)

示例3：翻译器

右击浏览器，选择检查或审查元素，再点击网络，找到post的 Name，复制RequestURL

在headers中找到Form Data,复制表单中内容

import urllib.request

import urllib.parse

import json

import time

while True:

    content = input("请输入需要翻译的内容《输入q!退出程序》：")

    if content == 'q!':

        break

    url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=http://www.youdao.com/"    #即RequestURL中的链接

    data = {}

    #Form Data中的内容，适当删除无用信息

    data['i'] = content

    data['smartresult'] = 'dict'

    data['client'] = 'fanyideskweb'

    data['doctype'] = 'json'

    data['version'] = '2.1'

    data['keyfrom'] = 'fanyi.web'

    data['action'] = 'FY_BY_CLICKBUTTON'

    data['typoResult'] = 'true'

    data = urllib.parse.urlencode(data).encode('utf-8')

    #打开网址并提交表单

    response = urllib.request.urlopen(url, data)

    html = response.read().decode('utf-8')

    target = json.loads(html)

    print("翻译结果：%s" % (target['translateResult'][0][0]['tgt']))

    time.sleep(2)

隐藏和代理

隐藏：1.通过request的headers参数修改

2.通过Request.add_header()方法修改

代理：1.proxy_support = urllib.request.ProxyHandler({}) #参数是一个字典{'类型'：'代理IP:端口号'}

2.opener = urllib.request.build_opener(proxy_support) #定制、创建一个opener

3.urllib.request.install_opener(opener) #安装opener

opener.open(url) #调用opener

代理

示例5：代理

    import urllib.request

    import random

    url ='http://www.whatismyip.com.tw/'

    iplist =['61.191.41.130:80','115.46.97.122:8123',]

    #参数是一个字典{'类型'：'代理IP：端口号'}

    proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})

    #定制、创建一个opener

    opener = urllib.request.build_opener(proxy_support)

    #通过addheaders修改User-Agent

    opener.addheaders =[('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36')]

    #安装opener

    urllib.request.install_opener(opener)

    response = urllib.request.urlopen(url)

    html = response.read().decode('utf-8')

    print(html)

示例6：简单爬取贴吧图片

    import urllib.request

    import re

    def open_url(url):

        #打开URL并修改header，将URL内容读取

        req = urllib.request.Request(url)

        #通过add_header修改User-Agent

        req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36')

        page = urllib.request.urlopen(req)

        html = page.read().decode('utf-8')

        return html

    def get_img(html):

        p = r'<img class="BDE_Image" src="([^"]+\.jpg)'

        imglist = re.findall(p,html)#寻找到图片的链接

        for each in imglist:

        　　filename = each.split("/")[-1]

        　　urllib.request.urlretrieve(each,filename,None)#保存图片

　　if __name__ =='__main__':

        url ="https://tieba.baidu.com/p/5090206152"

        get_img(open_url(url))

null

码农公寓

相关文章