Python爬虫学习(一)

1.使用urllib库

urllib库是python内置的HTTP请求库,包含4个模块:
1.request:是最基本的http请求模块,可以用来模拟发送请求,就像在浏览器里输入网址按回车一样,只需要给库方法传入URL和其他参数,就可以实现这个过程了。
2.error:异常处理模块。
3.parse:一个工具模块,提供许多URL处理方法,比如拆分,解析,合并等。
4.robotparser:主要用来识别网站的robot.txt文件,然后判断哪些网站可以爬,它用的比较少。
1.1发送请求
1.urlopen()方法
使用urlopen()方法模拟浏览器发送请求,以python官网为例:

# -*- coding: utf-8 -*-
import urllib.request

response=urllib.request.urlopen('http://www.python.org')
#爬取python官网
print(response.read().decode('utf-8'))

print(type(response))

用type()方法查看输出类型,是一个HTTPResponse类型的对象,主要包含read(),readinto(),getheader(name),getheader(),fileno()等方法,以及msg,status,reason,debuglevel,closed等属性。
read()方法可以得到返回网页的内容,satus可以得到返回结果的状态码,如200代表成功,404代表未找到网页。
如:

print(response.status)
200

2.urlopen()的参数用法
urlopen()函数的API:
urllib.request.urlopen(url,data=None,[timeout, ]*,cafile=None,capath=None,cadefault=False,context=None)

  • data参数:可选参数,如果传递了这个参数就不再是get方式,而是post方式。
  • timeout参数:用于设置超时时间,单位秒,意思是如果超出这个时间还没有得到响应,就是抛出异常。可以实现控制一个网页如果长时间未响应,就跳过它的抓取,可以用try except语句实现。
    2.Request()方法
    Request()方法可以构建更完整的请求,如需要在请求中加入Headers等信息。
    Request()用法如下:
import urllib.request
request=urllib.request.Request('http://python.org')
reslib.request.urlopen(request)
print(response.read().deponse=urlcode('utf-8'))

Request()方法构造如下:
urllib.request.Request(url,data=None,hesders={},origin_req_hostt=None,unverifiable=False,method=None)
headers是一个字典,它就是请求头,可以通过headers参数直接构造,也可以通过调用实例的add_header()方法添加。
添加请求头最常用的方法就是通过修改User-Agent来伪装浏览器,默认的User-Agent是Python-urllib,可以通过修改它来伪装浏览器。

上一篇:C# 实现压缩 + 解压缩


下一篇:对于简单的反扒