python网络爬虫学习笔记

2021-08-14 19:08:04

python网络爬虫学习笔记

By 钟桓

9月 4 2014 更新日期:9月 4 2014

介绍：

网络爬虫的名字非常有意思，英文名称web spider。

真得非常形象。蜘蛛结网为了获取食物，而我们的爬虫程序，也是为了获取网络上的资源。

这篇blog是本人学习过程中的记录。学习过程中，使用的语言是python2.7；python2.7有两个模块，urllib和urllib2，这两个模块提供了非常好的网络訪问的功能。以下会更好的体会。值得一提的时，在python3中。将urllib和urllib2这两个模块合为一个urllib。感兴趣的能够看这里

urllib和urllib2是python中功能强大得网络工作库，它们让你的网络訪问像文件訪问一样（比如。文件訪问我们要先open()一个文件。它的操作也是类似的，后面就会看到样例）。之所以可以这么方便。由于这些模块的内部非常好的使用不同的网络协议来完毕这些功能，（学过网络应该了解，訪问一个网页这个简单的过程，事实上涉及到非常多的网络协议，像http。dns等等，而urllib和urllib2封装了这些协议。让我们不用和它们打交道，仅仅须要调用这些模块的方法来完毕我们须要的功能）。同一时候，这些模块也提供一些略微更复杂一点的借口来处理一些情形，比如用户认证，cookies和代理等等。

以下让我们開始来学习它们吧。

从简单语句中開始:

前面说过。使用两个模块，訪问网页变得就会像訪问文件一样方便。

在普通情况下。urllib2訪问会更好些（效率上更好，只是urllib还是须要使用，后面会介绍须要urllib做一些事情）。所以以下我们来看看使用urllib2的最简单的样例。



import urllib2;

response = urllib2.urlopen("http://www.zhonghuan.info");

html = response.read();

print html;

在终端下下输入命令行 python test.py > zhonghuan.html ,

打开文件后显示的是我的个人blog首页的html代码：

python网络爬虫学习笔记

这是最简单的一个利用urllib2訪问网页的样例。urllib2是依据URL中:前面的部分来推断是用什么协议訪问的，比如，上面的样例我们用的时http，这里也能够换成ftp:,file:,等。。。

我们能够不用去了解它内部是怎样封装这些网络协议的。

urllib2中能够用一个镜像对象（Request Object）来表示我们http訪问，它标示你想要訪问的URL地址，我们来看一下以下的样例。

import urllib2

req = urllib2.Request('http://www.zhonghuan.info')

response = urllib2.urlopen(req)

the_page = response.read()

print(the_page)

req变量就是一个Request对象。它确切的标示了你要訪问的URL地址。

（这里是http://www.zhonghuan.info）。对于其他的形式的訪问，比如ftp和file。形式也是类似的。详细能够看[这里][2];

事实上。Request对象还能做两个额外的事情。

  1. 你能够发送数据给server。
  2. 你能够发送一些额外的信息（又叫元数据。描写叙述数据的数据。一些语言里面的元类是生成类的类，如python就在这些语言中；所以元数据，顾名思义。描写叙述数据的数据，那么这些被描写叙述的数据是什么呢？上面中，还有request对象的一些信息。而这些描写叙述被放在http头部发送出去了。有关http header，能够看这里）;

传送数据给server

有时候，你须要发送数据给server，这个地址是URL表示的。通常呢。这个地址的指向是CGI（Common Gateway Interface）脚本或者是其他一些网络应用。（关于CGI脚本,能够看这里。简单的说就是处理上传数据的脚本程序）。

在HTTP訪问中。通常使用哪个POST方式将数据发送出去，就好像你填完了html中得表单，你须要把表单中得数据发送出去。通常这里使用post请求。当然，post使用还有其他的情况。不单单指的是表单这一种情况。

让我们先看以下的代码：



import urllib

import urllib2

url = 'http://www.someserver.com/cgi-bin/register.cgi'

values = {'name' : 'Michael Foord',

      'location' : 'Northampton',

      'language' : 'Python' }

data = urllib.urlencode(values)  #数据须要又一次编码成合适的格式，这里使用的时urllib中得方法，由于urllib2中没有编码的方法

req = urllib2.Request(url, data)  # #这里将须要上传的数据。传递给了equest对象，作为它的參数

response = urllib2.urlopen(req)

the_page = response.read()

关于其他类型的数据上传，能够看这里

除了使用post方式上传数据外，还能够使用get方式上传数据，get上传和post上传明显的差别就是get上传的数据会在URL中得尾部显示出来。

能够看以下的代码：



import urllib

import urllib2

data = {}

data['name'] = 'Somebody Here'

data['location'] = 'Northampton'

data['language'] = 'Python'

url_values = urllib.urlencode(data)

print url_values  # 这里的顺序不一定

url = 'http://www.example.com/example.cgi'

full_url = url + '?' + url_values

data = urllib2.urlopen(full_url)

能够悄悄打印出来url_value的形式。

HTTP头—描写叙述数据的数据

如今。我们来讨论一下HTTP头。来看看怎样在你的HTTP的Request对象，添加一个HTTP头。

有一些站点，它比較智能，它不喜欢被程序訪问（非人为的点击仅仅会加重它server的负担）。

或者有些站点更加智能点。对于不同的浏览器，会发送不同的网页数据。

但是呢，urllib2默认,会这样标示自己，Python-urllib/x.y(当中。x和y各自是大小版本，比如我如今使用的时Python-urllib/2.7);而这些数据可能会让一些网站认为迷惑。要是遇上了不喜欢被程序訪问的网站，那么这种訪问可能会直接被忽视。

所以，你能够构造一些身份。让网站不会拒绝你。看以下的样例。



import urllib

import urllib2

url = 'http://www.someserver.com/cgi-bin/register.cgi'

user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' #user_agent用来标示你的浏览器的，向这里就是mozilla

values = {'name' : 'Michael Foord',

      'location' : 'Northampton',

      'language' : 'Python' }

headers = { 'User-Agent' : user_agent }

data = urllib.urlencode(values)

req = urllib2.Request(url, data, headers)

response = urllib2.urlopen(req)

the_page = response.read()

异常

异常时常有，要小心提防呐。想想一般文件操作的时候，会有什么异常呢？文件无法打开，什么权限不够啊。文件不存在啊等等异常。相同的。对于URL訪问。也会遇到这些问题，（python一些内部异常，比如ValueError，TypeError等异常。也可能会发生）

URLError

先说说URLError。当没有网络连接，或者訪问的server地址不存在的时候，在这样的情况下。URLError会被抛出来，这个时候，URLError异常会有个“reason”属性。它是一个元组。包括error code（int型）和text error message（string型），看以下的代码



import urllib

import urllib2

req = urllib2.Request('http://www.pretend_server.org')

try: urllib2.urlopen(req)

except urllib2.URLError as e:

    print e.reason

输出[Errno 8] nodename nor servname provided, or not known;输出的内容就是reason。

HTTPError

每个HTTP訪问，会从server那儿获得一个“status code”（状态码）。通常这些状态码告诉我们server无法满足一些訪问（直白点说就是一些数据而已，仅仅只是表示的是当前訪问的状态，比方当前訪问被拒绝了，status code能够告诉你，你哪些举动过分了。出格了。注意，咸猪手不能够有啊~~）。

只是呢，urllib2的默认处理器可以帮助你处理一些server的响应，比方说你当前訪问的网址被server重定向了，就是说你的server给你一个新的URL訪问了，处理器会帮你直接去訪问新的URL。

可是默认的处理器毕竟功能有限。它不能帮助你解决全部问题。比方你訪问的站点不存在了（相应404错误。我们有时候会看到这个错误），或者你的訪问被禁止了（相应403错误，禁止的原因可能是由于你的权限不够啦等等），又或者是须要你验证啦（相应401）。详细的其他错误本文就不介绍啦，详细能够看这里

让我们看以下的程序，看一下当HTTPError的404错误，也就是页面不存在时候。它会输出点什么。



import urllib

import urllib2

req = urllib2.Request('http://www.zhonghuan.info/no_way')

try: urllib2.urlopen(req)

except urllib2.HTTPError as e:

       print e.code;

     print e.read();

输出：

404

<!DOCTYPE html>

…

<title>Page not found &middot; GitHub Pages</title>

…

处理异常

如果你想要捕捉HTTPError和URLError，有两种主要的方法。推荐另外一种噢！

第一种：



from urllib2 import Request, urlopen, URLError, HTTPError

req = Request(http://zhonghuan.info)

try:

    response = urlopen(req)

except HTTPError as e:

    print 'The server couldn\'t fulfill the request.'

    print 'Error code: ', e.code

except URLError as e:

    print 'We failed to reach a server.'

    print 'Reason: ', e.reason

else:

    # everything is fine

第一种方法。HTTPError一定要放在URLError前面，原因呢，和非常多语言的异常处理机制一样，HTTPError是URLError的子类，假设发生了HTTPError。它能够被当做是URLError被捕捉。

另外一种：

from urllib2 import Request, urlopen, URLError

req = Request(someurl)

try:

       response = urlopen(req)

except URLError as e:

    if hasattr(e, 'reason'):

        print 'We failed to reach a server.'

        print 'Reason: ', e.reason

    elif hasattr(e, 'code'):

        print 'The server couldn\'t fulfill the request.'

        print 'Error code: ', e.code

else:

    # everything is fine

info和geturl

这里介绍两个方法info()和geturl()；

geturl():该方法会返回訪问的页面的真实的URL，它的价值在于我们訪问的网页可能会被重定向，所以导致訪问的URL和我们输入的可能不一样。看以下的样例：



import urllib

import urllib2

url = 'http://weibo.com/u/2103243911';

req = urllib2.Request(url);

response = urllib2.urlopen(req)

print "URL:",url;

print "After redirection:",response.geturl();

以我的微博个人主页为例，事实上真实訪问被重定向了，真实的网址，从输出中能够看出:

URL: http://weibo.com/u/2103243911



After redirection: http://passport.weibo.com/visitor/visitor?

a=enter&url=http%3A%2F%2Fweibo.com%2Fu%2F2103243911&_rand=1409761358.1794

info():能够得到描写叙述页面的信息，返回的是一个httplib.HTTPMessage实例，打印出来非常像字典。

看以下的代码：



import urllib

import urllib2

url = 'http://zhonghuan.info';

req = urllib2.Request(url);

response = urllib2.urlopen(req);

print response.info();

print response.info().__class__;

输出：



Server: GitHub.com

Content-Type: text/html; charset=utf-8

Last-Modified: Tue, 02 Sep 2014 17:01:39 GMT

Expires: Wed, 03 Sep 2014 15:23:02 GMT

Cache-Control: max-age=600

Content-Length: 4784

Accept-Ranges: bytes

Date: Wed, 03 Sep 2014 16:38:29 GMT

Via: 1.1 varnish

Age: 5127

Connection: close

X-Served-By: cache-lax1433-LAX

X-Cache: HIT

X-Cache-Hits: 1

X-Timer: S1409762309.465760,VS0,VE0

Vary: Accept-Encoding

Class: httplib.HTTPMessage

Opener和Handler

这里介绍Opener和Handler。

什么是Opener呢？事实上上面的样例我们一直在用Opener了，就是urlopen。这个是默认的opener。网络訪问情况非常多，你能够创建比較合适的opener，

什么是Handler呢？事实上Opener会调用Handler来处理訪问中得琐事，所以Handler非常重要，对于特定的协议（比如FTP，HTTP）。它知道怎样怎样处理訪问。比如它会帮你处理重定向问题。

在訪问的时候。你可能对于Opener有一些要求，比如，你希望得到的Opener可以处理cookie，或者你不希望Opener帮助你处理重定向。

我们怎样生成须要得Opener呢？（这里插一下，个人认为这里的Opener生成方式，和设计模式中得生成器欧式，又叫建造者模式，英文名称Builder Pattern；有些相似，只是不全然一样，但总认为，在看下去之前。先了解一下这个模式会有优点。没有接触过的朋友能够看这篇Builder
pattern）;

要创建一个 opener，能够实例化一个OpenerDirector，

然后调用.add_handler(some_handler_instance)。

只是，能够使用build_opener。这是一个更加方便的函数，用来创建opener对象，他仅仅须要一次函数调用。build_opener默认加入几个处理器，但提供快捷的方法来加入或更新默认处理器。

其它的处理器handlers你也许会希望处理代理，验证，和其它经常使用但有点特殊的情况。

刚刚提到handler会帮我们处理重定向，可是。假设我们不想要重定向呢，该怎么办，自己定义一个handler。

看以下的代码：



mport urllib

import urllib2

class RedirectHandler(urllib2.HTTPRedirectHandler):# 这个RedirectHandler继承了HTTPRedirectHandler，只是，它覆盖了父类的方法，让它什么都不做。失去了重定向的功能。

    def http_error_301(self, req, fp, code, msg, headers):

        pass

    def http_error_302(self, req, fp, code, msg, headers):

        pass

webo = "http://weibo.com/u/2103243911"; #訪问的是我的微博页面，由于正常情况下，訪问时会发生重定向

opener = urllib2.build_opener(RedirectHandler) #这里，我们自己定义了一个opener，加入了一个重定向时处理的自己定义handler

response = opener.open(webo);# response  = urllib2.urlopen(webo);

print response.geturl();

urllib2.install_opener(opener);  #安装自己定义的opener，以后调用urllib2的时候，返回的就是这个opener。

输出结果是：

urllib2.HTTPError: HTTP Error 302: Moved Temporarily

之所以发生http error 302，是由于本来訪问我的微博个人主页的时候。它应该发生重定向的，但是我们自己的重定向Handler什么都不做，结果就是发生异常了。

能够看看以下的urllib2关于创建自己定义Opener的类图

python网络爬虫学习笔记

Basic Authentication

假设一个站点。他提供注冊登入这些功能。那么一般它实username/password,假设你訪问的页面，系统要求你提供username/password，这个过程叫做Authentication，实在server那端所做的操作。它给一些页面提供了安全保护。

一个主要的Authentication（验证）过程是这种：

  1. client提出请求訪问某些页面。
  2. server返回一个错误，要求进行身份验证。
  3. client把username/password（一般这样）编码后发给server。
  4. server检查这对username/password是否正确，然后返回用户请求的页面或者是一些错误。

上面的过程。还有可能是其他形式，这里仅仅是举个比較普遍的。

通常server返回的是401错误，表明訪问的网页未授权。同一时候。返回的response的header内有形如

WWW-Authenticate: SCHEME realm="REALM".

的内容，比如，你想要訪问cPanel的管理应用程序，你会收到这种header：WWW-Authenticate: Basic realm="cPanel"（cPanel 是一套在网页寄存业中最享负盛名的商业软件。其基于 Linux 和 BSD 系统及以 PHP 开发且性质为闭源软件；cPanel 主要是面向客户权级的控制系统）

当我们訪问页面的时候，opener会调用handler来处理各种情况。而处理Authentication的handler是urllib2.HTTPBasicAuthHandler。同一时候须要一个用户password管理器urllib2.HTTPPasswordMgr。

不幸的时。HTTPPasswordMgr有一个小问题，就是在获取网页前，你须要知道它的realm。幸运的是，它有一个表兄弟HTTPPasswordMgrWithDefaultRealm，这个表兄弟能够事先不知道realm，在realm參数位置上，能够传一个None进去。它更友好的被使用。

以下參考以下的代码：



import urllib2

url = 'http://www.weibo.com'#分别相应域名，账号。密码

username = 'zhonghuan'

password = 'forget_it'

passman = urllib2.HTTPPasswordMgrWithDefaultRealm() #创建密码管理器

passman.add_password(None, url, username, password)# 參数形式（realm，URL，UserName，Password）

authhandler = urllib2.HTTPBasicAuthHandler(passman)#创建Authentication的handler

opener = urllib2.build_opener(authhandler)

urllib2.install_opener(opener) #和上面介绍的一样。install_opener后，每次调用urllib2的urlopen，返回的就是这个opener

pagehandle = urllib2.urlopen(url)

代理

有时候，我们本机不能直接訪问，须要代理server去訪问。urllib2对这个设置代理支持的还不错，能够直接实例化ProxyHandler，它的參数是一个map，key值是代理的訪问协议名称，value值是代理的地址。看以下的代码实现。



import urllib2

enable_proxy = True

proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})

null_proxy_handler = urllib2.ProxyHandler({})

if enable_proxy:

    opener = urllib2.build_opener(proxy_handler)

else:

    opener = urllib2.build_opener(null_proxy_handler)

urllib2.install_opener(opener)

Timeout 设置

在老版 Python 中，urllib2 的 API 并没有暴露 Timeout 的设置，要设置 Timeout 值，仅仅能更改 Socket 的全局 Timeout 值。



import urllib2

import socket

socket.setdefaulttimeout(10) # 10 秒钟后超时

urllib2.socket.setdefaulttimeout(10) # 还有一种方式

在 Python 2.6 以后，超时能够通过 urllib2.urlopen() 的 timeout 參数直接设置。



import urllib2

response = urllib2.urlopen('http://www.google.com', timeout=10)

Cookie

urllib2 对 Cookie 的处理也是自己主动的。假设须要得到某个 Cookie 项的值，能够这么做：



import urllib2

import cookielib

cookie = cookielib.CookieJar()

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))

response = opener.open('http://www.google.com')

for item in cookie:

    if item.name == 'some_cookie_item_name':

        print item.value

Debug Log

使用 urllib2 时，能够通过以下的方法把 debug Log 打开，这样收发包的内容就会在屏幕上打印出来。方便调试。有时能够省去抓包的工作



import urllib2

httpHandler = urllib2.HTTPHandler(debuglevel=1)

httpsHandler = urllib2.HTTPSHandler(debuglevel=1)

opener = urllib2.build_opener(httpHandler, httpsHandler)

urllib2.install_opener(opener)

response = urllib2.urlopen('http://www.google.com')

參考资料：

  1. python urllib2的使用 (推荐)

  2. python网络爬虫新手教程 (推荐)

  3. CGI脚本入门 (推荐)

  4. urllib2 源代码小剖

  5. Python 标准库 urllib2 的使用细节 (推荐)

  6. Authentication with Python (推荐)

  7. http://en.wikipedia.org/wiki/List_of_HTTP_header_fields


    版权声明：本文博主原创文章。博客，未经同意不得转载。

    上一篇：Aspect Oriented Programming using Interceptors within Castle Windsor and ABP Framework AOP


    下一篇：Gym100971B Gym100971C Gym100971F Gym100971G Gym100971K Gym100971L(都是好写的题。。。) IX Samara Regional Intercollegiate Programming Contest Russia, Samara, March 13, 2016