带你读《Python网络爬虫从入门到实践(第2版)》之三:静态网页抓取

点击查看第一章
点击查看第二章

第3章

静态网页抓取
在网站设计中,纯粹HTML格式的网页通常被称为静态网页,早期的网站一般都是由静态网页制作的。在网络爬虫中,静态网页的数据比较容易获取,因为所有数据都呈现在网页的 HTML代码中。相对而言,使用AJAX动态加载网页的数据不一定会出现在HTML代码中,这就给爬虫增加了困难。本章先从简单的静态网页抓取开始介绍,第4章再介绍动态网页抓取。
在静态网页抓取中,有一个强大的Requests库能够让你轻易地发送HTTP请求,这个库功能完善,而且操作非常简单。本章首先介绍如何安装Requests库,然后介绍如何使用Requests库获取响应内容,最后可以通过定制Requests的一些参数来满足我们的需求。

3.1 安装Requests

Requests库能通过pip安装。打开Windows 的cmd或Mac的终端,键入:

带你读《Python网络爬虫从入门到实践(第2版)》之三:静态网页抓取

就安装完成了。

3.2 获取响应内容

在Requests中,常用的功能是获取某个网页的内容。现在我们使用Requests获取个人博客主页的内容。

带你读《Python网络爬虫从入门到实践(第2版)》之三:静态网页抓取

这样就返回了一个名为r的response响应对象,其存储了服务器响应的内容,我们可以从中获取需要的信息。上述代码的结果如图3-1所示。

带你读《Python网络爬虫从入门到实践(第2版)》之三:静态网页抓取

上例的说明如下:
(1)r.text是服务器响应的内容,会自动根据响应头部的字符编码进行解码。
(2)r.encoding是服务器内容使用的文本编码。
(3)r.status_code用于检测响应的状态码,如果返回200,就表示请求成功了;如果返回的是4xx,就表示客户端错误;返回5xx则表示服务器错误响应。我们可以用r.status_code来检测请求是否正确响应。
(4)r.content是字节方式的响应体,会自动解码gzip和deflate编码的响应数据。
(5)r.json()是Requests中内置的JSON解码器。

3.3 定制Requests

在3.2节中,我们使用Requests库获取了网页数据,但是有些网页需要对Requests的参数进行设置才能获取需要的数据,这包括传递URL参数、定制请求头、发送POST请求、设置超时等。

3.3.1 传递URL参数

为了请求特定的数据,我们需要在URL的查询字符串中加入某些数据。如果你是自己构建URL,那么数据一般会跟在一个问号后面,并且以键/值的形式放在URL中,如http://httpbin.org/get?key1=value1
在Requests中,你可以直接把这些参数保存在字典中,用params(参数)构建至URL中。例如,传递key1 = value1和key2=value2到http://httpbin.org/get ,可以这样编写:

带你读《Python网络爬虫从入门到实践(第2版)》之三:静态网页抓取

通过上述代码的输出结果可以发现URL已经正确编码:
URL已经正确编码:http://httpbin.org/get?key1=value1&key2=value2
字符串方式的响应体:

带你读《Python网络爬虫从入门到实践(第2版)》之三:静态网页抓取
带你读《Python网络爬虫从入门到实践(第2版)》之三:静态网页抓取

3.3.2 定制请求头

请求头Headers提供了关于请求、响应或其他发送实体的信息。对于爬虫而言,请求头十分重要,尽管在上一个示例中并没有制定请求头。如果没有指定请求头或请求的请求头和实际网页不一致,就可能无法返回正确的结果。
Requests并不会基于定制的请求头Headers的具体情况改变自己的行为,只是在最后的请求中,所有的请求头信息都会被传递进去。
那么,我们如何找到正确的Headers呢?
还是用到第2章提到过的Chrome浏览器的“检查”命令。使用Chrome浏览器打开要请求的网页,右击网页的任意位置,在弹出的快捷菜单中单击“检查”命令。
如图3-2所示,在随后打开的页面中单击Network选项。

带你读《Python网络爬虫从入门到实践(第2版)》之三:静态网页抓取

如图3-3所示,在左侧的资源中找到需要请求的网页,本例为www.santostang.com。单击需要请求的网页,在Headers中可以看到Requests Headers的详细信息。

带你读《Python网络爬虫从入门到实践(第2版)》之三:静态网页抓取

因此,我们可以看到请求头的信息为:
GET / HTTP/1.1
Host: www.santostang.com
Connection: keep-alive
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,/;q=0.8 Accept-Encoding: gzip, deflate, sdch
Accept-Language: en-US,en;q=0.8,zh-CN;q=0.6,zh;q=0.4,zh-TW;q=0.2
提取请求头中重要的部分,可以把代码改为:

带你读《Python网络爬虫从入门到实践(第2版)》之三:静态网页抓取

3.3.3 发送POST请求

除了GET请求外,有时还需要发送一些编码为表单形式的数据,如在登录的时候请求就为POST,因为如果用GET请求,密码就会显示在URL中,这是非常不安全的。如果要实现POST请求,只需要简单地传递一个字典给Requests中的data参数,这个数据字典就会在发出请求的时候自动编码为表单形式。

带你读《Python网络爬虫从入门到实践(第2版)》之三:静态网页抓取

输出的结果为:
{
"args": {},
"data": "",
"form": {

"key1": "value1", 
"key2": "value2"

},

}
可以看到,form变量的值为key_dict输入的值,这样一个POST请求就发送成功了。

3.3.4 超时

有时爬虫会遇到服务器长时间不返回,这时爬虫程序就会一直等待,造成爬虫程序没有顺利地执行。因此,可以用Requests在timeout参数设定的秒数结束之后停止等待响应。意思就是,如果服务器在timeout秒内没有应答,就返回异常。
我们把这个秒数设置为0.001秒,看看会抛出什么异常。这是为了让大家体验timeout异常的效果而设置的值,一般会把这个值设置为20秒。

带你读《Python网络爬虫从入门到实践(第2版)》之三:静态网页抓取

返回的异常为:ConnectTimeout: HTTPConnectionPool(host='www.santostang.com ',
port=80): Max retries exceeded with url: / (Caused by ConnectTimeoutError(connection.HTTPConnection object at 0x0000000005B85B00>, 'Connection to www.santostang.com timed out. (connect timeout=0.001)'))。
异常值的意思是,时间限制在0.001秒内,连接到地址为www.santostang.com 的时间已到。

3.4 Requests爬虫实践:TOP250电影数据

本章实践项目的目的是获取豆瓣电影TOP250的所有电影的名称,网页地址为:https://movie.douban.com/top250 。在此爬虫中,将请求头定制为实际浏览器的请求头。

3.4.1 网站分析

打开豆瓣电影TOP250的网站,使用“检查”功能查看该网页的请求头,如图3-4所示。

带你读《Python网络爬虫从入门到实践(第2版)》之三:静态网页抓取

按照3.3.2中的方法提取其中重要的请求头:

带你读《Python网络爬虫从入门到实践(第2版)》之三:静态网页抓取

第一页只有25个电影,如果要获取所有的250页电影,就需要获取总共10页的内容。
通过单击第二页可以发现网页地址变成了:
https://movie.douban.com/top250?start=25
第三页的地址为:https://movie.douban.com/top250?start=50 ,这就很容易理解了,每多一页,就给网页地址的start参数加上25。

3.4.2 项目实践

通过以上分析发现,可以使用requests获取电影网页的代码,并利用for循环翻页。其代码如下:

带你读《Python网络爬虫从入门到实践(第2版)》之三:静态网页抓取

运行上述代码,得到的结果是:
1 页响应状态码: 200

lang="zh-cmn-Hans" class="ua-windows ua-webkit">
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<meta name="renderer" content="webkit">
<meta name="referrer" content="always">
<title>

豆瓣电影TOP250
...
这时,得到的结果只是网页的HTML代码,我们需要从中提取需要的电影名称。接下来会涉及第5章解析网页的内容,读者可以先使用下面的代码,至于对代码的理解,可以等到第5章再学习。

带你读《Python网络爬虫从入门到实践(第2版)》之三:静态网页抓取
带你读《Python网络爬虫从入门到实践(第2版)》之三:静态网页抓取

在上述代码中,使用BeautifulSoup对网页进行解析并获取其中的电影名称数据。运行代码,得到的结果是:
1 页响应状态码: 200
2 页响应状态码: 200
3 页响应状态码: 200
4 页响应状态码: 200
5 页响应状态码: 200
6 页响应状态码: 200
7 页响应状态码: 200
8 页响应状态码: 200
9 页响应状态码: 200
10 页响应状态码: 200
['肖申克的救赎', '这个杀手不太冷', '霸王别姬', '阿甘正传', '美丽人生', '千与千寻', '辛德勒的名单', '泰坦尼克号', '盗梦空间', '机器人总动员', '海上钢琴师', '三傻大闹宝莱坞', '忠犬八公的故事', '放牛班的春天', '大话西游之大圣娶亲', '教父', '龙猫', '楚门的世界', '乱世佳人', '天堂电影院', '当幸福来敲门', '触不可及', '搏击俱乐部', '十二怒汉', '无间道', '熔炉', '指环王3:王者无敌', '怦然心动', '天空之城', '罗马假日', ...]

3.4.3 自我实践题

读者若有时间,可以实践进阶问题:获取TOP 250电影的英文名、港台名、导演、主演、上映年份、电影分类以及评分。

上一篇:带你读《机器学习即服务 将Python机器学习创意快速转变为 云端Web应用程序》之一:无服务器计算介绍


下一篇:带你读《Python网络爬虫从入门到实践(第2版)》之二:编写第一个网络爬虫