PyQuery: 爬虫界最简洁优雅的库

简洁的PyQuery库
pyquery库是jQuery的Python实现,能够以jQuery的语法来操作解析 HTML 文档,易用性和解析速度都很好。特别适合进行访问和解析网页数据。

PyQuery库官方文档 https://pythonhosted.org/pyquery/index.html

本文章节:

  1. 初始化为PyQuery对象

  2. 常用的CCS选择器

  3. 伪类选择器

  4. 查找标签

  5. 获取标签信息

  6. 高级方法

一、初始化为PyQuery对象
PyQuery: 爬虫界最简洁优雅的库
相当于BeautifulSoup库的初识化方法,将html转化为BeautifulSoup对象。

bsObj = BeautifulSoup(html, 'html.parser')

PyQuery库也要有自己的初始化。

1.1 将字符串初始化
PyQuery: 爬虫界最简洁优雅的库
Run

PyQuery: 爬虫界最简洁优雅的库
1.2 将html文件初始化
PyQuery: 爬虫界最简洁优雅的库
1.3 对网站访问并初始化
PyQuery: 爬虫界最简洁优雅的库
Run
PyQuery: 爬虫界最简洁优雅的库
上面的字符串出现乱码,所以需要设置使用encoding参数

PyQuery: 爬虫界最简洁优雅的库

二、常用的CCS选择器
从这一节开始,我们就要对PyQuery对象进行操作,获得我们想要的各种数据。你会看到解析网页,不论什么苦,基本原理实际上是没有区别的,学会了一种解析库。再看其他解析库文档,是很容易理解的。

在 CSS 中,选择器是一种模式,用于选择需要添加样式的元素。

常用的css选择器

PyQuery: 爬虫界最简洁优雅的库

本文只讲clas id 和element最常见的css选择器。对css不太懂了,也没关系,可以去w3c官网的css选择器,查看下文档

#使用上文的doc


print
(
doc
)

Run
PyQuery: 爬虫界最简洁优雅的库
2.1 打印id为container的标签

print
(
doc
(
'#container'
))

print
(
type
(
doc
(
'#container'
)))

Run
PyQuery: 爬虫界最简洁优雅的库
2.2 打印class为object-1的标签

print
(
doc
(
'.object-1'
))

Run


<li

class
=
"object-1"
>
Python
</li>

打印标签名为body的标签


print
(
doc
(
'body'
))

Run
PyQuery: 爬虫界最简洁优雅的库

2.3 多种css选择器使用
选出ul节点,有很多种表达方式。比如ul节点(该ul节点中的属性键值对为id=container)


print
(
doc
(
"ul[id=container]"
))

Run

PyQuery: 爬虫界最简洁优雅的库

三、伪类选择器
PyQuery: 爬虫界最简洁优雅的库

PyQuery: 爬虫界最简洁优雅的库

Run
PyQuery: 爬虫界最简洁优雅的库

3.1 伪类nth
PyQuery: 爬虫界最简洁优雅的库
3.2 contains
PyQuery: 爬虫界最简洁优雅的库

四、查找标签
PyQuery对象拥有很多实用的定位方法

PyQuery: 爬虫界最简洁优雅的库


print
(
doc
)

Run

PyQuery: 爬虫界最简洁优雅的库

获得所有的li标签

PyQuery: 爬虫界最简洁优雅的库
doc('li')返回的不是PyQuery类型,而是lxml.etree.Element类型。Element.text获取节点的文本内容
PyQuery: 爬虫界最简洁优雅的库
查看doc.items迭代出的对象的数据类型

PyQuery: 爬虫界最简洁优雅的库

PyQuery: 爬虫界最简洁优雅的库

PyQuery: 爬虫界最简洁优雅的库

PyQuery: 爬虫界最简洁优雅的库
五、pyquery高级用法
PyQuery与BeautifulSoup对比,我们会发现PyQuery可以对网址发起请求。比如

PyQuery: 爬虫界最简洁优雅的库
5.1 opener参数
PyQuery对百度网址进行请求,并将请求返回的响应数据处理为PyQuery对象。一般pyquery库会默认调用urllib库,如果想使用selenium或者requests库,可以自定义PyQuery的opener参数。

opener参数作用是告诉pyquery用什么请求库对网址发起请求。常见的请求库如urllib、requests、selenium。这里我们自定义一个selenium的opener。
PyQuery: 爬虫界最简洁优雅的库
Run

[<
html
>]

这时候我们就能上面学到的知识对PyQuery对象进行操作,提取有用的信息。

5.2 cookies、headers
在requests用法中,一般为了访问网址更加真实,模仿成浏览器。一般我们需要传入headers,必要的时候还需要传入cookies参数。而pyquery库就有这功能,也能伪装浏览器。

PyQuery: 爬虫界最简洁优雅的库
Run注意,我这里返回的内容你可能觉得很少,是因为这是PyQuery对象。PyQuery.html()

[<
html
>]

5.3 让你的selenium带上pyquery功能
如何让driver访问的网址得到的网页直接变为PyQuery对象,更方便提取数据?

本来我想用Phantomjs自定义一个类,让selenium拥有pyquery的功能。后来测试发现phantomjs去年不再支持selenium,因为曾经的无头浏览器phantomjs具有不可替代的作用,但如今chrome和firefox都能提供无头浏览器的功能。

PyQuery: 爬虫界最简洁优雅的库
Run

<class

'pyquery.pyquery.PyQuery'
>

这几个对pyquery功能的扩展,我觉得实现方式很不错,很美观简洁,以后我会多模仿,比如用函数或类的方式,对已有的库及函数进行功能加持。

至于实战,大家可以看很久之前大邓分享的文章 pyquery爬取豆瓣读书

上一篇:python – 解析lxml中的html主体片段


下一篇:Python爬虫入门:pyquery库基础