Python爬虫的一些常用库(解析2)

xpath

xpath应该是使用最多的解析工具,这玩意是真的简单方便。

安装

这里的话我是直接安装parsel

Python爬虫的一些常用库(解析2)

使用

selector = parsel.Selector(html) # 这个html是我请求页面时打印页面的参数

用法:

//li[contains(@id,"好家伙")]  # 查找id属性值中有字符串好家伙的li节点
/text()或者/@href 得到列表中的内容
//  根目录
[]  谓语 - 条件
@   提取该元素
/   选择元素

Python爬虫的一些常用库(解析2)

看到,每张图片都在div里面

Python爬虫的一些常用库(解析2)

进一步分析,可以看到图片在img里面 ,那么,xpath语法如下:

//div[@class="egeli_pic_li"]/dl//a/img/@src

这里的div可以换成*   效果是一样的,而@里面的也可以不一样,可以换成style,效果也一样

//*[@style="position: absolute; left: 0px; top: 0px;"]//img/@src
//*[@style="position: absolute; left: 0px; top: 0px;"]//@src
//*//@src
//*/*/*/img/@src

想多简单就能有多简单,上手也快。

有时候不想打开pycharm来玩,感觉打开pycharm还要请求,解析,print一般很麻烦,想直接在页面就能玩一下,爽一爽,可以下载一个xpath的浏览器插件。当然,也可以在开发者工具中,按CTRL+F,

Python爬虫的一些常用库(解析2)
 

 在这里也可以玩,但是在这里输入的话,它会跟着你动,难受的不行。

上一篇:基于ARM-Linux系统、Qt、OpenCV的红绿灯识别系统


下一篇:maven无法读取xml