xpath介绍:
- xpath 是在XML文档中搜索内容的一门语言
- 导入模块:
from lxml import etree
- 生成
xpath
解析对象:xxx = etree.HTML(需要解析的对象)
- 获取层级关系节点:
xxx.xpath("")
- 获取节点内的内容:在结尾加上
/text()
xpath检索:
- 选取此节点的所有子节点:
nodename
- 表示一个层级,从根节点开始定位:
/
- 表示多个层级,从任意位置开始定位:
//
- 通配符,选择所有元素节点与元素名:
*
- 选取当前节点:
.
- 选取当前节点的父节点:
...
- 选取属性:
@
- 索引提取,下标从1开始
[x]
- 提取属性xxx为yyy的所有元素:
[@xxx='yyy']
- 例如:选取
id=666
的所有元素[@id=666]
- 提取属性为xxx所有的元素:
[@xxx]
实例:
# xpath练习 -- 爬取猪八戒网
import requests
from lxml import etree
url = "https://shangqiu.zbj.com/search/f/?kw=saas"
res = requests.get(url)
# html解析
html = etree.HTML(res.text)
divs = html.xpath("/html/body/div[6]/div/div/div[2]/div[5]/div[1]/div")
for div in divs:
title = div.xpath("./div/div/a[1]/div[1]/p/text()")[-1].strip("\n")
price = div.xpath("./div/div/a[2]/div[2]/div[1]/span[1]/text()")[0].strip("¥")
print("商家名称:", title, " -> 价格:", price)