爬虫基础-xpath模块

xpath介绍:

  • xpath 是在XML文档中搜索内容的一门语言
    • html是XML的一个子集
  • 导入模块:from lxml import etree
  • 生成xpath解析对象:xxx = etree.HTML(需要解析的对象)
  • 获取层级关系节点:xxx.xpath("")
  • 获取节点内的内容:在结尾加上 /text()

xpath检索:

  • 选取此节点的所有子节点:nodename
  • 表示一个层级,从根节点开始定位:/
  • 表示多个层级,从任意位置开始定位://
  • 通配符,选择所有元素节点与元素名:*
  • 选取当前节点:.
  • 选取当前节点的父节点:...
  • 选取属性:@
    • 例如:提取img标签中的src属性@src
  • 索引提取,下标从1开始[x]
  • 提取属性xxx为yyy的所有元素:[@xxx='yyy']
    • 例如:选取id=666的所有元素[@id=666]
  • 提取属性为xxx所有的元素:[@xxx]
    • 例如:选取id的所有元素[@id]

实例:

# xpath练习 -- 爬取猪八戒网
import requests
from lxml import etree
url = "https://shangqiu.zbj.com/search/f/?kw=saas"
res = requests.get(url)
# html解析
html = etree.HTML(res.text)
divs = html.xpath("/html/body/div[6]/div/div/div[2]/div[5]/div[1]/div")
for div in divs:
    title = div.xpath("./div/div/a[1]/div[1]/p/text()")[-1].strip("\n")
    price = div.xpath("./div/div/a[2]/div[2]/div[1]/span[1]/text()")[0].strip("¥")
    print("商家名称:", title, " -> 价格:", price)
上一篇:高级定位技巧


下一篇:Selenium(8):对常用元素进行的操作