一 xpath介绍
XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。
- XPath 使用路径表达式在 XML 文档中进行导航
- XPath 包含一个标准函数库
- XPath 是 XSLT 中的主要元素
- XPath 是一个 W3C 标准
二 xpath 术语
| 概念 |
解释 |
举例 |
| 基本值（或称原子值，Atomic value） |
基本值是无父或无子的节点 |
J K. Rowling，"en" |
| 项目（Item） |
项目是基本值或者节点 |
| 节点关系-父（Parent） |
每个元素以及属性都有一个父。 |
在上面的例子中，book 元素是 title、author、year 以及 price 元素的父： |
| 节点关系-子（Children） |
元素节点可有零个、一个或多个子。 |
在上面的例子中，title、author、year 以及 price 元素都是 book 元素的子： |
| 节点关系-同胞（Sibling） |
拥有相同的父的节点。 |
在上面的例子中，title、author、year 以及 price 元素都是同胞： |
| 节点关系-先辈（Ancestor） |
某节点的父、父的父，等等。 |
在上面的例子中，title 元素的先辈是 book 元素和 bookstore 元素。 |
| 后代（Descendant） |
某个节点的子，子的子，等等。 |
在上面的例子中，bookstore 的后代是 book、title、author、year 以及 price 元素。 |
三 xpath术语
| 表达式 |
描述 |
| nodename |
选取此节点的所有子节点。 |
| / |
从根节点选取。 |
| // |
从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。 |
| . |
选取当前节点。 |
| .. |
选取当前节点的父节点。 |
| @ |
选取属性。 |
四 助力理解
| 路径表达式 |
结果 |
| bookstore |
选取 bookstore 元素的所有子节点。 |
| /bookstore |
选取根元素 bookstore。注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！ |
| bookstore/book |
选取属于 bookstore 的子元素的所有 book 元素。 |
| //book |
选取所有 book 子元素，而不管它们在文档中的位置。 |
| bookstore//book |
选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。 |
| //@lang |
选取名为 lang 的所有属性。 |
| 路径表达式 |
结果 |
| /bookstore/book[1] |
选取属于 bookstore 子元素的第一个 book 元素。 |
| /bookstore/book[last()] |
选取属于 bookstore 子元素的最后一个 book 元素。 |
| /bookstore/book[last()-1] |
选取属于 bookstore 子元素的倒数第二个 book 元素。 |
| /bookstore/book[position()<3] |
选取最前面的两个属于 bookstore 元素的子元素的 book 元素。 |
| //title[@lang] |
选取所有拥有名为 lang 的属性的 title 元素。 |
| //title[@lang=’eng’] |
选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。 |
| /bookstore/book[price>35.00] |
选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。 |
| /bookstore/book[price>35.00]/title |
选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。 |
五 xapth解析数据实例----(二手房价)
'''
xpath数据解析流程:
1.pip install lxml
2.导包:from lxml import etree
3.实例化一个etree对象(将页面数据加载到该对象)
4.调用etree中的xpath函数结合着xpath表达式进行数据解析操作
'''
1 url
https://sz.58.com/ershoufang/
2 请求头
headers={
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.20 Safari/537.36'
}
3 获取页面数据
page_text=requests.get(url=url,headers=headers).text
4 使用xpath解析数据
#1 实例化etree对象
tree=etree.HTML(page_text)
#2 写表达式定位到需要获取的房价信息
li_list=tree.xpath('//ul[@class="house-list-wrap"]/li') #获取房价的页面所有的li标签
fp=open('fangjia.txt','w',encoding='utf8')
for li in li_list:
title=li.xpath('./div[@class="list-info"]/h2/a/text()')[0] #获取房价描述的title
price=li.xpath('./div[@class="price"]/p[@class="sum"]//text()')#获取房价描述的price
price="".join(price)
fp.write('\n'+title+":"+price)
fp.close()
注意:
xpath 解析的数据的返回值是一个列表.
完整代码
import requests
from lxml import etree
url=f'https://bj.58.com/ershoufang/pn1/'
headers={
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.20 Safari/537.36'
}
page_text=requests.get(url=url,headers=headers).text
#实例化etree对象
tree=etree.HTML(page_text)
li_list=tree.xpath('//ul[@class="house-list-wrap"]/li')
fp=open('fangjia.txt','w',encoding='utf8')
for li in li_list:
title=li.xpath('./div[@class="list-info"]/h2/a/text()')[0]
price=li.xpath('./div[@class="price"]/p[@class="sum"]//text()')
price="".join(price)
fp.write('\n'+title+":"+price)
fp.close()