- BeautifulSoup是什么？
BeautifulSoup是python 的HTML和XML的解析库，可以方便的从网页中提取数据
- 准备工作！！
正确安装好BeautifulSoup和lxml
- 节点选择器
直接调用节点名称可以选择节点元素，再调用string属性就可以得到节点内文本（这种选择方式速度快，适用于单个节点）
栗子：soup.p.string 获取到的是p标签的文本内容
（多个节点时，这种只能获取到第一个节点内容）
- 提取信息
获取节点名称
利用name属性获取节点名称
from bs4 import BeautifulSoup soup = BeautifulSoup(‘<p>Study</p>‘,‘lxml‘) # 获取节点名称 print(soup.p.name) # 获取节点文本值 print(soup.p.string)
获取节点属性
利用attrs获取节点所有属性
from bs4 import BeautifulSoup soup = BeautifulSoup(‘<p class="test" id="abc" name="efg">Study</p>‘,‘lxml‘) # 获取节点名称 print(soup.p.name) # 获取节点文本值 print(soup.p.string) # 获取节点属性 print(soup.p.attrs) # 获取某个节点属性值 print(soup.p.attrs[‘name‘])
嵌套选择
from bs4 import BeautifulSoup soup = BeautifulSoup(‘<html class="test" id="abc" name="efg"><head><title>Study</title></head></html>‘,‘lxml‘) print(soup) # 嵌套选择，获取节点名称 print(soup.head.title.name) # 获取节点文本 print(soup.head.title.string)
关联选择
利用contents属性获取节点下所有直接子节点，多个返回的是直接子节点的列表
from bs4 import BeautifulSoup html = ‘‘‘ <html><head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> <title>错误 _ 火狐主页</title> </head> <body> 抱歉，页面丢失或拒绝服务，您可以访问： <ul> <li><a title="火狐主页" href="http://i.firefoxchina.cn/">火狐主页</a></li> <li><a title="火狐浏览器" href="http://firefox.com.cn/">火狐浏览器</a></li> <li><a title="火狐中文网" href="http://www.firefoxchina.cn/">火狐中文网</a></li> </ul> </body></html> ‘‘‘ soup = BeautifulSoup(html, ‘lxml‘) print(soup.ul.contents)
利用children获取节点的子孙节点，返回结果生成器类型，for循环输出
soup = BeautifulSoup(html, ‘lxml‘) # print(soup.ul.contents) print(soup.ul.children) for i, child in enumerate(soup.ul.children): print(i, child)
获取所有子孙节点信息，利用descendants属性
soup = BeautifulSoup(html, ‘lxml‘) # print(soup.ul.contents) # print(soup.ul.children) # for i, child in enumerate(soup.ul.children): # print(i, child) print(soup.body.descendants) for i,child in enumerate(soup.body.descendants): print(i,child)
父节点
利用parent获取某个节点的父节点
soup = BeautifulSoup(html, ‘lxml‘) print(soup.li.parent)
祖先节点
利用paraents获取某个节点的祖先节点，返回的是生成器类型
soup = BeautifulSoup(html, ‘lxml‘) # print(soup.li.parent) print(soup.li.parents) for i, parent in enumerate(soup.li.parents): print(i, parent)
兄弟节点
利用next_sibling和previous_sibling分别获取下一个和上一个兄弟元素，next_siblings和previous_siblings分别获取下一个和上一个兄弟元素生成器