Beautiful Soup
简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据。
1.Beautiful Soup简介
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。所以需要配合解析器一起使用!
2.为什么要用BeautifulSoup?
BeautifulSoup能给我们提供一些列查找文档树的方法,使我们能快速定位到我们想要爬取的数据。我们再回想一下之前学的一个re模块,它可以全局查找我们想要的文本,从文本开头到结束开始匹配,然后通过贪婪匹配,再通过非贪婪匹配拿到需要的数据,整个过程是不是非常繁琐,而却搜索效率极低!
BeautifulSoup内既封装了re,还为我们提供了一些更加强大、高效的功能,使我们可以快速匹配到我们想要的数据,提高爬取效率和开发效率
3.安装
pip install beautifulsoup4
#安装Beautifulsoup4
pip install lxml
安装解析器
4.基本用法
- 基本使用
注意: 如何初始文本内有换行,也会算在里面。(坑)
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="sister"><b>$37</b></p>
<p class="story" id="p">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" >Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
# 第一个参数是解析文本
# 第二个参数是解析器
soup = BeautifulSoup(html_doc, 'lxml')
# 具备自动补全html标签功能
print(soup)
# 美化html便签
html_doc = soup.prettify()
print(html_doc)
- 遍历文档树
1、直接使用
2、获取标签的名称
3、获取标签的属性
4、获取标签的内容
5、嵌套选择
6、子节点、子孙节点
7、父节点、祖先节点
8、兄弟节点
1、直接选择标签(返回的是一个对象)
print(soup.a) # 获取第一个a标签
print(soup.p) # 获取第一个p标签
print(type(soup.a)) # <class 'bs4.element.Tag'>
2、获取标签的名称
print(soup.a.name) # 获取a标签的名字
3、获取标签的属性
print(soup.a.arrts) # 获取a标签内所有的属性
#{'href': 'http://example.com/elsie', 'class': ['sister']}
4、获取标签的内容 **
print(soup.a.arrts['href']) # 获取a标签内的href属性
#http://example.com/elsie
5、嵌套选择标签
print(soup.p.b) #获取第一个p标签内的b标签 #<b>$37</b>
print(soup.p.b.text) # 打印b标签内的文本 #$37
6、子节点,子孙节点
# 获取子节点
print(soup.p.children) # 获取第一个p标签所有的子节点,返回的是一个迭代器
print(list(soup.p.children)) # list转成列表
# 获取子孙节点
print(soup.body.descendants) # 获取body标签内所有的子孙节点,返回的是一个生成器
print(list(soup.body.descendants)) # list转成列表
# 获取第一个p标签中所有的内容,返回的是一个列表
print(soup.p.contents)
7、父节点,祖先节点
#获取父节点
print(soup.a.parent) # 获取第一个a标签内的父节点
# 获取祖先节点(爸爸,爸爸的爸爸,爸爸的爸爸的爸爸...以此类推)
print(list(soup.a.parents)) # 获取第一个a标签的祖先节点,返回的是一个生成器
# 8、兄弟节点 (sibling: 兄弟姐妹)
print(soup.a)
# 获取下一个兄弟节点
print(soup.a.next_sibling)
# 获取下一个的所有兄弟节点,返回的是一个生成器
print(soup.a.next_siblings)
print(list(soup.a.next_siblings))
# 获取上一个兄弟节点
print(soup.a.previous_sibling)
# 获取上一个的所有兄弟节点,返回的是一个生成器
print(list(soup.a.previous_siblings))
- 搜索文档树
BeautifulSoup
定义了很多搜索方法,这里着重介绍2个:find() 和 find_all() 。其它方法的参数和用法类似
标签查找与属性查找:
标签
-字符串过滤,字符串全局匹配
name 属性匹配
attrs 属性查找匹配
text 文本匹配
-正则过滤器
re模块匹配
-列表过滤器
列表内的数据匹配
-bool过滤器
True匹配
-方法过滤器
属性:
-class_
-id
1、字符串
find的默认参数,第一个是name,第二个是attrs,第四个是text
#name:根据标签名匹配节点
print(soup.find('p')) #获取第一个p标签
print(soup.find_all('p')) #获取所有的p标签
#attrs:根据属性查找匹配的节点
print(soup.find(attrs={'id':'p'})) #查找id为p的标签
print(soup.find_all(attrs={'id':'p'})) #查找所有id为p的标签
#text:根据文本匹配文档树内的文本
#推荐配合其他匹配规则使用,否则毫无意义
print(soup.find(text='$37')) # 查找标签内为$37的文本
#name与text配合使用
print(soup.find_all(name='p',text='$37')) # 查找所有文本为$37的p标签
#name与attrs配合使用
print(soup.find(name='a',attrs={'id':'link2'})) # 查找第一个id为link2的a标签
#attrs与text配合使用
print(soup.find_all(attrs={'id':'link2'},text='Lacie')) # 查找所有id为link2,文本为Lacie的标签
#name,attrs,text组合使用 **
print(soup.find_all(name='a',attrs={'id':'link3'},text='Tillie')) # 查找所有id为link3,文本为Tillie的a标签
2、正则
print(soup.find(name=re.compile('a'))) #查找第一个标签名带有a的节点
print(soup.find_all(attrs={'id':'re.compile('link')'})) # 匹配所有id名带有link的节点
print(soup.find_all(text=re.compile('and'))) # 匹配所有文本带有"and"的节点
3、列表(列表内可以匹配多个)
print(soup.find_all(name=['a','re.compile('e')'])) # 匹配所有a标签节点与所有标签中带有e的节点
print(soup.find_all(text=['$'])) # 找不到,因为$是精确查找
print(soup.find_all(text=['$37'])) # 查找$37文本,这样查找是没有意义的
print(soup.find_all(text=[re.compile('\$')])) # 正则中$是特殊字符,所以需要转义
4、bool
print(soup.find_all(name=True)) #查找所有有标签名的节点
print(soup.find_all(attrs={'id':True})) #查找所有有id的节点
print(soup.find_all(text=True)) #查找所有文本
5、方法
#写一个只要有class没有id的a标签的函数
def has_class_not_id(arg):
if arg.name == 'a' and arg.has_attr('class') and not arg.has_attr('id'):
return arg.name
print(soup.find_all(name=has_class_not_id))
6、标签与属性查找 **后面可带[属性]||都括起来.text
# 标签
print(soup.find_all(attrs={'class': 'sister'}))
# 属性
# 根据class属性查找,因为class是关键字,所以后面需要加下划线
print(soup.find_all(class_='sister'))
# 根据id属性查找
print(soup.find_all(id='link2'))