Python爬虫之XPath和Beautiful Soup的使用-二、Beautiful Soup的使用

2024-04-18 15:43:30

1、Beautiful Soup简介

Beautiful Soup是Python的一个HTML或XML的解析库。
Beautiful Soup用Python式的函数来处理导航、搜索、修改分析树等功能
Beautiful Soup自动将输出文档转化为Unicode编码，将输出文档转化为utf-8编码。

2、解析器

Beautiful Soup在解析时是依赖解析库的，出了除了支持Python标准库中的HTML解析器，还有：

解析器	使用方法	优势	劣势
Python标准库	BeautifulSoup(markup,‘html.parser’)	Python的内置标准库，执行速度适中、文档容错能力强	Python 2.7.3或3.2.2前的版本中文容错能力差
LXML HTML解析器	BeautifulSoup(markup,‘lxml’)	速度快、文档容错能力强	需要安装C语言库
LXML XML解析器	BeautifulSoup(markup,‘xml’)	速度快、唯一支持XML的解析器	需要安装C语言库
html5lib	BeautifulSoup(markup,‘html5lib’)	提供最好的容错性、以浏览器的方式解析文档、生成HTML5格式的文档	速度慢、不依赖外部扩展

3、准备工作

pip3 install beautifulSoup4

4、基本使用

html = '''
<html>
<head>
    <title>The Dormouse's story</title>
</head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
    <a href="http://example.com/elsie" class="sister" id="link1"><!--Elsie--></a>,
    <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
    <a href="http://example.com/tillie" class="sister" id="link3">Tillie    </a>;
and they lived at the botto, of a well.</p>
<p class="story">...</p>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.prettify())
print(soup.title.string)

# 首先声明一个变量html，这是一个HTML字符串。但它不是一个完整的HTML字符串（body节点和html节点没有闭合）
# 将它当做第一个参数传给BeautifulSoup对象，该对象的第二个参数为解析器的类型（lxml），赋给soup
# prettify方法可以把要解析的字符串以标准的缩进格斯输出。
# soup.title.string输出HTML中title节点的文本内容。

5、节点选择器

直接调用节点的名称即可选择节点，然后调用string属性就可以得到节点内的文本了。

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.title)		#<title>The Dormouse's story</title>
print(type(soup.title))	# <class 'bs4.element.Tag'>
print(soup.title.string)# The Dormouse's story
print(soup.head)		# <head><title>The Dormouse's story</title></head>
print(soup.p)			# <p class="title" name="dromouse"><b>The...

6、提取信息

6.1、获取名称

利用name属性可以获取节点的名称。

print(soup.title.name)

6.2、获取属性

一个节点可能有多个属性，例如id和class等，选择这个节点元素后，可以调用attrs获取其所有属性：返回的是字典类型。

print(soup.p.attrs)				# {'class': ['title'], 'name': 'dromouse'}
print(soup.p.attrs['name'])		# dromouse
# 还有简便的方法：
print(soup.p['name'])			# dromouse
print(soup.p['class'])			# ['title']

6.3、获取内容

可以用string属性获取节点元素所包含的文本内容：

print(soup.p.string)

6.4、嵌套选择

通过上述例子知道返回的都是bs4.element.Tag类型，Tag类型的对象同样可以继续调用节点进行下一步的选择。

print(soup.head.title)			# <title>The Dormouse's story</title>
print(type(soup.head.title))	# <class 'bs4.element.Tag'>
print(soup.head.title.string)	# The Dormouse's story

7、关联选择

7.1、子节点和子孙节点

选取节点后，调用contents属性/children属性（返回结果是生成器类型、需要for循环输出。）获取其子节点：

html = '''
<html>
    <head>
        <title>The Dormouse's story</title>
    </head>
    <body>
<p class="story">
    Once upon a time there were three little sisters; and their names were
    <a href="http://example.com/elsie" class="sister" id="link1">
    </a>,
    <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a>
    and
    <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
    and they lived at the botto, of a well.
    </p>
<p class="story">...</p>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.contents)

#---------------------------------children----------------------------------------#
print(soup.p.children)	# <list_iterator object at 0x000001CC4E318A00>返回结果是生成器类型、需要for循环输出。
for i,child in enumerate(soup.p.children):
    print(i,child)

调用descendants属性获取所有的子孙节点

print(soup.p.descendants)
for i,child in enumerate(soup.p.descendants):
    print(i,child)

7.2、父节点和祖先节点

调用parent属性获取父节点：

print(soup.a.parent)

调用parents属性（生成器类型）获取祖先节点：

print(type(soup.a.parents))				# <class 'generator'> 生成器类型		
print(list(enumerate(soup.a.parents)))

7.3、兄弟节点

next_sibling和 previous_sibling分别用于获取节点的下一个和上一个兄弟节点，next_siblings和previous_siblings则分别返回后面和前面的所有兄弟节点

print("next_sibling:",soup.a.next_sibling)
print("previous_sibling:",soup.a.previous_sibling)
print("next_siblings:",list(soup.a.next_siblings))
print("previous_siblings:",list(soup.a.previous_siblings))

7.4、提取信息

print(type(soup.a.next_sibling))
print(soup.a.next_sibling.string)
print(type(soup.a.parents))
print(list(soup.a.parents)[0])
print(list(soup.a.parents)[0].attrs['class'])

若返回结果是单个节点，直接调用string、attrs等属性获得其文本和属性；
若返回结果是多个节点的生成器，则先将其转为列表，再从中取出某个元素，之后调用string、attrs等属性获取对应节点的文本和属性。

8、方法选择器

8.1、find_all

查询所有符合条件的元素

find_all(name,attrs,resourse,text,**kwargs)

8.1.1、name

可以根据name参数来查询元素。

html = '''
<div class="panel">
    <div class="panel-heading">
        <h4>Hello</h4>
    </div>
    <div class="panel-body">
        <ul class="list" id="list-1">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
            <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
            <li class="element">Foo</li>
            <li class="element">Bar</li>
        </ul>
    </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.find_all(name='ul'))		# 找到所有ul节点
print(type(soup.find_all(name='ul')[0]))	# 类型是列表类型
for ul in soup.find_all(name='ul'):		# 每个元素都是bs4.element.Tag类型，for循环取值。
    print(ul.find_all(name='li'))
    for li in ul.find_all(name='li'):
        print(li.string)

8.1.2、attrs

属性条件查询：

print(soup.find_all(attrs={'id':'list-1'}))
print(soup.find_all(attrs={'name':'elements'}))
# 对于常用的属性，例如id和class可以不用加attrs{}。

8.1.4、text

text参数可以用来匹配节点的文本，其传入形式可以是字符串，也可以是正则表达式对象：

print(soup.find_all(text=re.compile('link')))

8.2、find

find方法也可以查询符合条件的元素，只不过find方法返回的是单个元素，也就是第一个匹配元素，而find_all会返回所有匹配的元素组成的列表。

9、CSS选择器

使用CSS选择器，只需要调用select方法，传****入相应的CSS选择器即可。

print(soup.select('.panel .panel-heading'))
print(soup.select('ul li'))
print(soup.select('#list-2 .element'))
print(type(soup.select('ul')[0]))

9.1.1、嵌套选择

select方法同样支持嵌套选择：

for ul in soup.select('ul'):
    print(ul.select('li'))

9.1.2、获取属性

直接将属性名传入中括号或着attrs属性获取属性值

for ul in soup.select('ul'):
    print(ul['id'])
    print(ul.attrs['id'])

9.1.3、获取文本

string属性或者get_text方法

for li in soup.select('li'):
    print('Get Text:', li.get_text())
    print('String:',li.string)

码农公寓