测试数据
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
<div>
<ul>
<li id="l1">张三</li>
<li id="l2">李四</li>
<li>王五</li>
<a href="" id="" class="a1">尚硅谷</a>
<span>嘿嘿嘿</span>
</ul>
</div>
<a href="" title="a2">百度</a>
<div id="d1">
<span>
哈哈哈
</span>
</div>
<p id="p1" class="p1">呵呵呵</p>
</body>
</html>
from bs4 import BeautifulSoup
通过解析本地文件 来将bs4的基础语法进行讲解
# 默认打开的文件的编码格式是gbk 所以在打开文件的时候需要指定编码
soup = BeautifulSoup(open('075_尚硅谷_爬虫_解析_bs4的基本使用.html',encoding='utf-8'),'lxml')
# 根据标签名查找节点
# 找到的是第一个符合条件的数据
print("找到的是第一个符合条件的数据")
print(soup.a)
# 获取标签的属性和属性值
print("获取标签的属性和属性值")
print(soup.a.attrs)
# bs4的一些函数
# （1）find
# 返回的是第一个符合条件的数据
print("获取标签的属性和属性值")
print(soup.find('a'))
# 根据title的值来找到对应的标签对象
print("根据title的值来找到对应的标签对象")
print(soup.find('a',title="a2"))
# 根据class的值来找到对应的标签对象 注意的是class需要添加下划线
print("根据class的值来找到对应的标签对象 注意的是class需要添加下划线")
print(soup.find('a',class_="a1"))
# （2）find_all 返回的是一个列表 并且返回了所有的a标签
print("返回的是一个列表 并且返回了所有的a标签")
print(soup.find_all('a'))
# 如果想获取的是多个标签的数据 那么需要在find_all的参数中添加的是列表的数据
print("如果想获取的是多个标签的数据 那么需要在find_all的参数中添加的是列表的数据")
print(soup.find_all(['a','span']))
# limit的作用是查找前几个数据
print("imit的作用是查找前几个数据")
print(soup.find_all('li',limit=2))
# （3）select（推荐）
# select方法返回的是一个列表 并且会返回多个数据
print("select方法返回的是一个列表 并且会返回多个数据")
print(soup.select('a'))
# 可以通过.代表class 我们把这种操作叫做类选择器
print("可以通过.代表class 我们把这种操作叫做类选择器")
print(soup.select('.a1'))
print(soup.select('#l1'))
# 属性选择器---通过属性来寻找对应的标签
# 查找到li标签中有id的标签
print("查找到li标签中有id的标签")
print(soup.select('li[id]'))
# 查找到li标签中id为l2的标签
print("查找到li标签中id为l2的标签")
print(soup.select('li[id="l2"]'))
# 层级选择器
# 后代选择器
# 找到的是div下面的li
print("找到的是div下面的li")
print(soup.select('div li'))
# 子代选择器
# 某标签的第一级子标签
# 注意：很多的计算机编程语言中 如果不加空格不会输出内容 但是在bs4中 不会报错 会显示内容
print("子代选择器")
print(soup.select('div > ul > li'))
# 找到a标签和li标签的所有的对象
print("找到a标签和li标签的所有的对象")
print(soup.select('a,li'))
# 节点信息
# 获取节点内容
obj = soup.select('#d1')[0]
# 如果标签对象中 只有内容 那么string和get_text()都可以使用
# 如果标签对象中 除了内容还有标签 那么string就获取不到数据 而get_text()是可以获取数据
# 我们一般情况下 推荐使用get_text()
print("获取节点内容")
print(obj.string)
print(obj.get_text())
# 节点的属性
obj = soup.select('#p1')[0]
# name是标签的名字
print("节点属性name是标签的名字")
print(obj.name)
# 将属性值左右一个字典返回
print("将属性值左右一个字典返回")
print(obj.attrs)
# 获取节点的属性
obj = soup.select('#p1')[0]
print(obj.attrs.get('class'))
print(obj.get('class'))
print(obj['class'])
抓取百度百科《青春有你第三季》数据
import json
from bs4 import BeautifulSoup
import requests
headers = {
"accept-language": "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6",
"cache-control": "max-age=0"
}
def getAllUsers():
url = "https://baike.baidu.com/item/%E9%9D%92%E6%98%A5%E6%9C%89%E4%BD%A0%E7%AC%AC%E4%B8%89%E5%AD%A3?fromModule=lemma_search-box#4-3"
response = requests.get(url, headers=headers)
response.raise_for_status() # 如果请求失败，这会抛出一个异常
html_content = response.text
soup = BeautifulSoup(html_content, 'lxml')
trs = soup.find('div', attrs={'data-uuid': "go12lpqgpn"}).find_all(name='tr')
listUser = []
for tr in trs[1:]:
tds = tr.find_all('td')
name = tds[0].find('a').get_text()
head_href = tds[0].find('a').attrs['href']
head_id = head_href.split('/')[3].split('?')[0]
provice = tds[1].find('span').get_text()
height = tds[2].find('span').get_text()
weight = tds[3].find('span').get_text()
company = tds[4].find('span').get_text()
user = {'name': name, 'head_id': head_id, 'provice': provice, 'height': height, 'weight': weight,
'company': company}
listUser.append(user)
print(listUser)
return listUser
if __name__ == '__main__':
listUser = getAllUsers()
with open('user.json', 'w', encoding='utf-8') as f:
json.dump(listUser, f, ensure_ascii=False, indent=4)
