bs4

bs4是什麽?
  • 它的作用是能够快速方便简单的提取网页中指定的内容,给我一个网页字符串,然后使用它的接口将网页字符串生成一个对象,然后通过这个对象的方法来提取数据

安装

pip install bs4

BS4的4中对象

  • Tag对象:是html中的一个标签,用BeautifulSoup就能解析出来Tag的具体内容,具体的格式为‘soup.name‘,其中name是html下的标签。
  • BeautifulSoup对象:整个html文本对象,可当作Tag对象
  • NavigableString对象:标签内的文本对象
  • Comment对象:是一个特殊的NavigableString对象,如果html标签内存在注释,那么它可以过滤掉注释符号保留注释文本最常用的还是BeautifulSoup对象和Tag对象

 

BeautifulSoup对象

from bs4 import BeautifulSoup
import requests


res = request.get('http://www.baidu.com')
response=res.text()
soup = BeautifulSoup(response.text,'html.parser')
return soup.find(name='title')

 

bs4语法学习

  • 通过本地文件进行学习,通过网络进行写代码
    (1)根据标签名进行获取节点
    只能找到第一个符合要求的节点
    (2)获取文本内容和属性
  • 属性

soup.a.attrs 返回一字典,里面是所有属性和值
soup.a['href'] 获取href属性

  • 文本

soup.a.string
soup.a.text
soup.a.get_text()
【注】当标签里面还有标签的时候,string获取的为None,其他两个获取纯文本内容

(3)find方法

soup.find('a')
soup.find('a', class_='xxx')
soup.find('a', title='xxx')
soup.find('a', id='xxx')
soup.find('a', id=re.compile(r'xxx'))
【注】find只能找到符合要求的第一个标签,他返回的是一个对象

(4)find_all

返回一个列表,列表里面是所有的符合要求的对象
soup.find_all('a')
soup.find_all('a', class_='wang')
soup.find_all('a', id=re.compile(r'xxx'))
soup.find_all('a', limit=2) 提取出前两个符合要求的a

(5)select

选择,选择器 css中

常用的选择器
标签选择器、id选择器、类选择器
层级选择器**
div h1 a 后面的是前面的子节点即可
div > h1 > a 后面的必须是前面的直接子节点
属性选择器
input[name='hehe']
select('选择器的')
【注】返回的是一个列表,列表里面都是对象
【注】find find_all select不仅适用于soup对象,还适用于其他的子对象,如果调用子对象的select方法,那么就是从这个子对象里面去找符合这个选择器的标签



lxml是什麽?
  • lxml是一个解析器,也是下面的xpath要用到的库,bs4将网页字符串生成对象的时候需要用到解析器,就用lxml,或者使用官方自带的解析器 html.parser
    pip install lxml

     

 

上一篇:Python爬虫(三):BeautifulSoup库


下一篇:请求服务器和解析数据几种实现方式