pip install bs4
pip install lxml
BeautifulSoup 使用
from bs4 import BeautifulSoup
page_text=res.text
soup=BeautifulSoup(page_text,‘lxml‘)
数据解析方法:
soup.tagName: 返回文档中,第一次出现的tagName
soup.find()
|-soup.find(‘tagName‘) 等同于 soup.div
|-属性定位:
soup.find(‘div‘,class_/id/attr="mao")
soup.find_all(‘tagName‘) 符合所有标签
-select:
|- select(‘某种选择器(id,class,标签,……)‘),返回一个列表
|-层级选择器:
-soup.select(‘.mao>ul>li>a‘) >表示的是一个层级
-soup.select(‘.mao>ul a‘) 空格表示的多个层级
-获取标签之间的文本数据:
-soup.a.text/string/get_text()/soup.a[‘href‘]
-text/get_text():获取标签中所有的文本内容
-string: 只可以获取标签下面直系的文本内容