lxml库(我们将html页面获取后存放在content中,获取的内容仅仅是一个包含所有内容的html字符串,但是Xpath语法是无法直接作用于这样一个字符串进行数据提取的,因此我们用lxml库对所获取的html这样的字符串进行解析,将它还原为一个html页面。即:lxml库只做了一件事就是将html字符串进行解析,供Xpath语法进行数据提取)
1、【etree.HTML()】:lxml中用etree对html进行解析,利用etree.HTML将字符串解析为HTML文档
2、【etree.tostring()】:由于解析出来的文档是一个element类型的文档,无法直接打印,所以得用etree.tostring()对文档进行编码与解码,进而才可以输出它的内容(即:不能用print直接输出第一步解析的HTML文档)
例:
text=\
"""
......
"""
from lxml import etree
html=etree.HTML(text) #解析网页
print(html) #无法得到我们的要的内容
result=etree.tostring(html,encoding='utf-8').decode('utf-8') #encoding='utf-8'表示对字符串进行编码,decode='utf-8'表示对字符串进行解码
print(result)
3、【etree.parse()】:(解析器)利用parse函数将html文件导入并解析(如下),但是在某一些情况下,直接使用parse解析会报错,会存在页面的标签缺失不够规整的情况,原因是我们默认使用的是xml解析器,当它计息html页面时,会造成一定错误(如下)
html=etree.parse(r"c://user/hongc/Desktop/baidu.html")
result=etree.tostring(html,encoding='utf8').decode('utf8')
print(result)
#出错
#此时就需要我们自定义一个解析器(如下)
parser=etree.HTMLParser(]encoding='utf8')
html=etree.parse(r'c://user/hongc/Desktop/baidu.html',parser=parser) #解析html
result=etree.tostring(html,encoding='utf8').decode('utf8') #对html进行编码并打印(展示)
print(reselt)
4、两种解析html方式:
①发送请求------>html(字符串)------->利用etree解析html获得一个真正的html------>可以使用xpath了
②将网页另存下来------>利用parse进行解析----->得到真正的html----->可以使用xpath了
这只是在简单爬虫中运用到的最最基本的lxml相关知识哦