python – 解析lxml中的html主体片段

我正在尝试解析html的片段:

<body><h1>title</h1><img src=""></body>

我使用lxml.html.fromstring.它让我疯狂,因为它不断剥离< body>我的片段的标签:

 > lxml.html.fromstring('<html><h1>a</h1></html>').tag
 'html'
 > lxml.html.fromstring('<div><h1>a</h1></div>').tag
 'div'
 > lxml.html.fromstring('<body><h1>a</h1></body>').tag
 'h1'

我也试过了document_fromstring,fragment_fromstring,clean_html和page_structure = False等……没什么用.

我需要使用lxml,因为我将html片段传递给PyQuery.

我只是希望lxml不要弄乱我的html片段.有可能吗?

解决方法:

.fragment_fromstring()删除< html>标签也是;基本上,每当你没有HTML文档(带有< html>*元素和/或doctype)时,.fromstring()会回退到.fragment_fromstring(),并且该方法会同时删除< html>和< body>标签,永远.

解决方法是告诉.fragment_fromstring()给你一个< body>父标签:

>>> lxml.html.fragment_fromstring('<body><h1>a</h1></body>', create_parent='body')
<Element body at 0x10d06fbf0>

这不保留原始< body>上的任何属性.标签.

另一种解决方法是使用.document_fromstring()方法,该方法将文档包装在< html>中.标签,然后您可以再次删除:

>>> lxml.html.document_fromstring('<body><h1>a</h1></body>')[0]
<Element body at 0x10d06fcb0>

这确实保留了< body>的属性:

>>> lxml.html.document_fromstring('<body class="foo"><h1>a</h1></body>')[0].attrib
{'class': 'foo'}

在第一个示例中使用.document_fromstring()函数可以得到:

>>> body = lxml.html.document_fromstring('<body><h1>title</h1><img src=""></body>')[0]
>>> lxml.html.tostring(body)
'<body><h1>title</h1><img src=""></body>'

如果您只想在没有HTML标记的情况下执行此操作,请执行lxml.html.fromstring()所做的操作并测试完整文档:

htmltest = lxml.html._looks_like_full_html_bytes if isinstance(inputtext, str) else lxml.html._looks_like_full_html_unicode
if htmltest(inputtext):
    tree = lxml.html.fromstring(inputtext)
else:
    tree = lxml.html.document_fromstring(inputtext)[0]
上一篇:jquery – 直接LXML或PyQuery


下一篇:PyQuery: 爬虫界最简洁优雅的库