我正在尝试解析html的片段:
<body><h1>title</h1><img src=""></body>
我使用lxml.html.fromstring.它让我疯狂,因为它不断剥离< body>我的片段的标签:
> lxml.html.fromstring('<html><h1>a</h1></html>').tag
'html'
> lxml.html.fromstring('<div><h1>a</h1></div>').tag
'div'
> lxml.html.fromstring('<body><h1>a</h1></body>').tag
'h1'
我也试过了document_fromstring,fragment_fromstring,clean_html和page_structure = False等……没什么用.
我需要使用lxml,因为我将html片段传递给PyQuery.
我只是希望lxml不要弄乱我的html片段.有可能吗?
解决方法:
.fragment_fromstring()删除< html>标签也是;基本上,每当你没有HTML文档(带有< html>*元素和/或doctype)时,.fromstring()会回退到.fragment_fromstring(),并且该方法会同时删除< html>和< body>标签,永远.
解决方法是告诉.fragment_fromstring()给你一个< body>父标签:
>>> lxml.html.fragment_fromstring('<body><h1>a</h1></body>', create_parent='body')
<Element body at 0x10d06fbf0>
这不保留原始< body>上的任何属性.标签.
另一种解决方法是使用.document_fromstring()方法,该方法将文档包装在< html>中.标签,然后您可以再次删除:
>>> lxml.html.document_fromstring('<body><h1>a</h1></body>')[0]
<Element body at 0x10d06fcb0>
这确实保留了< body>的属性:
>>> lxml.html.document_fromstring('<body class="foo"><h1>a</h1></body>')[0].attrib
{'class': 'foo'}
在第一个示例中使用.document_fromstring()函数可以得到:
>>> body = lxml.html.document_fromstring('<body><h1>title</h1><img src=""></body>')[0]
>>> lxml.html.tostring(body)
'<body><h1>title</h1><img src=""></body>'
如果您只想在没有HTML标记的情况下执行此操作,请执行lxml.html.fromstring()所做的操作并测试完整文档:
htmltest = lxml.html._looks_like_full_html_bytes if isinstance(inputtext, str) else lxml.html._looks_like_full_html_unicode
if htmltest(inputtext):
tree = lxml.html.fromstring(inputtext)
else:
tree = lxml.html.document_fromstring(inputtext)[0]