我在为BeautifulSoup编写findAll查询时遇到了麻烦,它将执行我想要的操作.以前,我使用findAll从某些html中仅提取文本,实质上是剥离所有标签.例如,如果我有:
<b>Cows</b> are being abducted by aliens according to the
<a href="www.washingtonpost.com>Washington Post</a>.
它将减少为:
Cows are being abducted by aliens according to the Washington Post.
我可以通过使用”.join(html.findAll(text = True))做到这一点.这一直很好,直到我决定只保留< a>标签,但将其余标签剥离.因此,给出最初的示例,我将得出以下结论:
Cows are being abducted by aliens according to the
<a href="www.washingtonpost.com>Washington Post</a>.
我最初认为以下方法可以解决问题:
''.join(html.findAll({'a':True}, text=True))
但是,这是行不通的,因为text = True似乎表明它将只能找到文本.我需要的是一些OR选项-我想找到文本OR< a>标签.重要的是,标签必须留在要标记的文本周围-我不能使标签或文本乱序显示.
有什么想法吗?
解决方法:
注意:BeautifulSoup.findAll是搜索API. findAll的第一个命名参数即name可以用于将搜索限制为给定的一组标签.仅使用单个findAll就不可能选择标签之间的所有文本,而同时选择< a>的文本和标签.因此,我提出了以下解决方案.
此解决方案取决于导入的BeautifulSoup.Tag.
from BeautifulSoup import BeautifulSoup, Tag
soup = BeautifulSoup('<b>Cows</b> are being abducted by aliens according to the <a href="www.washingtonpost.com>Washington Post</a>.')
parsed_soup = ''
我们使用contents方法像列表一样浏览解析树.我们仅在标签为< a>时才提取文本.否则,我们将获得包含标签的整个字符串.这使用navigating the parse tree API.
for item in soup.contents:
if type(item) is Tag and u'a' != item.name:
parsed_soup += ''.join(item.findAll(text = True))
else:
parsed_soup += unicode(item)
文本的顺序被保留.
>>> print parsed_soup
u'Cows are being abducted by aliens according to the <a href=\'"www.washingtonpost.com\'>Washington Post</a>.'