python-在BeautifulSoup中查找标签和文本

我在为BeautifulSoup编写findAll查询时遇到了麻烦,它将执行我想要的操作.以前,我使用findAll从某些html中仅提取文本,实质上是剥离所有标签.例如,如果我有:

<b>Cows</b> are being abducted by aliens according to the
<a href="www.washingtonpost.com>Washington Post</a>.

它将减少为:

Cows are being abducted by aliens according to the Washington Post.

我可以通过使用”.join(html.findAll(text = True))做到这一点.这一直很好,直到我决定只保留< a>标签,但将其余标签剥离.因此,给出最初的示例,我将得出以下结论:

Cows are being abducted by aliens according to the
<a href="www.washingtonpost.com>Washington Post</a>.

我最初认为以下方法可以解决问题:

''.join(html.findAll({'a':True}, text=True))

但是,这是行不通的,因为text = True似乎表明它将只能找到文本.我需要的是一些OR选项-我想找到文本OR< a>标签.重要的是,标签必须留在要标记的文本周围-我不能使标签或文本乱序显示.

有什么想法吗?

解决方法:

注意:BeautifulSoup.findAll是搜索API. findAll的第一个命名参数即name可以用于将搜索限制为给定的一组标签.仅使用单个findAll就不可能选择标签之间的所有文本,而同时选择< a>的文本和标签.因此,我提出了以下解决方案.

此解决方案取决于导入的BeautifulSoup.Tag.

from BeautifulSoup import BeautifulSoup, Tag

soup = BeautifulSoup('<b>Cows</b> are being abducted by aliens according to the <a href="www.washingtonpost.com>Washington Post</a>.')
parsed_soup = ''

我们使用contents方法像列表一样浏览解析树.我们仅在标签为< a>时才提取文本.否则,我们将获得包含标签的整个字符串.这使用navigating the parse tree API.

for item in soup.contents:
    if type(item) is Tag and u'a' != item.name:
        parsed_soup += ''.join(item.findAll(text = True))
    else:
        parsed_soup += unicode(item)

文本的顺序被保留.

 >>> print parsed_soup
 u'Cows are being abducted by aliens according to the <a href=\'"www.washingtonpost.com\'>Washington Post</a>.'
上一篇:在python中仅检索网页的标题


下一篇:四 . 爬虫 BeautifulSoup库参数和使用