我有抓刮pro-football-reference.com的问题.我正在尝试访问“Team Offense”表,但似乎无法定位div / table.
我能做的最好的事情是：

soup.find('div', {'id':'all_team_stats})

它不返回表,也不是直接的div包装器.以下尝试返回“无”：

soup.find('div', {'id':'div_team_stats'})
soup.find('table', {'id':'team_stats'})

我已经通过以下方式抓取了不同的页面：

soup.find('table', {'id':'table_id})

但我无法弄清楚为什么它不在这个页面上工作.以下是我一直在使用的代码.任何帮助深表感谢！

from bs4 import BeautifulSoup
import urllib2

def make_soup(url):
    page = urllib2.urlopen(url)
    soupdata = BeautifulSoup(page, 'lxml')
    return soupdata

def get_player_totals():
    soup = make_soup("http://www.pro-football-reference.com/years/2015/")

    tableStats = soup.find('table', {'id':'team_stats'})

    return tableStats

print get_player_totals()

编辑：

谢谢各位的帮助.以下两种解决方案都取得了成功.非常感激！

解决方法:

这里有几点想法：首先,正如评论中所提到的,acutal表已被注释掉,并且本身不是DOM的一部分(无法通过解析器adhoc访问).
在这种情况下,您可以循环查找找到的注释并尝试通过正则表达式获取信息(尽管这已经过大量讨论,并且在*,see here for more information上大多不受欢迎).最后,但并非最不重要的,我会推荐requests而不是urllib2.

话虽这么说,这是一个工作代码示例：

from bs4 import BeautifulSoup, Comment
import requests, re

def make_soup(url):
    r = requests.get(url)
    soupdata = BeautifulSoup(r.text, 'lxml')
    return soupdata

soup = make_soup("http://www.pro-football-reference.com/years/2015/")

# get the comments
comments = soup.findAll(text=lambda text:isinstance(text, Comment))

# look for table with the id "team_stats"
rx = re.compile(r'<table.+?id="team_stats".+?>[\s\S]+?</table>')
for comment in comments:
    try:
        table = rx.search(comment.string).group(0)
        print(table)
        # break the loop if found
        break
    except:
        pass

总是喜欢解析器解决方案,特别是正则表达式部分非常容易出错.