这里以获取百度股市通股评下的投票数据为例,页面中的其他数据同理。由于此页面数据是js动态加载的,所以采用Selenium获取数据。思路很简单,通过Selenium打开页面,然后定位到“股评”选项卡,再模拟点击“今日”或者“本周”“本月”“今年”,接下来获取页面源代码,再使用xpath解析页面数据。但需要注意的是,使用Selenium打开的页面过多的话,会遇到cookie反爬。这里重点解决的是,在每次打开页面操作之前和之后,需要使用Selenium的delete_all_cookies()方法删除cookie,这样便可以绕过cookie反爬,亲测有效。