python实战项目47:Selenium采集百度股市通数据-一、思路分析

这里以获取百度股市通股评下的投票数据为例,页面中的其他数据同理。由于此页面数据是js动态加载的,所以采用Selenium获取数据。思路很简单,通过Selenium打开页面,然后定位到“股评”选项卡,再模拟点击“今日”或者“本周”“本月”“今年”,接下来获取页面源代码,再使用xpath解析页面数据。但需要注意的是,使用Selenium打开的页面过多的话,会遇到cookie反爬。这里重点解决的是,在每次打开页面操作之前和之后,需要使用Selenium的delete_all_cookies()方法删除cookie,这样便可以绕过cookie反爬,亲测有效。
在这里插入图片描述

上一篇:Web高级开发实验:EL基本运算符与数据访问


下一篇:15.6 JDBC数据库编程6——可滚动和可更新的ResultSet