Day6-爬取数据 selenium+geckodiver模拟页面点击onclick

信件列表_首都之窗_北京市人民*门户网站(http://www.beijing.gov.cn/hudong/hdjl/com.web.search.mailList.flow)的  页面 Day6-爬取数据 selenium+geckodiver模拟页面点击onclick 

打开  审查元素 会发现  页标的href  隐藏在 onclick中  但是没有办法读取

我们就利用geckodiver  +firefox  模拟网页点击  来实现页面之间的切换

selenium 是模拟网页   很多网页会防止爬虫   (不要被网页发现  我们是人)

 

爬取数据两分钟  约两千条:

Day6-爬取数据 selenium+geckodiver模拟页面点击onclick

后面是利用 hive  +sqoop +MySQL

完成数据处理 :

上一篇:stm32简易示波器day6


下一篇:【推荐架构day6】Instagram推荐算法的基本原理