scrapy 动态加载网页的数据提取

scrapy 动态加载网页的数据提取

安装scrapy selenium

pip3 install scrapy-selenium

原理

scrapy 动态加载网页的数据提取
第4步的时候,当给到request的时候,Downloader是没有办法弄到动态加载的网页数据的
但是第4和第5步都需要经过一个下载中间件,而这个中间件就是要进行动态网页数据的地方
这里用到将response进行动态数据处理之后,再将response返回给engine

scrapy 动态加载网页的数据提取

上一篇:用IDEA写HTML


下一篇:那些年微信开发过的鸡肋功能,及其带给我们的思考