Python爬虫案例50篇-第16篇-使用无头浏览器抓取博客园列表信息

提前声明:该专栏涉及的所有案例均为学习使用,如有侵权,请联系本人删帖!

文章目录

一、前言

在上次的文章中我们对Chrome driver 进行了简单的使用,对某爱某家的列表页标题进行了抓取。那么我们在使用过程中也发现,运行速度相对较慢,如果量多的话进行抓取,在时间成本上相对支出较多。那么我们今天来练习使用一下无头浏览器

无头浏览器:一个完整的浏览器内核,包括js解析引擎,渲染引擎,请求处理等,但是不包括显示和用户交互页面的浏览器。

Python爬虫案例50篇-第16篇-使用无头浏览器抓取博客园列表信息

二、介绍无头浏览器

1.phantomjs无头浏览器

PhantomJS是一个可编程的无头浏览器,PhantomJS的适用范围就是无头浏览器的适用范围。通常无头浏览器可以用于页面自动化,网页监

上一篇:Chrome 插件特性及实战场景案例分析


下一篇:让Chrome 浏览器显示隐藏的https和www