scrapy-splash是一个scrapy中支持的javascript渲染的工具。
scrapy-splash安装分为两部分。一个是splash服务的安装,具体是通过docker,安装之后,会启动一个splash服务,我们可以通过它的接口实现JavaScript的加载。
另一个是scrapy-splash的python库的安装,安装之后可在scrapy中使用splash服务。
1.scrapy-splash安装:
docker run -p 8050:8050 scrapinghub/splash
2.安装成功后证明splash已在8050端口上运行了。打开http://localhost:8050 可看到splash主页。
3.安装 scrapy-splash