在我们开始使用scrapy-splash时,我们需要做一些准备工作:
比如
首先,我们需要确定splash服务的ip和开放的端口,
笔者这里是192.168.99.102:8050,
其次,在settings中做如下配置,
在爬虫主程序中 ,导入SplashRequest
在docker里把splash服务器运行起来
运行项目.....
2024-02-15 22:44:47
在我们开始使用scrapy-splash时,我们需要做一些准备工作:
比如
首先,我们需要确定splash服务的ip和开放的端口,
笔者这里是192.168.99.102:8050,
其次,在settings中做如下配置,
在爬虫主程序中 ,导入SplashRequest
在docker里把splash服务器运行起来
运行项目.....