1、创建项目 :Jd
2、middlewares.py中添加selenium
1、导模块 :from selenium import webdriver
2、定义中间件
class seleniumMiddleware(object):
...
def process_request(self,request,info):
# 注意:参数为request的url
self.driver.get(request.url)
3、settings.py
DOWNLOADER_MIDDLEWARES={"Jd.middleware.seleniumMiddleware":20}
相关文章
- 08-30python-Scrapy爬网所有站点地图链接
- 08-30scrapy框架爬取豆瓣电影top250
- 08-30【locust】使用locust + boomer实现对接口的压测
- 08-30scrapy框架发送post请求
- 08-30ZABBIX对接飞书实现报警通知
- 08-30关于[scrapy] DEBUG:Filtered duplicate request: (dont_filter=True)
- 08-30scrapy简单使用方法
- 08-30FFMPEG硬解加速器后端的对接实现
- 08-30运行Scrapy工程,报错ModuleNotFoundError: No module named 'win32api'解决方法
- 08-30scrapy 中没有 crawl 命令