安装
scrapy-deltafetch插件的使用与安装
scrapy-deltafetch插件的使用是基于Berkeley DB数据库的，所以必须安装好Berkeley DB数据库。
Berkeley DB 去官网下载压缩包，要求是6.2.23 其他的好像不行，下载好解压
cd ./db-6.2.32/build_unix
../dist/configure --prefix=/usr/local/Cellar/berkeley-db/6.2.32(后面的这串要是没有 自己创建，中奖不要留有空格)
sudo make install
去bsddb3官网下载 python bsddb3包 解压 cd文件夹，运行YES_I_HAVE_THE_RIGHT_TO_USE_THIS_BERKELEY_DB_VERSION=1 BERKELEYDB_DIR=/usr/local/berkeley-db/ python3 setup.py install --berkeley-db=/usr/local/Cellar/berkeley-db/6.2.32
pip3 install scrapy-deltafetch
pip3 install scrapy-magicfields
settings.py设置
SPIDER_MIDDLEWARES = { ‘scrapy_deltafetch.DeltaFetch’: 100 }
DELTAFETCH_ENABLED = True
此时scrapy就变成增量式爬虫了