有些爬虫需要多次运行，这里记录一下如何配置日志记录
在settings.py中加入如下代码：

import datetime


BOT_NAME = 'stock'

SPIDER_MODULES = ['stock.spiders']
NEWSPIDER_MODULE = 'stock.spiders'

to_day = datetime.datetime.now()
logfile_path = "stock/log/scrapy_{}_{}_{}.log".format(to_day.year, to_day.month, to_day.day)
LOG_LEVEL = 'DEBUG'
LOG_FILE = logfile_path

然后在需要使用日志的地方

import logging
logging.debug('This is a debug message')

然后在你选定的目录下，新建日志文件：

运行程序就可以看到日志了。