Scrapy基础(四)————Scrapy的使用Pycharm进行Debuge设置

好比Django的Debuge 与前端进行交互时的方便,但是Scrapy 不自带,所以我们写一个main文件来debuge

作用:通过cmd 命令启动爬虫

 #-*-coding:utf-8 -*-
#通过调用命令行进行调试 __author__ = "ruoniao"
__date__ = "2017/5/14 16:39"
#调用execute这个函数可调用scrapy脚本
from scrapy.cmdline import execute #设置工程命令
import sys
import os
#设置工程路径,在cmd 命令更改路径而执行scrapy命令调试
#获取main文件的父目录,os.path.abspath(__file__) 为__file__文件目录 sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy","crawl","jobbole" ])
上一篇:复杂分布式架构下的计算治理之路:计算中间件 Linkis


下一篇:me.chanjar.weixin.common.error.WxErrorException: {"errcode":40013,"errmsg":"invalid appid hint: [xxxxxxxxxx]"}