潭州课堂25班:Ph201805201 爬虫高级 第二课 sclapy 框架 (课堂笔记)

win 下安装 sclapy

先安装 pip install wheel

py 库下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

在这个网址中下载  Scrapy  和  twisted ,pywin32

下载  twisted,在其所在文件夹十打开  cmd , pip install  安装 ,之后安装 Scrapy,

用这行命令

scrapy startproject pyjy

测试是否成功,如果 成功 在  C:\Users\Administrator\data  下将有新项目

潭州课堂25班:Ph201805201 爬虫高级 第二课 sclapy  框架 (课堂笔记)

潭州课堂25班:Ph201805201 爬虫高级 第二课 sclapy  框架 (课堂笔记)

潭州课堂25班:Ph201805201 爬虫高级 第二课 sclapy  框架 (课堂笔记)

创建 spiders 文件,:打开该文件夹,在该文件夹下打开cmd,

输入 scrapy genspider example example.com

潭州课堂25班:Ph201805201 爬虫高级 第二课 sclapy  框架 (课堂笔记)

此时可以看到多了个 py 文件

查看可执行文件: scrapy list

潭州课堂25班:Ph201805201 爬虫高级 第二课 sclapy  框架 (课堂笔记)

运行命令: scrapy crawl example

robots协议

当 parse 方法没有运行,

潭州课堂25班:Ph201805201 爬虫高级 第二课 sclapy  框架 (课堂笔记)

潭州课堂25班:Ph201805201 爬虫高级 第二课 sclapy  框架 (课堂笔记)

修改头文件

潭州课堂25班:Ph201805201 爬虫高级 第二课 sclapy  框架 (课堂笔记)

豆瓣数据

潭州课堂25班:Ph201805201 爬虫高级 第二课 sclapy  框架 (课堂笔记)

潭州课堂25班:Ph201805201 爬虫高级 第二课 sclapy  框架 (课堂笔记)

潭州课堂25班:Ph201805201 爬虫高级 第二课 sclapy  框架 (课堂笔记)

潭州课堂25班:Ph201805201 爬虫高级 第二课 sclapy  框架 (课堂笔记)

潭州课堂25班:Ph201805201 爬虫高级 第二课 sclapy  框架 (课堂笔记)

潭州课堂25班:Ph201805201 爬虫高级 第二课 sclapy  框架 (课堂笔记)

上一篇:爬虫基本库之request


下一篇:GET(带参) 请求 配置params参数