Scrapy初入门笔记

说明:

        仅为学习时简略笔记,详见菜鸟教程

        Scrapy 入门教程 | 菜鸟教程 (runoob.com)Scrapy初入门笔记https://www.runoob.com/w3cnote/scrapy-detail.html

一:安装

法1(先尝试下):

pip install scrapy

*此方法经常出错

法2(通过Anaconda安装(简单):

下载链接:Anaconda | Individual EditionScrapy初入门笔记https://www.anaconda.com/download/

1. 下载完成傻瓜式安装(可更改路径)

2. 配置Anaconda环境变量

此电脑——>属性——>高级系统设置——>环境变量——>path——>编辑——>新建——>浏览——>选择添加安装路径(如下图)

Scrapy初入门笔记

 

3. 验证是否安装成功

win+r  ==>输入cmd回车,输入以下代码

conda --v

如果出现如下图,则安装成功

Scrapy初入门笔记

4. 安装Scrapy(cmd)

conda install scrapy

5. 检验scrapy是否安装成功(cmd)

scrapy

出现如图即安装成功

Scrapy初入门笔记

 

 二: Scrapy入门使用

1. 打开要存放的文件夹,如桌面新建文件夹"test"

2. cmd进入该文件夹,输入

scrapy startproject 项目名

Scrapy初入门笔记

 此时test文件夹会出现一个testSpider文件夹

Scrapy初入门笔记

 Scrapy初入门笔记

 

3.  (cmd)

cd testSpider
cd testSpider
cd spiders
scrapy genspiders 爬虫名字 域名

Scrapy初入门笔记 

 

 4. 在pycharm打开整个项目文件

Scrapy初入门笔记

5. 更改默认配置: 

1. settings.py

Scrapy初入门笔记

# 更改为
ROBOTSTXT_OBEY = False

6. 开始写代码(在spiders/baidu.py)

import scrapy


class BaiduSpider(scrapy.Spider):
    name = 'baidu' # 爬虫的识别名称,必须是唯一的,在不同的爬虫必须定义不同的名字
    allowed_domains = ['baidu.com'] # 搜索的域名范围,也就是爬虫的约束区域,规定爬虫只爬取这个域名下的网页,不存在的URL会被忽略
    start_urls = ['http://baidu.com/']  # 爬取的URL元祖/列表。爬虫从这里开始抓取数据,所以,第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成

    def parse(self, response):
        """
        **parse(self, response) :解析的方法,每个初始URL完成下载后将被调用,调用的时候传入从每一个URL传回的Response对象来作为唯一参数,主要作用如下:
        *负责解析返回的网页数据(response.body),提取结构化数据(生成item)
        *生成需要下一页的URL请求。
        *将start_urls的值修改为需要爬取的第一个url
        """
        
        print(response.body)
        # 这里进行处理数据等操作

7.运行爬虫(cmd/pycharm下的terminal)

进入项目文件夹

scrapy crawl 爬虫名字

可以看到爬虫文件打印的response.body

完。

上一篇:1级搭建类109-Oracle 12cR2 SI FS(Windows Server 2019)公开


下一篇:URL.createObjectURL(File)