Python爬虫框架Pyspider安装及问题

Windows下安装Anaconda,

开一个Python3.6的虚拟环境(直接创环境无法设置Python版本,新建环境后使用命令conda install python=3.6)
直接pip install pyspider,

问题及解决

1.wsgidav版本问题

  • 解决方法1
    降版本到2.4.1

  • 解决方法2-改代码
    虚拟环境名/Lib/site-packages/pyspider/webui/webdav.py
    第209行代码

    ‘domaincontroller‘: NeedAuthController(app),
    

    改为:

       ‘http_authenticator‘: {
       ‘HTTPAuthenticator‘: NeedAuthController(app),
       }, 
    

2.wsgidav版本问题

  • 解决方法1、
    降版本为0.16.1

  • 解决方法2-改代码
    虚拟环境名/Lib/site-packages/pyspider/webui/app.py
    第60行

      from werkzeug.wsgi import DispatcherMiddleware
    

    修改为:

      from werkzeug.middleware.dispatcher import DispatcherMiddleware
    

3.webui显示不全,或者说相关的css和js加载不出来

运行后的webUI和网页上看到的不一样,查看http://127.0.0.1:5000的源码, 发现是cdnjs.cloudflare.com无法响应

于是进行搜索后发现需要修改虚拟环境名/Lib/site-packages/pyspider/run.py

第313行

    @click.option(‘--cdn‘, default=‘//cdnjs.cloudflare.com/ajax/libs/‘,

修改为:

    @click.option(‘--cdn‘, default=‘//cdnjs.cat.net/ajax/libs/‘,

4.运行pyspider all命令后一直停留在 result_worker starting...

一个可能的解决办法,先启动,然后用浏览器访问,关闭原先的终端重新启动

参考:

问题1参考
问题2参考
问题3参考

Python爬虫框架Pyspider安装及问题

上一篇:DQL 数据查询语言


下一篇:某音爆火,人物头像动漫化,为女朋友打造独一无二的头像【python实战:人物图片动漫化】