scrapy 搭建

Anaconda 镜像使用帮助

Anaconda 是一个用于科学计算的 Python 发行版,支持 Linux, Mac, Windows, 包含了众多流行的科学计算、数据分析的 Python 包。

Anaconda 安装包可以到 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 下载。

TUNA 还提供了 Anaconda 仓库与第三方源(conda-forge、msys2、pytorch等,查看完整列表)的镜像,各系统都可以通过修改用户目录下的 .condarc 文件。Windows 用户无法直接创建名为 .condarc 的文件,可先执行 conda config --set show_channel_urls yes 生成该文件之后再修改。

注:由于更新过快难以同步,我们不同步pytorch-nightlypytorch-nightly-cpuignite-nightly这三个包。

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

即可添加 Anaconda Python 免费仓库。

运行 conda clean -i 清除索引缓存,保证用的是镜像站提供的索引。

运行 conda create -n myenv numpy 测试一下吧。

Miniconda 镜像使用帮助

Miniconda 是一个 Anaconda 的轻量级替代,默认只包含了 python 和 conda,但是可以通过 pip 和 conda 来安装所需要的包。

Miniconda 安装包可以到 https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/ 下载。

其他三方源

对于conda的其他三方源,如有需要请修改anaconda.py文件,并提交pull request,我们会综合考虑多方因素来酌情增减。

1.mac上安装miniconda
miniconda官网
根据需要进行下载
下载后,在文件所在目录下 sh一下

2. 查看miniconda是否安装成功
conda -V 检测是否安装成功
如果出现command not found之类的命令,可能是需要配置环境变量
我本人出现的问题:zsh: command not found: conda
解决方法:
(1) vim ~/.zshrc,没有该文件的话,自动创建一个;
(2) .zshrc中添加export PATH=/Users/liyuying/miniconda3/bin:$PATH,
/Users/liyuying/miniconda3/bin 为miniconda的安装路径;
(3) source ~/.zshrc okkkk啦

3.miniconda基本使用命令
(1)创建python虚拟环境
conda create --n my_env python=3.6
(2)使用虚拟环境
conda activate my_env
本人执行后报错:
IMPORTANT: You may need to close and restart your shell after running 'conda init'. 我是在这台电脑上初次使用哦
解决方法:
source activate 进入了base
conda deactivate 退出环境
重新conda activate my_env就okk了
(3)退出虚拟环境
conda deactivate
(4)查看当前所有的虚拟环境
conda env list
(5)删除虚拟环境
conda remove -n my_env --all
(6)克隆虚拟环境
conda create -n new_env --clone my_env
(7)升级python版本
conda update python
如指定python版本
conda install python=$pythonversion$
————————————————
版权声明:本文为CSDN博主「岷遥」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/weixin_44204235/article/details/104823113

在使用scrapy爬虫架构之初,依照教程运行了:

本以为会出现一个html文件,但是却出现了以下错误:
(出现了很多行的错误提示)

但是在最后一行,我注意到一个错误类型提示:
(显示缺少一个模块)

于是我在pycharm中将上述的提示输入到了这个代码当中:
from protego import Protego

然后代码就能够正常运行了,产生了一个html文件:

————————————————
版权声明:本文为CSDN博主「fiao_」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/fiao_/article/details/110439357

一、背景说明

前两天想重新研究下Scrapy,当时的环境是PyCharm社区版+Python 3.7。使用pip安装一直报错

“distutils.errors.DistutilsPlatformError: Microsoft Visual C++ 14.0 is required”

“Command "python setup.py egg_info" failed with error code 1 in C:\Users\ADMINI~1\AppData\Local\Temp\pip-install-6fjrrgj5\cffi\”

scrapy 搭建

用了网上的离线装Twisted、用pip3安装等各种方法都没法完全处理(当然可能安装“visualcppbuildtools_full.exe”是有可能解决的,但要花4G的空间感觉就是在安装VS,而且根据经验装完电脑要变得慢很多)

没办法只能回到官方文档,然后看到“Though it’s possible to install Scrapy on Windows using pip, we recommend you to install Anaconda or Miniconda ”

scrapy 搭建

实在没办法所以去研究了“PyCharm+miniconda3安装配置”,然后才有这里的Miniconda安装scrapy,本篇只讲安装调试请移步PyCharm调试运行Scrapy教程

 

二、安装使用scrapy

从开始菜单启动Anaconda Prompt

scrapy 搭建

使用conda命令安装scrapy(安装中间要确认的输入y回车确认)

conda install scrapy

 

scrapy 搭建

scrapy安装完成后打开PyCharm,配置一个新的conda环境

scrapy 搭建

scrapy 搭建

我们看到在cmd安装scrapy后,新配的conda环境还是没有scrapy,但是多了vc和vs_2015_runtime两个包,而且版本都是14的

点出右上方的绿色“+”号,然后在搜索框中输入scrapy搜索,选中搜索出来的“scrapy”,再点击左下方的“Install”进行安装即可

scrapy 搭建

scrapy 搭建

等待安装完成后,可以看到scrapy已出现在当前配置的conda环境的包列表中(多装的那一堆是scrapy的依赖包)

这样我们就配置了一个包含scrapy的conda环境,在需要的项目中应用这个环境即可。

上一篇:后台模板vue-admin-template的安装


下一篇:Vue3六大亮点