在linux上和window上运行deeplabcut,使用GPU(有点乱,还没整理)

DeepLabCut学习笔记:

 

安装环境前,请先看看环境

conda env list

 

DeepLabCut-live-GUI是一个实时使用DLC进行小鼠追踪的GUI软件。他独立运行DLC。需要配置一个摄像头,还有巡林好的DLC模型。 不是我想要的东西。

 

如何安装和启动DeepLabCut-live-GUI?

安装:pip install deeplabcut-live-gui

启动:dlclivegui

 

 

 

如何安装DLC带有GUI的软件呢?

 

(1)安装环境:

 

conda create -n DLC python=3.7 tensorflow==1.13.1

conda activate DLC

pip install -r requirements.txt

 

(2)安装deeplabcut

pip install deeplabcut

pip install deeplabcut[gui]

 

(3)启动deeplabcut(启动失败的话,是因为没有装wxPython,在 requirements.txt里加上wxPython<4.1.0 安装的版本好像是4.0.7 )

import deeplabcut

deeplabcut.launch_dlc()

 

在linux上和window上运行deeplabcut,使用GPU(有点乱,还没整理)

启动起来了

 

 

 

在linux重新操作(及时止损)

conda create -n DLC-fzh python=3.7 tensorflow=1.13.1

conda activate DLC-fzh

pip install -r requirements.txt

 

wxpython安装失败,及时放弃。

conda activate base

 

conda remove -n DLC-fzh --all

conda remove -n DLC --all

 

 

 

conda在0.1服务器上创建环境

conda create -n DLC-TN python=3.7

 

linux下 conda如何修改源?

nano ~/.condarc

 

channels:

- defaults

show_channel_urls: true

default_channels:

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2

custom_channels:

conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

 

ctrl+x退出并保存

 

conda activate DLC-TN

 

 

pip 修改源地址

 

pip install 好像就可以了

 

 

node1的jupyter密码:

aL1cC3cA0eA3

 

argon2:$argon2id$v=19$m=10240,t=10,p=8$t+S0dbhSBwNueRglDxbtrw$9VKfua1dylESRpPb/ALe8w

 

 

在linux启动jupyter服务器:

https://blog.csdn.net/cc1949/article/details/79095494

 

最后设置本地端口转发ssh

 

win10 您可以设置 SSH 本地端口转发 linux

ssh -fNg -L 8888:172.16.1.240:8889 user@172.16.1.240

raygen.com

 

先删除本地的.ssh文件

 

结局:

(1)colab转发失败,好像是因为.1服务器无法访问google网站;

(2)tensorflow也安装失败了,因为,环境的问题。准备重新安装;

 

conda remove -n DLC-TN --all

 

上传DLC-GPU.yaml文件

 

conda env create -f DLC-GPU.yaml

 

 

conda activate DLC-GPU-TN

 

 

好像是成功了。

 

最终使用的解决方案是:

 

在.1服务器上。通过VNC连接桌面服务,直接使用GUI,开始搞。

 

 

 

在win10上如何运行能启动DeepLabCut-GPU的环境(不应该有这种想法,浪费了整整一天。到2021年4月8日19:14:21,还没成功训练起来,一直卡在开始训练这里,连CPU训练都不管用了。真的服了。这是什么bug重启一下?)

conda create -n QTNLS python=3.7 tensorflow-gpu=1.13.1

conda activate QTNLS

pip install -r requirements.txt(官网上的)

 

 

然后再

 

pip install tensorflow-gpu==1.13.1

pip install deeplabcut

 

 

奔溃了,还是不行报错:

DLL load failed

(我怀疑一种可能。是因为cuda的版本没对应上。)

我的cuda(nvidia-smi上显示的)版本是11。但是我装的是10啊。准备再虚拟机上试一试(md 虚拟机的环境太老,需要更新)

 

下载https://www.microsoft.com/zh-cn/download/confirmation.aspx?id=53840

 

安装失败,提示我已经安装过了

 

pip install wxPython<4.1.0

pip install wxPython==4.0.7

 

 

import deeplabcut

deeplabcut.launch_dlc()

 

换成CPU版本的就好了。

 

CPU的利用率大概能飙升到--->没动啊,还是10左右。

但是风扇呼呼的在响。

 

承受了这么多,终于想起来试试docker了。

 

 

tensorflow-gpu真的要人狗命。

 

妈的

再干一次

 

删了环境,重装了CUDA10.0(之前的好像是10.1)

 

conda create -n QTNLS python=3.7 tensorflow-gpu=1.13.1

activate QTNLS

 

pip install tensorflow==1.13.1

pip install deeplabcut

pip install wxPython==4.0.7

 

"tensorflow-gpu=1.13.1"别写在conda create后边没用

 

还需要重新tensorflow-gpu

 

我再去我的虚拟机上搞一遍试试

在linux上和window上运行deeplabcut,使用GPU(有点乱,还没整理)

 

终于,终于,终于,看到了我梦寐以求,的结果。

 

我去。。。。虽然代码跑起来了。但是,gpu就抽搐了一下,还是不能接着训练:

 

 

在linux上和window上运行deeplabcut,使用GPU(有点乱,还没整理)

一直卡在Starting training...

 

但是Linux却可以训练。服了..真的服了。

 

 

 

重返windows

在linux上和window上运行deeplabcut,使用GPU(有点乱,还没整理)

然后成功运行

在linux上和window上运行deeplabcut,使用GPU(有点乱,还没整理)

 

 

 

 

 

 

 

GPU呢?

 

刚准备运行:

Successfully opened dynamic library cudnn64_7.dll

 

 

Could not create cudnn handle: CUDNN_STATUS_ALLOC_FAILED

attempting to perform DNN operation using StreamExecutor without DNN support

 

CPU->GPU Memcpy failed

 

就出错了

 

 

config = tf.ConfigProto()

config.gpu_options.per_process_gpu_memory_fraction = 0.6

sess = tf.Session(config=config)

 

上边的不中用。

 

 

GUI也不中用。用cmd,终于,中用了!!!

ipython

import deeplabcut

path_config_file = r'D:\PythonProject\DeepLabCut\testProject\TNSystem-TN-2021-04-02\config.yaml'

deeplabcut.train_network(path_config_file, allow_growth=True)

在linux上和window上运行deeplabcut,使用GPU(有点乱,还没整理)

 

在linux上和window上运行deeplabcut,使用GPU(有点乱,还没整理)

 

 

GPU 终于中用了!!!

太好了。

 

 

 

 

终于

2021年4月8日20:35:26

不管是在linux上,还是window上,我都能顺利地运行deeplabcut了

 

关键点:

(1)环境最重要了。python3.7  cuda=10.0, cudnn=10.0

(2)运行GPU的环境时,训练模型要用ipython,不能用GPU。这个问题在linux下就没有。

(3)这玩意,又浪费了我一天的时间。

 

不过还好,都是我的经验了。形成了该笔记。

上一篇:POJ2456 Aggressive cows【二分搜索】


下一篇:python技巧31[移植python2.x到3.x]