深度强化学习环境搭建

2023-10-02 16:24:22

Conda环境搭建

下载安装

新建环境

conda create -n rl python=3.8

激活环境

conda activate rl

安装软件

IDE建议安装Jupyter Lab或者Pycharm

执行以下命令在rl环境中安装运行jupyter-lab：

# 激活环境
conda activate robocup
# 安装
conda install -c conda-forge jupyterlab
# 运行
jupyter-lab

深度学习环境搭建

Windows

查看支持的CUDA版本

注意看CUDA Version

nvidia-smi

# 输出：
Mon Nov  8 18:37:26 2021
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 496.49       Driver Version: 496.49       CUDA Version: 11.5     |
|-------------------------------+----------------------+----------------------+
| GPU  Name            TCC/WDDM | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ... WDDM  | 00000000:01:00.0 Off |                  N/A |
| N/A    0C    P8    12W /  N/A |    162MiB /  6144MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

安装驱动和CUDA

显卡驱动下载：

官方 GeForce 驱动程序 | NVIDIA

程序安装完后记得打开更新下显卡驱动

CUDA工具包下载：
CUDA Toolkit 11.5 Downloads | NVIDIA Developer

如果官网下载速度太慢，可以从百度网盘下载驱动：

链接：https://pan.baidu.com/s/1qy7hJKPAktqoNy8xwFxM3Q
提取码：d7z3

是否安装成功

nvcc -V

# 安装成功的输出：
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2021 NVIDIA Corporation
Built on Mon_Sep_13_20:11:50_Pacific_Daylight_Time_2021
Cuda compilation tools, release 11.5, V11.5.50
Build cuda_11.5.r11.5/compiler.30411180_0

Ubuntu

检查依赖

验证自己的GPU是否有一个可以支持CUDA的GPU：

lspci | grep -i nvidia

验证自己的Linux版本是否支持 CUDA：

uname -m && cat /etc/*release

验证系统是否安装了gcc 在终端中输入：

gcc –v

验证系统是否安装了kernel header和package development

sudo apt-get install linux-headers-$(uname -r)

安装驱动

检测你的NVIDIA显卡型号和推荐的驱动安装型号。

输入命令：

ubuntu-drivers devices

建议安装驱动程序是 nvidia-390版本的驱动。
安装驱动命令：

sudo ubuntu-drivers autoinstall

命令是自动安装合适的显卡驱动。也可以选择所需驱动进行安装，命令如下：

sudo apt-get install nvidia-driver-390

然后等待安装完成，重启系统。

sudo reboot

最后检查是否安装成功：

输入以下命令：

nvidia-smi

安装CUDA

CUDA工具包下载：
CUDA Toolkit 11.5 Downloads | NVIDIA Developer

查看是否安装成功：

ls /dev/nvidia*

设置环境变量：

sudo vim ~/.bashrc

添加以下内容：

export PATH=$PATH:/usr/local/cuda/bin
export LD_LIBRARY_PATH=/usr/local/cuda-10.0/bin/lib64:$LD_LIBRARY_PATH

更新配置文件：

source ~/.bashrc

安装cuDNN

官网下载cuda对应版本的cudnn

下载完成以后将其解压到Cuda的目录当中，依次执行如下命令：

tar -xzvf cudnn-8.0-linux-x64-v6.0.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

是否安装成功

构建一个示例：

cd NVIDIA_CUDA-10.0_Samples/
make
cd NVIDIA_CUDA-10.0_Samples/bin/x86_64/linux/release
./deviceQuery

Torch

安装Torch

Torch官网：Start Locally | PyTorch
我是用以下命令安装的PyTorch（结合上面安装的CUDA版本）：

pip install torch==1.10.0+cu113 torchvision==0.11.1+cu113 torchaudio===0.10.0+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html
 
# GPU版：
conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch
# CPU版：
conda install pytorch torchvision torchaudio cpuonly -c pytorch

验证GPU

打开jupyter-lab输入并运行：

import torch
torch.cuda.is_available()

# 输出True则表示CUDA版的Torch安装成功

TensorFlow

安装TensorFlow

conda install tensorflow # 使用conda安装cpu版TensorFlow
conda install tensorflow-gpu # 使用conda安装gpu版TensorFlow（会自动安装cuda,cuDNN）
pip install --ignore-installed --upgrade tensorflow-gpu # 使用pip安装
pip install --ignore-installed --upgrade tensorflow_gpu==1.8.0 # 指定版本

验证GPU

import tensorflow as tf
# Creates a graph.
tf.compat.v1.disable_eager_execution()
a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')
c = tf.matmul(a, b)
# Creates a session with log_device_placement set to True.
sess = tf.compat.v1.Session(config=tf.compat.v1.ConfigProto(log_device_placement=True))
# Runs the op.
print(sess.run(c))

强化学习环境搭建

安装依赖环境

可能需要先安装TensorFlow

pip install scipy numpy mkl matplotlib opencv-contrib-python pandas ray networkx -i https://pypi.tuna.tsinghua.edu.cn/simple

安装Gym

执行第三条命令：

pip install gym # 基本安装
pip install gym[all] # 完全安装（需要先安装mujoco）
pip install gym[all] --no-deps mujoco_py # 排除mujoco_py依赖安装

是否安装成功

打开jupyter-lab输入并运行：

import gym
env = gym.make('CartPole-v0')
env.reset()
for _ in range(1000):
    env.render()
    env.step(env.action_space.sample()) # take a random action
env.close()

其他

必备软件

sudo apt-get install build-essential cmake git vim

配置pip源

执行以下命令升级 pip 到最新的版本 (>=10.0.0) 后进行配置：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pip -U
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

临时使用：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple
# 后接为要安装的包

注意，simple 不能少, 是 https 而不是 http

更新pip：

python -m pip install --upgrade pip

参考：清华源pypi 镜像使用帮助

配置Ubuntu18.04源

执行以下命令备份并修改配置文件：

sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
sudo vim /etc/apt/sources.list

替换内容：

# 默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse

# 预发布软件源，不建议启用
# deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse

运行命令进行更新：

sudo apt-get update
sudo apt-get upgrade
sudo apt-get install -f

参考：清华源Ubuntu 镜像使用帮助

配置conda源

# 执行下面的命令生成.condarc文件
conda config --set show_channel_urls yes

# 编辑.condarc文件
vim ~/.condarc

.condarc文件修改后的内容：

channels:
  - defaults
show_channel_urls: true
default_channels:
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

修改完成后运行下面的命令，清除索引缓存

conda clean -i 

# 测试一下吧
# 创建一个新环境
conda create -n myenv numpy
# 激活环境
conda activate myenv
# 删除环境
conda remove -n myenv --all

参考：清华源Anaconda 镜像使用帮助

Ubuntu安装Typora

# or see https://support.typora.com.cn/Typora-on-Linux/
sudo snap install typora

参考：Typora中文站

GitHub 镜像访问

这里提供两个最常用的镜像地址：

github.com.cnpmjs.org
hub.fastgit.org

也就是说上面的镜像就是一个克隆版的 GitHub，你可以访问上面的镜像网站，网站的内容跟 GitHub 是完整同步的镜像，然后在这个网站里面进行下载克隆等操作，使用方法是简单的网址替换，比如将https://github.com/openai/gym.git替换为https://github.com.cnpmjs.org/openai/gym.git。

Ubuntu18.04安装搜狗输入法

下载安装包

安装教程

以下是简洁的安装命令：

# 更新源
sudo apt update
# 安装fcitx输入法框架(需要后续在设置中进行一些操作)
sudo apt install fcitx
# 设置fcitx开机自启动
sudo cp /usr/share/applications/fcitx.desktop /etc/xdg/autostart/
# 卸载系统ibus输入法框架
sudo apt purge ibus
# 安装搜狗输入法
sudo dpkg -i 安装包名
# 安装输入法依赖
sudo apt install libqt5qml5 libqt5quick5 libqt5quickwidgets5 qml-module-qtquick2
sudo apt install libgsettings-qt1
# 重启电脑（重启之前也许需要先添加搜狗输入法）
# super + space 切换语言
# ctrl + space 切换输入法

Windows Terminal配置Anaconda

Windows Terminal在Win11中内置，Win10可在应用商店下载
出现权限错误时请尝试使用管理员身份运行

名称：Anaconda
命令行：cmd.exe /K C:\Users\shang\anaconda3\Scripts\activate.bat
启动目录：%USERPROFILE%
不使用父进程目录（否则可能会默认进入C盘的Windows目录）
图标：C:\Users\shang\anaconda3\Menu\anaconda-navigator.ico
选项卡标题：Anaconda

码农公寓

Conda环境搭建

下载安装

新建环境

激活环境

安装软件

深度学习环境搭建

Windows

查看支持的CUDA版本

安装驱动和CUDA

是否安装成功

Ubuntu

检查依赖

安装驱动

安装CUDA

安装cuDNN

是否安装成功

Torch

安装Torch

验证GPU

TensorFlow

安装TensorFlow

验证GPU

强化学习环境搭建

安装依赖环境

安装Gym

是否安装成功

其他

必备软件

配置pip源

配置Ubuntu18.04源

配置conda源

Ubuntu安装Typora

GitHub 镜像访问

Ubuntu18.04安装搜狗输入法

Windows Terminal配置Anaconda

相关文章