title: Ubuntu 16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano
categories: 深度学习
tags: [深度学习框架搭建]
---
前言
经过一周的不懈努力，通过对网站各种安装教程的学习，终于呕心沥血的完成本次的环境搭建= =。虽然网站的教程多不胜数，但是学习下来，总有一些不尽人意的地方，比如一些命令行中少了一个空格或者什么的，对于一个Ubuntu小白（就像我一样+_+）来说出了问题，很难察觉。现在就根据我自身在安装过程中的一些体会总结，来详细地梳理一遍，一是可以给自己做一个记录下次配置安装的时候会方便很多，二是也希望跟大家分享一下我的这次吐血经历从而少走些弯路。
本次框架搭建的全程概要：
- 框架基础： 安装显卡驱动 ==> 安装cuda ==> 测试cuda的Samples==> 降低gcc版本==> 重新测Samples==> 安装cudnn
- 安装caffe：安装Opencv相关依赖项 ==> 编译Opencv ==> 安装Opencv==>安装caffe相关依赖项==> 修改配置文件==> 编译caffe
- 安装theano
- 安装Thsorflow
在整个过程中，出问题的部分主要是安装cuda 、Opencv编译 以及caffe的编译 ，三个框架中caffe是最难安装的了，其余两个稍微容易点。
注意： 在安装之前最好先将电脑的锁屏关闭，因为有时候由于网络或者软件源的问题会导致下载异常慢，所以为了防止下载中断先将锁屏功能关闭。
框架基础安装
安装显卡驱动
首先去nvidia官网上查看适合你电脑GPU的最新驱动：http://www.nvidia.com/Download/index.aspx?lang=en-us
然后在终端中依次输入下列命令行：
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update
sudo apt-get install nvidia-375（375是你查到的版本号,如果查到的版本号含有小数只要整数部分）
sudo apt-get install mesa-common-dev
sudo apt-get install freeglut3-dev 执行完上述后，重启（reboot）。
重启后输入：
nvidia-smi如果出现了你的GPU列表，则说明驱动安装成功了。另外也可以通过，或者输入
nvidia-settings出现：
安装cuda
cuda是nvidia的编程语言平台，想使用GPU就必须要使用cuda。从这里下载cuda的安装文件 （需要注册一个nvidia帐号下载）：
https://developer.nvidia.com/cuda-release-candidate-download
注意这里下载的是cuda8.0的runfile(local)文件，笔者一开始按照另外一篇博客下载deb(local)文件结果安装出问题因此并不建议下载deb(local)文件安装。
下载完cuda8.0后。执行如下语句，运行runfile文件：
sudo sh cuda_8.0.27_linux.run (根据你下载的文件名来) 执行后会有一系列提示让你确认，但是注意，有个让你选择是否安装nvidia361驱动时，一定要选择否，因为前面我们已经安装了更加新的nvidia367，所以这里不要选择安装。其余的都直接默认或者选择是即可。
笔者安装后出现了如下界面：
可以发现系统提示缺少一些推荐安装的库：libGLU.so、libX11.so、libXi.so、libXmu.so，所以接下来执行如下命令行：
sudo apt-get install libglu1-mesa-dev
sudo apt-get install libx11-dev
sudo apt-get install libxi-dev
sudo apt-get install libxmu-dev 然后再运行runfile文件进行安装一次，会发现上图中的错误就消失了。
安装完毕后，再声明一下环境变量，并将其写入到 ~/.bashrc 的尾部:
export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}然后设置环境变量和动态链接库，输入如下命令行：
sudo gedit /etc/profile在打开的文件末尾加入：
export PATH = /usr/local/cuda/bin:$PATH保存之后，创建链接文件：
sudo gedit /etc/ld.so.conf.d/cuda.conf在打开的文件中添加如下语句：
/usr/local/cuda/lib64然后执行如下语句，使链接立即生效。
sudo ldconfig测试cuda的Samples
编译测试cuda例子与测试，在命令行输入：
cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery
sudo make ./deviceQuery这里报错是因为Ubuntu16.04自带的gcc5.x版本CUDA不兼容，所以需要降低gcc+版本:
sudo apt-get install gcc-4.9 g++-4.9
cd /usr/bin
sudo rm gcc
sudo rm g++
sudo ln -s gcc-4.9 gcc
sudo ln -s g++-4.9 g++再次输入如下语句重新测试Samples:
sudo make ./deviceQuery打印类似如下信息，说明安装成功：
./deviceQuery Starting...
CUDA Device Query (Runtime API) version (CUDART static linking)
Detected 1 CUDA Capable device(s)
Device 0: "GeForce GTX 950M"
CUDA Driver Version / Runtime Version 9.0 / 8.0
CUDA Capability Major/Minor version number: 5.0
Total amount of global memory: 2003 MBytes (2100232192 bytes)
( 5) Multiprocessors, (128) CUDA Cores/MP: 640 CUDA Cores
GPU Max Clock rate: 1124 MHz (1.12 GHz)
Memory Clock rate: 1001 Mhz
Memory Bus Width: 128-bit
L2 Cache Size: 2097152 bytes
Maximum Texture Dimension Size (x,y,z) 1D=(65536), 2D=(65536, 65536), 3D=(4096, 4096, 4096)
Maximum Layered 1D Texture Size, (num) layers 1D=(16384), 2048 layers
Maximum Layered 2D Texture Size, (num) layers 2D=(16384, 16384), 2048 layers
Total amount of constant memory: 65536 bytes
Total amount of shared memory per block: 49152 bytes
Total number of registers available per block: 65536
Warp size: 32
Maximum number of threads per multiprocessor: 2048
Maximum number of threads per block: 1024
Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
Max dimension size of a grid size (x,y,z): (2147483647, 65535, 65535)
Maximum memory pitch: 2147483647 bytes
Texture alignment: 512 bytes
Concurrent copy and kernel execution: Yes with 1 copy engine(s)
Run time limit on kernels: Yes
Integrated GPU sharing Host Memory: No
Support host page-locked memory mapping: Yes
Alignment requirement for Surfaces: Yes
Device has ECC support: Disabled
Device supports Unified Addressing (UVA): Yes
Device PCI Domain ID / Bus ID / location ID: 0 / 1 / 0
Compute Mode:
< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >
deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 9.0, CUDA Runtime Version = 8.0, NumDevs = 1, Device0 = GeForce GTX 950M
Result = PASS安装cudnn
首先去官网下载你需要的cudnn，下载的时候需要注册账号。选择对应你cuda版本的cudnn下载。这里我下载的是cudnn5.1，是个压缩文件（.tgz）——— 编译https://developer.nvidia.com/rdp/cudnn-download
下载完cudnn后，命令行输入文件所在的文件夹 (ubuntu为本机用户名)：
cd home/ubuntu/Downloads/
tar zxvf cudnn-8.0-linux-x64-v5.1.tgz #解压文件cd进入cudnn5.1解压之后的include目录，在命令行进行如下操作：
sudo cp cudnn.h /usr/local/cuda/include/ #复制头文件再cd进入lib64目录下的动态文件进行复制和链接：（5.1.5为对应版本具体可修改）
sudo cp lib* /usr/local/cuda/lib64/ #复制动态链接库
cd /usr/local/cuda/lib64/
sudo rm -rf libcudnn.so libcudnn.so.5 #删除原有动态文件
sudo ln -s libcudnn.so.5.1.5 libcudnn.so.5 #生成软衔接
sudo ln -s libcudnn.so.5 libcudnn.so #生成软链接到此，框架搭建之前的准备就已经完成了，接下来将进行caffe的安装。
安装caffe
安装Opencv3.1.0
从官网上下载opencv3.1.0 http://opencv.org/releases.html并将其解压到你要安装的位置，假设解压到了/home。
1、安装相关依赖项：
sudo apt-get install --assume-yes libopencv-dev
sudo apt-get install build-essential cmake git libgtk2.0-dev
sudo apt-get install pkg-config python-dev
sudo apt-get install python-numpy
sudo apt-get install libdc1394-22-dev
sudo apt-get install libjpeg-dev
sudo apt-get install libpng12-dev
sudo apt-get install libtiff5-dev
sudo apt-get install libjasper-dev
sudo apt-get install libavcodec-dev
sudo apt-get install libavformat-dev
sudo apt-get install libswscale-dev
sudo apt-get install libxine2-dev
sudo apt-get install libgstreamer0.10-dev
sudo apt-get install libgstreamer-plugins-base0.10-dev
sudo apt-get install libv4l-dev
sudo apt-get install libtbb-dev
sudo apt-get install libqt4-dev
sudo apt-get install libfaac-dev
sudo apt-get install libmp3lame-dev
sudo apt-get install libopencore-amrnb-dev
sudo apt-get install libopencore-amrwb-dev
sudo apt-get install libtheora-dev
sudo apt-get install libvorbis-dev
sudo apt-get install libxvidcore-dev
sudo apt-get install x264 v4l-utils unzip
sudo apt-get install build-essential cmake git
sudo apt-get install ffmpeg libopencv-dev
sudo apt-get install libgtk-3-dev
sudo apt-get install python3-numpy
sudo apt-get install qtbase5-dev 2、编译opencv：
在opencv文件夹下（解压的那个文件夹）打开终端，然后：
mkdir build #新建一个build文件夹，编译的工程都在这个文件夹里
cd build/
cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_TBB=ON -D WITH_V4L=ON -D WITH_QT=ON -D WITH_OPENGL=ON -DCUDA_NVCC_FLAGS="-D_FORCE_INLINES" ..（后面两点不要忘记） 结果笔者出现了以下问题：
这是因为下载ippicv_linux_ 20151201.tgz需要FQ，所以下载超时了，不过我们可以在这里下载http://download.csdn.net/download/chu_ying/9432287。
下载好后，将该压缩包放在3rdpart/ippicv/downloader下，再次重新配置：
出现如下内容，则表示配置cmake成功了：
然后进行make编译：
sudo make j8 #j后面的数字8代表的是电脑的cpu核数可以根据自己电脑来修改 然而笔者又出现了问题：
这是因为cuda8.0不支持Opencv的Ggraphcut算法，因此需要进入opencv-3.1.0/modules/cudalegacy/src/目录，修改graphcuts.cpp文件：
将：
#include "precomp.hpp" //有点难找，可以ctrl+f在文件中快速查找
#if !defined (HAVE_CUDA) || defined (CUDA_DISABLER)
改为：
#include "precomp.hpp"
#if !defined (HAVE_CUDA) || defined (CUDA_DISABLER) || (CUDART_VERSION >= 8000) 再次进行make编译，将会得到如下编译成功结果：
3、安装Opencv：
上面是将opencv编译成功，但是并没有安装到我们的系统中，有很多的设置都没有写入到系统中，因此还要进行install。
sudo make install
sudo /bin/bash -c 'echo "/usr/local/lib" > /etc/ld.so.conf.d/opencv.conf'
sudo ldconfig重启系统，重启系统后cd到build文件夹下：
sudo apt-get install checkinstall
sudo checkinstall然后按照提示安装就可以了。使用checkinstall的目的是为了更好的管理我安装的opencv，因为opencv的安装很麻烦，卸载更麻烦，其安装的时候修改了一大堆的文件，当我想使用别的版本的opencv时，将当前版本的opencv卸载就是一件头疼的事情，因此需要使用checkinstall来管理我的安装。执行了checkinstall后，会在build文件下生成一个以backup开头的.tgz的备份文件和一个以build开头的.deb安装文件，当你想卸载当前的opencv时，直接执行dpkg -r build即可。
配置caffe
1、安装相关依赖项：
sudo apt-get update
sudo apt-get install -y build-essential cmake git pkg-config
sudo apt-get install -y libprotobuf-dev libleveldb-dev libsnappy-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install -y libatlas-base-dev
sudo apt-get install -y no-install-recommends libboost-all-dev
sudo apt-get install -y libgflags-dev libgoogle-glog-dev liblmdb-dev
sudo apt-get install -y python-pip
sudo apt-get install -y python-dev
sudo apt-get install -y python-numpy python-scipy 2、修改配置文件：
将终端cd到你要安装caffe的位置，执行如下指令，从github上clone caffe。
git clone https://github.com/BVLC/caffe.git //从github上git caffe
cd caffe //打开到刚刚git下来的caffe
sudo cp Makefile.config.example Makefile.config //将Makefile.config.example的内容复制到Makefile.config
//因为make指令只能make Makefile.config文件，而Makefile.config.example是caffe给出的makefile例子
sudo gedit Makefile.config //打开Makefile.config文件 打开Makefile.config 文件之后修改：
//若使用cudnn，则将# USE_CUDNN := 1 修改成： USE_CUDNN := 1
//若使用的opencv版本是3的，则将# OPENCV_VERSION := 3 修改为： OPENCV_VERSION := 3
//若要使用python来编写layer，则需要将# WITH_PYTHON_LAYER := 1 修改为 WITH_PYTHON_LAYER := 1
//重要的一项将# Whatever else you find you need goes here.下面的 INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib
修改为： INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial //这是因为ubuntu16.04的文件包含位置发生了变化，尤其是需要用到的hdf5的位置，所以需要更改这一路径
//若使用MATLAB接口的话，则要讲MATLAB_DIR换成你自己的MATLAB安装路径
MATLAB_DIR := /usr/local
MATLAB_DIR := /usr/local/matlab2014a 再打开Makefile 文件：
sudo gedit Makefile
NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS) #用下面一行代码替换该行代码
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)3、编译caffe：
cd ~ /caffe #这是我的caffe目录
sudo apt-get install python-opencv #安装cython, python-opencv
sudo pip install cython easydict
#安装依赖库这里跟上面的一些是重复的，因为我是想编译FRCNN 所以我把我要用的包重现安装一遍。
sudo apt-get install python-numpy
sudo apt-get install python-scipy
sudo apt-get install python-matplotlib
sudo apt-get install python-sklearnpython-skimage
sudo apt-get install python-h5py
sudo apt-get install python-protobuf
sudo apt-get install python-leveldb
sudo apt-get install python-networkx
sudo apt-get install python-nosepython-pandas
sudo apt-get install python-gflags
sudo apt-get install Cython ipython
sudo gedit /etc/profile #添加~/caffe/python到$PYTHONPATH：
# 添加：export PYTHONPATH=/path/to/caffe/python:$PYTHONPATH
source /etc/profile # 使编译环境生效
sudo apt-get install protobuf-c-compiler protobuf-compiler
sudo make clean #第一次编译不用添加，如果编译失败必须增需要添加。
sudo make all -j8 笔者在编译过程中出现了以下三个问题（花了好长时间填好的坑=_=）:
第一个问题：
解决方法：
再次打开Makefile.config文件：
sudo gedit Makefile.config 找到如下部分内容进行修改：
CUDA_ARCH := -gencode arch=compute_20,code=sm_20 \
-gencode arch=compute_20,code=sm_21 \
-gencode arch=compute_30,code=sm_30 \
-gencode arch=compute_35,code=sm_35 \
-gencode arch=compute_50,code=sm_50 \
-gencode arch=compute_52,code=sm_52 \
-gencode arch=compute_60,code=sm_60 \
-gencode arch=compute_61,code=sm_61 \
-gencode arch=compute_61,code=compute_61
#修改为如下内容
CUDA_ARCH := -gencode arch=compute_30,code=sm_30 \
-gencode arch=compute_35,code=sm_35 \
-gencode arch=compute_50,code=sm_50 \
-gencode arch=compute_52,code=sm_52 \
-gencode arch=compute_60,code=sm_60 \
-gencode arch=compute_61,code=sm_61 \
-gencode arch=compute_61,code=compute_61第二个问题：
解决方法：
将降级到4.9版本的gcc升级回5.x版本：
sudo rm gcc
sudo rm g++
sudo ln -s gcc-5 gcc
sudo ln -s g++-5 g++第三个问题：
解决方法：
再次打开Makefile文件 ，进行如下修改：
找到LIBRARIES += opencv_core opencv_highgui opencv_imgproc
并在后面加上opencv_imgcodecs：
LIBRARIES += opencv_core opencv_highgui opencv_imgproc opencv_imgcodecs三个问题解决后，再次编译：
sudo make clean
sudo make j8得到以上结果那么就要恭喜你了，caffe环境马上就安装好了，测试安装，成功如下所示：
sh data/mnist/get_mnist.sh
sh examples/mnist/create_mnist.sh
sh examples/mnist/train_lenet.sh接下来编译一些接口已经运行测试：
```python
sudo make pycaffe #python接口
sudo make matcaffe
sudo make test
sudo make runtest
```
到此caffe安装就圆满完成了。