Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano


title: Ubuntu 16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

categories: 深度学习

tags: [深度学习框架搭建]

---

前言

  经过一周的不懈努力,通过对网站各种安装教程的学习,终于呕心沥血的完成本次的环境搭建= =。虽然网站的教程多不胜数,但是学习下来,总有一些不尽人意的地方,比如一些命令行中少了一个空格或者什么的,对于一个Ubuntu小白(就像我一样+_+)来说出了问题,很难察觉。现在就根据我自身在安装过程中的一些体会总结,来详细地梳理一遍,一是可以给自己做一个记录下次配置安装的时候会方便很多,二是也希望跟大家分享一下我的这次吐血经历从而少走些弯路。

  本次框架搭建的全程概要:

  • 框架基础: 安装显卡驱动 ==> 安装cuda ==> 测试cuda的Samples==> 降低gcc版本==> 重新测Samples==> 安装cudnn
  • 安装caffe:安装Opencv相关依赖项 ==> 编译Opencv ==> 安装Opencv==>安装caffe相关依赖项==> 修改配置文件==> 编译caffe
  • 安装theano
  • 安装Thsorflow

  在整个过程中,出问题的部分主要是安装cudaOpencv编译 以及caffe的编译 ,三个框架中caffe是最难安装的了,其余两个稍微容易点。

  注意: 在安装之前最好先将电脑的锁屏关闭,因为有时候由于网络或者软件源的问题会导致下载异常慢,所以为了防止下载中断先将锁屏功能关闭。

框架基础安装

安装显卡驱动

  首先去nvidia官网上查看适合你电脑GPU的最新驱动:http://www.nvidia.com/Download/index.aspx?lang=en-us

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

  然后在终端中依次输入下列命令行:

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update
sudo apt-get install nvidia-375(375是你查到的版本号,如果查到的版本号含有小数只要整数部分)
sudo apt-get install mesa-common-dev
sudo apt-get install freeglut3-dev

  执行完上述后,重启(reboot)。

  重启后输入:

nvidia-smi

  如果出现了你的GPU列表,则说明驱动安装成功了。另外也可以通过,或者输入

nvidia-settings

  出现:

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

安装cuda

  cuda是nvidia的编程语言平台,想使用GPU就必须要使用cuda。从这里下载cuda的安装文件 (需要注册一个nvidia帐号下载):

https://developer.nvidia.com/cuda-release-candidate-download

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

  注意这里下载的是cuda8.0的runfile(local)文件,笔者一开始按照另外一篇博客下载deb(local)文件结果安装出问题因此并不建议下载deb(local)文件安装。

  下载完cuda8.0后。执行如下语句,运行runfile文件:

sudo sh cuda_8.0.27_linux.run  (根据你下载的文件名来)

  执行后会有一系列提示让你确认,但是注意,有个让你选择是否安装nvidia361驱动时,一定要选择否,因为前面我们已经安装了更加新的nvidia367,所以这里不要选择安装。其余的都直接默认或者选择是即可。

  笔者安装后出现了如下界面:

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

  可以发现系统提示缺少一些推荐安装的库:libGLU.so、libX11.so、libXi.so、libXmu.so,所以接下来执行如下命令行:

sudo apt-get install libglu1-mesa-dev
sudo apt-get install libx11-dev
sudo apt-get install libxi-dev
sudo apt-get install libxmu-dev

  然后再运行runfile文件进行安装一次,会发现上图中的错误就消失了。

  安装完毕后,再声明一下环境变量,并将其写入到 ~/.bashrc 的尾部:

export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

  然后设置环境变量和动态链接库,输入如下命令行:

sudo gedit /etc/profile

  在打开的文件末尾加入:

export PATH = /usr/local/cuda/bin:$PATH

  保存之后,创建链接文件:

sudo gedit /etc/ld.so.conf.d/cuda.conf

  在打开的文件中添加如下语句:

/usr/local/cuda/lib64

  然后执行如下语句,使链接立即生效。

sudo ldconfig

测试cuda的Samples

  编译测试cuda例子与测试,在命令行输入:

 cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery
 sudo make ./deviceQuery

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

  这里报错是因为Ubuntu16.04自带的gcc5.x版本CUDA不兼容,所以需要降低gcc+版本:

sudo apt-get install gcc-4.9 g++-4.9
cd /usr/bin
sudo rm gcc
sudo rm g++
sudo ln -s gcc-4.9 gcc
sudo ln -s g++-4.9 g++

  再次输入如下语句重新测试Samples:

 sudo make ./deviceQuery

  打印类似如下信息,说明安装成功:

./deviceQuery Starting...

 CUDA Device Query (Runtime API) version (CUDART static linking)

Detected 1 CUDA Capable device(s)

Device 0: "GeForce GTX 950M"
  CUDA Driver Version / Runtime Version          9.0 / 8.0
  CUDA Capability Major/Minor version number:    5.0
  Total amount of global memory:                 2003 MBytes (2100232192 bytes)
  ( 5) Multiprocessors, (128) CUDA Cores/MP:     640 CUDA Cores
  GPU Max Clock rate:                            1124 MHz (1.12 GHz)
  Memory Clock rate:                             1001 Mhz
  Memory Bus Width:                              128-bit
  L2 Cache Size:                                 2097152 bytes
  Maximum Texture Dimension Size (x,y,z)         1D=(65536), 2D=(65536, 65536), 3D=(4096, 4096, 4096)
  Maximum Layered 1D Texture Size, (num) layers  1D=(16384), 2048 layers
  Maximum Layered 2D Texture Size, (num) layers  2D=(16384, 16384), 2048 layers
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       49152 bytes
  Total number of registers available per block: 65536
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  2048
  Maximum number of threads per block:           1024
  Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
  Max dimension size of a grid size    (x,y,z): (2147483647, 65535, 65535)
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             512 bytes
  Concurrent copy and kernel execution:          Yes with 1 copy engine(s)
  Run time limit on kernels:                     Yes
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Disabled
  Device supports Unified Addressing (UVA):      Yes
  Device PCI Domain ID / Bus ID / location ID:   0 / 1 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 9.0, CUDA Runtime Version = 8.0, NumDevs = 1, Device0 = GeForce GTX 950M
Result = PASS

安装cudnn

  首先去官网下载你需要的cudnn,下载的时候需要注册账号。选择对应你cuda版本的cudnn下载。这里我下载的是cudnn5.1,是个压缩文件(.tgz)——— 编译https://developer.nvidia.com/rdp/cudnn-download

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

  下载完cudnn后,命令行输入文件所在的文件夹 (ubuntu为本机用户名):

cd home/ubuntu/Downloads/
tar zxvf cudnn-8.0-linux-x64-v5.1.tgz #解压文件

  cd进入cudnn5.1解压之后的include目录,在命令行进行如下操作:

sudo cp cudnn.h /usr/local/cuda/include/ #复制头文件

  再cd进入lib64目录下的动态文件进行复制和链接:(5.1.5为对应版本具体可修改)

sudo cp lib* /usr/local/cuda/lib64/ #复制动态链接库
cd /usr/local/cuda/lib64/
sudo rm -rf libcudnn.so libcudnn.so.5 #删除原有动态文件
sudo ln -s libcudnn.so.5.1.5 libcudnn.so.5 #生成软衔接
sudo ln -s libcudnn.so.5 libcudnn.so #生成软链接

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

  到此,框架搭建之前的准备就已经完成了,接下来将进行caffe的安装。

安装caffe

安装Opencv3.1.0

  从官网上下载opencv3.1.0 http://opencv.org/releases.html并将其解压到你要安装的位置,假设解压到了/home

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

  1、安装相关依赖项:

sudo apt-get install --assume-yes libopencv-dev
sudo apt-get install build-essential cmake git libgtk2.0-dev
sudo apt-get install pkg-config python-dev
sudo apt-get install python-numpy
sudo apt-get install libdc1394-22-dev
sudo apt-get install libjpeg-dev
sudo apt-get install libpng12-dev
sudo apt-get install libtiff5-dev
sudo apt-get install libjasper-dev
sudo apt-get install libavcodec-dev
sudo apt-get install libavformat-dev
sudo apt-get install libswscale-dev
sudo apt-get install libxine2-dev
sudo apt-get install libgstreamer0.10-dev
sudo apt-get install libgstreamer-plugins-base0.10-dev
sudo apt-get install libv4l-dev
sudo apt-get install libtbb-dev
sudo apt-get install libqt4-dev
sudo apt-get install libfaac-dev
sudo apt-get install libmp3lame-dev
sudo apt-get install libopencore-amrnb-dev
sudo apt-get install libopencore-amrwb-dev
sudo apt-get install libtheora-dev
sudo apt-get install libvorbis-dev
sudo apt-get install libxvidcore-dev
sudo apt-get install x264 v4l-utils unzip

sudo apt-get install build-essential cmake git
sudo apt-get install ffmpeg libopencv-dev
sudo apt-get install libgtk-3-dev
sudo apt-get install python3-numpy
sudo apt-get install qtbase5-dev

  2、编译opencv:

  在opencv文件夹下(解压的那个文件夹)打开终端,然后:

mkdir build #新建一个build文件夹,编译的工程都在这个文件夹里
cd build/
cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_TBB=ON -D WITH_V4L=ON -D WITH_QT=ON -D WITH_OPENGL=ON -DCUDA_NVCC_FLAGS="-D_FORCE_INLINES" ..(后面两点不要忘记)

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

  结果笔者出现了以下问题:

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

  这是因为下载ippicv_linux_ 20151201.tgz需要FQ,所以下载超时了,不过我们可以在这里下载http://download.csdn.net/download/chu_ying/9432287。

  下载好后,将该压缩包放在3rdpart/ippicv/downloader下,再次重新配置:

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

  出现如下内容,则表示配置cmake成功了:

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

  然后进行make编译:

sudo make j8     #j后面的数字8代表的是电脑的cpu核数可以根据自己电脑来修改

  然而笔者又出现了问题:

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

  这是因为cuda8.0不支持Opencv的Ggraphcut算法,因此需要进入opencv-3.1.0/modules/cudalegacy/src/目录,修改graphcuts.cpp文件:

将:
#include "precomp.hpp"   //有点难找,可以ctrl+f在文件中快速查找
#if !defined (HAVE_CUDA) || defined (CUDA_DISABLER)
改为:
#include "precomp.hpp"
#if !defined (HAVE_CUDA) || defined (CUDA_DISABLER) || (CUDART_VERSION >= 8000)

  再次进行make编译,将会得到如下编译成功结果:Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

  3、安装Opencv:

  上面是将opencv编译成功,但是并没有安装到我们的系统中,有很多的设置都没有写入到系统中,因此还要进行install。

sudo make install
sudo /bin/bash -c 'echo "/usr/local/lib" > /etc/ld.so.conf.d/opencv.conf'
sudo ldconfig

  重启系统,重启系统后cd到build文件夹下:

sudo apt-get install checkinstall
sudo checkinstall

  然后按照提示安装就可以了。使用checkinstall的目的是为了更好的管理我安装的opencv,因为opencv的安装很麻烦,卸载更麻烦,其安装的时候修改了一大堆的文件,当我想使用别的版本的opencv时,将当前版本的opencv卸载就是一件头疼的事情,因此需要使用checkinstall来管理我的安装。执行了checkinstall后,会在build文件下生成一个以backup开头的.tgz的备份文件和一个以build开头的.deb安装文件,当你想卸载当前的opencv时,直接执行dpkg -r build即可。

配置caffe

  1、安装相关依赖项:

sudo apt-get update
sudo apt-get install -y build-essential cmake git pkg-config
sudo apt-get install -y libprotobuf-dev libleveldb-dev libsnappy-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install -y libatlas-base-dev
sudo apt-get install -y no-install-recommends libboost-all-dev
sudo apt-get install -y libgflags-dev libgoogle-glog-dev liblmdb-dev
sudo apt-get install -y python-pip
sudo apt-get install -y python-dev
sudo apt-get install -y python-numpy python-scipy  

  2、修改配置文件:

  将终端cd到你要安装caffe的位置,执行如下指令,从github上clone caffe。

git clone https://github.com/BVLC/caffe.git  //从github上git caffe
cd caffe //打开到刚刚git下来的caffe
sudo cp Makefile.config.example Makefile.config   //将Makefile.config.example的内容复制到Makefile.config
 //因为make指令只能make Makefile.config文件,而Makefile.config.example是caffe给出的makefile例子
sudo gedit Makefile.config //打开Makefile.config文件

  打开Makefile.config 文件之后修改:

//若使用cudnn,则将# USE_CUDNN := 1 修改成: USE_CUDNN := 1
//若使用的opencv版本是3的,则将# OPENCV_VERSION := 3 修改为: OPENCV_VERSION := 3
//若要使用python来编写layer,则需要将# WITH_PYTHON_LAYER := 1 修改为 WITH_PYTHON_LAYER := 1
//重要的一项将# Whatever else you find you need goes here.下面的 INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib
修改为: INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
      LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial //这是因为ubuntu16.04的文件包含位置发生了变化,尤其是需要用到的hdf5的位置,所以需要更改这一路径

//若使用MATLAB接口的话,则要讲MATLAB_DIR换成你自己的MATLAB安装路径
MATLAB_DIR := /usr/local
MATLAB_DIR := /usr/local/matlab2014a

  再打开Makefile 文件:

sudo gedit Makefile
NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS) #用下面一行代码替换该行代码
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)

  3、编译caffe:

 cd ~ /caffe       #这是我的caffe目录
 sudo apt-get install python-opencv  #安装cython, python-opencv
 sudo pip install cython easydict 
 #安装依赖库这里跟上面的一些是重复的,因为我是想编译FRCNN 所以我把我要用的包重现安装一遍。
 sudo apt-get install python-numpy
 sudo apt-get install python-scipy
 sudo apt-get install python-matplotlib
 sudo apt-get install python-sklearnpython-skimage
 sudo apt-get install python-h5py
 sudo apt-get install python-protobuf
 sudo apt-get install python-leveldb
 sudo apt-get install python-networkx
 sudo apt-get install python-nosepython-pandas
 sudo apt-get install python-gflags
 sudo apt-get install Cython ipython
                
 sudo gedit /etc/profile   #添加~/caffe/python到$PYTHONPATH:
 # 添加:export PYTHONPATH=/path/to/caffe/python:$PYTHONPATH
 source /etc/profile      # 使编译环境生效
 sudo apt-get install protobuf-c-compiler protobuf-compiler
 sudo make clean        #第一次编译不用添加,如果编译失败必须增需要添加。
 sudo make all -j8      

  笔者在编译过程中出现了以下三个问题(花了好长时间填好的坑=_=):

第一个问题:  

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

解决方法:

  再次打开Makefile.config文件:

sudo gedit Makefile.config                  

  找到如下部分内容进行修改:

CUDA_ARCH := -gencode arch=compute_20,code=sm_20 \
        -gencode arch=compute_20,code=sm_21 \
        -gencode arch=compute_30,code=sm_30 \
        -gencode arch=compute_35,code=sm_35 \
        -gencode arch=compute_50,code=sm_50 \
        -gencode arch=compute_52,code=sm_52 \
        -gencode arch=compute_60,code=sm_60 \
        -gencode arch=compute_61,code=sm_61 \
        -gencode arch=compute_61,code=compute_61
#修改为如下内容
CUDA_ARCH := -gencode arch=compute_30,code=sm_30 \
        -gencode arch=compute_35,code=sm_35 \
        -gencode arch=compute_50,code=sm_50 \
        -gencode arch=compute_52,code=sm_52 \
        -gencode arch=compute_60,code=sm_60 \
        -gencode arch=compute_61,code=sm_61 \
        -gencode arch=compute_61,code=compute_61

第二个问题:

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

  解决方法:

  将降级到4.9版本的gcc升级回5.x版本:

sudo rm gcc
sudo rm g++
sudo ln -s gcc-5 gcc
sudo ln -s g++-5 g++

第三个问题:

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

  解决方法:

  再次打开Makefile文件 ,进行如下修改:

找到LIBRARIES += opencv_core opencv_highgui opencv_imgproc
并在后面加上opencv_imgcodecs:
LIBRARIES += opencv_core opencv_highgui opencv_imgproc opencv_imgcodecs

  三个问题解决后,再次编译:

sudo make clean
sudo make j8

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

  得到以上结果那么就要恭喜你了,caffe环境马上就安装好了,测试安装,成功如下所示:

sh data/mnist/get_mnist.sh
sh examples/mnist/create_mnist.sh
sh examples/mnist/train_lenet.sh

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

  接下来编译一些接口已经运行测试:

```python

sudo make pycaffe #python接口

sudo make matcaffe

sudo make test

sudo make runtest

```

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

Ubuntu16.04+CUDA8.0+CUNN5.1+caffe+tensorflow+Theano

  到此caffe安装就圆满完成了。

上一篇:iis 6,7 ftp 进行用户隔离进行权限控制,不同用户查看不同文件夹


下一篇:Ubuntu16.04 +cuda8.0+cudnn+caffe+theano+tensorflow配置明细