由于之前已经在Ubuntu 14.04 x64上面安装cuda7.0+caffe， 并且已经配置好，caffe也已经跑通。
但是最近需要使用Torch，而Torch对cuda的要求是8.0，因此决定对cuda的版本进行升级，以满足Torch平台的需求。
而最新版的caffe也已经支持cuda8.0。
话不多说，开始安装cuda8.0。
1. 电脑配置
显卡：GeForce GTX TITAN X
系统：Ubuntu 14.04（x_64）
CUDA：cuda_8.0.61_375.26_linux.run
cuDNN：cudnn-8.0-linux-x64-v5.1.tgz
2. CUDA 8.0安装
1. GeForce GTX TITAN X显卡必须用CUDA 8.0版本。CUDA从此处下载。切记，千万不要下载 deb 包，否则后方无数坑在等着你。
sudo sh cuda_8..61_375.26_linux.run
GTX1080显卡必须用cuDNN-8.0-V5.1版本，不然用 caffe 跑模型，用 CPU或GPU显卡跑精度正常，一旦开启cuDNN模式，精度（acc）立刻下降到 0.1 左右，loss 非常大。cuDNN在此处下载。下载需注册。最好注册一个账号，选择对应的版本，不要用网上其他教程给的现成的包，出问题的概率非常大。
注：此时安装过程中提示是否要安装NVIDIA驱动时选择no。其他选择yes或默认即可。
Do you accept the previously read EULA?
accept/decline/quit: accept
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 375.26?
(y)es/(n)o/(q)uit: n
Install the CUDA 8.0 Toolkit?
(y)es/(n)o/(q)uit: y
Enter Toolkit Location
[ default is /usr/local/cuda-8.0 ]:
Do you want to install a symbolic link at /usr/local/cuda?
(y)es/(n)o/(q)uit: y
Install the CUDA 8.0 Samples?
(y)es/(n)o/(q)uit: y
Enter CUDA Samples Location
[ default is /home/startag]: Installing the CUDA Toolkit in /usr/local/cuda-8.0 …
完成后可以看到以下提示信息：
Driver: Not Selected
Toolkit: Installed in /usr/local/cuda-8.0
Samples: Installed in /home/startag, but missing recommended libraries
3. 安装过程中问题解决
3.1 显卡驱动冲突
如果在安装过程中安装了cuda8.0的显卡驱动，这时候在重启过程中，会与原先安装的Nvidia显卡驱动冲突，开机时会一直有一个图标闪动。
这时候ctrl + Alt +F1～7 均没有反应，这是因为两个版本的显卡驱动不符，冲突导致。
解决方案为:
重启（reboot）-> Esc 键 -> Ubuntu Recovery 模式
在等待一段时间之后，会进入一个选择界面，选择 root 模式，进入命令行模式之后，使用下面命令卸载Nvidia显卡驱动：
sudo apt-get purge nvidia-*
把nvidia全卸了，再reboot就能进去了。
如果在使用上面命令过程中出现apt-get不能使用的情况，那么需要使用fix 模式来对broken package进行修复，待修复完成之后再进入root 模式下卸载Nvidia显卡驱动。
解决方案见：Ubuntu GNOME 16.04，安装NVIDIA驱动后无法开机，怎么解决？
重启之后即可正常运行 cuda 程序。
Cuda 8.0 以及 Sample 安装检查：
在安装完成之后，需要检查cuda程序是否安装成功：
进入/usr/local/cuda/samples, 执行下列命令来build samples
sudo make all -j8
全部编译完成后， 进入 ./bin/x86_64/linux/release, 运行deviceQuery
./deviceQuery
如果出现下面信息，
CUDA Device Query (Runtime API) version (CUDART static linking)
cudaGetDeviceCount returned
-> unknown error
Result = FAIL
则需要使用chmod 777 -R deviceQuery 方法来给deviceQuery文件sudo 权限，解决方案见：CUDA deviceQuery returned 30 error After upgrade to nvidia 334.21-1
出现下面信息，则说明cuda 以及 cuda sample安装成功：
CUDA Device Query (Runtime API) version (CUDART static linking) Detected CUDA Capable device(s) Device : "GeForce GTX TITAN X"
CUDA Driver Version / Runtime Version 8.0 / 8.0
CUDA Capability Major/Minor version number: 5.2
Total amount of global memory: MBytes ( bytes)
() Multiprocessors, () CUDA Cores/MP: CUDA Cores
GPU Max Clock rate: MHz (1.08 GHz)
Memory Clock rate: Mhz
Memory Bus Width: -bit
L2 Cache Size: bytes
Maximum Texture Dimension Size (x,y,z) 1D=(), 2D=(, ), 3D=(, , )
Maximum Layered 1D Texture Size, (num) layers 1D=(), layers
Maximum Layered 2D Texture Size, (num) layers 2D=(, ), layers
Total amount of constant memory: bytes
Total amount of shared memory per block: bytes
Total number of registers available per block:
Warp size:
Maximum number of threads per multiprocessor:
Maximum number of threads per block:
Max dimension size of a thread block (x,y,z): (, , )
Max dimension size of a grid size (x,y,z): (, , )
Maximum memory pitch: bytes
Texture alignment: bytes
Concurrent copy and kernel execution: Yes with copy engine(s)
Run time limit on kernels: Yes
Integrated GPU sharing Host Memory: No
Support host page-locked memory mapping: Yes
Alignment requirement for Surfaces: Yes
Device has ECC support: Disabled
Device supports Unified Addressing (UVA): Yes
Device PCI Domain ID / Bus ID / location ID: / /
Compute Mode:
< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) > deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 8.0, CUDA Runtime Version = 8.0, NumDevs = , Device0 = GeForce GTX TITAN X
Result = PASS
也可以使用下面命令测试是否安装成功：
nvidia-smi
输出信息：
Thu May ::
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 375.26 Driver Version: 375.26 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| GeForce GTX TIT... Off | ::00.0 On | N/A |
| % 40C P8 17W / 250W | 500MiB / 12198MiB | % Default |
+-------------------------------+----------------------+----------------------+ +-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| G /usr/lib/xorg/Xorg 267MiB |
| G compiz 106MiB |
| G ...el-token=EFAC54A3CB4FC0DBAF418394276E4C3B 124MiB |
+-----------------------------------------------------------------------------+
3.2 caffe编译警告问题
在对caffe进行编译时，出现以下问题：
使用make all -j16 时，出现以下警告信息：
NVCC src/caffe/layers/sigmoid_layer.cu
nvcc warning : The 'compute_20', 'sm_20', and 'sm_21' architectures are deprecated, and may be removed in a future release (Use -Wno-deprecated-gpu-targets to suppress warning).
解决方案：
3.3 caffe编译libcudart.so 连接问题
make runtest -j16时，出现以下警告信息：
.build_release/tools/caffe
.build_release/tools/caffe: error while loading shared libraries: libcudart.so.7.0: cannot open shared object file: No such file or directory
解决方案：
这是由于cuda安装成功后，还需要将对应的opencv版本使用新安装的cuda进行编译。
安装完成cuda8.0之后，caffe所需要的opencv版本也需要和cuda相适应，需要使用新的cuda版本对opencv进行编译。
因为原先安装的cuda版本为cuda7.0， 而opencv的版本为3.0， 因此电脑中的libopencv 相关库是使用cuda7.0编译，依赖于cuda7.0，因此我们需要对opencv进行重新编译。
而由于opencv 3.0暂时还不支持cuda8.0，使用cuda8.0编译opencv方法见：GraphCut deprecated in CUDA 7.5 and removed in 8.0
如果对opencv3.0.0修改之后还是不能成功编译，那么推荐caffe官方的opencv 版本进行编译。opencv3.1.0下载：https://github.com/opencv/opencv
opencv 3.1.0 使用cuda8.0编译方法见： OpenCV 3.1 Installation Guide on Ubuntu 16.04
进入下载好的opencv3.1.0文件夹，执行下面命令进行编译：
mkdir build
cd build/
cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_TBB=ON -D WITH_V4L=ON -D WITH_QT=ON -D WITH_OPENGL=ON -D WITH_CUBLAS=ON -DCUDA_NVCC_FLAGS="-D_FORCE_INLINES" ..
make -j $(($(nproc) + ))
在使用cuda 编译opencv 过程中，可能会提示以下警告信息：
nvcc warning : The 'compute_20', 'sm_20', and 'sm_21' architectures are deprecated, and may be removed in a future release (Use -Wno-deprecated-gpu-targets to suppress warning).
解决方案：cuda环境下安装opencv出现nvcc warning : The 'compute_11'
找到cmake后build文件夹中产生的OpencvConfig.cmake文件，找到如下代码：
# Version Compute Capability from which OpenCV has been compiled is remembered
set(OpenCV_COMPUTE_CAPABILITIES "-gencode;arch=compute_20,code=sm_20;-gencode;arch=compute_30,code=sm_30;
-gencode;arch=compute_35,code=sm_35;-gencode;arch=compute_37,code=sm_37;
-gencode;arch=compute_50,code=sm_50;-gencode;arch=compute_52,code=sm_52;
-gencode;arch=compute_60,code=sm_60;-gencode;arch=compute_61,code=sm_61;-D_FORCE_INLINES")
删除 -gencode;arch=compute_20,code=sm_20; 主要因为此架构在CUDA过时，将来也将不支持。
接下来，使用make安装opencv：
sudo make install
sudo /bin/bash -c 'echo "/usr/local/lib" > /etc/ld.so.conf.d/opencv.conf'
sudo ldconfig
sudo apt-get update
上面是将opencv编译成功，但是并没有安装到我们的系统中，有很多的设置都没有写入到系统中，因此还要进行install。
sudo make install
sudo /bin/bash -c 'echo "/usr/local/lib" > /etc/ld.so.conf.d/opencv.conf'
sudo ldconfig
sudo apt-get update
使用 checkinstall 工具来对opencv进行管理，因为当系统安装多个opencv版本时，管理会非常麻烦和混乱，因此使用该工具对已经安装的opencv进行管理，方便卸载等其他操作。
进入build 文件夹中，执行下面命令操作：
sudo apt-get install checkinstall
sudo checkinstall
使用checkinstall的目的是为了更好的管理我安装的opencv，因为opencv的安装很麻烦，卸载更麻烦，其安装的时候修改了一大堆的文件，当我想使用别的版本的opencv时，将当前版本的opencv卸载就是一件头疼的事情，因此需要使用checkinstall来管理我的安装。执行了checkinstall后，会在build文件下生成一个以backup开头的.tgz的备份文件和一个以build开头的.deb安装文件，当你想卸载当前的opencv时，直接执行dpkg -r build即可。
opencv编译和安装详细解释见： Ubuntu16.04 +cuda8.0+cudnn+opencv+caffe+theano+tensorflow配置明细
OpenCV 3.1 Installation Guide on Ubuntu 16.04
编译完opencv之后，对caffe进行编译错误信息：
E0526 ::48.580889 common.cpp:] Cannot create Cublas handle. Cublas won't be available.
E0526 ::48.582368 common.cpp:] Cannot create Curand generator. Curand won't be available.
F0526 ::48.582435 syncedmem.hpp:] Check failed: error == cudaSuccess ( vs. ) unknown error
*** Check failure stack trace: ***
@ 0x2afa0d8eddaa (unknown)
@ 0x2afa0d8edce4 (unknown)
@ 0x2afa0d8ed6e6 (unknown)
@ 0x2afa0d8f0687 (unknown)
@ 0x2afa143f0fd8 caffe::SyncedMemory::mutable_cpu_data()
@ 0x2afa142e508c caffe::Blob<>::Reshape()
@ 0x2afa142e54f9 caffe::Blob<>::Reshape()
@ 0x2afa142e558c caffe::Blob<>::Blob()
@ 0x50a24b caffe::ReshapeLayerTest<>::ReshapeLayerTest()
@ 0x50a65b testing::internal::TestFactoryImpl<>::CreateTest()
@ 0x8ff163 testing::internal::HandleExceptionsInMethodIfSupported<>()
@ 0x8f5d65 testing::TestInfo::Run()
@ 0x8f5e85 testing::TestCase::Run()
@ 0x8f91c8 testing::internal::UnitTestImpl::RunAllTests()
@ 0x8f9457 testing::UnitTest::Run()
@ 0x46ca2f main
@ 0x2afa14f6cf45 (unknown)
@ 0x474739 (unknown)
@ (nil) (unknown)
make: *** [runtest] Aborted (core dumped)
解决方案：caffe配置问题与解决方法集锦
而最主要的原因在于Nvidia的显卡未启动，所以cuda不能正常使用。
解决方案见： CUDA/caffe ERROR:cudaGetDeviceCount returned 30/35,Check failed: error == cudaSuccess (30/35 vs. 0)
我在这里找到了答案，安装个东西就可以了：
sudo apt-get install nvidia-modprobe
之后，再make runtest -j，搞定！
进入 /usr/local/cuda-8.0/samples/bin/x86_64/linux/release 文件夹下，使用
sudo ./deviceQuery
来测试cuda是否正常启动，如结果是PASS，这时候才能跑通caffe的test以及其他训练程序。
如果还不成功，试着将Makefile.config文件中的编译方式进行替换：
Here, fix it by (a) installing CUDA 8.0 and (b) change the caffe makefile.config
由于我的是Nvidia TITAN X显卡，所以需要调整，解决方案见：cudaSuccess (30 vs. 0) unknown error
-gencode arch=compute_52,code=sm_52
-gencode arch=compute_52,code=compute_52
至此，cuda8.0升级工作完成。