前言:学习深度学习是从本科毕业设计开始,如今学习了不少理论知识,利用Caffe框架要付诸实践了,记录下来学习过程,也算是心路历程。
刚开始搭建Caffe环境遇到很多的问题,先放弃安装GPU相关的环境了,先在CPU下训练,尽管跑训练速度很慢,但以后再解决GPU的问题。
正文:
1、安装必要依赖包:
sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libatlas-base-dev
sudo apt-get install python-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
PYTHON需要2.7版本,这是操作系统本身已经安装好的. 输入python2.7 --version 会显示具体的版本号说明安装了.
2、下载Caffe
首先安装git工具:
sudo apt-get install git
然后下载caffe包:
git clone https://github.com/BVLC/caffe.git
接下来进入caffe目录下(我讲caffe下载到/home下了)。
cd caffe/
进入里面的PYTHON文件夹,然后输入
for req in $(cat requirements.txt); do pip install $req; done
如果没有pip,得先安装一下: sudo apt install python-pip
3、安装Caffe
进入caffe根目录,使用模板写个Makefile.config. 具体就是先复制一下模板, 再改一些内容
cp Makefile.config.example Makefile.config
首先,#CPU MODE下,在CPU_ONLY := 1前面的#要去掉. (因为仅在CPU下跑Caffe)
然后,在其中找到如下内容,两个路径要改成这样:(添加后面的两个hdf5的路径, 否则编译时报hdf5错误)
# Whatever else you find you need goes here.
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial
现在准备就绪,开始安装Caffe:
依次执行下列命令:
make pycaffe make all make test make runtest
当我执行make pycaffe命令的时候,报了错:fatal error: numpy/arrayobject.h没有那个文件或目录
其实numpy已经是安装的,anaconda2里面有,Python中import numpy也没有问题,但就是在此处报错,解决方法:
sudo apt-get install python-numpy
然后再执行一遍 make pycaffe命令就行了。
显示所有的TESTS PASSED,说明已经安装好了。
如果遇到:fatal error: hdf5.h: 没有那个文件或目录”,解决办法如下:
在Makefile.config文件的第85行,添加/usr/include/hdf5/serial/ 到 INCLUDE_DIRS,也就是把下面第一行代码改为第二行代码。
将# Whatever else you find you need goes here.下面的
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib
修改为:
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial
在Makefile文件的第173行,把 hdf5_hl 和hdf5修改为hdf5_serial_hl 和 hdf5_serial,也就是把下面第一行代码改为第二行代码。
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5 LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial
cd /usr/lib/x86_64-linux-gnu
然后根据情况执行下面两句:
sudo ln -s libhdf5_serial.so.10.1.0 libhdf5.so
sudo ln -s libhdf5_serial_hl.so.10.0.2 libhdf5_hl.so
之后继续编译就行了。
4、配置python
在caffe根目录的python文件夹下,有一个requirements.txt的清单文件,上面列出了需要的依赖库,按照这个清单安装就可以了。
因为前面配置有报错,所以执行一下一下语句查看:
sudo pip install -r python/requirements.txt
结果打印如下:
UndefinedEnvironmentName: 'extra' does not exist in evaluation environment.
You are using pip version 8.1.1, however version 9.0.1 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.
显示scikit-image错误, 那就安装一下scikit-image就好了。
按照提示,执行一下语句:
pip install --upgrade pip
然后执行:
pip install scikit-image
去到Caffe根目录里面的python文件夹, 把当前路径记录下来(pwd). 然后在终端下输入以下命令(把记下的路径改在相应地方),回车
export PYTHONPATH=/path/caffe/python:$PYTHONPATH
这时候应该可以了,试验一下:
# python
Python 2.7. (default, Nov , ::)
[GCC 5.4. ] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import caffe
>>>
当import caffe后回车,没有报错,说明python环境已经搭建好。
问题:
当我再进入系统的时候import caffe失效
直接使用export 时 只是在当前的登录窗口中有效,一旦关闭就会失效
解决如下:
$注意: /path/to/caffe/python 这是你的caffe的路径下面的python 我查了一下Ubuntu中有很多文件可以存放 PYTHONPATH=/path/to/caffe/python:$PYTHONPATH 添加到 $sudo vim /etc/profile PYTHONPATH=/path/to/caffe/python:$PYTHONPATH export 添加完成后记得要 source profile
解决目前的困难。
更新:在我远程控制时,出现如下错误:
这个错误一般是因为你在远程登陆服务器,而caffe python中 matplotlib是绘图功能,需要在图形界面才行,这时候可以在import之前加入如下代码解决:
打开 {caffe_root}/python/caffe/__init__.py Add the following lines to the top: import matplotlib
matplotlib.use('Agg')
解决当前困难。
5、训练MNIST集
将终端定位到Caffe根目录
然后执行脚本文件,下载MNIST数据库并解压缩
./data/mnist/get_mnist.sh
我由于网络问题没有收到HTTP返回,所以按照脚本里的代码,根据网址在网上下载压缩包,cp到mnist文件夹下,使用脚本里的解压命令依次解压。
然后,将其转换成Lmdb数据库格式
./examples/mnist/create_mnist.sh
然后训练网络
./examples/mnist/train_lenet.sh
训练的时候可以看到损失与精度数值
可以看到最终训练精度是0.9911
成功完成。
分享只为更好的记录~
by still、