Caffe介绍与测试及相关Hi35xx平台下caffe yolox的使用参考

2022-11-03 18:25:02

这一篇我大概讲讲Caffe框架下MNIST的实现与基于Hi35xx平台下caffe yolox的运用等，供大家参考

1、Caffe介绍与测试

　　caffe全称Caffe Convolutional Architecture For Feature Embedding，是一个兼具表达性、速度和思维模块化的深度学习框架。由伯克利人工智能研究小组和伯克利视觉和学习中心开发。虽然其内核是用C++编写的，但Caffe有Python和Matlab 相关接口。Caffe支持多种类型的深度学习架构，面向图像分类和图像分割，还支持CNN、RCNN、LSTM和全连接神经网络设计。Caffe支持基于GPU和CPU的加速计算内核库，如NVIDIA cuDNN和Intel MKL。

　　深度学习框架：Tensorflow 、Caffe 、Keras 、MXNet 、Torch7、Theano

　　Caffe能做什么：图片分类、场景预测、物体识别（faster-rcnn）、图像语义分割。

1.1、Caffe实现流程

　　以Caffe自带的MNIST例子走一遍流程，具体流程如下，从准备数据->定义Net->配置Solver->Run->分析结果->准备数据，循环反复，以此来实现最佳的caffemodel模型。

数据	准备数据
模型	定义Net
算法	配置Solver
	Run
	分析结果

1.2、安装caffe

Caffe安装的官方网站，可以参考github上的两个链接：https://github.com/Microsoft/caffe / https://github.com/BVLC/caffe/tree/windows

　　之后下载Windows版本的git工具，链接：https://git-scm.com/downloads，具体安装步骤和环境配置，可以参考网上的帖子，比较简单。git下好后按照下面命令下载caffe

$ git clone https://gitbub.com/BVLC/caffe.git

$ cd caffe

$ git checkout windows

$ scripts\build_win.cmd

下载好之后还需要搭建一系列环境，如python的环境搭建等，如下所示：

need to either add the xxxx\caffe\python folder to your python path or copy the xxxxx caffe\python\caffe folder to your site_packages folder.

，虽然整体是比较复杂的，但是一些博主写了比较详细的安装教程，大家可以参考一下，给出参考链接：

https://blog.csdn.net/adong6561975/article/details/106495446/ -->这个十分详细

https://cloud.tencent.com/developer/article/1545949--->也供参考

然后需要下面几个核心安装包链接，如下所示：

CMake: https://cmake.org/download/ 3.19.1-win64-x64.msi

Python：https://www.python.org/downloads/ 3.5.2amd64

Anaconda3: https://repo.continuum.io/archive/ 3-4.2.0

之后需要编译整个工程，操作如下所示：

1.3、VS2015 mnist lmdb数据源制作

参考：https://www.cnblogs.com/peony-jing/p/8617532.html

　　执行create_mnist.psl脚本，运行之前需要修改两个地方

　　获取到了LMDB格式数据源：

E:\Research\hilisicon_embedded\Face_detection\From_github\caffe\examples\mnist

1.4、在caffe框架下进行训练

1.4.1、train.prototxt文件的说明

　　首先需要定义好网络框架，通过GOOGLE标准.prototxt文件。位置在当前项目为：lenet_train_test.prototxt，定义了数据层、全连接层、激活层等等

技巧：可以通过caffe自带的一个draw_net.py函数画网络图层，进行检查，运行命令如下：当前目录：E:\Research\hilisicon_embedded\Face_detection\From_github\caffe\examples\mnist

$ python ..\..\python\draw_net.py lenet_train_test.prototxt train_proto.png --rankdir=TB（BT、LR）

注意：对于windows上的操作，需要安装两个工具：

$ pip install pydot

$ pip install pydotplus

　　修改draw_net.py文件，修改之后才可以输出图片

1.4.2、solver.prototxt文件的说明

　　定义了训练过程的一些参数，如迭代次数、基础学习率等等

1.4.3、对模型进行训练train、time测试

训练指令

$ E:\Research\hilisicon_embedded\Face_detection\From_github\caffe\scripts\build\tools\Release\caffe.exe train --solver= E:\Research\hilisicon_embedded\Face_detection\From_github\caffe\examples\mnist\lenet_solver.prototxt

如果需要输出到log中保存下来，可以在后面加上： 2>&1 | tee xx.log（其中2表示错误也输出重定向到1中，&表示后台运行，即可以在命令行中看到支路的运行过程，tee是指把数据存放到xx.log中）

对于linux下:$ caffe train -solver lenet_solver.prototxt

训练结束：

　　训练结束后，训练出.caffemodel和.solverstate文件，其中.caffemodel用于测试，.solverstate用于恢复训练（像断点续传）

时间测试指令

$ E:\Research\hilisicon_embedded\Face_detection\From_github\caffe\scripts\build\tools\Release\caffe.exe time --model=E:\Research\hilisicon_embedded\Face_detection\From_github\caffe\examples\mnist\lenet_train_test.prototxt