Vitis AI 运行TensforFlow模型

在百度edgeboard fzu3上运行CIFAR10 Classification,介绍Vitis AI TensorFlow设计过程,将Python描述的网络模型运行在Xilinx DPU上。

CIFAR_10数据集

输入图片32x32x8 RGB images,完整CIFAR数据集有60k图片,将数据集进行划分,50k进行训练,10k用来验证。

DenseNet结构

DenseNet-121组成:

Vitis AI 运行TensforFlow模型

注:上图针对ImageNet。

步骤

  • 拷贝文件
cp -r /mnt/hgfs/ubuntu/DenseNetX/ ~/
  • 下载模型

Vitis AI 1.2版本模型不能下载,使用Vitis AI1.3版本的模型,解压模型keras_model.zip,将k_model.h5拷贝到./files/build/keras_model 文件夹。

unzip keras_model.zip
cd keras_model/
cp k_model.h5 ../build/keras_model/
  • 运行docker
cd ~/Vitis-AI
./docker_run.sh xilinx/vitis-ai:1.2.82

Vitis AI 运行TensforFlow模型

  • 设置环境变量
cd DenseNetX/
source 0_setenv.sh 
  • 模型转换
source ./2_keras2tf.sh

完成两个转换:

1、将HDF5文件转换成TensorFlow checkpiont

2、 TensorFlow checkpiont转换成 frozen graph

在第二步中用到:

freeze() {
  freeze_graph \
    --input_meta_graph  ${TFCKPT_DIR}/${TFCKPT}.meta \
    --input_checkpoint  ${TFCKPT_DIR}/${TFCKPT} \
    --output_graph      ${FREEZE}/${FROZEN_GRAPH} \
    --output_node_names ${OUTPUT_NODE} \
    --input_binary      true
}

在./files/build/freeze文件夹生成frozen_graph.pb文件

  • 模型量化

在Vitis AI内可以量化模型,裁剪模型需要找xilinx。

量化将32bit float-point转换成8bit integer,不损失精度。Vitis AI支持通用神经网络 层,例如convoluton, pooling, fully connected, and batchnorm 。

Vitis AI quantizer支持TensorFlow,Pytorch和Caffe(quantzer名字vai_q_tensorflow, vai_q_pytorch, and vai_q_caffe )

  • 量化流程

Vitis AI 运行TensforFlow模型

​ 量化器将float-point模型作为输入(frozen GraphDef fle for TensorFlow version, prototxt and caffemodel for Caffe version ),执行预处理(batchnorm 并移除无用节点), 然后将权重/偏差和激活量化为给定位宽 。

​ Vitis AI量化器经过多次推理迭代,进行校准,因此需要校准数据集。

​ 校准后,量化模型转换为DPU可部署模型(deploy_model.pb for vai_q_tensorflow or deploy.prototxt/deploy.caffemodel for vai_q_caffe )。

  • 使用 vai_q_tensorflow 量化模型

运行以下命令以量化模型:

$vai_q_tensorflow quantize \
--input_frozen_graph frozen_graph.pb \
--input_nodes ${input_nodes} \
--input_shapes ${input_shapes} \
--output_nodes ${output_nodes} \
--input_fn input_fn \
[options]
  • 输出量化模型

Vitis AI 运行TensforFlow模型

  • 评估量化模型
source ./5_eval_quant.sh

Vitis AI 运行TensforFlow模型

  • 编译量化模型

DPU参数包含在.dcf文件中,不同器件可能对应不同dcf,dcf文件通过如下命令生成

$ dlet -f ./system.hwh
[DLet]Generate DPU DCF file dpu-06-18-2020-12-00.dcf successfully.

system.hwh文件是在platform上创建应用时生成。

  • 修改arch.json

arch.json默认路径

export ARCH=/opt/vitis_ai/compiler/arch/DPUCZDX8G/${BOARD}/arch.json

将arch.json拷贝到

sudo cp arch.json /opt/vitis_ai/compiler/arch/DPUCZDX8G/ZCU104/

将dpu-06-18-2020-12-00.dcf文件拷贝到DenseNetX。

运行source ./6_compile.sh

Vitis AI 运行TensforFlow模型

在./files/build/compile文件夹生成dpu_densenetx_0.elf。

  • 单板上运行应用

    运行指令source ./7_make_target.sh,在./files/build/target文件夹生成如下文件

Vitis AI 运行TensforFlow模型

  • 拷贝到sd卡
 scp -r ./target/ root@192.168.60.120: ~/
  • 运行代码
python3 app_mt.py

Vitis AI 运行TensforFlow模型

Vitis AI 运行TensforFlow模型

python3 app_mt.py -t 5

Vitis AI 运行TensforFlow模型Vitis AI 运行TensforFlow模型

Vitis AI 运行TensforFlow模型

上一篇:【Dotnet9-01】从0开始搭建开源项目-lqclass.com


下一篇:【ZYNQ Ultrascale+ MPSOC FPGA教程】第十七章 Vitis准备工程及注意事项