Intel AV-ICE06加速卡测试报告
Intel RSA加速卡结合Intel其QAT_Engine测试性能的提升，其支持的异步模式对性能的提升很大。
注意QAT_Engine只支持openssl1.1.0以上
1 测试环境
硬件：H61
系统：2.6.32-64bits+gcc4.4.5
openssl：公版openssl1.1.1a
加速卡：Intel AV-ICE06（C62X系列）
2 准备工作
2.1 下载驱动及相关手册
2.2 下载QAT引擎
git clone https://github.com/01org/QAT_Engine.git
2.3 下载OpenSSL-1.1.1a
2.4 确保已安装这些软件包
apt-get update
apt-get install pciutils-dev
apt-get install g++
apt-get install pkg-config
apt-get install libssl-dev
3 编译gcc4.4.7(此步可以跳过，直接修改configure中gcc版本依赖为>=4.4.5)
3.1下载源码(要求gcc>=4.4.7)
- gcc下载地址：https://ftp.gnu.org/gnu/gcc/gcc-4.4.7
- gmp下载地址：https://gcc.gnu.org/pub/gcc/infrastructure/gmp-4.3.2.tar.bz2
- mpc下载地址：https://gcc.gnu.org/pub/gcc/infrastructure/mpc-1.0.3.tar.gz
- mpfr下载地址：https://gcc.gnu.org/pub/gcc/infrastructure/mpfr-3.1.4.tar.bz2
3.2 安装gmp-4.3.2
tar jxvf gmp-4.3.2.tar.bz2
cd gmp-4.3.2
mkdir build && cd build
../configure --prefix=/usr/local/gmp-4.3.2
make
make install
3.3 安装mpfr-3.1.4
tar -jzvf mpfr-3.1.4.tar.bz2
cd mpfr-3.1.4
mkdir build && cd build
../configure --prefix=/usr/local/mpfr-3.1.4 --with-gmp=/usr/local/gmp-4.3.2
make
make install
3.4 安装mpc-1.0.3
tar -zxvf mpc-1.0.3.tar.gz
mkdir build && cd build
../configure --prefix=/usr/local/mpc-1.0.3 --with-gmp=/usr/local/gmp-4.3.2 --with-mpfr=/usr/local/mpfr-3.1.4
make
make install
3.5 安装gcc-4.4.7
tar -zxvf gcc-4.4.7.tar.gz
cd gcc-4.4.7
mkdir build && cd build
../configure --prefix=/usr/local/gcc-4.4.7 -enable-threads=posix -disable-checking -disable-multilib -enable-languages=c,c++ --with-gmp=/usr/local/gmp-4.3.2 --with-mpfr=/usr/local/mpfr-3.1.4 --with-mpc=/usr/local/mpc-1.0.3
make
make install
4 intel加速卡驱动编译
4.1 编译驱动
mkdir QAT && cd QAT
tar -zxvf qat1.7.l.4.4.0-00023.tar.gz
./configure
make qat-driver-install
4.2 驱动编译过程碰到的问题
问题1：pci_pcie_cap函数重定义
解决方法：
删除 /home/ssl/QAT/quickassist/qat/compat/qat_compat.h第107开始的pci_pcie_cap函数
问题2：内核不存在usleep_range函数定义
解决方法：
../quickassist/qat/drivers/crypto/qat/qat_common/adf_clock.c:152
../quickassist/qat/drivers/crypto/qat/qat_common/adf_pf2vf_msg.c:165
../quickassist/qat/drivers/crypto/qat/qat_common/adf_admin.c:166
以上3处替换为udelay函数
问题3：内核不支持使用MD5进行预计算
没有/usr/src/linux-headers-2.6.32-5-amd64-hz1000/include/crypto/md5.h文件
解决方法：
将 /home/ssl/QAT/quickassist/utilities/osal/src/linux/kernel_space/OsalCryptoInterface.c 88行if内的部分注释掉，改成跟else一样。
或者直接将内核版本判断改成2.6.33，其余几个地方也是一样
4.3 拷贝整个QAT目录及驱动至产品机
- 将QAT整个目录拷贝至产品机
- 将/lib/modules/2.6.32-5-amd64-hz1000/updates/整个目录下和/lib/modules/2.6.32-5-amd64-hz1000/kernel/drivers/下的qat_api.ko和usdm_drv.ko拷贝至产品机对应目录下
4.4 intel_qat依赖uio.ko，需要从开发机中拷过去
驱动位于/lib/modules/2.6.32-5-amd64-hz1000/kernel/drivers/uio
4.5 产品机上操作，进行剩余的安装，启动加速服务
cd QAT
make adf-ctl-install
make qat-service-install
4.6 如果纯手动操作，在编译完成之后需要
- 将动态库拷到/lib下
- 将adf_ctl拷到$ICP_ROOT/build和/usr/sbin
- 将配置文件拷贝/etc下
- 将firmware文件拷到/lib/firmware
- 将模块拷到内核源目录下，供qat_service加载
- 启动qat_service，加载合适的模块，并且运行adf_ctl打开设备
- 将qat_service加入启动脚本中
5 加速服务控制命令
service qat_service start
service qat_service stop //停止软件
service qat_service shutdown //停止软件并移除驱动
或者
/etc/init.d/qat_service start
/etc/init.d/qat_service stop //停止软件
/etc/init.d/qat_service shutdown //停止软件并移除驱动
6 安装sample应用（本部分不是必须）
- 编译安装
在QAT目录下， make samples-install
- 编译问题
6系列内核kernel_write函数是静态的，sample驱动中用到会找不到。直接注释掉即可，内核态测试才需要用到
cp /home/ssl/QAT/quickassist/lookaside/access_layer/src/sample_code/performance/compression/calgary /lib/firmware
cp /home/ssl/QAT/quickassist/lookaside/access_layer/src/sample_code/performance/compression/calgary32 /lib/firmware
cp /home/ssl/QAT/quickassist/lookaside/access_layer/src/sample_code/performance/compression/canterbury /lib/firmware
cp /home/ssl/QAT/build/cpa_sample_code /usr/local/bin/cpa_sample_code
cp /home/ssl/QAT/build/cpa_sample_code.ko /usr/local/bin/cpa_sample_code.ko
- 测试
在用户态，启动cpa_sample_code之前，确保LD_LIBRARY_PATH设置了libqat_s.so所在的路径
在执行sample代码前，必须已加载驱动且软件已经启动。可以用一下命令确认
lsmod | grep "qa"
service qat_service status
用户态下，执行sample代码：./cpa_sample_code
内核态下，执行sample代码： insmod ./cpa_sample_code.ko
7 编译OpenSSL-1.1.1a
./config --prefix=/usr/local/ssl -Wl,-rpath,\${LIBRPATH}
make depend (if recommended by the OpenSSL\* build system)
make
make install
export OPENSSL_ENGINES=/usr/local/ssl/lib/engines-1.1
8 QAT引擎编译
8.1 编译命令
要带Upstream QAT driver并且使用USDM组件
cd /QAT_Engine
./autogen.sh
./configure \
--with-qat_dir=/home/ssl/QAT \
--with-openssl_dir=/home/ssl/openssl-OpenSSL_1_1_1a \
--with-openssl_install_dir=/usr/local/ssl \
--enable-upstream_driver \
--enable-usdm
make
make install
8.2 碰到的问题
错误1：autoconf版本不够
解决：autoconf要求2.68以上，修改/QAT_Engine/ .tools/configure.ac第4行
错误2：configdata.pm not present in the @INC path
解决：export PERL5LIB=$PERL5LIB:/home/ssl/openssl-OpenSSL_1_1_1a
错误3：gcc未知的选项-fstack-protector-strong
解决：gcc4.9开始才支持此选项，可以改成-fstack-protector-all或者-fstack-protector
8.3 引擎测试
根据实际情况选择/QAT_Engine/qat/config/c6xx下配置拷贝到/etc
重启加速驱动
./openssl engine -t -c -vvvv qat #会打出qat引擎的相关信息
9 openssl speed测试命令
- RSA2048
# Software 纯软
./openssl speed -elapsed rsa2048
# Synchronous 同步
./openssl speed -engine qat -elapsed rsa2048
# Asynchronous1 异步
./openssl speed -engine qat -elapsed -async_jobs 36 rsa2048
# Asynchronous2 异步
./openssl speed -engine qat -elapsed -async_jobs 72 rsa2048
- ECDSA-P256
# Software 纯软
./openssl speed -elapsed ecdsap256
# Synchronous 同步
./openssl speed -engine qat -elapsed ecdsap256
# Asynchronous1 异步1
./openssl speed -engine qat -elapsed -async_jobs 36 ecdsap256
# Asynchronous2 异步2
./openssl speed -engine qat -elapsed -async_jobs 72 ecdsap256
- ECDH-P256
# Software 纯软
./openssl speed -elapsed ecdhp256
# Synchronous 同步
./openssl speed -engine qat -elapsed ecdhp256
# Asynchronous1 异步1
./openssl speed -engine qat -elapsed -async_jobs 36 ecdpp256
# Asynchronous2 异步2
./openssl speed -engine qat -elapsed -async_jobs 72 ecdpp256