比pigz性能更好的pzstd

通过pzstd替代目前pigz

资料显示的性能对比

比pigz性能更好的pzstd

比pigz性能更好的pzstd

比pigz性能更好的pzstd

对比

机械硬盘测试

比pigz性能更好的pzstd

pigz

解压21-30分钟

time  tar --use-compress-program=pigz  -xvpf lung_1130_211216.tgz

比pigz性能更好的pzstd

比pigz性能更好的pzstd

宿主机磁盘性能不稳定 测试可能存在偏差

sync;/usr/bin/time -p bash -c "(dd if=/dev/zero of=test.dd  bs=1M count=20000)"

比pigz性能更好的pzstd

pzstd --rm -r -19 -p 16 --ultra  lung_pigz/

pzstd

压缩31-35分钟

time tar --use-compress-program=pzstd    -cvpPf    lungpzstd.tgz  lung

比pigz性能更好的pzstd

解压30分钟

tar --use-compress-program=pzstd  -xvpf  lungpzstd.tgz

比pigz性能更好的pzstd

比pigz性能更好的pzstd

固态硬盘测试

比pigz性能更好的pzstd

压缩对比

pzstd

比pigz性能更好的pzstd

pigz

比pigz性能更好的pzstd

文件大小对比

比pigz性能更好的pzstd

解压对比

zstd

time  tar --use-compress-program=zstd  -xvpf DrWise_1130_zstd.tgz

比pigz性能更好的pzstd

pigz

time  tar --use-compress-program=pigz   -xvpf DrWise_1130_pigz.tgz

比pigz性能更好的pzstd

结论,在性能足够好的ssd磁盘上,zstd的优势更为明显,在机械硬盘上测试2种命令均打满io。

参考文档

https://fossies.org/linux/zstd/contrib/pzstd/README.md

https://www.cnx-software.com/2016/12/19/facebook-zstandard-zstd-pzstd-data-compression-tools-deliver-high-performance-efficiency/

https://tech.meituan.com/2021/01/07/pack-gzip-zstd-lz4.html

上一篇:制作自己的php7.4-cli容器


下一篇:Bash 技巧 —— 让命令在后台运行