使用多线程压缩提高全量索引切换速度

2023-11-08 10:12:04

目前全量索引约22G,花费约1个小时的时间，indexer做完之后放在ftp,searcher同时下载，下载完成之后切换索引，切换索引本身只花费1分钟左右的warmup时间，但下载由于机房带宽总共250M的限制(12台searcher)，需要大约20分钟的时间。使用gzip对索引压缩就要花费22分钟时间，而使用ftp z mode压缩,本身也是调用单线程zlib,不会比22分钟更快。看到一个smp时代的压缩工具--pigz(http://www.zlib.net/pigz),感觉比较靠谱，可以看到20个线程，大约2-3分钟就完成压缩，searcher端单线程下载，解压就可以满足要求了。