【Elasticsearch】我们如何在 5 天内在同一个 Elasticsearch 集群中重新索引 360 亿份文档

【Elasticsearch】我们如何在 5 天内在同一个 Elasticsearch 集群中重新索引 360 亿份文档

1.概述

翻译:https://thoughts.t37.net/how-we-reindexed-36-billions-documents-in-5-days-within-the-same-elasticsearch-cluster-cd9c054d1db8

这篇文章以及更多内容现在是我的免费电子书的一部分,可以在 Github 上找到运行 Elasticsearch for Fun and Profit 的内容。分叉它,给它加星标,打开问题并发送 PR!

在Synthesio,我们在各个地方使用ElasticSearch来运行复杂的查询,眨眼间从数百亿个文档中获取多达 5000 万个丰富的文档。Elasticsearch 使其快速且易于扩展,其中在多个 MySQL 集群上运行相同的查询需要几分钟,并且在途中会导致一些服务器崩溃。每一天,我们都在进一步推动 Elasticsearch 的边界,深入了解其内部结构会带来更多的爱。

上周,我们决定使用全新的映射重新索引 136TB 数据集。在大型索引上更新 Elasticsearch 映射很容易

上一篇:2021-06-07


下一篇:LAS<->PCD<->TXT 格式互转软件