ES从6.7版本推出了索引生命周期管理(Index Lifecycle Management ,简称ILM)机制,能帮我们自动管理一个索引策略(Policy)
下索引集群的生命周期。索引策略将一个索引的生命周期定义为四个阶段:
- Hot:索引可写入,也可查询。
- Warm:索引不可写入,但可查询。
- Cold:索引不可写入,但很少被查询,查询的慢点也可接受。
- Delete:索引可被安全的删除。
索引策略控制这一个索引的生命从Hot -> Warm -> Cold -> Delete 阶段,每个阶段都可以配置不同的转化行为(Action)
。下面我们看下几个常用的Action:
-
Rollover 当写入索引达到了一定的大小,文档数量或创建时间时,Rollover可创建一个新的写入索引,将旧的写入索引的别名去掉,并把别名赋给新的写入索引。所以便可以通过切换
别名
控制写入的索引是谁。它可用于Hot
阶段。 -
Shrink 减少一个索引的主分片数,可用于
Warm
阶段。需要注意的是当shink完成后索引名会由原来的<origin-index-name>
变为shrink-<origin-index-name>
. -
Force merge 可触发一个索引分片的segment merge,同时释放掉被删除文档的占用空间。用于
Warm
阶段。 -
Allocate 可指定一个索引的副本数,用于
warm, cold
阶段。
三步实现完成es生命周期管理
配置策略(policy)、索引模版(template)、索引(index)
1、配置策略
PUT _ilm/policy/ehr_prod_log_policy { "policy": { "phases": { "hot": { "actions": { "rollover": { "max_size": "30gb" } } }, "delete": { "min_age": "30d", "actions": { "delete": {} } } } } }
两个阶段,hot和delete;
索引超过30G,则执滚动;
delete阶段,超过30天执行删除动作。
2、索引模版(template)
PUT _template/ehr_prod_log_template { "index_patterns": ["ehr-prod-log-rollover-*"], "settings": { "number_of_shards": 1, "number_of_replicas": 1, "index.lifecycle.name": "ehr_prod_log_policy", "index.lifecycle.rollover_alias": "ehr-prod-log-rollover" } }
kafka中topic名称ehr-prod-log,这里对应定义别名“ehr-prod-log-rollover”,logstash配置会用到。
3、索引(index)
PUT ehr-prod-log-rollover-00000001 { "aliases": { "ehr-prod-log-rollover": { "is_write_index": true } } }
4、Logstash使用ILM
output {
elasticsearch {
hosts => ["**"]
ilm_rollover_alias => "ehr-prod-log-rollover" //将会附在ilm_rollover_alias的值后面共同构成索引名,myindex-00001
ilm_pattern => "00001" //使用的索引策略
ilm_policy => "ehr_prod_log_policy" //使用的索引模版名称
template_name => "ehr_prod_log_template"
}
}
实战中,通过logstash将日志从kafka采集到es,index => "ehr-prod-log-rollover",这里使用别名,与之对应。
则在es中对应生成对应索引,ehr-prod-log-rollover-0000000n,而对外使用别名即可。
5,验证
POST ehr-prod-log-rollover-00000001/_doc { "message":"hello world" }
用以下命令查看索引rollover进度。
GET ehr-prod-log-rollover-*/_ilm/explain
参考:https://elasticstack.blog.csdn.net/article/details/110816948