报错起因:
同步数据到es中发生异常,日志报错写入索引异常,报错情况如下
org.elasticsearch.cluster.block.ClusterBlockException: blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];
ElasticSearch进入“只读”模式,只允许删除,ES说明文档中有写明,当ES数据所在目录磁盘空间使用率超过90%后,ES将修改为只读状态,所以初步判断是磁盘空间不足导致es自动关闭了索引的写功能,只能进行读取或者删除。
但是服务器排查 df -h
产生原因
根据多方查询资料可能造成原因如下
1. 内存不足
JVMMemoryPressure 超过92%并持续30分钟时,ES触发保护机制,并且阻止写入操作,以防止集群达到红色状态,启用写保护后,写入操作将失败,并且抛出 ClusterBlockException ,无法创建新索引,并且抛出 IndexCreateBlockException ,当五分钟内恢复不到88%以下时,将禁用写保护。
2. 磁盘空间不足
es的默认磁盘水位警戒线是85%,一旦磁盘使用率超过85%,es不会再为该节点分配分片,es还有一个磁盘水位警戒线是90%,超过后,将尝试将分片重定位到其他节点
解决方案
-
磁盘扩容
-
删除无用索引
-
将旧索引的副本数调小
-
增加数据节点
-
手动将 index.blocks.read_only_allow_delete 改成false
我es服务器是内存不足造成得 ,所有索引状态都是 index.blocks.read_only_allow_delete true
此属性为true时,ES索引只允许读和删数据,不允许增和改数据
-
查看指定索引的设置信息
curl -XGET http://127.0.0.1:9200/index_*/_settings?pretty
当索引不能增和改时,通过此命令,可以看到read_only_allow_delete为true
- 把read_only_allow_delete设置为false
curl -XPUT -H "Content-Type: application/json" http://127.0.0.1:9200/index_*/_settings -d '{"index.blocks.read_only_allow_delete": null}'