查找 Fluentd 官方文档:Fluentd - Config: Buffering parameters 发现,File 模式下 Buffer 的 total_limit_size 默认值为 64GB,而我的 Node 节点总存储才 30G。
很可能是因为做为存储的 ElasticSearch 出问题下线了,导致日志堆积在 Buffer 中,存储被 Buffer 侵占。
因此需要根据机器存储的大小修改 total_limit_size,查询文档发现这个参数可能需要修改 fluentd.conf 文件,不能通过环境变量设置。这有点不 kubernetes...
fluentd 的官方 k8s 配置文件:fluentd-daemonset-elasticsearch.yaml