ELK的输入插件的使用

输入插件有四种,如下:
stdin (一般用于测试)
file
redis
beats (例如filebeat)
1.file插件的用法:
将日志输出到指定的log文件当中
cat A.logs
input {
file {
path => “/var/log/message”
}
}
filter {
}
output {
file {
path => “/tmp/test.log”
}
}

将日志输出到指定的ES集群当中
input {
   file {
       path => "/var/log/message"
       }

}
filter {
}
output {
elasticsearch {
hosts => [“192.168.43.53:9200”]
index => “microservice-product-%{+YYYY.MM.dd}”
}
}
通用配置字段:
输入插件都支持的字段:
• add_field 添加一个字段到一个事件,放到事件顶部,一般用于标记日志来源。例如属于哪个项目,哪个应用
• tags 添加任意数量的标签,用于标记日志的其他属性,例如 表明访问日志还是错误日志
• type 为所有输入添加一个字段,例如表明日志类型

File插件:用于读取指定日志文件
常用字段:
• path 日志文件路径,可以使用通配符
• exclude 排除采集的日志文件
• start_position 指定日志文件什么位置开始读,默认从结尾
• 开始,指定beginning表示从头开始读

input {
file {
path => “/var/log/test/*.log”
exclude => “error.log”
start_position => “beginning”
tags => “web”
tags => “nginx”
type => “access”
add_field => {
“project” => “microservice”
“app” => “product”
}
}
}
filter {
source => “message”
}
output {
elasticsearch {
hosts => [“192.168.43.53:9200”]
index => “microservice-product-%{+YYYY.MM.dd}”
}
}

上一篇:ELK简介及架构分析


下一篇:ELK搭建教程(全过程)