若是搭建elk,建议先安装好elasticsearch
来自官网,版本为2.3
wget -c https://download.elastic.co/logstash/logstash/packages/centos/logstash-2.3.4-1.noarch.rpm
rpm -ivh logstash-2.3.4-1.noarch.rpm
logstash的配置文件为/etc/sysconfig/logstash,本文不需要修改它,默认即可
日志位于/var/log/logstash/
为防止重复解析,logstash会记录文件的解析进度到/var/lib/logstash/.sincedb_xxxxxxx,如果希望重复解析(比如测试的时候)记得删除这里的缓存
解析日志相关的配置文件放到/etc/logstash/conf.d/,默认文件夹是空的,这个是需要自己写的,下面先来一个简单的:
mkdir -p /data/logs/
touch /data/logs/test.log
vi /etc/logstash/conf.d/first.conf(意思是解析test.log内容,输出到标准输出,这里会重定向输出到/var/log/logstash/logstash.stdout)
input {
file {
path => "/data/logs/test.log"
}
}
output {
stdout {}
}
启动logstash
/etc/init.d/logstash start
在test.log中追加信息,然后查看输出
echo 'hello world 1' >> /data/logs/test.log
echo 'hello world 2' >> /data/logs/test.log
tail /var/log/logstash/logstash.stdout
可以看到追加的信息被logstash以一定格式输出到了stdout
下面来个复杂的日志文件,下载官方的测试log:https://download.elastic.co/demos/logstash/gettingstarted/logstash-tutorial.log.gz
然后解压到/data/logs/logstash/logstash-tutorial.log
新加一个日志解析配置:
vi /etc/logstash/conf.d/second.conf
input {
file {
path => "/data/logs/logstash/*.log"
start_position => beginning
ignore_older => 0
}
}
output {
stdout {}
}
可以看到指定文件那里可以用匹配模式指定
start_position:默认是从文件末尾开始解析(监控)
ignore_older:默认超过24小时的日志不解析,0表示不忽略任何过期日志
重启logstash,可以看到logstash-tutorial.log的解析结果会输出到stdout
输出到stdout并没有用,我们现在把结果存储到elasticsearch:
output {
elasticsearch {}
stdout {}
}
若elasticsearch不是在本机
elasticsearch {
hosts => "192.168.1.111"
}
若elasticsearch不是默认端口9200
elasticsearch {
hosts => "192.168.1.111:9292"
}
先停止logstash,清空解析缓存,再启动
/etc/init.d/logstash stop
rm -rf /var/lib/logstash/*
/etc/init.d/logstash start
在elasticsearch中查询可以看到多了一个索引logstash-2016.11.25,数据已经存储在里面
(而且是解析过的,ip、url、时间等,解析是用的过滤器filter,这里没有配置单应该用的是默认filter:grok)
基础用法至此结束