logstash安装与基础用法

若是搭建elk,建议先安装好elasticsearch

来自官网,版本为2.3

wget -c https://download.elastic.co/logstash/logstash/packages/centos/logstash-2.3.4-1.noarch.rpm
rpm -ivh logstash-2.3.4-1.noarch.rpm

logstash的配置文件为/etc/sysconfig/logstash,本文不需要修改它,默认即可

日志位于/var/log/logstash/

为防止重复解析,logstash会记录文件的解析进度到/var/lib/logstash/.sincedb_xxxxxxx,如果希望重复解析(比如测试的时候)记得删除这里的缓存

解析日志相关的配置文件放到/etc/logstash/conf.d/,默认文件夹是空的,这个是需要自己写的,下面先来一个简单的:

mkdir -p /data/logs/
touch /data/logs/test.log

vi /etc/logstash/conf.d/first.conf(意思是解析test.log内容,输出到标准输出,这里会重定向输出到/var/log/logstash/logstash.stdout)

input {
file {
path => "/data/logs/test.log"
}
}
output {
stdout {}
}

启动logstash

/etc/init.d/logstash start

在test.log中追加信息,然后查看输出

echo 'hello world 1' >> /data/logs/test.log
echo 'hello world 2' >> /data/logs/test.log
tail /var/log/logstash/logstash.stdout

可以看到追加的信息被logstash以一定格式输出到了stdout

下面来个复杂的日志文件,下载官方的测试log:https://download.elastic.co/demos/logstash/gettingstarted/logstash-tutorial.log.gz

然后解压到/data/logs/logstash/logstash-tutorial.log

新加一个日志解析配置:

vi /etc/logstash/conf.d/second.conf

input {
file {
path => "/data/logs/logstash/*.log"
start_position => beginning
ignore_older => 0
}
}
output {
stdout {}
}

可以看到指定文件那里可以用匹配模式指定

start_position:默认是从文件末尾开始解析(监控)

ignore_older:默认超过24小时的日志不解析,0表示不忽略任何过期日志

重启logstash,可以看到logstash-tutorial.log的解析结果会输出到stdout

输出到stdout并没有用,我们现在把结果存储到elasticsearch:

output {
elasticsearch {}
stdout {}
}
若elasticsearch不是在本机
elasticsearch {
hosts => "192.168.1.111"
}
若elasticsearch不是默认端口9200
elasticsearch {
hosts => "192.168.1.111:9292"
}

先停止logstash,清空解析缓存,再启动

/etc/init.d/logstash stop
rm -rf /var/lib/logstash/*
/etc/init.d/logstash start

在elasticsearch中查询可以看到多了一个索引logstash-2016.11.25,数据已经存储在里面

(而且是解析过的,ip、url、时间等,解析是用的过滤器filter,这里没有配置单应该用的是默认filter:grok)

基础用法至此结束

上一篇:jQuery datepicker和jQuery validator 共用时bug


下一篇:Bootstrap fileinput:文件上传插件的基础用法