[原创]ubuntu14.04部署ELK+redis日志分析系统

ubuntu14.04部署ELK+redis日志分析系统

[环境]
host1:172.17.0.4 搭建ELK+redis服务
host2:172.17.0.3 搭建logstash+nginx服务 注:安装开发编译包:
#apt-get install build-essential -y (ubuntu)
#yum groupinstall "Development Tools" -y (CentOS) 一、ELK的运行环境需要java支持,ubuntu14.04安装java8。(host1和host2都需要执行)
#apt-get install python-software-properties
#apt-get install software-properties-common
#add-apt-repository ppa:webupd8team/java
#apt-get update
#apt-get install oracle-java8-installer 二、下载ELK+redis安装包。
wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz
wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz
wget http://download.redis.io/releases/redis-3.0.4.tar.gz 三、安装redis。
1)redis安装需要tcl支持,所以安装tcl。
#wget http://downloads.sourceforge.net/tcl/tcl8.6.1-src.tar.gz
#tar xzvf tcl8.6.1-src.tar.gz -C /usr/local/
#cd /usr/local/tcl8.6.1/unix/
#./configure
#make && make install
2)安装redis。
#tar –xvzf redis-3.0.4.tar.gz
#cd redis-3.0.4
#make
#make test //需要tcl的支持,要安装tcl
#cd utils
#./install_server.sh 这样redis就安装好了,可以测试一下。
#redis-cli
>keys *
>set aa aavalue
>get aa 即可测试。 四、安装elasticsearch,解压即可。
#tar –xvzf elasticsearch-1.7.1.tar.gz 五、安装logstash,解压即可。
#tar –xvzf logstash-1.5.4.tar.gz 六、安装kibana,解压即可。
#tar –xvzf kibana-4.1.2-linux-x64.tar.gz 七、配置和启动服务。
由于elasticsearch和logstash是安装在一台机器上所以elasticsearch默认配置即可。
#./elasticsearch/bin/elasticsearch –d &(以deamon方式启动elasticsearch)
访问http://172.17.0.4:9200即可看到 八、配置logstash程序
1) 在logstash\bin目录下,mkdir {conf,logs}两个文件夹,conf用于存放配置文件,logs用于存放日志文件
在该conf目录下建立一个central.conf配置文件:
input{
redis{
host=>"127.0.0.1"
port=>6379
type=>"redis-input"
data_type=>"list"
key=>"logstash:redis"
}
} output{
stdout{}
elasticsearch{
host=>"127.0.0.1"
port=>9200
cluster=>"elasticsearch"
codec=>"json"
protocol=>"http"
}
}
2)启动
#./logstash agent --verbose -f conf/central.conf --log logs/stdout.log & 九、启动kibana
#./kibana & 十、配置客户端收集日志:
1)安装配置客户端logstash。
#tar –xvzf logstash-1.5.4.tar.gz
#cd logstash/bin
同样需要#mkdir {conf,logs}存放配置文件和日志文件。
#vim logstash_agent.conf
input{
file {
type=>"nginx_access"
path => "/var/log/nginx/access.log"
start_position => "beginning"
sincedb_path => "/data/info.txt"
}
} output{
stdout { codec => rubydebug }
redis{
host=>"172.17.0.4"
port=>6379
data_type=>"list"
key=>"logstash:redis"
}
} 2)启动logstash程序
#./logstash --verbose -f /data/logstash-1.5.4/bin/conf/logstash_agent.conf & 十一、测试
在客户端安装了nginx服务。通过使用curl工具for循环访问产生访问日志。然后用浏览器打开http://172.17.0.4:5601即可查看kibana日志了。

  

上一篇:playframework 一步一步来 之 日志 (二)


下一篇:linux下syslog-ng日志集中管理服务部署记录