ubuntu14.04部署ELK+redis日志分析系统

[环境]

	host1:172.17.0.4	搭建ELK+redis服务

	host2:172.17.0.3	搭建logstash+nginx服务

	注：安装开发编译包：

	#apt-get install build-essential -y		（ubuntu）

	#yum groupinstall "Development Tools" -y	（CentOS）

一、ELK的运行环境需要java支持，ubuntu14.04安装java8。(host1和host2都需要执行)

	#apt-get install python-software-properties

	#apt-get install software-properties-common

	#add-apt-repository ppa:webupd8team/java

	#apt-get update

	#apt-get install oracle-java8-installer

二、下载ELK+redis安装包。

	wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz

	wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz

	wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz

	wget http://download.redis.io/releases/redis-3.0.4.tar.gz

三、安装redis。

1）redis安装需要tcl支持，所以安装tcl。

	#wget http://downloads.sourceforge.net/tcl/tcl8.6.1-src.tar.gz

	#tar xzvf tcl8.6.1-src.tar.gz  -C /usr/local/

	#cd  /usr/local/tcl8.6.1/unix/

	#./configure

	#make && make install

2）安装redis。

	#tar –xvzf redis-3.0.4.tar.gz

	#cd redis-3.0.4

	#make

	#make test	//需要tcl的支持，要安装tcl

	#cd utils

	#./install_server.sh

这样redis就安装好了，可以测试一下。

	#redis-cli

	>keys *

	>set aa aavalue

	>get aa 即可测试。

四、安装elasticsearch，解压即可。

	#tar –xvzf elasticsearch-1.7.1.tar.gz

五、安装logstash，解压即可。

	#tar –xvzf logstash-1.5.4.tar.gz

六、安装kibana，解压即可。

	#tar –xvzf kibana-4.1.2-linux-x64.tar.gz

七、配置和启动服务。

	由于elasticsearch和logstash是安装在一台机器上所以elasticsearch默认配置即可。

	#./elasticsearch/bin/elasticsearch –d &（以deamon方式启动elasticsearch）

	访问http://172.17.0.4:9200即可看到

八、配置logstash程序

	1） 在logstash\bin目录下，mkdir {conf,logs}两个文件夹，conf用于存放配置文件，logs用于存放日志文件

	在该conf目录下建立一个central.conf配置文件：

	input{

		redis{

			host=>"127.0.0.1"

			port=>6379

			type=>"redis-input"

			data_type=>"list"

			key=>"logstash:redis"

		}

	}

	output{

		stdout{}

		elasticsearch{

			host=>"127.0.0.1"

			port=>9200

			cluster=>"elasticsearch"

			codec=>"json"

			protocol=>"http"

		}

	}

	2）启动

	#./logstash agent --verbose -f conf/central.conf --log logs/stdout.log &

九、启动kibana

	#./kibana &

十、配置客户端收集日志：

	1）安装配置客户端logstash。

	#tar –xvzf logstash-1.5.4.tar.gz

	#cd logstash/bin

	同样需要#mkdir {conf,logs}存放配置文件和日志文件。

	#vim logstash_agent.conf

	input{

		file {

		   type=>"nginx_access"

			   path => "/var/log/nginx/access.log"

			   start_position => "beginning"

		   sincedb_path => "/data/info.txt"

	  }

	}

	output{

		stdout { codec => rubydebug }

		redis{

			host=>"172.17.0.4"

			port=>6379

			data_type=>"list"

			key=>"logstash:redis"

		}

	}

	2）启动logstash程序

	#./logstash --verbose -f /data/logstash-1.5.4/bin/conf/logstash_agent.conf &

十一、测试

	在客户端安装了nginx服务。通过使用curl工具for循环访问产生访问日志。然后用浏览器打开http://172.17.0.4:5601即可查看kibana日志了。