Centos7.5搭建ELK-6.5.0日志分析平台
1. 简介
工作工程中，不论是开发还是运维，都会遇到各种各样的日志，主要包括系统日志、应用程序日志和安全日志，对于开发人员来说，查看日志，可以实时查看程序的运行错误，以及性能分析，通常，一个大中型的应用程序会被部署到多台服务器，那日志文件也会分散到不同的机器上，这样查看日志难道要一台一台去查看？显然是太麻烦了，开源的日志分析系统 ELK 完美的解决了这个问题。
ELK 并不是一个独立的系统，她是由 ElasticSearch、Logstash、Kibana 三个开源的工具组成。
-
ElasticSearch
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
-
Logstash
Logstash 是一个开源的日志分析、收集工具，并将日志存储以供以后使用。
-
Kibana
Kibana 是一个为 Logstash 和 ElasticSearch 提供的日志分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。
2. 安装
-
下载elk的三个组建，es，logstash，kibana
https://artifacts.elastic.co/downloads/logstash/logstash-6.5.0.tar.gz
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.0.tar.gz
https://artifacts.elastic.co/downloads/kibana/kibana-6.5.0-linux-x86_64.tar.gz -
设置参数
-
设置内核参数
vim /etc/sysctl.conf # 添加下面一行
vm.max_map_count = 262144
systcl -p ## 加载配置 -
修改系统最大文件打开数
vim /etc/security/limits.conf ##添加如下两行，保存后重新登陆用户及生效
* soft nofile 65536
* hard nofile 65536 -
关闭防火墙
service firewalld stop
-
-
解压并移动
## 新建目录
mkdir /usr/local/elk
## 解压
tar -vxzf elasticsearch-6.5.0.tar.gz
tar -vxzf kibana-6.5.0-linux-x86_64.tar.gz
tar -vxzf logstash-6.5.0.tar.gz
## 移动
mv elasticsearch-6.5.0 /usr/local/elk/
mv kibana-6.5.0-linux-x86_64 /usr/local/elk/
mv logstash-6.5.0 /usr/local/elk/ -
安装elasticsearch数据存储器，用于数据存储
vim /usr/local/elk/elasticsearch-6.5.0/config/elasticsearch.yml
# ---------------------------------- Cluster -----------------------------------
cluster.name: ES-cluster ##设置集群名称，集群内的节点都要设置相同，可自定义
# ------------------------------------ Node ------------------------------------
node.name: node-1 ## 节点名称，自定义，各个节点不可相同
# ----------------------------------- Paths ------------------------------------
path.data: /usr/local/elk/elasticsearch-6.5.0/data
path.logs: /usr/local/elk/elasticsearch-6.5.0/logs
# ---------------------------------- Network -----------------------------------
network.host: 192.168.9.90 ## 本机IP
http.port: 9200 ## 端口，默认9200
# --------------------------------- Discovery ----------------------------------
discovery.zen.ping.unicast.hosts: ["192.168.9.89","192.168.9.90"] ## 此集群内所有节点的IP地址，这里没有使用自动发现，而是指定地址发现，因为规模较小
discovery.zen.minimum_master_nodes: 1 -
添加用户，不能使用root用户启动
groupadd -g 1008 elasticsearch
useradd -g 1008 -u 1008 elasticsearch
chown -R elasticsearch:elasticsearch /usr/local/elk/elasticsearch-6.5.0/ -
启动elasticsearch
su elasticsearch
./elasticsearch
## 验证是否启动成功
ps -ef | grep elasticsearch -
安装kibana
vim /usr/local/elk/kibana-6.5.0-linux-x86_64/config/kibana.yml
server.port: 5601 ## kibana默认端口
server.host: "192.168.9.90" ## 服务的host，直接填本机IP即可。
elasticsearch.url: "http://192.168.9.89:9200" ## elasticsearch的连接地址，集群时，连接其中一台节点即可。 -
启动kibana
cd bin
./kibana -
安装logstash
vim /usr/local/elk/logstash-6.5.0/config/logstash.yml
##修改host为0.0.0.0，这样别的电脑就可以连接整个logstash，不然只能本机连接。
http.host: "0.0.0.0" -
配置logstash配置文件，保存在elk/conf/all.conf
input { ## input为输入口
redis {
data_type => "list" ## 队列输入，默认输入类型为list
db => 10 ## 指定redis库
key => "redis-pipeline" ## redis是key-value式的内存数据库，指定key即是指定队列的标识key的大概意思
host => "192.168.9.79" ## 下面是连接信息，如果有密码则需要添加password这一项
port => "6379"
threads => 5 ## 线程数
}
} filter { ## 过滤器filter
grok { ## grok插件，可以通过正则匹配，将日志的message进行格式化转换。
match => ["message","%{YEAR:YEAR}-%{MONTHNUM:MONTH}-%{MONTHDAY:DAY} %{HOUR:HOUR}:%{MINUTE:MIN}:%{SECOND:SEC},(?<MSEC>([0-9]*)) %{LOGLEVEL:loglevel} \[(?<Classname>(.*))\] - (?<Content>(.*))"]
}
} output { ## 输出elasticsearch
elasticsearch {
hosts => ["192.168.9.89:9200","192.168.9.90:9200"] ## 输出的elasticsearch的数据节点IP
index => "logstash-test" ## 索引值
#user => "elastic" ## elasticsearch 的用户密码，需要安装x-pack才会有，这里先不用
#password => "changeme"
}
} -
启动logstash
cd /usr/local/elk/logstash-6.5.0/bin
./logstash -f /usr/local/elk/conf/all.conf
到现在，elk的三个组建就全部启动了。