应用场景:ELK实际上是三个工具的集合,ElasticSearch + Logstash + Kibana,这三个工具组合形成了一套实用、易用的监控架构,
很多公司利用它来搭建可视化的海量日志分析平台。
官网下载地址:https://www.elastic.co/downloads
Elasticsearch:
是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。
Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。
设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
Logstash:
用于管理日志和事件的工具,你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用,例如搜索、存储等。
Kibana:
是一个优秀的前端日志展示框架,它可以非常详细的将日志转化为各种图表,为用户提供强大的数据可视化支持。
Filebeat:类似于 “agent” 装在被监控端上(数据源),用来实时收集日志文件数据。
【最简单的架构图】
安装环境:
安装步骤:
前提:已经装好 Java 8(官方建议5.4版本最至少Java 8 或以上):
1. 导入官方PGP-Key
~]#rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
2. 建立下载rpm包的repo
~]# vim /etc/yum.repos.d/elk.repo
[elasticsearch-5.x]
name=Elasticsearch repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
保存后退出;
3. 安装elasticsearch包
~]#yum install elasticsearch
4. 编辑配置文件
~]# vim /etc/elasticsearch/elasticsearch.yml
保存,退出;
5. 启动服务
~]# systemctl daemon-reload
~]# systemctl start elasticsearch
~]# systemctl status elasticsearch
~]#systemctl enable elasticsearch //加入开机启动
6. 查看端口状态
~]#ss -tnl
至此,节点es-1配置完成。
7.配置集群中的另外节点es-2 和 es-3
配置同es-1,修改一下配置文件里的节点名和地址即可,不再赘述。
8. es集群的相关查询
注意:Elasticsearch 5.x版本不再支持相关插件:如 “elasticsearch-head”...,解释可以访问官网,实在需要,可以独立运行(此处跳过)。
Elasticseach 1.x 2.x仍可支持,请查看:http://mobz.github.io/elasticsearch-head/
查询集群状态方法①
~]# curl -XGET 'http://192.168.1.21:9200/_cat/nodes' //随意一台es中可执行,也可更换其中的 ip(这里可22或23)
~]# curl -XGET 'http://192.168.1.21:9200/_cat/nodes?v' //同上在后面添加 ?v ,表示详细显示
查询集群状态方法②
~]# curl -XGET 'http://192.168.1.21:9200/_cluster/state/nodes?pretty'
查询集群中的master
~]# curl -XGET 'http://192.168.1.21:9200/_cluster/state/master_node?pretty'
或
~]# curl -XGET 'http://192.168.1.21:9200/_cat/master?v'
查询集群的健康状态
~]# curl -XGET 'http://192.168.1.21:9200/_cat/health?v'
或
~]# curl -XGET 'http://192.168.1.21:9200/_cluster/health?pretty'
centos7搭建ELK Cluster集群日志分析平台(二):Logstash
续 centos7搭建ELK Cluster集群日志分析平台(一)
已经安装完Elasticsearch 5.4 集群.
安装Logstash步骤
1. 安装Java 8
官方说明:需要安装Java 8 ,不支持Java 9... //自行安装,略过
2. 安装Logstash
可以同elasticsearch一样建立repo文件通过yum安装,也可以去官网直接下载rpm包进行本地安装:
~]# rpm -ivh logstash-5.4.0.rpm //这里直接下载好进行本地安装
3. 添加配置文件logstash.conf
~]# cd /etc/logstash/conf.d/ //切换目录
conf.d]# vim logstash.conf //新增配置文件logstash.conf,文件名可自己定义
示例内容如下:
input {
beats { //后面将用到:filebeat作为agent
port => 5044 //开启5044端口监听
}
}
//注: 此处没有添加过滤“filter”段,只添加了input和output段
output {
elasticsearch {
hosts => "IP:9200" //IP换成某台elasticsearch的地址
manage_template => false
index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
document_type => "%{[@metadata][type]}"
}
}
保存,退出;
4. 启动logstash服务
conf.d]# systemctl start logstash
查看状态:
conf.d]# ss -tnl //存在延迟可能,多等些时间
至此,Logstash安装配置完成。
centos7搭建ELK Cluster集群日志分析平台(三):Kibana
续 centos7搭建ELK Cluster集群日志分析平台(一)
续 centos7搭建ELK Cluster集群日志分析平台(二)
已经安装好elasticsearch 5.4集群和logstash 5.4
安装kibana步骤
1.下载安装Kibana
~]#wget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.0-x86_64.rpm
如果链接失效,官网下载:https://www.elastic.co/downloads
~]# rpm -ivh kibana-5.4.0-x86_64.rpm //本地安装rpm包
2. 编辑配置文件
~]#vim /etc/kibana/kibana.yml //变更如下
保存后,退出;
3. 启动kibana
~]# systemctl start kibana //启动
~]# systemctl enable kibana //加入开机启动
~]# ss -tnl
4. 添加Nginx反向代理
~]# yum -y install epel-release //安装epel源,从epel源中获取Nginx
~]# yum -y install nginx httpd-tools //yum安装Nginx,和httpd用户认证工具
5. 更该配置文件
①删除或注释掉文件/etc/nginx/nginx.conf中的一段server{}
~]#vim /etc/nginx/nginx.conf
保存,退出;
②新增kibana.conf文件
~]# cd /etc/nginx/conf.d/ //在该配置目录下新增
conf.d]# vim kibana.conf //内容如下
server {
listen 80; server_name kibana; auth_basic "Restricted Access";
auth_basic_user_file /etc/nginx/kibana-user; //注 :该认证文件后续马上创建 location / {
proxy_pass http://192.168.1.25:5601; //代理的kibana地址
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection 'upgrade';
proxy_set_header Host $host;
proxy_cache_bypass $http_upgrade;
}
}
保存,退出;
6. 生成页面登录用户认证文件
~]# htpasswd -cm /etc/nginx/kibana-user adrian //生成文件kibana-user,并添加用户adrian
7. 启动Nginx
~]# nginx -t
~]# systemctl start nginx
~]# systemctl enable nginx
8. 浏览器登录kibana
登录页面展示:
至此,Kibana安装配置完成。
centos7搭建ELK Cluster集群日志分析平台(四):Fliebeat-简单测试
续之前安装好的ELK集群
各主机:es-1 ~ es-3 :192.168.1.21/22/23
logstash: 192.168.1.24
kibana: 192.168.1.25
测试机:client: 192.168.1.26
在测试机上安装并启动filebeat
1. 下载filebeat
~]# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.0-linux-x86_64.tar.gz
这里下载测试使用的是tar包,也可以自行下载安装rpm包,原理一样:修改配置文件和启动服务即可。
2. 修改配置文件
~]#tar zxvf filebeat-5.4.0-linux-x86_64.tar.gz //解压tar包
~]# cd filebeat-5.4.0-linux-x86_64 //进入解压后的文件夹,如果是rpm包安装,寻找/etc/filebeat/目录
~]vim filebeat.yml //编辑配置文件
保存,退出;
3. 启动filebeat服务
filebeat-5.4.0-linux-x86_64]# ./filebeat -e -c filebeat.yml //继续在当前目录下执行启动命令
如果是rpm包安装的话,直接通过 ~]#systemctl start filebeat 启动即可。
4. 浏览器登录Kibana
① 在栏如下操作:
② 创建好之后,再点击左侧栏的
③ 尝试搜索:
至此,ELK简单测试完成。