ELK Stack介绍
大型项目,多产品线的日志收集 ,分析平台
为什么用ELK?
1.开发人员排查问题,服务器上查看权限
2.项目多,服务器多,日志类型多
ELK 架构介绍
数据源--->logstash--->elasticsearch--->kibana
elasticsearch:分布式数据库
logstash:服务器端数据处理管道,可以同时接受多个来源采集数据、转换数据,将数据储存到数据库中
kibana:数据可视化
beats:轻量级采集器,从边缘采集数据到elasticsearch和logstash
filebeat:轻量级采集器
Elasticsearch基本介绍
Elasticsearch | 关系型数据库(如mysql) |
---|---|
Index | Database |
Type | Table |
Document | Row |
Field | Column |
部署es
前期准备
1.准备3台机器(es1 es2 es3)centos 7
2.分别配置防火墙
systemctl stop firewalld
3.关闭selinux
getenforce,/etc/selinux/config改为disalbed
4.保证网络通信
5.安装java
yum -y install java-1.8.0-openjdk
6.时间时区保证同步
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
ntpdate time.windows.com
安装部署代码
YUM安装[es官网地址](www.elastic.co)
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 保证通公网,且DNS配置114.114.114.114(非必须)
vim /etc/yum.repos.d/es.repo
[elastic-7.x]
name=Elastic repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
或
二进制文件安装,下载rpm包或tar包,安装即可
yum -y install elasticsearch
elasticsearch配置文件