ELK档案:
ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案,传统意义上,ELK是作为替代Splunk的一个开源解决方案。Splunk 是日志分析领域的领导者。((Splunk不开源)
组成:
- Elasticsearch,Logstash,Kibana //汇总
- elasticsearch 数据存储(非关系型数据库)简称ES Java语言编写
用于全文的搜索,分析引擎 它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎
- logstash 日志收集
具有传输能力 搜集起来的日志数据解析 发给 ES
- kibana 提供可视化界面
在 Elasticsearch 的索引中查找,交互数据,并生成各种维度表格、图形。
作用:
- 基于日志问题的排查,可以快速找到发生故障的地方,提高效率
- 监控和预警
- 数据分析
- 关联事件 多个数据源产生的日志进行联动分析,通过某种分析算法,就能够解决生产中的各个问题。
原理:
lLogstash工作原理:
- Logstash事件处理有三个阶段:inputs → filters → outputs。 //汇总(工作过程)
-
Input:输入数据到logstash。(大白话来说就是获取数据)
-
Filters:数据中间处理,对数据进行操作。
-
Outputs:outputs是logstash处理管道的最末端组件。
-
另外在Inputs和Outputs中可以使用Codecs对数据格式进行处理。这四个部分均以插件形式存在,
ELK常见架构:
EFK架构:
ELK 和 EFK的不同
组成部分:
EFK 在ELK的基础上增加了用filebeat
好处:
用filebeat采集日志有效降低了收集日志对业务系统的系统资源的消耗。再通过logstash服务器可以过滤,转换日志。这样即满足了日志的过滤转换,也保障了业务系统的性能。
部署常见的问题:
面试中可能会问: (相当于上面的理论用自己的话说出来)
1.ELK是什么,是一款软件吗?
答: 不是的ELK不是一款软件,而是三个软件一起配合使用的 Elasticsearch 、Logstash 、Kibana取他们的首字母 所以叫做ELk
2.
3.
4.
5.