ELK是三个开源软件的缩写,分别表示:Elasticsearch,Logstash,Kibana ,它们都是开源软件。
Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
Logstash主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
Kibana也是一个开源和免费的工具,Kibana可以为Logstash和ElasticSearch提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。
ELK就是一整套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用,而不仅仅是日志分析。今天我们就跟着华为高T级别架构师来学习ELK,相信你看完后会有很大的收获!
预备知识-Restful
①起源
②REST
什么是ELK
①为什么需要ELK
②什么是ELK
③安装,启动和HelloWorld
Elasticsearch基本原理和概念
①倒排索引Inverted index
②Elasticsearch基本概念
管理Elasticsearch索引和文档
①索引的管理
②文档的管理
数据检索和分析
①_search 接口
②检索
相关性检索和组合查询
①相关性评分
②组合查询与相关度组合
聚集查询
①指标聚集
②使用范围分桶
③使用词项分桶
④单桶聚集
⑤管道聚集
⑥父子关系
⑦嵌套类型
⑧使用SQL语言
⑨与Spring的集成
Elasticsearch的集群
①理解物理设计
②向集群中加入节点
③删除集群中的节点
④扩展策略
⑤检查集群的健康状态
⑥路由
索引别名
①创建索引添加别名
②为已有索引添加别名
③查询指定索引的别名
④删除别名
⑤查询别名
⑥通过别名查询
⑦_aliases接口
⑧结合路由和别名
⑨_rollover接口
Elasticsearch接口拾遗
①容量控制
②缓存相关
③查看运行状态
④其他检索接口
⑤批量接口
Kibana
①文档发现( Discover)
②文档的可视化
LogStash
①安装Logstash
②启动Logstash
③Logstash体系结构
④管道配置
⑤编解码器插件
⑥输入输出插件
⑦过滤器插件
日志采集系统构建实战
Elasticsearch性能优化指引
①合并请求
②优化 Lucene分段的处理
③JVM堆和操作系统缓存
最后