GitHub惊险华为高T级架构师“ELK进阶笔记”,标星36k文档限时开源

前方高能

ELK是三个开源软件的缩写,分别表示:Elasticsearch,Logstash,Kibana ,它们都是开源软件。

Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

Logstash主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

Kibana也是一个开源和免费的工具,Kibana可以为Logstash和ElasticSearch提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。

ELK就是一整套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用,而不仅仅是日志分析。今天我们就跟着华为高T级别架构师来学习ELK,相信你看完后会有很大的收获!

 

GitHub惊险华为高T级架构师“ELK进阶笔记”,标星36k文档限时开源

GitHub惊险华为高T级架构师“ELK进阶笔记”,标星36k文档限时开源

 

预备知识-Restful

①起源

②REST

GitHub惊险华为高T级架构师“ELK进阶笔记”,标星36k文档限时开源

 

什么是ELK

①为什么需要ELK

②什么是ELK

③安装,启动和HelloWorld

GitHub惊险华为高T级架构师“ELK进阶笔记”,标星36k文档限时开源

 

Elasticsearch基本原理和概念

①倒排索引Inverted index

②Elasticsearch基本概念

GitHub惊险华为高T级架构师“ELK进阶笔记”,标星36k文档限时开源

 

管理Elasticsearch索引和文档

①索引的管理

②文档的管理

GitHub惊险华为高T级架构师“ELK进阶笔记”,标星36k文档限时开源

 

数据检索和分析

①_search 接口

②检索

GitHub惊险华为高T级架构师“ELK进阶笔记”,标星36k文档限时开源

 

相关性检索和组合查询

①相关性评分

②组合查询与相关度组合

GitHub惊险华为高T级架构师“ELK进阶笔记”,标星36k文档限时开源

 

聚集查询

①指标聚集

②使用范围分桶

③使用词项分桶

④单桶聚集

⑤管道聚集

⑥父子关系

⑦嵌套类型

⑧使用SQL语言

⑨与Spring的集成

GitHub惊险华为高T级架构师“ELK进阶笔记”,标星36k文档限时开源

 

Elasticsearch的集群

①理解物理设计

②向集群中加入节点

③删除集群中的节点

④扩展策略

⑤检查集群的健康状态

⑥路由

GitHub惊险华为高T级架构师“ELK进阶笔记”,标星36k文档限时开源

 

索引别名

①创建索引添加别名

②为已有索引添加别名

③查询指定索引的别名

④删除别名

⑤查询别名

⑥通过别名查询

⑦_aliases接口

⑧结合路由和别名

⑨_rollover接口

GitHub惊险华为高T级架构师“ELK进阶笔记”,标星36k文档限时开源

 

Elasticsearch接口拾遗

①容量控制

②缓存相关

③查看运行状态

④其他检索接口

⑤批量接口

GitHub惊险华为高T级架构师“ELK进阶笔记”,标星36k文档限时开源

 

Kibana

①文档发现( Discover)

②文档的可视化

GitHub惊险华为高T级架构师“ELK进阶笔记”,标星36k文档限时开源

 

LogStash

①安装Logstash

②启动Logstash

③Logstash体系结构

④管道配置

⑤编解码器插件

⑥输入输出插件

⑦过滤器插件

GitHub惊险华为高T级架构师“ELK进阶笔记”,标星36k文档限时开源

 

日志采集系统构建实战

GitHub惊险华为高T级架构师“ELK进阶笔记”,标星36k文档限时开源

 

Elasticsearch性能优化指引

①合并请求

②优化 Lucene分段的处理

③JVM堆和操作系统缓存

GitHub惊险华为高T级架构师“ELK进阶笔记”,标星36k文档限时开源

 

最后

 

GitHub惊险华为高T级架构师“ELK进阶笔记”,标星36k文档限时开源

上一篇:Kibana一键安装部署教程


下一篇:Elasticsearch index alias 增加和删除