文章目录

• • 基础原理参考资料
  • 部署架构
  • 基础概念模型
  • 基本组件
  • 应用场景
  • 参考资料

记录es学习应用的过程和相关总结。2015年左右自己摸索应用在产线应用日志收集分析、报警。

整理的分享大纲如上图。

部署架构

https://www.elastic.co/guide/en/logstash/current/deploying-and-scaling.html

基础概念模型

index 索引–数据库
Primary-shard–lucene实例
Replica-shard–分片副本
Document–row
Field–column
Mapping—ddl,analysis

基础原理参考资料

ES写入数据的原理

基本组件

• filebeat

• packetbeat

• logstash
  处理各种类型的日志数据，比如ApacheWeb日志和 log4j 应用日志等。
  支持各种格式的日志，比如syslog、Windows事件日志、网络和防火墙日志等。
  从Ganglia、collectd、NetFlow、JMX等许多其他基础架构以及基于TCP和UDP的应用平台搜集度量数据
  http://www.2cto.com/os/201411/352015.html
  https://www.elastic.co/guide/en/logstash/current/working-with-plugins.html
  http://grokdebug.herokuapp.com/

• elastic-search
  分片
  索引
  查询优化

• kibana

应用场景

• 日志收集、分析、报警
• DB慢sql查询
• http服务状态统计报表
• 全文搜索