@[toc]
Elasticsearch介绍
Elasticsearch是一款非常强大等开源搜索引擎,可以帮助你从海量数据中,快速等找到相应等内容
例如:你在GitHub仓库砂锅搜索的时候,它不仅快速的搜索,还可以高亮显示
像我们国内 滴滴,今日头条,360等都使用了 Elasticsearch 集群
Elasticsearch 还可以结合 kibana , logstash
Elastic 的底层是开源库 Lucene。但是,你没法直接用 Lucene,必须自己写代码去调用它的接口。Elastic 是 Lucene 的封装,提供了 REST API 的操作接口,开箱即用。
为什么要用Elasticsearch
订单搜索,商品推荐,日志管理, 风险控制,it运维 ,安全监控等不同空间等领域,
像我们开发人员,运维人员,架构师,数据分析师也值得学习Elasticsearch,因为在大数据的时代,掌握近室实的搜索额分析能力,才能掌握核心竞争力,洞见未来
## 起源 - Lucene
- 基于Java语言开发搜索引擎类库
- 创建于1999年,2005年成为Apache *开源项目
- Lucene具有 高性能,可扩展优点
- Lucene的局限性,
- 只能基于 Java语言开发
- 类库的接口学习曲折
- 原生不支持水平扩展
## Elasticsearch 的诞生
- 2004年 Shay Banon 基于Lscene 开发 Compass
- 2010 年 Shay Banon 重写 Compass 取名 Elasticsearch
- -支持分布式 , 可水平扩展
-降低学习的曲线,可以被任何语言调用
-
支持多种方式集成
Java .net python php
Elasticsearch的主要功能
搜索:
- 海量数据的存储以及集群的管理
- 高可用,数据实时搜索
聚合:
- 海量数据的实时分析
- 版本特性
Elasticsearch 家族成员
Logstash :数据处理管道
- 开源的服务器端数据处理管道,支持不同来源的数据采集,转换数据,并发数据转发到不同的存储库中
- Logstash 诞生于2009年,最初用来做日志的采集和处理
- 2013 年被 Elasticsearch 收购
特性:
-
实时解析和转换数据
从IP地址获取数据
-
可扩展
200 多个插件(日志,数据库)
- 可靠和安全
通过持久化队列保证数据至少送达一次
数据传输加密
Kibana :可视化
- 数据可视化,帮助用户解开对数据的疑问
基于 Logstash 2013年加入 Elastic公司