电商实时数据分析平台需要学些什么?
[运营指标,流量指标,销售转化指标,客户价值指标,商品指标,营销指标,风险控制指标,市场竞争指标]等电商指标数据。
检索,数据更新,排序,分词,query等缓存机制,热启动机制,防雪崩机制,自动降级。
es的功能
1.分布式的搜索引擎和数据分析引擎
2.全文检索,结构化检索,数据分析
3。对海量数据进行实时的处理
es的特点
1.可以作为大型分布式集群,处理PB级别的数据,也可以运行单台机器上
2.分布式文档存储引擎
3.分布式搜索引擎和分析引擎
4.支持PB级别数据
5.开箱即用,不需要额外配置,开源
es的核心概念
1.NRT,近实时, 从写入到搜索到有一秒的小延迟,达到秒级。
2.Cluster集群,包含多个节点
3.Node节点,集群中一个节点,默认随机分配名称。
4.document:文档最小单元,一个document代表一条数据。
5.index:索引,索引有一个名称
5.Type:类型,每条索引里有一个或多个type,type是index的数据分类
6.shard:单台机器上无法存储大量数据,es可以讲一个索引中的数据切分多个shard,横向扩展,存储更多数据。
7.replica:shard的副本,故障备用,最少的高可用配置2台服务器。