HBase平台 | 云Kafka搭配云HBase X-Pack构建一体化数据处理平台

HBase X-Pack是基于Apache HBase、Phoenix、Spark深度扩展,融合Solr检索等技术,支持海量数据的一站式存储、检索与分析。融合云kafka+云HBase X-Pack能够构建一体化的数据处理平台,支持风控、推荐、检索、画像、社交、物联网、时空、表单查询、离线数仓等场景,助力企业数据智能化。

下面是业界广泛应用的大数据中台架构,其中HBase&Spark选择 云HBase X-Pack产品相关用户文档:

https://help.aliyun.com/document_detail/93899.html

购买页面:

https://hbase.console.aliyun.com/hbase/cn-shenzhen/clusters

HBase平台 | 云Kafka搭配云HBase X-Pack构建一体化数据处理平台

  • 消息流入:Flume、Logstash、或者在线库的binlog流入消息中间件Kafka

  • 实时计算:通过X-Pack Spark Streaming实时的消费Kafka的消息,写入到云HBase中对外提供在线查询

  • 实时存储与检索:云HBase融合solr以及phoenix sql层能够提供海量的实时存储,以及在线查询检索

  • 批处理、数仓及算法:在线存储HBase的数据可以自动归档到X-Pack Spark数仓。全量数据沉淀到Spark数仓(HiveMeta),做批处理、算法分析等复杂计算,结果回流到在线库对外提供查询。

该套方案的实践操作可以参考文章:

https://help.aliyun.com/document_detail/114567.html

同时有云HBase&Spark的样例代码库可参考:

https://github.com/aliyun/aliyun-apsaradb-hbase-demo/tree/master/spark


HBase平台 | 云Kafka搭配云HBase X-Pack构建一体化数据处理平台


上一篇:Python20-01_GUI编程----登录界面设计和功能实现


下一篇:【趣味设计模式系列】之【装饰器模式】