4.DBus学习

1、什么是DBus
DBus(数据总线)项目为了统一数据采集需求而生, 专注于数据的收集及实时数据流计算,通过简单
灵活的配置,以无侵入的方式对源端数据进行采集,采用高可用的流式计算框架,对公司各个IT系统在
业务流程中产生的数据进行汇聚,经过转换处理后成为统一JSON的数据格式(UMS),提供给不同数
据使用方订阅和消费,充当数仓平台、大数据分析平台、实时报表和实时营销等业务的数据源。支持多
租户管理,提供租户级资源、数据隔离机制 。


2、DBus 的主要应用场景
数仓平台和数据分析平台
实时营销决策
实时报表展示
异构数据实时同步
其他实时性要求高的系统

 

 

3.DBus all in one的部署


DBus安装部署分为以下两种方式(注意:两种方式不可以混用):


All In One体验版
该版本安装在单机上,自动部署安装dbus所依赖的相关组件,仅用于体验dbus基本功能
不可以用于生产。
该版本支持mysql数据源接入体验。


集群部署
用于生产环境或测试环境部署。
可部署在单机上或集群上。
该版本包含对Oraclemysqllogstashfilebeatflume等数据源的支持。

由于电脑配置有限,这里采用all in one的部署方式作为学习使用

 

3.1 环境准备
说明all in one是一个单机版本dbus环境,是给用户快速体验dbus的功能,只是一个简单体验版,不能
用于其它环境或者用途,具体包括如下:
基础组件
zookeeper 3.4.6
kafka 0.10.0.0
storm 1.0.1
granfana 4.2.0
logstash 5.6.1
influxdb (需要单独安装, 参考如下步骤3
mysql (需要单独安装,参考如下步骤2
dbus相关包
dbus-keeper 0.5.0
dbus-stream-main 0.5.0
dbus-router 0.5.0
dbus-heartbeat 0.5.0
dbus-log-processor 0.5.0
mysql数据源所需软件
canal


3.2 安装dbus-allinone环境的建议配置如下
JDK 1.8.181 或 以上
CPU 2核 或以上
内存 16GB或以上
磁盘 20GB或以上


 

4.DBus学习

上一篇:Redis-nosql入门概述(上)


下一篇:关于MongoDB ObjectId的那些事儿