DataFlux:实时数据应用的新选择——阿里云 MVP蒋烁淼

【MVP时间】线上峰会,一键收藏

《DataFlux--开启全新实时数据应用方式》精彩直播

查看文章,《DataFlux--开启全新实时数据应用方式——企业级云原生数据库介绍》

一、DataFlux

(一)实时数据

什么是实时数据?它指的是数据的接入是实时的,转换是实时的,计算是实时的,最后BI(Business Intelligence)也是实时的。那么我们为什么需要实时数据呢?

如下图所示,图中左边是传统的数据处理的一个流程,右边是加入实时数据之后整个数据应用的流程。从根本上来说,只有实时数据才能驱动业务,因为所有的业务系统本质上都是一个实时系统,数据不再是简单地进行数据分析、整理报表使用。在用实时数据驱动业务之后,将会对现有业务产生较大的改变,直接用(现在的)数据驱动业务而不是用过去(数据)驱动业务,大大提升了业务运转效率。

DataFlux:实时数据应用的新选择——阿里云 MVP蒋烁淼

(二)DataFlux简介

DataFlux 是驻云推出的统一实时大数据平台,首先它是一个产品,而不仅仅是一个技术,不是简单的技术堆积,而是针对业务中的痛点问题提供针对性的解决方法。DataFlux是一个很完整的产品,所用到的技术包括InfluxDB、MySQL、Redis等等,但是用户可以不需要考虑这些技术问题,而只需要去使用即可,因为DataFlux提供了完整的解决方案。有需要的用户可以很方便的在容器市场购买进行安装即可。

从服务提供商的角度思考,客户需要什么样的数据产品呢?当前,很多开发者和客户被大量的开源技术和产品弄得眼花缭乱,不知道自己真正需要的是什么样子的产品。蒋总认为好的数据产品应该有以下四点特性:

  • 简单好用:安装简单,用户不需要专业的知识即可安装使用,做到开箱即用。
  • 面向业务:数据能直接解决业务问题。
  • 性价比高:价格不能凌驾于价值。
  • 面向未来:避免重复投资,拥抱未来科技。

(三)DataFlux的核心模块及特性

DataFlux在设计之初就考虑到了以上几个问题,每个模块都有着极为优秀的特性。目前,DataFlux主要有以下几大功能模块:

(1)实时汇聚数据

实时数据汇聚模块可以通过非常简单的配置来快速收集大量的实时数据,为业务系统开足马力供能,主要有以下特性:

  • 快速接入:通过DataFlux的DataKit进行简单配置即可快速获得实时数据,数据采集变得非常轻松可靠。
  • 全面完整:目前DataFlux可以对接超过400中数据协议,机器设备数据,业务数据,I/P/Saas数据,用户行为数据,爬虫数据等都可以快速收集。
  • 性能优异:得益于整体的架构设计,一套DataFlux可支持超过每秒50万以上的数据写入,并可以保持实时,同时如果进行水平扩展将支持更高能力。
  • 跨越网络:DataFlux DataWay的设计方式可以支持从复杂的网络结构,多层网络结构,跨国网络中轻松实时汇聚数据,并且安全可靠无需昂贵的网络成本。

(2)实时在线多维度分析

从产品角度来说DataFlux是一个端到端的产品,所有收集到的数据都可以实时在线进行多维度分析,给客户提供一个真正的RealBI产品,其主要特点包括以下几点:

  • 在线的数据实时查询
  • 多维度数据实时分析(RealBI)
  • 利用场景与节点快速构建数据驾驶舱
  • 友好的查询支持,无需SQL能力
  • 大量专业图标内置,轻松表达数据
  • 内置大量数据函数,像Excel一样简单

(3)实时异常检测

实时数据最核心的应用就是异常检测,因为数据是实时的,在检测到异常的第一时间发出报警,可以避免对业务的重大损失并且提醒用户及时处理异常。

DataFlux的异常检测与传统的监控软件的异常检测区别在于异常检测函数可以自定义,而且不仅仅是简单的阈值检测,比如依靠专家系统来预测磁盘空间故障的发生等。该模块的主要功能特点如下:

  • 可以支持多指标的实时异常检测
  • 支持通过多阈值计算来进行数据检测
  • 支持自定义预测函数实现预测
  • 支持通过数据模型,神经网络进行检测
  • 可以灵活设定检测后的行为

(4)关键事件定位

关键事件定位也是DataFlux的一个核心功能。关键事件指的是能够改变实时数据走势的事件,因为它一般是突发的且不受前面的数据影响,因此很难被预测,属于“黑天鹅”事件。关键事件对其之后的数据走势影响非常大,因为对关键事件的收集也相当重要。通过DataFlux关键事件定位模块我们可以通过DataKit捕捉关键事件,也可以通过异常检测自动产生关键事件,这样便能快速发现趋势变化时候的关键因素,实时的掌握关键事件,从而快速做出响应。

(5)DataFlux Function

DataFlux Function是一个集成到实时数据开发中的应用平台,可以认为是一个在线的Python IDE,实际上是完全封装的一个沙箱环境,用来支撑DataFlux的运转,其主要功能特性如下:
 支持自定义的数据分析
 支持自定义的异常检测/时序预测
 支持将数据实时导出到其他平台
 支持通过数据驱动业务平台
 支持将实时数据的开发及算法发布成API,实现自定义的数据API平台

除了以上模块,DataFlux还包括以下三个比较重要的模块:DataFlux DataWay、DataFlux Datakit、DataFlux WareHouse,他们的主要功能特点如图所示。DataFlux Studio、DataFlux Function和DataFlux Mobile三个平台构成了DataFlux的整个产品。

DataFlux:实时数据应用的新选择——阿里云 MVP蒋烁淼

(四)DataFlux的应用场景

DataFlux具有众多优点,那么其主要适用什么场景呢?我们将DataFlux定位为一个Paas+Saas的平台,其适用于包括如下图所示的众多场景。

DataFlux:实时数据应用的新选择——阿里云 MVP蒋烁淼

以上是对DataFlux的简单介绍,包括DataFlux的核心模块以及功能特性。当前,大家可以通过以下两种渠道来获取DataFlux:

  1. 在www.DataFlux.cn上进行注册即可免费使用Saas版本。
  2. 在阿里云上购买相应的产品,包括DataFlux Professional。
    需要注意的是Professional才可以有Function功能,而Saas版本中的Function功能是由官方来提供的

(五)DataFlux以及DataFLux Professional的主要优势

(1)DataFlux.cn的主要优点:

  • 更多数据源:支持超过400种数据采集,远超普通开源数据采集工具,涵盖云端、应用、日志等。
  • 更便宜:SaaS即开即用为自己搭建成为的30%,无运维成本、资金投入只有传统大数据平台的20%。
  • 更好用:全中文化,所有采集器配有安装配置文档,7*24服务支持,内置多样场景模板及丰富图表样式。

(2)DataFLux Professional的强大之处:

  • 专业数据接入:将会接入更多的专业数据,几乎用户想象到的数据都会接入,比如车辆的OBD等。
  • 多业务场景支持:会有更多的创新场景支持,包括金融领域等。
  • 高可定制型:拥有非常高的定制型,而且任何形态的定制完成时间非常短。
  • 连接一切业务:该版本所拥有Function功能使得用户几乎可以连接一切业务。

大家可以从官方网站和阿里云的云市场更多地了解DataFlux,未来我们也会在阿里云的开发者社区更新更多的资料来帮助用户快速入门DataFlux。

《DataFlux--开启全新实时数据应用方式》精彩直播

查看续集文章,《DataFlux--开启全新实时数据应用方式》

上一篇:数据库大牛:数据库那些事儿,创新实战!


下一篇:职场人生,技术人员如何快速成长为*架构师(上)——阿里云 MVP孙玄