看我如何用Dataphin实现自动化建模

2021-08-28 14:47:16

前言：更多关于数智化转型、数据中台内容可扫码加群一起探讨

阿里云数据中台官网 https://dp.alibaba.com/index

作者：数据小海豚

随着大数据趋势的迅速增长，数据的重要性与日俱增，企业内看数据、用数据的诉求越来越强烈，其中最常见的就是各种经营报表数据：

老板早晨9点准时需要看到企业核心的经营数据，以便进行企业战略及方向决策
业务负责人不定期进行个性化的项目筹划，需要多维、及时效果数据以优化项目安排
运营需要和高层一致但粒度不同的经营分析数据，并进行活动策略调整
……

举个经营报表的例子：

这个例子并不复杂，但是对于分析师或者业务开发者，实际执行的复杂度和工作量并不小，而且类似的工作每日都在重复……业务发展越快，带来的问题就越来越多：

加工时间长、人工成本高，招再多的分析师也难以满足需求
代码可读性差，数据可维护性差，类似需求需要反复、重复开发
代码开发不规范，加工过程中难以避免的计算存储浪费
得到的数据指标，复用性差导致重复建设，数据越来越不标准规范

这种情况下，对业务的直接影响就是：决策周期长（数据需求满足慢），决策易出错（数据指标口径不一致）。

既要保证数据生产时效性——及时产出数据并满足需求，又要支持数据多样性——企业自下而上不同业务分析场景，最后还要保证数据准确性——任何时间、不同岗位的人都能用同样的数据解读经营情况，怎么才能做到呢？

企业的发展加速，离不开20世纪的文档管理转到21世纪的信息管理。同样的，如果繁复的指标代码编写工作，也可以如计算器一般，界面可视化点选，复杂的代码研发过程由计算器自行处理完成就好了。

而Dataphin的自动化建模功能，就可以很好实现这个能力。

1、选择组合条件

如下图，确定需要统计计算的值，Dataphin里称为“原子指标”——最小的数据值统计单元，比如用户数这样的统计值等，然后组合如下内容：

选择完毕组合条件后，可以预览组合出来的派生指标：
1）组合的指标，默认名取“原子指标+时间周期+业务限定”组合名，保证命名标准规范。
2）历史已生成的组合，不再生成，保证指标建设统一，无重复

确认需要提交的指标后，一键【提交】，分钟级指标生成：
1）自动汇聚至以“统计粒度为主题”的汇总逻辑表表下，保证管理标准规范；
2）代码和调度依赖关系，系统自动生成；
3）派生指标基于汇总逻辑表，可快速雪花模型查询使用指标、分析对象的属性信息。

①派生指标自动汇聚至汇总逻辑表
②派生指标所在汇总表节点，代码及调度关系自动生成

③汇总表及派生指标可查询消费

上面主要是基于简单统计指标实现，实际上，报表需求还有类似比率型、乘积型等复合统计方式，比如“客单价=销售额/客户数”，这类也可以通过Dataphin的衍生原子指标实现：

1）衍生原子指标是基于原子指标的再组合；

2）基于衍生原子指标新建派生指标时，需要保证拆解到最细粒度的原子指标，有相同的分析维度、时间周期，允许维度的计算路径不同、设置的业务限定不同。

①新建衍生原子指标
②基于衍生原子指标新建派生指标

上面步骤可以看到，派生指标的计算生成，离不开原子指标、业务限定、统计粒度的协助，这其中有什么奥秘呢？

其实很简单，用Dataphin高效创建派生指标，掌握这1张图就够了：

1）原子指标为核心，原子指标的来源表为中心
2）统计粒度取自来源表的关联维度，以及关联维度上的关联维度
3）业务限定基于来源表为中心的雪花模型做定义
4）统计周期可任意搭配使用

数据中台是企业数智化的新基建，阿里巴巴认为数据中台是集方法论、工具、组织于一体的，“快”、“准”、“全”、“统”、“通”的智能大数据体系。目前正通过阿里云数据中台解决方案对外输出，包括零售、金融、互联网、政务等领域，其中核心产品有：

官方站点：
数据中台官网 https://dp.alibaba.com