如何在HHDI中进行数据质量探查并获取数据剖析报告

通过执行多种数据剖析规则,对目标表(或一段SQL语句)进行数据质量探查,从而得到其数据质量情况。目前支持以下几种数据剖析类型,分别是:数字值分析、值匹配检查、字符值分析、日期值分析、布尔值分析、重复值检查、表达式匹配、参照完整性检查、值分布分析。数据剖析完成后可以通过日志中的链接查看其产生的剖析报告。数据剖析任务可以加入到作业流程中,以支持日常的增量数据探查,任务执行完后每个剖析规则均会返回剖析结果变量,可根据变量的值进行下一步的操作,比如发邮件通知数据的维护人员。

1.) 设定剖析规则

在任务管理中选择新建数据剖析任务,进入任务编辑页面,剖析对象页签中填写源连接和源表,也可在源表查询语句中输入一段SQL,可以对数据进行转换、过滤、获取增量等操作,语句支持嵌入变量。在剖析规则页签中添加多个剖析规则,选择要剖析的字段以及剖析类型,右侧的编辑按钮可进入高级设置页面。

剖析任务在执行成功后,会产生一组剖析结果变量,主要是统计的异常值行数,可以在成功条件页签中判断变量的值,从而进行后续的处理工作。

如何在HHDI中进行数据质量探查并获取数据剖析报告

2.) 运行数据剖析

和其它任务一样,数据剖析任务可以添加到作业流程中,可以串行或并行执行,剖析完成的行数将实时显示在日志的插入列中,执行成功后,可以点击执行信息栏中的剖析结果打开剖析报告页面。

如何在HHDI中进行数据质量探查并获取数据剖析报告

3.) 查看剖析报告

点击日志中的剖析结果超链接,将弹出剖析报告页面,可查看所有规则的概要信息以及各规则的明细分析结果。

如何在HHDI中进行数据质量探查并获取数据剖析报告

点击左侧规则列表,查看各规则的详细分析数据,比如查看值匹配分析:

如何在HHDI中进行数据质量探查并获取数据剖析报告

点击红色箭头可以进一步查看明细数据,如点击其空值行数,将显示空值行数的明细数据:

如何在HHDI中进行数据质量探查并获取数据剖析报告

上一篇:Prism框架研究(二)


下一篇:一个技术汪的开源梦 —— 微信开发工具包(WeixinSDK)