数据治理-数据质量

一、数据质量需求

数据质量需求明确数据质量目标,根据业务需求及数据要求制定用来衡量数据质量的规则,包括衡量数据质量的技术指标、业务指标以及相应的校验规则与方法。

数据质量需求是度量和管理数据质量的依据,需要依据组织的数据管理目标、业务管理的需求和行业的监管需求并参考相关标准来统一制定、管理。同时进行数据质量核验也是为了进一步的加强数据治理,保证数据治理的结果行之有效。

二、数据质量需求过程描述

①定义数据质量管理目标,依据组织管理的需求,参考外部监管的要求,明确组织数据质量管理目标。

②定义数据质量评价维度,依据组织数据质量管理的目标,制定组织数据质量评估维度,指导数据质量评价工作的开展;

③明确数据质量管理范围,依据组织业务发展的需求以及常见数据问题的分析,明确组织数据质量管理的范围,梳理各类数据的优先级以及质量需求;

④设计数据质量规则,依据组织的数据质量管理需求及目标,识别数据质量特性,定义各类数据的质量评价指标、校验规则与方法,并根据业务发展需求及数据质量检查分析结果对数据质量规则进行持续维护与更新。

三、数据质量需求过程目标

①为形成明确的数据质量管理目标

②为明确各类数据质量管理需求

③为建立持续更新的数据质量规则库

四、数据质量能力等级标准

①第1级:初始级:在项目中分析了数据质量的管理要求,并进行了相关的管理。

②第2级:受管理级:

1.制定数据质量需求相关模板,明确相关管理规范;

2.在组织或业务部门识别了关键数据的质量需求;

3.设计满足本业务部门需求的数据质量评价指标,并建立了数据质量规则库。

③第3级:稳健级:

1.明确组织层面的数据质量目标,统一数据质量需求相关模板、管理机制;

2.建立数据认责机制,明确各类数据管理人员以及相关职责,制定各类数据的优先级和质量管理需求;

3.数据质量目标的制定考虑了外部监管、合规方面的要求;

4.设计组织统一的数据质量评价体系以及相应的规则库;

5.明确新建项目中数据质量需求的管理制度,统一管理权限。

④第4级:量化管理级:

1.数据质量需求能满足业务管理的需要,融入数据生存周期管理的各个阶段;

2.数据质量评价指标体系的制定参考了国家、行业相关标准;

3.量化衡量数据质量规则运行的有效性,持续改善优化数据质量规则库。

⑤第5级:优化级:在业界分享最佳实践,成为行业标杆。

五、数据质量检查过程

①制定数据质量检查计划,根据组织数据质量管理目标的需要,制定统一的数据质量检查计划;

②数据质量情况剖析,首先根据计划对系统中的数据进行剖析,查看数据的值域分布、填充率、规范性等,切实掌握数据质量实际情况。

③数据质量校验,依据预先配置的规则、算法,对系统中的数据进行校验。

④数据质量问题管理,包括问题记录、问题查询、问题分发和问题跟踪。

六、数据质量检查成果描述

数据质量检查根据数据质量规则中的有关技术指标和业务指标、校验规则与方法对组织的数据质量情况进行实时监控,从而发现数据质量问题,并向数据管理人员进行反馈。


上一篇:大数据(数据入库管理规则)


下一篇:2016年的软件定义网络SDN会有什么变化?