完整性
数据完整性问题包含数据条目不完整,数据属性不完整等
一致性多源数据的数据模型不一致,如命名不一致,数据编码不一致,含义不一致,生命周期不一致等
准确性准确性也叫可靠性,不可靠的数据可能会导致严重的问题,会造成有缺陷的方法和糟糕的决策
唯一性
用于识别和度量重复数据,冗余数据,重复数据是导致业务无法协同,流程无法追溯的重要因素,也是数据治理需要解 决的最基本的数据问题
关联性数据关联性问题是指存在数据关联的数据关系缺失或错误,例如:函数关系、相关系数、主外键关系、索引关系等。存在数据关联性问题,会直接影响数据分析的结果,进而影响管理决策。
真实性
数据必须真实准确的反映客观的实体存在或真实的业务,真 实可靠的 原始统 计数据是企业统计工作的灵魂,是一切管理工作的基础,是经 营 者进行正确经营决策必不可少的第一手 资料。
及时性数据的及时性(In-time)是指能否在需要的时候获到数据,数据的及时性与企业的数据处理速度及效率有直接的关系,是影响业务处理和管理效率的关键指标。
逻辑检查不同表字段之间可能会有逻辑关联,需要稽核
离群值检查部分数据可能会偏离其他数据,比如同一个商品金额大家都是100元,而有一条数据是1W
自定义规则由需求方自定义相关规则
波动稽核
与上周环比稽核波动情况
强弱规则
每个规则的权重应该是不一样的,需要配置优先级,这对后续的告警方式是有帮助的
我们最终的目的是希望做到页面可配置
主要有以下六个维度
1)完整性 Completeness:完整性用于度量哪些数据丢失了或者哪些数据不可用。
2)规范性 Conformity:规范性用于度量哪些数据未按统一格式存储。
3)一致性 Consistency:一致性用于度量哪些数据的值在信息含义上是冲突的。
4)准确性 Accuracy:准确性用于度量哪些数据和信息是不正确的,或者数据是超期的。
5)唯一性 Uniqueness:唯一性用于度量哪些数据是重复数据或者数据的哪些属性是重复的。
6)关联性 Integration:关联性用于度量哪些关联的数据缺失或者未建立索引。
希望采纳