如何监控数据仓库中数据质量问题的

1、通过第三方工具实现ETL过程中的元数据管理，具体包括元数据血缘分析，
2、通过写程序解析以前ETL过程中的数据流信息，实现错误定位。
3、实现逐行或者加条件的ETL过程调试，以及设断点定位数据质量信息
4、规范日志记录行为，规定日志格式，甚至可以解析日志，保存在关系型数据库当中，供后续查询（这样记录日志的开销应该比较大）

亿信数据质量管理平台（EsDataClean）领先业界的数据质量评估体系，包含丰富的质量评价方法，并且易于扩展。系统支持数十种质量评价算法技术，满足业务系统运行、数据中心建设、数据治理过程中各类规则的定义，并可实现跨数据源的对比分析；支持通过XML扩展，可完全适应企业未来的数据质量管理需求的变化

1.数据基础建设

想要有一个高质量的数据仓库，那么首先从数据仓库的设计上，我们就得有一个主题域完善，层级分明（通常分为ODS【数据源表层】，DWD【数据明细层】，DWS【数据汇总层】，DWA【数据应用层】），且数据消费场景明确，数据加工链路清晰的数据仓库体系。

有了这个基础之后，我们才能对不同主题域，不同层级的数据分别进行监控。

2.数据处理监控

通过数据血缘关系管理，监控并定位数据处理链路上出现问题的节点，通过系统或者邮件或企业员工管理平台通知到相应的负责人。

3.业务系统调整响应

一是新增业务模块，导致有新的数据需要及时接入到数据仓库中。
二是业务模块变更，导致数仓中某些指标的历史统计口径发生了改变。
无论是哪一种，除了借助相应的发布平台工具之外，同时还需要规范及优化人为干预流程，降低业务部门与数据部门的沟通成本，提升数据部门的数据输出质量及数据响应速度。
虽然对于不同的企业以及企业的不同发展阶段，关于数仓数据质量保障的要求都不尽相同，但是都有相关的方法论可以参考。下面从互联网公司发展的各个阶段对数据质量管理的要求，以及常见的数据质量衡量标准和通用的数据质量管理流程来聊聊数据质量管理那些事儿。

三、数据质量管理流程

数据质量管理流程：通过划分数据资产等级和分析元数据的应用链路，对不同资产等级的数据采取相对应的质量管理方式。

1.数据资产等级划分

分析业务场景，根据应用的影响程度，确定当前以及生产链路上的数据资产等级。

2.数据加工过程校验

在各个加工环节上根据不同资产等级对数据采取不同的质量管理方式。

3.数据处理风险监控

对数据加工过程中存在的风险点进行监控，包括数据质量风险和数据及时性。

派可数据，用心创造数据价值 让数据分析更简单