驱动力
-卷首语-
卷首语
尊敬的各位读者好：
2024年第1期的《驱动力》杂志如约而至，祝各位读者新年新气象！
本期是数据治理专刊，随着数字化时代的到来，企业面临着大量的数据涌入和积累，如何高效地管理和利用这些数据成为了一个亟待解决的问题。数据治理便应运而生，它是一种框架和流程，旨在确保企业数据的质量、可靠性、安全性和合规性。通过数据治理，企业可以更好地管理数据资产，提升数据价值，以及降低潜在风险。本期专刊将通过几篇优质文章的引入，尝试带您探讨一下数据治理的核心概念以及实施数据治理的最佳实践。
在这一期中，我们找了两篇相对概括的介绍数据治理概念的文章，先带大家对数据治理有个概要的认知，然后我们还在数据治理众多领域中，挑选了两篇有关数据标准管理以及数据质量管理的文章，希望以此作为开篇，带大家走进数据治理的世界。
2024年，我们也将切实的在我们公司通过一些数据治理项目，开始落地数据治理工作，我们相信，通过数据治理，企业可以更加科学、高效地利用数据，真正实现数据驱动的决策和业务增长。
感谢您的阅读和支持，我们期待听到您对本期专刊的反馈和建议。祝愿您在阅读中获得有价值的信息，以及在实践中取得成功！
《驱动力》杂志
驱动力
-数说-
目录
01 0到1搭建企业级数据治理体系
02 数据治理的 “独孤九剑”
03 数据标准管理：基础数据标准&指标数据标准
04 数据质量问题管理实践
0到1搭建企业级数据治理体系
contents
数据治理是企业数据建设必不可少的一个环节。
好的数据治理体系可以盘活整条数据链路，最大化保障企业数据的采集、存储、计算和使用过程的可控和可追溯。
如何构建企业数据治理体系？企业数据治理过程需要注意哪些问题？总体而言，不能一口一个胖子，路要一步一步地走。
下面我将结合企业级数据治理经验，详细介绍从0到1搭建数据治理体系全流程，帮你梳理数据治理的主要内容以及过程中会遇到的哪些坑。
文章转自数据治理体系公众号
原文链接：https://mp.weixin.qq.com/s/nUU0waB3Z9r-f27fHQpqdQ
1.1 一个小故事
在正文之前，我先介绍一个小故事。
年底了，企业财务管理员小张需要统计公司的金融财务情况。忙碌了一年，公司老板亟需知道公司目前的运营状况。
小张需要考虑哪几个点呢：
“
1、公司目前有哪些财产？
2、这些财产从哪里来？用到了哪些地方？
3、是否所有财产的使用均符合规范和制度？
”
1 数据治理到底是在做什么
驱动力
-数说-
整体流程数据治理体系将全程监管。要确认进出系统的数据质量怎么样？是否可转化数据资产？数据血缘是否可追溯、数据安全等问题。
幸好小张年初已经制定了一套管理标准。每笔财产的出入都有记录且严格把控使用情况，过程可追溯可审查。
最后，小张得到了领导们的一致好评。
1.2 数据治理做的事情
故事中的小张监管着公司所有金融财产活动，确保财产使用的有序高效。这也是数据治理角色的类似功能。
“
数据治理的核心工作： 在企业的数据建设进程中，保障企业的数据资产得到正确有效地管理。
”
一般来说，数据从外部或者内部产生后，经过大数据手段处理，流转到不同的业务端，为企业的上层应用提供数据赋能。
整个过程，如图所示。
- 我们先做一些类似数据同步的工作将数据放入到大数据系统中
- 数据进来后需要管理和存储，即参考建模理论和实际场景建设数仓
- 经过主题规划、维度确定、标签计算输出等步骤处理
- 数据输出到报表、应用端使用
“
脏乱差的数据是无法使用的，甚至严重埋雷。
”
有一些企业对这个问题的概念很模煳，认为目前的数据规模很小，人为可控，暂时不需要做数据治理。
但是在实际使用中还是会遇到很多问题：
- 数据监管力度不够，出现脏数据
- 数据体系逐渐规模变大，管理混乱
- 数据的血缘丢失，无法回溯旧、老的数据
无论企业的数据规模如何，我认为还是提起做好数据治理的规划。考虑到成本的问题，可以分阶段进行。
2 为什么要做数据治理
“
为什么要进行数据治理：
- 你的数据是否真的可用，缺失和异常值怎么办？
- 数据从哪里来到哪里去，血缘信息是否丢失
- 数据访问是否安全，明文标识还是加密？
- 新的数据加工参考什么规范，维度和标签管理是否存在标准？
”
有剑在手不用和无剑可用是两回事。提前做好数据治理规划，会节省后续的改造成本，避免过程冗余重构或者推倒重来等情况的发生。
驱动力
-数说-
1）数据质量
一般采用业内常用的标准来衡量数据质量的好坏：完整性、准确性、一致性和及时性。
- 完整性：数据的记录和信息是否完整，是否存在缺失情况
- 准确性：数据汇总记录的信息和数据是否准确，是否存在异常或者错误
- 一致性：多个业务数仓间的公共数据，必须在各个数据仓库中保持一致
- 及时性：数据能及时产出和预警
数据治理可以有效保障数据建设过程在一个合理高效的监管体系下进行，最终提供高质量、安全、流程可追溯的业务数据。
企业数据治理体系包括数据质量管理、元数据管理、主数据管理、数据资产管理、数据安全及数据标准等内容。
3 数据治理体系
2）元数据管理
元数据是关于数据的组织、数据域及其关系的信息，通俗理解，元数据就是描述数据的数据。
驱动力
-数说-
5）数据安全
数据安全是企业数据建设必不可少的一环，我们的数据都存储在大大小小的磁盘中，对外提供不同程度的查询和计算服务。
需要定时对数据进行核查、敏感字段加密、访问权限控制，确保数据能够被安全地使用。
6）数据标准
大白话理解，我们需要在组织内定义一套关于数据的规范，好让我们都能理解这些数据的含义。
今天张三说这个客户号是办理银行卡的客户，明天李四又说是借贷过的客户。对比一看，两者的字段类型和长度一致，到底要采纳哪个意见呢？
数据标准是保障数据的内外部使用和交换的一致性和准确性的规范性约束，通过统一规范，消除二义性。
元数据包含技术元数据和业务元数据。可以帮助数据分析人员清楚了解企业拥有什么数据，它们存储在哪里，如何抽取、清理、维护z这类数据，也即数据血缘。
- 帮助构建业务知识体系，确立数据业务含义可解释性
- 提升数据整合和溯源能力，血缘关系可维护
- 建立数据质量稽核体系，分类管理监控
3）主数据管理
企业主数据指企业内一致并共享的业务主体，大白话理解就是各专业公司和业务系统间共享的数据。
常见的主数据比如公司的员工、客户数据、机构信息、供应商信息等。这些数据具有权威性和全局性，可归约至公司的企业资产。
一般主数据管理需要遵循如下几点：
- 管理和监管各组织机构、子公司、部门对主数据的访问，制定访问规范和管理原则
- 定期进行主数据评估，判断既定目标的完善程度
- 组织相关人员和机构，统一完善主数据建设
- 提供技术和业务流程支持，全集团集中统筹
4）数据资产管理
一般企业在数字化转型时都会考虑数据资产梳理。你的数据有没有被合理利用？如何产生最大价值？这是数据资产管理关心的核心工作。
在构建企业资产时一般会考虑不同角度，即业务角度和技术角度，最后进行合并，输出统一的数据资产分析，并向外提供统一的数据资产查询服务。
4 企业数据治理实施过程
4.1 数据治理实施框架
数据治理体系是为了规范业务数据规范、数据标准、数据质量和数据安全中的各类管理任务活动而建立的组织、流程与工具。
通过一个常态化的数据治理组织，建立数据集中管理长效机制，规范数据管控流程，提升数据质量，促进数据标准一致，保障数据共享与使用安全，从而提高企业运营效率和管理水平。
如何盘活数据，形成数据资产，提供完整的数据资产全景视图，可方便运营者全局、宏观地掌控企业资产动态。
驱动力
-数说-
4.2 数据治理组织架构
企业数据治理体系除了在技术方面的实施架构，还需要管理方面的组织架构支撑。
一般在数据治理建设初期，集团会先成立数据治理管理委员会。从上至下由决策层、管理层、执行层构成。决策层决策、管理层制定方案、执行层实施。层级管理、统一协调。
4.2.1 组织架构
1）决策层
提供数据标准管理的决策职能，通俗理解即拍板定方案。
2）管理层
- 审议数据标准管理相关制度
- 对跨部门难的数据标准管理争议事项进行讨论并决策
- 管理重大数据标准事项，提交信息科技管理委员会审议
3）执行层
- 业务部门：负责业务线数据标准的制定、修改、复审，推广落实数据标准等
- 科技开发：承担治理平台、数据标准、数据质量等实施工作；系统设计和开发工作中遵循数据标准
- 科技运营：负责技术标准的制定和技术推广
4.2.2 管理层职责
1）项目经理
- 确定项目目标、范围和计划
- 制定项目里程碑
- 管理跨项目协同
2）专家评审组
评审项目方案，确定方案的合理性
3）PMO
- 确保项目按计划执行
- 管理项目重大风险
- 执行跨项目协同、沟通
- 组织项目关键评审
4）数据治理专项组
执行各项目的落地实施和运营推广，推动执行层的实施数据治理技术落地和项目进展。
驱动力
-数说-
4.2.3 执行层职责
数据架构师、数据治理专家和业务专员形成数据治理"铁三角"，紧密协作，推进数据治理与数据架构落地。
2）数据治理专家
数据治理专家作为数据治理组成员，负责设计数据架构，运营数据资产；牵头组织业务、IT达成数据治理目标。
- 构建数据逻辑模型
- 监控数据质量
- 运营数据资产
3）数据架构师
数据架构师作为IT开发部门的专家，承担数据标准落地、模型落地的重任，协助解决数据质量问题。
- 数据标准落地
- 逻辑模型落地
- 物理模型落地
4.3 数据治理平台
在确定了技术实施方案和组织管理架构，下面需要进行数据治理体系的落地实施。
在大型企业中一般会开发一个完整的数据治理平台，囊括所有数据治理功能，对外提供平台服务。
1）核心功能
数据治理平台作为数据治理的产品体系，旨在保障数据平台的数据是安全、可靠的、标准的、有价值的。
1）业务专员
业务专员作为业务部门数据治理的接口人，在标准、质量、应用等领域组织业务人员开展工作
- 定义数据规则
- 保障数据质量
- 提出数据需求
驱动力
-数说-
- 数据资产管理：提供面向用户的场景化搜素，提供全景数据资产地图，方便快速查找资产和资产分析
- 数据标准管理：统一定制数据标准，提高包括字段、码值、数据字典管理，保障业务数据和中台数据的统一标准
- 数据质量监控：提供事前、事中、事后的数据质量体系，支持数据质量监控规则配置、告警管理等功能
- 数据安全：提供数据安全脱敏、安全分级和监控
- 数据建模中心：统一建模，提供业务系统建模和模型管理
2）元数据管理
元数据管理系统作为数据治理平台的前端展示门户，帮助实现对数据资产的快速检索能力，提高数据使用有效性和效率。
通过建立完整且一致的元数据管理策略，提供集中、统一、规范的元数据信息访问、查询和调用功能。
4）数据标准
支持定制统一的数据标准平台，包括字段标准管理，码值标准管理以及字典管理，业务源数据和中台数据统一标准。
3）数据质量
- 数据质量监控：支持所有用户进行数据质量监控规则配置
- 规则阻断：配置数据质量监控阻断规则，数据质量出现差异可实时阻断下游作业运行，屏蔽错误结果链路扩散。
- 告警：数据质量出现预设偏差，及时发出预警通知及时修复
5）数据安全
基于集团数据资产实现数据安全分级管理，自动识别安全信息；提供数据访问安全行为监测，及时识别访问风险。
4.4 数据治理评估
数据治理平台开发完成并运行，需要对整体数据治理体系的效果进行验证和评估。
驱动力
-数说-
1）数据资产通过构建数据资产管理体系，实现资产全覆盖，并支持全局搜索和精准定位目标资产。
- 实现全局搜索，面向用户提供场景化检索服务
- 支持标签、数据地图、表名和字段名等多种检索维度
- 支持进行数据地图，源业务数据字典的结果筛选
- 比如支持PV/UV用户搜索和资产展示，明确服务目标
3）数据安全
保持事前制度建设、事中技术管控、事后监控审计的原则建立全流程数据安全管控体系。
基于以上数据安全管控体系，支持数据安全定级，构建灵活的数据安全共享流程。
4）数据质量
通过数据质量雷达图，定期进行数据和任务质量打分，综合考察数据质量效果。
- 数据完整性：查看数据项信息是否全面、完整无缺失
- 告警响应程度：日常管理、应急响应、降低影响；避免数据损毁和丢失
- 监控覆盖程度：确保数据遵循统一的数据标准和规范要求
- 作业稳定性：监控作业稳定性，是否存在作业异常等问题
- 作业时效性：检查任务对应的数据项信息获取是否满足预期要求
“
1）数据是否可以消除"脏、乱、差"的现象
2）数据资产是否最大价值化
3）所有数据的血缘是否完整可追溯。。。
”
2）数据标准
新旧数据标准沉淀，打通了数据建模工具、数据标准库和词根标准库，落地数据标准和词根。
- 实现数据标准库100%拉通
- 智能识别数据标准和引用
- 客户端同步更新数据标准、词根
驱动力
-数说-
“
这是一个经典问题，一般对于不同阶段和规模的企业，数据治理的实施程度会有所不同。一般建议先根据自身的数据状况分阶段进行，避免盲目铺开规模，过程中可调整。
”
1）数据治理是否要做得大而全
5 数据治理的几点误区
“
正如文中所说，数据治理不仅仅是技术团队的事情，而是整个集团一起协作完成。其中就包括各业务线以及其他管理组织，没有一个好的实施方案和协作机制，往往事倍功半。
”
2）数据治理只是技术考虑的事情
“
数据治理是个长期过程，会跟随着企业数据的规模和数仓规划的变更同步调整，部分功能可能会在短期内卓有成效，完整体系搭建短期很难实现。
”
3）数据治理可以短期见效
“
俗话说工欲善其事必先利其器，有好的工具当然是更好，前提是已经有了成熟的数据治理体系规划和策略。工具和技术手段目前市面上很成熟，先把理论给铺垫好。
”
4）必须得有工具平台，才能开展数据治理
“
数据治理是一个长期工作，需要相关从业者根据企业的数据现状和管理模式去构建和调整，建议边做实践边总结归纳，小步慢跑是一个很好的方式。
”
5）数据治理感觉很模煳？不知道最后的落地结果
-END-
驱动力
-风向-
数据治理的 “独孤九剑”
文章转自与数据同行公众号，作者傅一平
原文链接：https://mp.weixin.qq.com/s/z_lsHt2TUplCzTxYg7RaJg
数据治理即对数据资产管理行使权力、控制和共享决策（规划、监测和执行）的系列活动。
这个概念挺抽象，它既不是你每天干的数据采集、处理、建模、运维等生产工作，也不是数据质量管理、元数据管理，主数据管理等保障型工作，事实上，数据从业者95%的工作都跟数据治理本身没关系，但每时每刻都会受到数据治理活动的影响。
刚接触数据治理的时候，我对要干什么也挺茫然的，经过2年的实践，我终于知道DAMA的数据治理到底在讲点啥了，这里就把自己的经历提炼成九个方面的内容，姑且就叫作“独孤九剑”吧。
- 「总决式」- 研判形势，决定数据治理时机
- 「破剑式」- 保驾护航，建立运营组织框架
- 「破刀式」- 建章立制，确保达成企业共识
- 「破枪式」- 对齐业务，解决核心业务问题
- 「破鞭式」- 推动项目，确保数据变革成功
- 「破索式」- 制定标准，规范数据管理行为
- 「破掌式」- 问题管理，推进跨域问题解决
- 「破箭式」- 监督控制，保证持续执行到位
- 「破气式」- 评估合规，确保法规合理执行
1、研判形势，决定数据治理时机
要不要做数据治理，大多取决于公司管理层，特别是一把手的形势判断，包括数据要素的价值、国家的政策、行业的要求、上级单位的精神、公司的业务战略、当前业务上的痛点及业界的最佳实践。
但要把这个事情启动起来，一般还是要让公司的数据部门来进行专门研究，评估到底能不能做，以下是我当初接到任务的情形：
“2021年公司数字化转型的步伐加快，这天部门BOSS找到我，希望研究下华为的数据治理之道，然后跟大老板汇报下我们的思路，当时我就在想，也许公司认为做企业数据治理的时机到了，毕竟数据是数字化转型的基础。然后我们闭门了一个月，出了一份研究报告，老板听了汇报后，觉得还是靠谱的，因此决定启动这个事情。”
我们的报告对公司数据管理现状、成熟度、与业界的差距及大致的改进方向做了一个初步研究，然后提交给总经理务虚会讨论，以下是差距分析的示例：
“数据是数字化的基础，随着公司数字化转型的加快，对于数据要素高效融通配置，释放数据生产资料更大价值提出了更高要求，虽然公司已经完成了企业级大数据平台的建设，初步实现了三域数据的汇通，但当前企业级的数据治理体系还未建立，在公司数字化运营中逐步暴露出了数据盘点不足（比如O域流程管理数据还缺乏体系化盘点）、数据质量不高（比如资管中农村的宽带资源点位置信息失真，抽样准确度XX%）、数据汇通不畅（比如流程攻坚中政企投诉处理工单数据的采集耗时2个月）、数据开放不够（比如详单，位置等涉敏数据由于安全管控要求还无法向一线开放）等问题，迫切需要完善公司的企业级数据治理体系，从而为公司的数字化转型保驾护航”
这是数据治理必经的阶段，老板提出设想，数据团队论证，否则企业数据治理无法真正开始。
2、保驾护航，建立运营组织框架
职能型组织的弊端就是业务条线分割导致的全局利益受损，而数据能打穿业务的壁垒，但大多企业的数据团队比较弱势，需要数据治理组织的保障，否则很难拉通数据。
企业数据治理组织一般包括立法职能（定义策略、标准和企业架构）、司法职能（问题管理和升级）和执行职能（保护和服务、管理责任）。
下面是我们组织的示例，采用的是联邦式的数据治理组织形式，通过总经理办公会决策通过后下发执行：
“数据治理委员会负责公司数据治理体系的顶层设计，下设数据治理办公室，定期召开跨部门联席会议，统筹推进数据治理各项工作；同时建立数据责任人制度，明确公司数据责任人和领域数据责任人的职责，企业数据责任人与各领域数据责任人协同，以维护一致的定义和标准”
驱动力
-风向-
3、建章立制，确保达成企业共识
理论上数据治理要明确愿景、目标、原则及制度，但实际上在数据治理起步的时候，往往只能明确一些原则，能建立的制度也非常有限，这是一个螺旋上升的过程。
下面是华为公司的数据治理的愿景和目标：
“愿景：实现业务感知、互联、智能和ROADS体验，支撑华为数字化转型“
“目标：清洁、透明、智慧数据，使能卓越运营和有效增长”
我们没有明确提出过愿景和目标，但我觉得老大说得这些话可以作为目标：
“目标：实现数据从产生、处理到消费端到端全流程高质量运转，有效提升客户体验和企业运营效率，持续推动业务创新”
数据治理原则有助于企业凝聚共识，从而减轻潜在的阻力，下面示例了我们的部分原则：
“原则1：数据是公司的战略资产，不是部门私有资产”
“原则2：建立企业级信息架构，统一数据语言”
“原则3：依据集团公司“三同步”原则，统一确定数据管控要求，公司所有项目均须遵从，对于不遵从管控要求的项目，拥有一票否决权”
“原则4：各领域数据责任人承担信息架构、数据汇通和数据质量的三大责任”
“原则6：数据应在满足必要的信息安全的前提下充分共享并明确服务承诺，数据产生部门不得拒绝或延缓跨领域的的数据汇通需求”
本来我以为原则是很虚的东西，后来发现不是这样，自己就曾经受到过业务部门的“暴击”：
“有次公司业务部门A要做个可视化应用，本来是安排我们的数据团队做，后来发现做得一般，就要求把数据开放给B部门的团队做，然后我们的数据团队就不乐意了，说凭什么把我们加工的数据开放给B部门，后来业务部门A直接把原则6的内容发给我，......我们没有不遵守的理由。”
关于制度，我觉得没有冲突的制度没必要写，写了没法保障执行的制度也没必要发。迄今为止，我们在数据管理制度方面只制定过一部《数据对内开放管理办法》，跟公司各个部门拉扯了大半年，最近才算基本定稿。
这个办法还附带了流程和操作细则，可以直接落地，我给大家看一下这个办法的框架和示例，它是公司各部门智慧的结晶，也是妥协的产物。
“围绕“131”数据开放框架制定对内数据开放管理办法，确定了数据开放各部门职责分工，规范了数据目录管理、订阅管理、平台管理三大管理活动，明确了数据开放服务承诺与监督保障要求，为公司内部数据高效融合融通奠定了坚实的基础”
驱动力
-风向-
4、对齐业务，解决核心业务问题
数据治理需要提出具体的业务目标，要能解决具体的业务问题，这个痛点不应该是IT部门的，也不是某个业务部门的，而应是全公司的，即带有跨领域跨部门的特点，只有管理层感到痛的业务问题才值得去做。
比如华为公司为了解决财务风险问题启动了数据治理项目，决定了这个数据治理项目能带来明确的财务收益。
我们的数据治理目标大多来自于公司管理层的要求，初期设置的业务目标大概有10多项，以下是举例：
推动A数据在网络和市场的定义一致性，使得前端市场的需求能够有效传递到后端网络，提升投资规划决策的科学性；
推动B领域数据采集的统一归口管理，提升B领域数据采集的时效性，助力B领域各类业务数据的高效分析；
打破C领域数据对各部门开放的壁垒，降低汇聚周期，进一步提升各部门跨域融合数据的分析能力；
汇聚D业务涉及的核心线下商业数据，助力D业务的精确营销；
构建完整的企业数据字典，嵌入到生产流程，助力自助生态能力的提升；
数据治理很容易做成“打造一个所谓的数据治理体系框架，建立了一堆组织，下发了一堆的规范标准.......” 以下这些都不是数据治理的目标：
成立企业数据治理委员会，下设数据治理办公室，明确各部门数据责任人.....；
发布元数据管理办法、数据质量管理办法，数据共享管理办法......;
打造企业数据目录，构建数据开发平台......;
重构数据开放流程，优化数据汇聚流程......;
如果公司提不出明确的业务目标，热衷于去建立一个数据治理体系框架，就有点舍本逐末，所以产生这种问题，一般有三个原因：
- 公司对数据要素的高效配置能力理解不够深
- 公司对数据驱动业务的现状和问题理解不够透
- 狭隘的部门视角或者站位太低
数据治理是一把手工程，对老板是一种挑战，《华为数据之道》现在很多老板在看，这是有必要的。
5、推动项目，确保数据变革成功
数据团队每年会有不少数据项目，比如元数据、数据平台、数据采集、数据开放、主数据等等，其中一些跨领域的特性很突出，只有依托企业数据治理组织的统筹推进才能解决协同的问题，包括管理层的汇报、利益方的支持、项目的培训及常态化的沟通。
我这里给出两个跨领域项目的对比，高下立见：
“我们8年前建设大数据平台，项目做这做着就变成了纯粹的换计算和存储引擎，至于如何更好的归集各部门的数据无人关注，因为协调不动其他部门的更多配合，项目建设后数据资产没有得到明显增加，业务的获得感很弱，大数据是大忽悠不是空穴来风”
“今年我们启动了地址主数据项目的建设，需要对市场、政企、网络、规划和工程等五个部门的13个业务流程进行调整，涉及CRM、资管、精销平台、大数据平台等10个系统的改造，横款了BOM三域，难度远超8年前的大数据平台，但依托于企业数据治理组织的统筹推进，大家还是愿意配合去完成大量改造，这在2年前是不可想象的，当然其中的争论很多，讨论不下百次，但目标始终不变“
6、制定标准，规范数据管理行为
在跨部门项目的推进过程中，在上下游流程和系统的对接中，必然会涉及到语义和数据一致性的问题，如果统一了标准，不仅可以简化流程，还可以降低协作的沟通成本。数据治理组织需要代表公司牵头立法，包括组织标准编写、评审及提交数据治理委员会批准。
驱动力
-风向-
数据标准渗透在每一类数据管理活动中，无论是数据架构，数据建模、数据存储和操作、数据安全、主数据和参考数据、元数据、数据质量等等，但我们没必要为每一类活动都去制定标准，这个取决于业务需要和管理成本的大小，因为制定和执行标准是有代价的。
比如领域一定要建立数据字典标准吗？不一定，领域内部能沟通清楚的就没必要建，但如果要面向企业打造一本数据字典，那么标准就有必要建立，否则其他领域看不懂。现在数据标准工作得到越来越多的重视，那是因为数字化时代数据要素共享和开放成为了趋势，数据仓库那个时代，少有人提标准这个事情。
我们在建设地址主数据项目中，定义了地址数据的“13+N”的标准，如下所示，这是跨领域协同必需的：
““13”指的是从省、市到户号共13个层级；“N”指的是地址类型、标志物别名、经纬度、兴趣点名称、兴趣点行业类型、描述信息6个附加信息。”
数据治理需要建立问题升级机制和流程，能将问题升级到更高的管理机构，比如数据治理委员会，数据治理团队通过问题识别和记录、组织讨论、确认方案及向上升级，促进问题闭环的形成。
我们通过建立跨部门联席会议和常态化沟通协作两大机制来推进问题解决，数据问题能被放到一张圆桌上进行讨论，这其实就是巨大的成功：
“一是依托数据治理办公室，建立了定期的跨部门联席会议制度来识别和收集问题：一种是管理层提出问题，要求我们协同各部门数据责任人推进解决，这种问题往往是需要跨部门联动的，比如企业级数据目录的构建、主数据的建设、数据开放管理办法的制定、平台工具的集约化建设等等。另一种是业务部门的数据责任人提出的需要数据治理办公室协调解决的问题，比如宽带长流程问题的解决，外部业务数据的归口采集，全流程效能分分析支持等等。”
“二是建立常态化沟通协作机制，高质量落实联席会议工作要求，包括培训辅导、沟通协调、跟踪通报等手段来推进问题闭环管理。”
8、监督控制，保证持续执行到位
数据管理的制度、规范和标准是纸面上的，往往是篇章式、片段的、模煳的，必需将其嵌入到数据管理相关生产流程中才能有效发挥作用。
当然数据治理不要去额外新增管理流程，而是要把要求叠加在原有业务流程之上，这会对业务带来影响，业务部门只有接受数据治理的监管才能确保执行到位。
比如地址主数据有“13+N”的数据录入标准，前端人员需要按照结构化的要求去录入数据，这改变了前端业务人员的操作习惯。
数据治理在带来全局收益的时候，可能会让局部业务领域付出代价，因此，数据治理组织在制定规范标准的时候，一方面要协同相关业务部门充分权衡利弊，另一方面，也需要善于利用技术手段去破解规范性和灵活性的结构性矛盾。
比如地址主数据有13+N”的录入标准碰到了业务方的强烈反对，因为影响业务受理效率，我们后来采取了分角色的管理策略，针对后端业务流程的录入，严格按照规范标准录入，对于前端业务流程的录入，仍然沿用旧的方式，但会给出一个AI的算法做初步的格式化，再结合人工纠正的方式来解决。
相对于以前数据团队做数据治理只是局限在数据仓库领域，并且采取事后监督的方式去做管控，现在我们的数据治理终于能直接介入业务系统，从源端解决问题，同时采取事前事中的方式进行实时控制，并且能基于业务流程数据进行分析评估，这是跨越式的进步。
7、问题管理，推进跨域问题解决
数据治理组织既然可以建立标准，即拥有数据领域的立法权利，相应的也需要有司法的权利，即进行问题管理，问题管理包括且不限于授权、合规性、标准冲突、一致性、数据安全、数据质量等等。
虽然大多问题在数据管理团队内部就能解决，但公司有10-20%的跨领域数据问题是无法自行解决的，但又是极其重要的，这些无法解决的问题容易被隐瞒，被忽视，深埋于地下，比如供应链的物资编码问题、统计报表的口径问题、严重的数据质量问题、数据快捷开放问题等等。
驱动力
-风向-
9、评估合规，确保法规合理执行
数据治理要求以业务为导向，这个业务不能简单的理解成创造收入的业务，降低成本的业务，还应包括合规性的业务、满意度的业务等等，比如一旦不合规，短期就可能给公司带来收入影响。
数据治理组织一方面要去深刻的理解各类数据法规，配合公司法律、安全部门对涉及数据监管要求或审计承诺的作出响应，比如证明数据质量合格，另一方面，也要去破除那种阻碍业务正常开展的、过时的、不合理的、但又既成事实的规定。
公司涉及数据的业务流程还存在着大量的冗余的，不合理的环节和规则，但大家已经习以为常，数据治理组织需要去分析流程的堵点和卡点，推进流程的优化，从这个角度看，数据治理干的已经是数字化转型的工作了。
比如我们在分析数据汇聚流程中发现，A部门基于条线需要设置了一些规定，导致审批环节超过11个，但这种部门流程已经不适合企业级数据的汇聚要求，因此将其精简到了4个。
又比如在数据对内开放流程中，以前各类数据的审批都遵循同样的流程，导致数据开放时间很长，后来通过对数据进行敏感分级并制定不同的开放策略，实现了90%以上的数据在一小时就可以开放，如下图所示：
近几年国家一方面下发了“三法一条例”来规范数据的使用，另一方面也在推动数据要素流动数据基础制度的建立，公司数据治理组织也要与时俱进。
独孤九剑，基本上涵盖了DAMA数据治理活动的大部，其实数据治理重在“治理”两字，要求跳出“数据”找出路，自己以前搞错了重点，陷在“数据”里不可自拔。
文章转自大鱼的数据人生
原文链接：https://mp.weixin.qq.com/s/-Y3H2Nx9XrTCxL1fghP_wQ
数据标准管理：基础数据标准&指标数据标准
数据标准是系统之间，业务部门之间沟通与交换的基础，确保大家对同一个东西的理解保持一致。
数据标准管理之基础数据标准
数据标准定义：对数据的表达、格式及定义的一致约定，包括数据的业务属性、技术属性和管理属性的统一定义。
——《JR/T0105-2014 银行数据标准定义规范》
知识回顾
敲黑板时间到啦！上期我们介绍过数据标准分为基础类数据标准和指标类数据标准，现在一起来回顾复习一下这些知识点吧~
基础类数据标准：针对业务开展过程中直接产生的数据制定的标准化规范。（例如客户编号，客户名称等）
什么是数据标准？
-END-
驱动力
-风向-
指标类数据：针对为满足内部分析管理需要以及外部监管需求对基础类数据加工产生的数据制定的标准化规范。（体现为不同粒度的统计数据和评价结果，例如不良款余额、存贷比等）
1.通过业务属性，明确该数据标准的定位和用途；
2.通过技术属性，明确数据类型以及系统是可实现的参数要求；
3.通过管理属性，明确数据标准的管理组织信息；
4.通过代码值的列示，对代码类数据标准的划分方式给出了权威的说明。
基础数据标准化的意义
1.便于信息系统的管理，提高数据交换与使用的效率；
2.保证基础数据的正确性，防止一物多码、一物多名、物名错乱的情况；
3.统一基础数据，便于业务数据的汇总、报送、分析应用。
基础数据标准内涵
基础类数据标准通过业务属性、技术属性来描述数据规范化要求。可使用如下基础数据标准的信息项属性架构：
如何管理？
监管要求
在《银行业金融机构数据治理指引》（下称《指引》）第三章的数据管理部分对数据标准提出了明确的要求：
第二十条 银行业金融机构应当建立覆盖全部数据的标准化规划，遵循统一的业务规范和技术标准。数据标准应当符合国家标准化政策及监管规定，并确保被有效执行。
第二十三条 银行业金融机构应当加强数据采集的统一管理，明确系统间数据交换流程和标准，实现各类数据有效共享。
数据标准的制定要求
01 制度保障先行
应在制度中明确各个角色以及定义相应的分工界面，固化管理流程，为制定数据标准、管理数据标准提供指导性意见。
02 归口部门发挥牵头作用
归口管理部门需积极发挥带头作用，推动和监督标准管理流程的执行。通过激励和问责考核体系，推进数据标准工作的制定与执行落地。
03 自下而上归纳与由上而下演绎相结合
制定过程中一方面需要自下而上梳理信息系统中的数据情况，同时也需要自上而下定义数据主题、细化分类，两者结合才能实现全面整体的数据视图，形成有效的数据规范要求。
04 以银行实际需求为根本
需要明确以银行实践及银行需求为根本，根据业务实际个性化的制定数据标准，避免造成 “空中楼阁”，难以落地。
谁来制订？
数据标准的制定过程离不开业务部门与技术部门的共同探讨、共同商榷，不是任何一个部门的“单打独斗”。
驱动力
-风向-
那到底什么是指标和指标类数据标准？《JR/T0137-2017银行经营管理指标数据元》解释道：
指标是反映银行经营管理在一定时间和条件下的规模、程度、比例、结构等的概念和数值。
指标类数据标准则是为满足内部分析管理需要和外部监管要求，对基础类数据加工而产生的指标数据进行的标准化规范。
为什么要制定指标类数据标准
银保监会在《银行业金融机构数据治理指引》中对指标数据明确规定，要求银行明确指标含义，统一取数规则，确保数据质量，保证监管报送指标间的一致性。这对于银行来说是一项挑战。但与此同时，统一指标数据标准，规范业务统计分析语言，能帮助银行提升分析应用的数据质量，对提高全行数据质量和数据资产价值有着十分积极的意义。
指标标准如何定义？
指标数据标准可以从维度、规则和基础指标三个方面进行定义：
规则是对指标计算统计方式给出的规范性说明，包括可复用的公共维度和业务规则。例如，基础统计类规则：当期、累计、最低值、最高值；增长类统计规则：环比变化量、同比变化量等。
数据标准管理之指标数据标准
什么是指标类数据标准
01 维度
维度是对银行在业务经营过程中所涉及对象的属性进行划分的方式。维度作为观察事物的视角，并不孤立存在，而是通过与指标结合使用，可以对指标的不同方面进行对比与分析。
例如，对公贷款余额，可按机构维度来统计各分支机构的对公贷款余额，也可以按行业维度来分析银行贷款业务主要的行业分布情况，控制行业集中度或调整投向分布。
02 规则
03 基础指标
基础指标具备一些基本要素信息对指标进行标准化的规范说明，可以与维度及统计规则自由组合形成多视角的指标内容，拓宽了指标定义的广度，并且提高了指标使用的灵活度。
例如：
驱动力
-热点-
同时，指标数据标准作为分析应用的基础，通过配合使用指标标准中的维度和维值，可以实现业务部门的自主分析，即灵活使用这些指标进行业务分析。
指标标准有何应用？
指标数据标准能够保障各业务部门对指标在不同应用场景下业务口径有直观、清晰的理解。提升指标在不同应用场景下的准确度，降低由于口径理解不一致造成的统计差异。
规则是对指标数据质量是数据管理的核心，只有高质量的数据才能为数据消费者应用，助力企业更好的使用数据来获得洞察力、做决策和服务业务。而企业许多直接的成本，也与质量问题相关，如错误数据驱动的错误业务决策造成损失、因缺乏良好信誉而导致业务损失等等。
然而，没有一个企业能拥有完美的业务流程、完美的技术流程或完美的数据管理实践，所有组织都会不可避免的遇到与数据质量相关的问题。因此，需要行之有效的问题管理措施，如进行数据质量问题处理、进行数据质量问题分析、进行数据质量问题验收等。计算统计方式给出的规范性说明，包括可复用的公共维度和业务规则。例如，基础统计类规则：当期、累计、最低值、最高值；增长类统计规则：环比变化量、同比变化量等。
PDCA循环是质量最常用的方法论中，又称戴明环，是全面质量管理的思想基础和方法依据。PDCA循环的含义是将质量管理分为四个阶段，即Plan（计划）、Do（执行）、Check（检查）和 Act（处理）。在质量管理活动中，要求把各项工作按照作出计划、计划实施、检查实施效果，然后将成功的纳入标准，不成功的留待下一循环去解决。
而处理阶段，就主要包括质量问题记录、分析、处理。找出影响质量问题的主要原因。并且针对主要原因，提出解决的措施并执行。而随着问题原因的评估和解决方案的提出，循环也将重新开始。
-END-
数据质量问题管理实践
文章来源于网易有数 ，作者楚乔
原文链接：https://mp.weixin.qq.com/s/Sr3P33T0QCJjOzYTz8cL0A
数据质量改进方法论
01
驱动力
-热点-
数据质量问题在数据生命周期的任何节点都可能出现，原因多种多样。有如下常见原因：
- 缺乏系统的数据管理和治理。如领导和员工缺乏质量意识、缺乏治理手段、缺乏领导力和管理能力、没有选择合适的质量工具；
- 数据输入过程引起的问题。如数据输入接口问题、字段重载、业务流程的变更、业务流程执行混乱等；
- 数据处理功能引起的问题。如没有定义正确的业务规则、变更数据结构等；
- 系统设计引起的问题。如由于丢失的数据被分配为默认值而导致数据准确性、未执行唯一性约束、编码不准确等。
进行行之有效的数据质量问题管理和跟踪需要做到以下几点：
- 标准化数据质量问题和活动。统一企业/组织内部描述数据问题的术语以及定义，以简化问题的分类，上下游人员沟通更加通畅。
- 提供数据问题的分配过程。数据质量问题发生后，可以由数据治理专员分配给具体责任人或专家进行诊断，并提供解决方案，可下发给具有特定专业领域知识的人员推动问题解决。
- 管理问题分级机制。数据质量问题处理能通过分级分类，区分问题影响，需要根据问题的影响、持续时间或紧急程度制定明确的升级机制，明确不同问题在数据质量SLA中的地位。
- 管理数据质量解决方案工作流。制定数据质量SLA规范，规定监控、控制和解决的目标，所有这些定义了操作工作流的集合。能通过事件跟踪系统支持工作流管理，以跟踪问题诊断和解决的进度。
工欲善其事，必先利其器，以往有大量的客户依靠传统的人工线下手工维护问题，并通过邮件分配问题。针对疑似数据质量问题，有些部门的解释原因直接由业务核查同事直接回复给IT，没有流程化和系统化。长期下来，历史异常和质量问题，依靠手工整理和邮件，无法追溯和解决，数据治理效率低下。
Easydata数据质量中心的问题管理模块，可以实现数据质量问题的跟踪记录，能够收集与解决问题、分配问题处理和验收工作、统计问题数量和发生频率，以及维护计划解决方案、处理记录处理时长等信息。可以推动数据质量监控进行持续的、有依据的改进。目前在制造业、金融行业均有客户落地应用。
数据质量问题产生的原因
02
数据质量问题管理两个典型场景
03
高质量的数据是为了满足业务的需求，而业务的规则是数据质量规则的重要输入，因此，需要业务人员与技术人员一起，承担起质量问题管理的责任。
场景一：由业务人员在使用数据时发现数据质量问题
场景二：现有数据质量规则定期监控发现问题
数据质量问题管理工具实践
04
驱动力
-热点-
流程协作中心可自定义设计处理流程和整改流程。
数据质量问题管理模块，可将所有数据质量问题汇总留存，并进行处理。支持用户主动提报问题，也可以通过配置在质量规则异常时自动进行问题提报。
可配置问题表单的自定义属性，支持移动其在表单中的展示位置及选择是否必填。用户可以自定义问题管理是要包含的字段信息。
质量问题将自定义资源目录的一种分组管理形式，系统内置校验类型和严重等级两个资源目录。
问题详情中可以查看和维护问题的基本信息，也可以关联质量监控规则或者规则的某次执行结果。
驱动力
-热点-
数据质量问题不是通过一些工具和口号就能改进的，还依赖企业内部自上到下的质量观念树立和资源支持。比如建设数据质量问题管理计划、拉通业务人员和IT人员、关注数据质量报告和问题处理状态、强化培训等等。
问题处理有多种方式，问题处理人可以自行直接处理或关闭问题，也可派发工单加签或转办问题。
最后，可以周期性的订阅数据质量报告，定时跟踪数据质量问题情况。
-END-
总结
05
驱动力
-调研-
调研
「数据驱动
增值电信业务经营许可证：陕B2-20210327 | 
陕公网安备 61102302611033号