一、数据治理理论知识

1.1 数据治理的含义

（Data Governance） 数据治理并没有一个标准的概念界定
维基百科：数据治理是一种数据管理概念，涉及使组织能够确保在数据的整个生命周期中存在高数据质量的能力。
百度：数据治理是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行，关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。
国际数据管理协会（DAMA）：数据治理是对数据资产管理行使权力和控制的活动集合。

在我看来数据治理就是为了持续提升数据质量和数据的价值，使数据可得、可靠、可用，需要通过开展一系列的包括从组织与人员、流程与制度、执行与管控的数据管理体系的办法来实现。
数据治理就是帮助客户盘活数据资产，通过理论依据和标准规范数据生产开发、使用和管理流程，使用产品工具、大数据相关技术进行数据的统一接入和存储管理，形成数仓、数据集市、数据超市，形成有价值、可重复使用、统一出口、支撑系统建设和业务应用、提高数据利用率等相关的工作。

1.2 数据治理的对象

那么对于一个企业而言，数据治理的对象又是谁呢？或者说，哪些数据需要被治理呢？
我们说数据治理不是治理全部数据，而是针对企业数据资产的治理。
数据资产属于普通个人和企业的数字财产，数据资产是无形资产的延伸，不具有实物形态。其本质是数据作为一种经济资源参与企业的经济活动，减少和消除了企业经济活动中的风险，为企业的管理控制和科学决策提供合理依据，并预期给企业带来经济利益。
对于企业而言，人、设备、产品、物料、软件系统、数据库、以及任何涉及到使用文件作为载体的各类数据，都属于企业的数据资产。

1.3 为什么要做数据治理

背景：随着网络和信息技术的不断普及，人类产生的数据量正在呈指数级增长。大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长。如何管理和使用这些数据，逐渐成为一个新的领域，于是大数据的概念应运而生。

数据问题的冰山理论：看得见的问题是表象，看不见的问题是本质；解决了“本质”问题，表象问题也就不攻自破了。数据向题的本质，是数据治理问题！

`````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````
在我们身边就有许多令人烦恼的例子，比如：

• 每个分公司的销售情况都录入了系统，但是出来的报表总是一团乱，同一款产品在销售和采购系统里使用了不同的编码，计算成本和毛利较困难，甚至都很难达到一致；
• 某系统建设需要一份权威的人员数据，但获取数据的时候不知道从哪个地方取，不知道哪个地方的数据才是最全最标准的；
• 同样一份数据需要从多个地方取获取，获取完形成生产业务数据过后，又需要提供给多个需求方，这样的模式从多个地方取由供给多个地方，当多个业务线条都这样去运作的话就会导致业务线条N*N错综复杂。

数据治理的意义：

• 提升数据质量
• 提升数据资产价值
• 数据互通数据共享
• 提供数据决策规则和流程
• 促进IT和非IT人员共同决策
• 促进部门和业务相关协作
• 促进业务发展
• 其它

1.4 数据治理需要具备的知识体系

DAMA-DMBOK 将数据管理分为以下10个职能域：

• 数据架构
  定义了与组织战略协调的管理数据资产蓝图，以建立战略性数据需求及满足需求的总体设计。

• 数据建模和设计
  以数据模型的精确形式，进行发现、分析、展示和沟通数据需求的过程

• 数据存储和操作
  以数据价值最大化为目标，在整个数据生命周期中，从计划到销毁的各种操作活动。

• 数据安全管理
  确保数据隐私和机密性得到维护，数据不被破坏，数据被适当访问

• 数据集成和互操作
  包括与数据存储、应用程序和组织之间的数据移动和整合相关的过程。

• 文件和内容管理
  用于管理非结构化媒体数据和信息的生命周期过程，包括计划、实施和控制活动，尤其是指支持法律法规遵从性要求所需的文档。

• 主数据和参考数据管理
  包括核心共享数据的持续协调和维护，使关键业务实体的真实信息，以准确、及时和相关联的方式在各系统间得到一致使用。

• 数据仓库和商业智能
  包括计划、实施和控制流程来管理决策支持数据，并使知识工作者通过分析报告从数据中获得价值。

• 元数据管理
  包括规划、实施和控制活动，以便能够访问高质量的集成元数据，包括定义、模型、数据流和其他至关重要的信息.

• 数据质量管理
  包括规划和实施质量管理技术，以测量、评估和提高数据在组织内的适用性。

数据治理是长期、复杂的工程，涉及到组织体系、标准体系、流程体系、技术体系和评价体系五方面的工作领域，包含了数据标准、数据质量、主数据、元数据、数据安全等多个方面内容。
由于企业性质、业务特点、管理模式的不同，有必要建立符合企业现状和企业需求的数据治理框架，指导企业数据治理工作的开展。

``````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````

组织体系：数据治理项目的实施绝非是一个部门的事情，不能在企业的单一部门得到解决。
需要从整个组织考虑，建立专业的数据治理组织体系，进行数据资产的确权，明确相应的治理制度和标准，培养整个组织的数据治理意识。

````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````

标准体系：数据治理的标准体系是多个层面的，包括：国际标准、国家标准、行业标准、企业标准等。
企业数据标准体系内容应涵盖：元数据标准、主数据标准、参照数据标准、数据指标标准等。

```````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````

流程体系：数据治理流程体系，为数据治理的开展提供有据可依的管理办法、规定数据治理的业务流程、数据治理的认责体系、人员角色和岗位职责、数据治理的支持环境和颁布数据治理的规章制度、流程等。

```````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````

评价体系：建立数据评价与考核体系是企业实施和贯彻数据治理相关标准、制度和流程的根本。
建立明确的考核制度，实际操作中可根据不同企业的具体情况和企业未来发展要求建立数据的认责体系，设置考核指标和考核办法，并与个人绩效挂钩。
考核指标包括两个方面内容，一方面是对数据的生产、管理和应用等过程的评估和考核指标，另一方面是数据质量的评测指标。

技术体系：数据治理包括数据治理的工具和技术，总体应包括元数据管理、主数据管理、数据标准管理、数据质量管理和数据安全管理。

``````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````

二、数据治理方法及工具

2.1 怎么做数据治理

1. 优化组织架构：充分认识数据的重要战略意义，*将数据治理纳入企业中长期发展规划 *，及时调整组织架构，明确内部数据管理职责，理清数据权属关系，自上而下推动数据治理工作。

2. 完善应用机制：在保障各方数据所有权不变前提下，统筹规划全局数据架构，完善跨机构、跨领域数据融合应用机制，实现数据规范共享和高效应用。
``````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````

3. 具体实施工作:数据治理本身包含很多的内容: 方法理论、组织架构+制度流程、成熟工具、现场实施+运维

• 调研：在进行数据治理工作的前期，要对企业进行充分的调研，包括企业目前具体有哪些业务动作，分别采用了哪些技术，上了哪些系统（已在使用和在建），以及数据调研（线上和线下，线上就是存储在各系统上的数据，线下就是纸质报表等数据）。
• 盘点：主要是总结目前企业有什么、缺什么以及想要获取什么（系统、技术、数据等）
• 设计：这一部分就是前面反复强调的，搭组织架构，建数据标准等等，还有一个就是数据资产目录，这个可以看作是数据资产盘点的一个模板。
• 开发：这里可以理解为，当我们收集到我们想要的数据之后，要将这些数据应用起来，及数据应用与分析，当然这也需要一些专业的工具和技术支持（例如如果想做数据可视化或者报表分析、数据看板等，可以使用BI软件）。
• 运营：当我们做了上述工作后，并不是一劳永逸的，数据治理本身也是一个持续的工作，我们要对企业的数据进行持续的更新，为不同的数据分配相应的权限等。

2.2 数据治理核心内容

• 数据资源梳理：数据治理的第一个步骤是从业务的视角厘清组织的数据资源环境和数据资源清单，包含组织机构、业务事项、信息系统，以及以数据库、网页、文件和 API 接口形式存在的数据项资源，本步骤的输出物为分门别类的数据资源清单（也可以理解为数据资产目录）。
  ````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````

• 数据采集清洗：通过可视化的 ETL 工具将数据从来源端经过抽取 (extract)、转换 (transform)、加载 (load) 至目的端的过程，目的是将散落和零乱的数据集中存储起来。
  ETL工具：数据仓库建设的核心环节，它涉及从各种数据源中抽取数据，经过清洗、转换和整合，最终加载到数据仓库中以供分析和决策。
  1. 数据抽取：ETL流程的第一步，它涉及从各种数据源（数据库、表格、文本文件、日志、图像、音频等）中提取数据，将数据从源系统中抽取出来，为后续的处理做准备。
  抽取方式：
  全量抽取：将所有数据一次性抽取出来，适用于数据量不大且变化较少的情况。
  增量抽取：只抽取源系统中发生变化的数据，一般用于数据更新。
  2.数据转换：ETL流程的核心环节，涉及对抽取的数据进行清洗、整合和转换，使其适应目标存储和分析的需求。
  主要步骤：1.数据清洗（处理异常值、缺失值、重复值······），确保数据的一致性和准确性；2.数据整合：合并不同源的数据，消除重复项；3.数据转换和计算（包括数字计算、日期处理等操作），已生成新的衍生数据或指标（增长率······）；4.数据格式化：将数据将数据转换为目标存储的格式；5.数据规范化：统一数据值的表示方式，确保数据的一致性和可比性。
  3.数据加载：ETL流程的最后一步，将抽取和转换的数据加载到目标存储中。

  
  ````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````
  ETL流程核心目标：将原始数据变换成可用于分析、报告和决策的有价值数据。

• 数据库设计和存储：在对业务理解的基础上，基于易存储、易管理、易使用的原则抽像数据存储结构，也就是基于一定的原则设计数据库表结构，然后再根据数据资源清单设计数据采集清洗流程，将整洁干净的数据存储到数据库或数据仓库中。

````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````

• 数据管理：对不同类别的数据采取不同的数据管理模式。
  这里我们把数据分为四个层次：元数据、主数据、参考数据、一般数据。
  通过数据之“管”，来确保数据来源的可靠性、数据内容的准确性、数据安全性及数据粒度的精细性。

````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````````
元数据：通俗地说就是描述数据的数据，比如数据的名称、属性、分类、字段信息、大小、标签等等。（之前我理解为数据的指标，结果不是，感觉元数据是一个很抽象的概念。可以参考这篇文章）
参考数据：是用于将其他数据进行分类或目录整编的数据，它定义了数据可能的取值范围，可以理解为属性值域，也就是数据字典。
主数据：指具有高业务价值的，关于关键业务实体的权威的、最准确的数据，被称为“黄金”数据。通常用于建立与交易数据的关联关系来进行多维度的分析。（可以参考这里）
一般数据：相对来说，我们可以认为元数据、参考数据、主数据为静态数据，而一般数据则是动态数据。它一般随着业务的发生而变化，比如资金交易流水。

数据生命周期：指某个集合的数据从产生到销毁的过程。
数据全生命周期分为：采集、存储、整合、呈现与使用、分析与应用、归档和销毁几个阶段。
了解数据生命周期的每个阶段对于组织最大化其数据资产的价值、确保数据质量并遵守数据法规至关重要。

需要指出，在同一时间，一个人不一定只拥有一种身份，而且随着时间的推移，其扮演的角色可能也会发生变化。

• 数据使用： 即时查询（根据业务场景临时数据查询）、报表监控（指标体系、数据报表）、智能分析（活动分析、用户分析）、模型预测（产量预测、商品推荐）

商业智能（BI）：数据治理的目的是使用，对于一个大型的数据仓库来说，数据使用的场景和需求是多变的，那么可以使用BI类的产品快速获取需要的数据，并分析形成报表。
数据共享交换：数据共享包括组织内部和组织之间的数据共享，共享方式也分为库表、文件和API接口三种共享方式，库表共享比较直接粗暴，文件共享方式通过ETL工具做一个反向的数据交换也就可以实现。
这个阶段就是数据分析师的主场，分析师们运用这些标准化的数据可以进行即时的查询、指标体系和报表体系的建立、业务问题的分析，甚至是模型的预测。

2.3 数据治理衡量标准

那么我们在对数据进行治理的过程中，又应该怎样去衡量数据的好坏呢，或者说，应该制定什么样的标准呢？

质量维度	描述
准确性Accuracy	指数据的采集值或者观测值与真实值之间的接近程度
完备性Completeness	指是否存在所有必要的数据
一致性Consistency	指确保数据值在数据集内和据集之间表达的相符程度
完整性 lntegrity	指数据采集的程度，即应采集的数据和实际采集到的数据之间的比例
合理性Reasnability	指数据模式符合预期的程度
及时性Timeliness	指数据能否在需要的时候得到保证
唯一性Uniqueness	指数据集内的任何实体，不会重复出现
有效性Validity	指数据值与定义的值域一致

三、数据治理关键要素

3.1 怎样做好数据治理

• 数据治理需要体系建设
  为发挥数据价值需要满足三个要素：合理的平台架构、完善的治理股务、体系化的运营手段。
  根据企业的规模、所属行业、数据量等情况选择合适的平台架构；
  治理服务需要贯穿数据全生命周期，保证数据在采集、加工、共享、存储、应用整个过程中的完整性、准确性、一致性和实效性；
  运营手段则应当包括规范的优化、组织的优化、平台的优化以及流程的优化等等方面。
• 数据治理需要夯实基础
  数据治理需要序渐进，但在建设初期至少需要关注三个方面：数据规范、数据质量、数据安全。
  规范化的模型管理是保障数据可以被治理的前提条件；
  高质量数据是数据可用的前提条件；
  数据的安全管控是数据可以共享交换的前提条件。
• 数据治理需要IT赋能
  数据治理不是一堆规范文档的堆砌，而是需要将治理过程中所产生的的规范、流程、标准落地到IT平台上，在数据生产过程中通过“以终为始”前向的方式进行据治理，避免事后稽核带来各种被动和运维成本的增加。
• 数据治理需要聚焦数据
  数据治理的本质是管理数据，因此需要加强元教据管理和主数据管理，从源头治理数据，补齐数据的相关属性和信息，比如元数据、质量、安全、业务逻辑、血缘等，通过元数据驱动的方式管理数据生产、加工和使用。
• 数据治埋需要建管一体化
  数据模型血缘与任务调度一致性是建管一体化的关键，有助于解决数据管理与数据生产口径不一致的问题，避免出现不一样的低效率管理模式。

3.2 数据治理重难点

数据治理工作对于任何企业而言都是复杂的系统性工作，应当抓住主要矛盾，建立组织模式，理顺管理流程及数据标准，便于各项工作开展，并在此基础上逐步推进数据应用工作。

数据组织模式：

• 集中式：设立专门的组织来管理整个企业数据治理工作
• 联邦式：设立专门的组织作为数据治理的日常管理部门，牵头负责协调和组织工作（总协调+各部门）
• 分布式：不设立专门的企业级组织，各业务单元只负责本业务领域的数据治理工作

3.3 需要具备的能力和素质

• 知识体系：熟练掌握数据治理相关方法论、数据治理体系架构，深入理解数据质量管理、数据标准管理、企业级数据建模、主数据管理等方法。
• 工具技术：熟悉市面上常见的数据管理，数据报表软件系统，比如帆软；熟悉数据挖掘，机器学习，深度学习等相关技术，熟练使用数据分析工具和技术，对数据进行分析、挖掘和解读，发现数据中的模式和趋势，为决策提供依据。
• 素质：具有场景思维和洞察力，良好的业务敏感性，能够敏锐的察觉数据中存在的价值和机遇，对数据中的错误能够进行快速的分析定位；具有较强的分析和解决问题的能力，良好的学习能力和团队合作精神，追求价值实现，认同目标管理。

总结

数据治理是成功的企业数据管理中不可或缺的重要组成部分，并且不是一个一蹴而就的过程，数据治理工作只要开始了，就不会停下来。并且数据治理的前期工作是需要投入大量时间和人力的，做好充分的调研，搭组织架构，建立标准等等。以上只是针对数据治理的理论知识做了简要介绍，并且各企业由于实际情况的不同，开展数据治理工作也是不一样的，不可能完全照搬别人的方法，需结合企业自身现状，对症下药，解决数据问题。