第一单元 数据治理的过程

企业数字化转型

1. 为什么要进行企业数据化转型

案例：数据分析在企业产品创新过程中的作用与应用

2. 企业数据化转型的挑战

1) 组织结构的挑战：需求谁提？工作谁做？

2) 数据来源的挑战：更多渠道获取数据

3) 数据治理的挑战：数据看不懂、不可用

4) 数据应用的挑战：数据怎么能产生价值？

3. 数据资产管理

1) 数据资产管理的内容

2) 数据资产的构成：业务数据、分析数据、主数据

3) 数据资产管理的挑战

4) 数据治理面临的难题

4.  杂乱无章的数据来源

1)  晦涩难懂的数据语义

2)  千差万别的数据格式

3)  无处不在的数据问题

5. 数据治理的目标

1) 数据资产清理

2) 数据标准统一

3) 数据质量管理

4) 数据职责清晰

6. 数据治理的过程

1) 制定数据治理战略

2) 建立相关的组织与制度

a. 制度数据、数据源、数据安全、数据质量等方面的管理制度

b. 任命数据owner与数据管家，定义其“责权利”

3) 发布数据治理标准

4) 定义数据质量

5) 监控、反馈与评价

案例：以华为为例讲解数据治理的过程

1. 基础数据的治理

2. 主数据的治理

3. 事务数据的治理

4. 观测数据的治理

5. 规则数据的治理

案例：讲解数据湖的治理过程

1. 非结构化数据存储与数据湖

2. 基本特征识别（客观）

3. 增强特征识别（主观）

第二单元 主数据的管理

主数据的概念及其特征

1. 关键特征一致

2. 数据标识一致

3. 数据长期有效

4. 业务规则有效

主数据建设的过程

1. 没有主数据的数据治理：成本非常高

2. 开始建设主数据：数据治理与主数据建设并行开展

3. 建立起主数据系统：数据质量大幅度提高

主数据的范围：

1. 基础数据、组织机构、财务类数据

2. 物资设备、知识数据、客户/供应商

主数据系统架构：

1. 主数据采集、主数据治理、主数据业务管理

2. 主数据管控、主数据维护、主数据分发与数据安全

第三单元 元数据的管理

元数据治理面临的挑战：

1. 数据找不到、读不懂、不可信

元数据的概念与分类

1. 业务元数据、技术元数据、操作元数据

2. 消费侧、服务侧、数据主题侧、数据湖侧、数据源侧

案例讲解元数据治理的过程

1. 数据资产的整理与规范

2. 元数据的注册与采集

3. 元数据的版本管理与发布

元数据的分析与应用

1. 元数据分析与统计

2. 数据血缘管理

第四单元 数据质量管理

数据质量管理的挑战

1. 获取大量准确数据非常困难，不能满足分析需求

2. 获取大量、丰富但不太准确的数据（大数据时代特征）

数据质量的评价维度

1. 完整性、准确性、唯一性

2. 有效性、一致性、时效性

建立数据质量管理体系：

1. 事前：数据质量评估

2. 事前：数据质量评估

3. 事前：数据质量评估

数据质量管理的过程：ETL过程

1. 数据清洗及其实战举例

2. 数据转换及其实战举例

3. 数据集成及其实战举例

数据仓库建设

1. 主题数据模型（主题域划分）

2. 多维数据模型（事实表、维度表）

3. 数据仓库分层：STAGE, ODS, MID, DM

4. 数据仓库设计与运维

第五单元 数据安全及数据审计

数据安全

1. 数据存储安全

2. 数据传输安全

3. 数据使用安全

数据隐私保护

1. 数据隐私保护的作用

2. 数据隐私保护的方案

数据审计

1. 数据审计的概念

2. 关键数据更改的审计

3. 关键数据访问的审计