大数据架构设计实战课程
Gavin Liu 查看讲师
百林哲咨询(北京)有限公司专家团队成员
大数据架构师,擅长 MR 开发,基于 MR 的算法开发, Hive、 Hbase、 spark 和 Mahout 的实战和成功使用案例。
浏览:4044次
详情 DETAILS

简介

基于开源大数据技术实训课程,该课程是一个理论与实践相结合的课程,课程只要包含大数据技术的使用和优化内容。 

目标

完整展现开源大数据、大数据架构、数据湖建设的关键面貌

课程时长

2天(12H)

受众人群

企业一线的大数据开发人员、大数据平台运维人员、大数据平台优化人员等,具有1-3年左右的大数据基础。

分享提纲

第一天

一、大数据平台的发展

1.1大数据处理技术的发展

1.2MPP数据处理架构和应用场景

1.3大数据数据处理技术和应用场景

1.4逻辑数据架构特点和应用场景

1.5企业级统一数据平台架构介绍

1.6未来企业级数据架构的发展和规划

二、大数据的整体技术架构

2.1开源大数据技术架构

2.2开源大数据常用组件之间的依赖关系

2.3离线计算框架介绍

—Mapreduce、Hive、Tez、Presto、Kylin

2.4实时查询框架介绍

—NoSQL、Hbase

2.5实时计算框架介绍

—Kafka、Strom、Spark Streaming

2.6内存计算框架介绍

—Spark、SparkSQL、SparkMllib、SparkR

2.7前沿大数据技术介绍

—Flink、Drill、Druid、KUDU等

2.8海量日志快速检索架构

—ELK(Elasticsearch、Logstash、Kibana)等

三、大数据应用场景

3.1离线计算框架介绍

3.2流式计算框架介绍

3.3内存计算框架介绍

3.4内存流式计算介绍

3.5海量非结构化数据准实时查询架构介绍

四、Hadoop常用商业版平台的比较

4.1Apache 大数据平台介绍

4.2CDH大数据平台介绍

4.3HDP大数据平台介绍

4.4国内常用大数据平台介绍

4.5CDH、HDP大数据平台比较

4.6企业级大数据平台选择建议

五、开源大数据平台常用、核心技术介绍

5.1HDFS架构和原理

5.2HDFS读写原理

5.3HDFS的应用场景介绍

5.4MapReduce架构和原理

5.5MapReduce计算过程详解

5.6Yarn的架构和原理

5.7Yarn的资源调度详解

5.8Yarn的应用场景

5.9Hive架构和原理

5.10Hive数据存储介绍

5.11Hive的应用场景介绍

5.12Hbase架构和原理

5.13Hbase的数据存储模型介绍

5.14Hbase的应用场景介绍

5.15Sqoop、Flume架构和原理

5.16Sqoop、Flume的应用场景

5.17Spark架构和原理

5.18Spark应用场景介绍

5.19Flink应用架构实战

第二天

六、大数据平台建设过程讲解

6.1数据接入大数据平台

—离线数据接入

—实时的数据接入

6.2数据处理过程

—数据的ETL

—数据分层(ODS、DW和DM等)

—数据建模

—数据校验

6.3数据应用

—数据离线应用

—数据实时应用 

—数据实验室

6.4数据展示工具(BI工具)

七、数据抽取、采集和整合

7.1RDBMS导入导出到hadoop数据仓库

7.2Sqoop工具介绍和使用

7.3CDC工具介绍和使用(Oracle OGG和Mysql Binlog)

7.4实时非结构化数据的采集

7.5从原始搜索数据集中抽取、集成数据,整理后形成规范的数据仓库

7.6基于Hadoop数据仓库的数据分层(ODS、DW、DWS/B、DM、ST)

7.7数据仓库不同层之间的数据交互和ETL

八、 数据湖建设和ELT

8.1数据湖定义

8.2数据湖里面数据存储格式

8.3数据湖实现的步骤

8.4HDFS、Hive和Hbase等实现数据湖

8.5数据湖分区(LCRD)

8.6LCRD详解

8.7某大型银行基于Hadoop的数据湖实战解析

九、大数据平台安全介绍

9.1Kerberos原理介绍

9.2Hadoop与Kerberos集成

9.3Sentry、Ranger工具介绍

9.4大数据平台资源安全控制

9.5HDFS安全控制实践

9.6Hive安全控制实践

9.7Hbase安全控制实践

9.8日志审计实战

十、案例介绍

10.1互联网大数据架构分享

10.2金融大数据平台架构分享

10.3电信大数据平台架构分享

数据中台案例分享

10.3某银行基于大数据数据湖的案例




企业服务热线:400-106-2080
电话:18519192882
投诉建议邮箱:venus@bailinzhe.com
合作邮箱:service@bailinzhe.com
总部地址:
北京市-丰台区-汽车博物馆东路6号3号楼1单元902-B73(园区)
全国客户服务中心:
天津市-南开区-桂苑路15号鑫茂集团鑫茂军民园1号楼A座802-803
公众号
百林哲咨询(北京)有限公司 京ICP备2022035414号-1