简介
基于开源大数据技术实训课程,该课程是一个理论与实践相结合的课程,课程只要包含大数据技术的使用和优化内容。
目标
完整展现开源大数据、大数据架构、数据湖建设的关键面貌
课程时长
2天(12H)
受众人群
企业一线的大数据开发人员、大数据平台运维人员、大数据平台优化人员等,具有1-3年左右的大数据基础。
分享提纲
第一天 | 一、大数据平台的发展 | 1.1大数据处理技术的发展 1.2MPP数据处理架构和应用场景 1.3大数据数据处理技术和应用场景 1.4逻辑数据架构特点和应用场景 1.5企业级统一数据平台架构介绍 1.6未来企业级数据架构的发展和规划 |
二、大数据的整体技术架构构 | 2.1开源大数据技术架构 2.2开源大数据常用组件之间的依赖关系 2.3离线计算框架介绍 —Mapreduce、Hive、Tez、Presto、Kylin 2.4实时查询框架介绍 —NoSQL、Hbase 2.5实时计算框架介绍 —Kafka、Strom、Spark Streaming 2.6内存计算框架介绍 —Spark、SparkSQL、SparkMllib、SparkR 2.7前沿大数据技术介绍 —Flink、Drill、Druid、KUDU等 2.8海量日志快速检索架构 —ELK(Elasticsearch、Logstash、Kibana)等 | |
三、大数据应用场景 | 3.1离线计算框架介绍 3.2流式计算框架介绍 3.3内存计算框架介绍 3.4内存流式计算介绍 3.5海量非结构化数据准实时查询架构介绍 | |
四、Hadoop常用商业版平台的比较 | 4.1Apache 大数据平台介绍 4.2CDH大数据平台介绍 4.3HDP大数据平台介绍 4.4国内常用大数据平台介绍 4.5CDH、HDP大数据平台比较 4.6企业级大数据平台选择建议 | |
五、开源大数据平台常用、核心技术介绍 | 5.1HDFS架构和原理 5.2HDFS读写原理 5.3HDFS的应用场景介绍 5.4MapReduce架构和原理 5.5MapReduce计算过程详解 5.6Yarn的架构和原理 5.7Yarn的资源调度详解 5.8Yarn的应用场景 5.9Hive架构和原理 5.10Hive数据存储介绍 5.11Hive的应用场景介绍 5.12Hbase架构和原理 5.13Hbase的数据存储模型介绍 5.14Hbase的应用场景介绍 5.15Sqoop、Flume架构和原理 5.16Sqoop、Flume的应用场景 5.17Spark架构和原理 5.18Spark应用场景介绍 5.19Flink应用架构实战 | |
第二天 | 六、大数据平台建设过程讲解 | 6.1数据接入大数据平台 —离线数据接入 —实时的数据接入 6.2数据处理过程 —数据的ETL —数据分层(ODS、DW和DM等) —数据建模 —数据校验 6.3数据应用 —数据离线应用 —数据实时应用 —数据实验室 6.4数据展示工具(BI工具) |
七、数据抽取、采集和整合 | 7.1RDBMS导入导出到hadoop数据仓库 7.2Sqoop工具介绍和使用 7.3CDC工具介绍和使用(Oracle OGG和Mysql Binlog) 7.4实时非结构化数据的采集 7.5从原始搜索数据集中抽取、集成数据,整理后形成规范的数据仓库 7.6基于Hadoop数据仓库的数据分层(ODS、DW、DWS/B、DM、ST) 7.7数据仓库不同层之间的数据交互和ETL | |
八、 数据湖建设和ELT | 8.1数据湖定义 8.2数据湖里面数据存储格式 8.3数据湖实现的步骤 8.4HDFS、Hive和Hbase等实现数据湖 8.5数据湖分区(LCRD) 8.6LCRD详解 8.7某大型银行基于Hadoop的数据湖实战解析 | |
九、大数据平台安全介绍 | 9.1Kerberos原理介绍 9.2Hadoop与Kerberos集成 9.3Sentry、Ranger工具介绍 9.4大数据平台资源安全控制 9.5HDFS安全控制实践 9.6Hive安全控制实践 9.7Hbase安全控制实践 9.8日志审计实战 | |
十、案例介绍 | 10.1互联网大数据架构分享 10.2金融大数据平台架构分享 10.3电信大数据平台架构分享 数据中台案例分享 10.3某银行基于大数据数据湖的案例 |
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员