课程简介
Hadoop是大数据开发人员的重要基础,开发人员通过Hadoop提供的系统级服务支持从而帮助企业完成大数据改造。本次分享将从Hadoop入门开始,逐步掌握大数据核心技术,并将这些技术应用到实战中,以实现大数据计算系统的优化。
课程收益
1. 全面了解Hadoop的原理;
2. 掌握Hadoop的实践应用;
3. 掌握Hadoop大数据平台架构与的实际应用。
受众人群
大数据爱好者、程序员、数据分析师,项目经理和对已经使用或对hadoop感兴趣的人员。
课程时长
2天(12H)
课程大纲
课程主题 | 课程内容 |
Hadoop生态系统概述
| 1. 分布式文件系统HDFS 2. 分布式计算MapReduce 3. 分布式资源管理Yarn 4. 大数据SQL分析引擎Hive 5. 分布式机器学习与数据挖掘Mahout 6. NoSQL引擎HBase 7. 分布式一致性框架ZooKeeper 8. 高性能大数据引擎Spark |
HDFS原理与应用实践
| 1. HDFS高可用可伸缩架构原理分析 2. HDFS配置与部署实践 3. HDFS API编程实践 |
MapReduce原理与应用实践
| 1. MapReduce编程模型与案例分析 2. MapReduce核心组件分析 3. MapReduce计算过程分析 4. MapReduce用户扩展接口编程实践 5. MapReduce部署管理实践 6. MapReduce配置优化与案例分析 |
Hive原理与应用实践
| 1. SQL转换MapReduce原理分析 2. Hive核心组件与处理流程分析 3. Hive部署管理实践 4. 大数据在线分析Hive应用实践 5. Hive SQL优化与配置优化 |
Spark原理与实践
| 1. Spark编程模型及部署模型 2. Spark运行原理及调度机制 3. Spark性能优化及最佳实践 |
Hadoop周边产品讨论
| 1. Hadoop基准测试工具Hibench 2. Hadoop性能测试工具HiTune 3. Hadoop性能分析工具Dew |
Hadoop大数据平台架构
| 1. 阿里巴巴大数据平台架构分析 2. 腾讯大数据平台架构分析 3. 百度大数据平台架构分析 |
数据驱动:大数据应用实践
| 1. 用户行为数据打点与采集系统架构 2. 漏斗图与数据分析案例分析 3. 逻辑回归与金融风控案例分析 4. 聚类算法在地理位置分析中的应用 |
区块链与大数据技术
| 1. 区块链起源及其核心架构 2. 区块链数据存储与检索实现 3. 区块链数据处理的缺陷与改进 |
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员
Gavin Liu
百林哲咨询(北京)有限公司专家团队成员