简介
当前,我国已经进入大数据时代,在这样的时代背景下,Hadoop的应用也逐渐深入,正在从互联网企业,逐渐拓展到电信,金融,政府,医疗这些传统行业。目前Hadoop应用场景已广泛应用于日志存储、查询和非结构化数据处理等大数据应用领域,随着Hadoop技术的不断成熟以及生态系统相关产品的完善,包括Hadoop对SQL不断加强的支持,以及主流商业软件厂商对Hadoop支持的不断增强,必定会带动Hadoop渗透到越来越多的应用场景中。2016年是中国大数据的应用落地年,越来越多的行业用户开始重视并启动大数据相关的项目。而在大数据领域的众多技术中,最受关注的是衍生于开源平台的Hadoop 生态系统。Hadoop 从2006年诞生至今已经超8年时间。2016年,整个生态系统变得比以往更加丰富,无论是在开源领域,商业软件厂商或是硬件厂商,都开始推出基于Hadoop的相关产品。Hadoop之所以受到如此的关注,主要原因在于它支持用户在低价的通用硬件平台上实现对大数据集的处理和分析,在某种程度上替代了传统数据处理所需的昂贵的硬件设备和商业软件。本课程将分别从理论基础知识,系统搭建以及应用案例三方面对Hadoop进行介绍。本课程采用循序渐进的课程讲授方法,首先讲解Hadoop系统基础知识,概念及架构,之后讲解Hadoop实战技巧,最后详尽地介绍Hadoop经典案例,使培训者从概念到实战,均会有收获和提高。
目标
本课程将为大家全面而又深入的介绍Hadoop平台的构建流程,涉及Hadoop系统基础知识,概念及架构, Hadoop实战技巧,Hadoop经典案例等。
通过本课程实践,帮助学员对Hadoop生态系统有一个清晰明了的认识;理解Hadoop系统适用的场景;掌握Hadoop等初 中级应用开发技能;搭建稳定可靠的Hadoop集群,满足生产环境的标准;了解和清楚大数据应用的几个行业中的经典案例。
课程时长
3天(18H)
受众人群
各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人,效果最佳。
学员基础
学员学习本课程应具备下列基础知识:
1)了解Java语言(Scala语言会作为课程内容进行介绍);
2)了解Linux系统.
分享提纲
时间 | 主题 | 授课内容 |
第一天 (大数据架构基础) | 大数据架构概述 | 1.大数据层级结构 介绍大数据系统基本架构与流程 2.Hadoop生态系统概述以及版本演化 概要介绍Hadoop生态系统及其版本演化历史,并给出hadoop版本选择建议。 3.Spark生态系统概述 概要介绍Spark生态系统及其特点,并与Hadoop对比 |
数据收集系统Flume与Sqoop | 介绍如何使用flume和sqoop两个系统将外部流式数据(比如网站日志,用户行为数据等)、关系型数据库(比如MySQL、Oracle等)中的数据导入Hadoop中进行分析和挖掘 | |
Hadoop环境搭建(上机操作) | 设计搭建搭建HDFS, MapReduce和YARN等系统的环境 | |
第二天 (分布式存储和资源管理) | 大数据存储系统HDFS与HBase | 1.HDFS 2.0 原理、特性与基本架构 2.理论:介绍HDFS 2.0原理与架构,并与HDFS 1.0进行对比。介绍HDFS 2.0新特性,包括快照、缓存、异构存储架构等 3.实践:如何使用HDFS 5.HBase原理,基本架构与案例分析 6.理论:介绍HBase应用场景、原理和架构,介绍几个HBase典型应用案例,包括互联网应用案例和银行应用案例。 7.实践:如何使用HBase |
资源管理和调度系统 | 理论:介绍 YARN应用场景、基本架构与资源调度 实践:编写运行在YARN上的应用程序 | |
第三天 (分布式计算) | MapReduce 基本原理与架构,编程实践(涉及多语言编程) | 理论:介绍计算框架MapReduce基本原理与架构 实践:手把手介绍如何用java、C++、php等语言编写MapReduce程序 |
Spark计算框架 | 理论:介绍Spark背景,使用以及应用案例 实践:使用spark进行数据分析 | |
Hadoop与Spark案例分析 | 介绍两个实际应用案例,分别是互联网日志分析系统和电子商务商品推荐系统 |
Semon Dong
百林哲咨询(北京)有限公司专家团队成员
Semon Dong
百林哲咨询(北京)有限公司专家团队成员
Semon Dong
百林哲咨询(北京)有限公司专家团队成员
Semon Dong
百林哲咨询(北京)有限公司专家团队成员
Semon Dong
百林哲咨询(北京)有限公司专家团队成员
Semon Dong
百林哲咨询(北京)有限公司专家团队成员
Semon Dong
百林哲咨询(北京)有限公司专家团队成员