第一天：Hadoop大数据分布式体系与框架

1.大数据分布式理论体系介绍大数据理论体系，设计大数据分布式基本构成，层次化架构等

2.大数据开源实现框架Hadoop与Spark介绍主流的大数据基础框架Hadoop和Spark，涉及他们的基本构成以及层次关系等。(涉及到的系统，数据收集层：Flume/Sqoop/Kafka，数据存储层：HDFS/HBase，资源管理层：YARN，计算引擎层：MapReduce/Saprk/Storm/Spark Streaming，数据分析层：Hive)

3.大数据分布式架构应用案例主要从应用背景和架构上进行介绍，另外一讲会更加详细介绍。

  3.1分布式日志收集和处理系统

1.分布式批处理（Batch）架构

  1.1数据收集系统Flume重点介绍Flume架构以及使用经验

  1.2分布式存储系统HDFS和HBase重点介绍HDFS和HBase架构以及实际应用经验，其中HBase将介绍两个经典案例：使用HBase构建时间序列数据库和阿里在历史账单查询方面的应用。

  1.3分布式计算引擎MapReduce与Spark重点介绍MapReduce与Spark的不同，以及技术选型和应用经验

  1.4数据分析系统Hive重点介绍Hive On MR/Tez，以及如何使用Hive构建数据仓库

2.分布式流式/实时处理（Streaming）架构

  2.1分布式消息队列Kafka重点介绍Kafka架构以及应用经验

  2.2流式计算框架Storm重点介绍Storm架构以及应用经验，以及应用案例（构建实时推荐模块）

3.1 案例1：分布式日志收集和处理系统

3.2 案例2：互联网电子商务推荐系统

第二天：分布式内存计算框架Spark

1.park基础

  1.1Spark产生原因以及优势（与MapReduce对比）

  1.2Spark基本概念（RDD/cache/ transformation/action）

  1.3Spark程序构成以及运行模式

  1.4spark程序构成，以及常见的运行模式（本地模式，分布式模式）

2.Spark程序设计实例

  2.1Spark程序设计基础

    2.1.1如何创建RDD（scala集合，HDFS文件，HBase文件等）

    2.1.2如何基于RDD进行数据处理，介绍常见的分布式算子

    2.1.3如何保存处理结果（返回到driver端，写入hdfs等）

    2.1.4广播变量与累加器

  2.2Spark程序设计实例

    2.2.1分布式Pi估算程序

    2.2.2K-means分类算法实现

1.Spark程序运行流程概述介绍Spark从提交，到调度，到最后执行完成整个过程

2.Spark内部执行流程介绍Spark程序内部的逻辑查询计划，物理查询计划，调度等几个环节

3.Spark shuffle实现介绍Spark shuffle发展史及实现逻辑

1.Spark调优思想

1.流式计算框架Spark Streaming背景，基本原理以及应用介绍Spark Streaming基础，涉及产生背景（与Storm对比），基本原理以及应用场景。

2.分布式SQL引擎SparkSQL基本原理和应用

3.分布式数据挖掘库MLlib，，重点介绍其内部的几个分类算法，聚类算法和推荐算法，包括逻辑回归，K-Means，协同过滤等