大数据落地核心技术系列课程之大数据计算

Nathan Mu 查看讲师

百林哲咨询（北京）有限公司专家团队成员

曾任国内大型通信企业中间件首席架构师，主要负责中间件和大数据，前淘宝高级专家，曾任国内大型软件公司总体架构部SOA架构师，负责设计ESB。在Java技术领域从业十多年，撰写过多款开源软件。

浏览：4245次

详情 DETAILS

简介

本大数据课程较少讲解概念和理念，而是直接围绕“大数据存储、大数据计算、大数据挖掘”三大核心技术实现，以及金融行业落地场景为主要内容提纲展开，请课程学员对大数据背景理论有初步学习了解。本系列课程都是偏实战落地，课程学员需要在课程上做好动手准备。

课程时长：

1天（6H）

受众人群

大数据爱好者、软件开发工程师、数据库开发人员、数据分析师、网络后台开发人员、运维人员、项目经理和对大数据内容感兴趣并想提升的人员。

分享提纲

主要讲解大数据计算的技术架构原理和实践：分布式计算是大数据分析应用最广泛最基础的核心技术，本课程聚焦分布式并行计算（map/reduce）、实时流计算、内存计算、BSP计算等架构和落地实现，动手掌握分布式计算设计思想，并穿插金融行业应用案例。

一、分布式技术体系概述	1.分布式计算、并行计算、云计算、大数据概述 2.分布式产品hadoop、zookeeper、hbase概述
二、分布式并行计算原理和设计	1、最初想到的master-slave结构 2、“包工头-职介所-手工仓库-工人”简化模式 3、基于消息中枢的计算模式 4、基于网状直接交互的计算模式 5、并行结合串行模式 6、批量多阶段处理模式 7、计算集群模式和兼容遗留计算系统 8、工人计算的服务化模式 9、storm流处理计算架构解析 10、简化的实时流处理计算模式 11、跟hadoop map/reduce的区别 12、初级应用：动手跑一个基本例子（动手） 13、中级应用：计算节点互相交互的完整例子（动手） 14、高级应用：使用并行计算大幅提升算法效率例子（动手） 15、相关架构探讨（需求、运维、故障、优化等）
三、分布式协调原理和设计	1、协调架构原理简介 2、权限机制 3、相对于zookeeper的区别 4、与paxos算法的区别 5、实践应用：领导者选举和应用（动手） 6、统一配置管理（动手） 7、集群管理（动手） 8、分布式锁（动手） 9、相关架构探讨（需求、运维、故障、优化等）
四、分布式消息队列的实现	1、jms的两种经典模式 2、如何实现发送接收的队列模式 3、如何实现主题订阅模式