分布式核心技术原理和实践

Nathan Mu 查看讲师

百林哲咨询（北京）有限公司专家团队成员

曾任国内大型通信企业中间件首席架构师，主要负责中间件和大数据，前淘宝高级专家，曾任国内大型软件公司总体架构部SOA架构师，负责设计ESB。在Java技术领域从业十多年，撰写过多款开源软件。

浏览：6037次

详情 DETAILS

简介

分布式技术是互联网企业最核心的技术，在大数据、云计算理念的推动下，各种分布式技术产品层出不穷。Hadoop还没学完，Storm就来了；Storm刚学会安装配置，Spark、Hama、Yarn等又一起出现了；同时国内外各大云平台厂商，如Google、亚马逊、阿里云等，还在推各自应用开发平台……要学习的东西太多了，刚学会了某个产品的安装配置与开发步骤，没多久它又过时了。这么多千姿百态的分布式技术产品背后有没有某些共性的东西呢？能否掌握背后的精髓呢，有没有可能学一反三，学一招应万招，牢牢掌握好技术的船舵而不会过时。一般互联网企业的分布式存储计算系统都是个大平台，系统复杂、代码庞大，而且只适合公司的业务，工程师很难下载安装到自己的电脑里学习和吃透。本课程从作者多年实战经验出发，对分布式核心技术进行了大量归纳和总结，涉及了分布式主要功能的方方面面，并从中抽取出一套简化的框架思想和编程API来帮助落地，你会感慨原来分布式技术可以如此简单的实现，如此轻松的上手...

目标

了解分布式技术体系——分布式计算、并行计算、云计算、分布式并行计算、分布式协调原理

通过实践案例，帮助学员简化框架思想和编程API从而助力企业分布式技术落地

课程时长

2天（12H）

受众人群

初中高级工程师，企业架构人员，数据库/存储技术人员，技术决策/解决方案人员等。

分享提纲

一、分布式技术体系概述	1.分布式计算、并行计算、云计算概述 2.分布式产品hadoop、zookeeper、hbase概述
二、分布式并行计算原理和设计	1、最初想到的master-slave结构 2、“包工头-职介所-手工仓库-工人”简化模式 3、基于消息中枢的计算模式 4、基于网状直接交互的计算模式 5、并行结合串行模式 6、批量多阶段处理模式 7、计算集群模式和兼容遗留计算系统 8、工人计算的服务化模式 9、storm流处理计算架构解析 10、简化的实时流处理计算模式 11、跟hadoop map/reduce的区别 12、初级应用：动手跑一个基本例子（动手） 13、中级应用：计算节点互相交互的完整例子（动手） 15、相关架构探讨（需求、运维、故障、优化等）
三、分布式协调原理和设计	1、协调架构原理简介 2、权限机制 3、相对于zookeeper的区别 4、与paxos算法的区别 7、实践应用：领导者选举和应用（动手） 8、相关架构探讨（需求、运维、故障、优化等）
四、分布式缓存架构和实现	1、小型网站或企业应用的缓存实现架构 2、大型分布式缓存系统实现过程 3、相关架构探讨（需求、运维、故障、优化等）
五、分布式文件系统架构和实现	1、简化的分布式文件系统架构 2、如何设计和利用集群分布式文件解决计算数据存储问题 3、访问集群文件根目录 4、访问和操作远程文件 5、集群内文件复制和并行复制 6、读写远程文件 7、解析远程文件 8、并行读写远程文件 9、批量并行读写远程文件和事务补偿处理 10、相关架构探讨（需求、运维、故障、优化等）
六、分布式k/v数据库存储技术的变革	数据库作为企业信息系统的最基础软件，面临着分布式存储、nosql、k/v、并行数据库等创新技术的冲击 1、从关系数据库架构到k/v数据库架构 2、缓存和持久存储在越来越接近 3、kv nosql数据库和文档nosql数据库 4、百万吞吐量的新型并行数据库CoolHash架构 5、动手体验（易用性、功能、性能） 6、相关架构探讨（需求、运维、故障、优化等）