简介
本大数据课程较少讲解概念和理念,而是直接围绕“大数据存储、大数据计算、大数据挖掘”三大核心技术实现,以及金融行业落地场景为主要内容提纲展开,请课程学员对大数据背景理论有初步学习了解。本系列课程都是偏实战落地,课程学员需要在课程上做好动手准备。
时长:
1天(6H)
受众人群
大数据爱好者、软件开发工程师、数据库开发人员、数据分析师、网络后台开发人员、运维人员、项目经理和对大数据内容感兴趣并想提升的人员。
分享提纲
主要讲解大数据存储的技术架构原理和实践:聚焦业界,并重点剖析分布式缓存、分布式文件存储、k/v存储,一般互联网企业的分布式存储系统都是个大平台,系统复杂、代码庞大,而且只适合公司的业务,工程师很难下载安装到自己的电脑里学习和吃透。本课程从作者多年实战经验出发,对分布式存储技术进行了大量归纳和总结,并动手搭建分布式存储环境,用最基本的程序实现分布式存储功能,你会感慨原来分布式存储可以如此简单的实现,如此轻松的上手...
(一) 分布式缓存架构和实现 | 1、小型网站或企业应用的缓存实现架构 2、大型分布式缓存系统实现过程 3、一致性哈希算法的原理、改进和实现 4、解决任意扩容的问题 5、解决扩容后数据均匀的问题 6、分布式session的架构设计和实现 7、按日期取模无迁移扩容算法 8、相关架构探讨(需求、运维、故障、优化等) |
(二) 分布式文件系统架构和实现 | 1、简化的分布式文件系统架构 2、如何设计和利用集群分布式文件解决计算数据存储问题 3、访问集群文件根目录 4、访问和操作远程文件(动手) 5、集群内文件复制和并行复制(动手) 6、读写远程文件(动手) 7、解析远程文件(动手) 8、并行读写远程文件(动手) 9、批量并行读写远程文件和事务补偿处理(动手) 10、相关架构探讨(需求、运维、故障、优化等) |
(三) 分布式k/v数据库存储技术的变革 | 数据库作为企业信息系统的最基础软件,面临着分布式存储、nosql、k/v、并行数据库等创新技术的冲击,如何实现百万吞吐量的数据库帮助加速大数据的计算分析和实时查询。 1、从关系数据库架构到k/v数据库架构 2、缓存和持久存储在越来越接近 3、kv nosql数据库和文档nosql数据库 4、redis架构分析 5、Aerospike+SSD持久化架构分析 6、淘宝Tair架构分析 7、LevelDB架构分析 8、Tokyo Cabinet架构分析 9、KyotoCabinet架构分析 10、CouchDB&Membase&Couchbase架构分析 11、百万吞吐量的新型并行数据库CoolHash架构 12、动手体验(易用性、功能、性能) 13、相关架构探讨(需求、运维、故障、优化等) |
Nathan Mu
百林哲咨询(北京)有限公司专家团队成员
Nathan Mu
百林哲咨询(北京)有限公司专家团队成员
Nathan Mu
百林哲咨询(北京)有限公司专家团队成员
Nathan Mu
百林哲咨询(北京)有限公司专家团队成员
Nathan Mu
百林哲咨询(北京)有限公司专家团队成员