大数据的分布式存储系统

Maw li 查看讲师

百林哲咨询（北京）有限公司专家团队成员

具备十余年分布式数据系统、云计算技术与产品研发和交付经验。十多年来坚持参与研发一线工作，技术功底深厚，产业视野宽广。

浏览：4775次

详情 DETAILS

课程简介

大数据已经成为当今技术革新的一大发展趋势。在大数据时代，数据呈指数级增长，催生了多种分布式存储工具，并在组织中承担了愈发重要的职责，分布式系统就是为了处理更多数据而存在的。大型网站常常需要处理海量数据，单台计算机往往无法提供足够的内存空间，可以对这些数据进行分布式存储。分布式存储就是将用户需要存储的数据，存储到不同的存储服务器中，利用多台存储服务器分担存储压力，将这些分散的存储空间，作为一个虚拟的数据存储设备，当用户想要获取数据时，按照规则把数据从对应的磁盘空间中取出来。

课程收益

1、全面学习了解分布式存储系统的基本概念及基础技术；

2、通过案例分析剖析GFS与HDFS；

3、掌握 OpenStack Swift的原理与特点；

4、掌握分布式存储技术发展新动向和趋势 OpenStack Swift。

受众人群

大数据爱好者、软件开发工程师、数据库开发人员、数据分析师、网络后台开发人员、运维人员、项目经理和对大数据内容感兴趣并想提升的人员。

课程周期

1-2天（6-12H）

课程大纲

课程主题	课程内容
1. 分布式存储系统概述	1.1 分布式系统的概念 1.2 存储系统的技术基础 1.3 大数据存储的需求以及传统存储架构的瓶颈 1.4 分布式系统的硬件和软件
2. 大数据集（超大文件）存储	2.1 GFS与HDFS的由来与相互关系 2.2 大数据集存储需求分析 2.3 GFS/HDFS的架构剖析 2.4 GFS/HDFS的可靠性保障机制 2.5 GFS/HDFS如何支持高并发 2.6 GFS/HDFS如何支持扩展 2.7 GFS/HDFS与MapReduce的结合 2.8 案例分析
3. 海量小文件存储	3.1 GFS/HDFS在海量小文件存储中遇到的问题 3.2 淘宝和京东的解决方案 3.3 一致性哈希的原理与应用 3.4 OpenStack Swift的特点 3.5 OpenStack Swift架构剖析 3.6 OpenStack Swift的一致性模型与CAP原理 3.7 OpenStack Swift的存储策略功能 3.8 案例分析
4. 分布式存储技术发展新动向和趋势	4.1 HDFS对小文件存储的优化 4.2 Swift对大文件存储和MapReduce的支持 4.3 Linux基金会Kinetic Open Storage项目 4.4 计算存储融合架构与分布式块存储 4.5 统一存储的优势、问题与选型