分布式系统性能优化课程
Kent Lu 查看讲师
百林哲咨询(北京)有限公司专家团队成员
是某大型营销数据技术公司副总裁。从事分布式存储架构,大数据挖掘分析相关工作13年,拥有《一种分布式文件系统及其数据访问方法》和《一种数据备份的版本管理方法及装置》发明专利。
浏览:3854次
详情 DETAILS

简介

主要通过架构优化、系统优化,实现高并发、高扩展、高性能分布式系统。具体分为五大块:

1、前端通过DNS、LVS实现负载均衡,采用Nginx、Lua、Varnish、Redis等实现高性能Web服务,主要解决无状态的服务;

2、数据库采用MySQL、ElastisSearch、HBase实现分布式数据库管理,解决有状态的服务;

3、存储采用分布式存储,其中又分为小文件和大文件存储,解决有状态的服务;

4、消息处理主要用Kafka、Flume、RabitMQ来解决;

5、计算主要用MapReduce和Spark来实现分布式计算。

目标

将会了解分布式系统的设计原理、分布式数据库的理念、分布式计算的模型;

熟悉操作系统优化与各个实践系统之间需要修改什么样的参数可以达到最优;

从架构上了解各种开源系统的整合;

对目前业界主流的分布式系统对比分析有比较深的理解,将会根据业务需求,了解为什么选择A,而不是选择系统性能更好的B;

将会学习到多个分布式系统的真实案例实践。

课程时长

2天(12H)

受众人群

对分布式系统有兴趣的开发和架构人员;

对系统调优有兴趣的系统架构师、运维负责人;

对业务与开发负责的开发主管。

课程特点/亮点

介绍分布式系统设计原理与理念

深入Linux操作系统级优化

各种开源系统的融合

采用不同系统的对比与分析,将会从文件系统、数据库、OLAP等方面比较

分析业界主流分布式系统优化实践

分享提纲

主题内容
1. 总述

1.1 分布式系统原理

1.1.1 负载均衡原理

1.1.2 分布式缓存系统

1.1.3 分布式数据库

1.1.4 分布式计算平台

1.2 操作系统概述

1.3 有状态和无状态系统设计原理

2. 开源系统介绍

2.1 负载均衡

2.1.1 DNS

2.1.2 WebService

2.2 分布式数据库

2.2.1 MySQL

2.2.2 Redis

2.2.3 NoSQL

2.3 分布式存储

2.3.1 NFS

2.3.2 HDFS

2.3.3 Lustre

2.4 消息中间件

2.4.1 Kafka

2.4.2 Flume

2.4.3 RabitMQ

2.5 分布式计算

2.5.1 MapReduce

2.5.2 Spark

2.5.3 Flink

3. 系统分析对比

3.1 文件系统

3.1.1 NFS & HDFS

3.2 计算

3.2.1 Pig& Hive

3.2.2 MapReduce& Spark

3.2.3 Spark &Flink

3.2.4 Storm & Spark Streaming

3.3 数据库

3.3.1 MySQL &HBase

3.3.2 MongoDB&HBase

3.3.3 HBase&Cassandra

3.4 OLAP

3.4.1 ElasticSearch&Pinot(Druid)

4. 案例分析

4.1 保险案例分析

4.2 电信案例分析

4.3 银行案例分析

4.4 广告案例分析

4.5 房地产案例分析

企业服务热线:400-106-2080
电话:18519192882
投诉建议邮箱:venus@bailinzhe.com
合作邮箱:service@bailinzhe.com
总部地址:
北京市-丰台区-汽车博物馆东路6号3号楼1单元902-B73(园区)
全国客户服务中心:
天津市-南开区-桂苑路15号鑫茂集团鑫茂军民园1号楼A座802-803
公众号
百林哲咨询(北京)有限公司 京ICP备2022035414号-1