课程简介
企业数据量增长和降本增效的背景下,构建稳定高效和智能化的离线计算引擎已成为大数据基础设施的核心竞争力。云原生、慢任务的根因诊断和优化,正成为离线引擎发展的关键挑战和共同趋势。面对上述业务和趋势带来的挑战,企业应意识到,在实践中,SQL Shuffle的性能和稳定性瓶颈制约云原生落地,慢任务诊断高度依赖专家经验并且效率低下。
因此,企业选择深度参与开源生态和自主创新的策略,一方面,参与社区Apache Uniffle项目的开发,主导和贡献了其中的Tez模块代码,推动高性能Remote Shuffle服务的成熟与落地,为云原生落地扫清关键障碍。另一方面,自主研发智能诊断系统,彻底变革传统依赖人工的低效诊断模式,在夜间核心任务OnCall、白天每日止血、日常用户答疑等场景显著节省人力成本并提升运维效率。这些都代表了企业在解决行业共性痛点上的深度思考和落地实践。
本次分享企业在离线引擎发展历程中,Remote Shuffle的设计理念和落地实践,自动诊断的核心技术和最佳实践,为同行提供可借鉴的落地经验和方法论。
课程收益
1、帮助学员了解离线引擎的发展历程,以及期间遇到的痛点和解决方案。
2、帮助学员了解Remote Shuffle在离线引擎的落地,以及技术难点和技术细节。
3、帮助学员了解AI与自动诊断的结合和落地实践,以及方案的思考和AI使用场景
受众人群
大数据技术开发者、架构师、运维工程师、数据分析师、业务决策者及技术管理者以及其他对离线引擎架构感兴趣的人员
课程周期
0.5天(3H)
课程大纲
1、业务背景
1)分享货拉拉大数据和离线引擎框架
2、建设实践一:Remote Shuffle Service
1)解析项目背景
2) 分享建设过程:和Apache Uniffle社区共建、代码开发
3、建设实践二:自动诊断
1) 分享项目背景和痛点
2)分享项目自研过程、架构等技术细节(和AI结合)
3)分享项目上线收益和业务价值,供同行参考引擎演进方向。
4、QA