课程简介
当前数据和计算实时化是整个业界的趋势,自然的证明了可以产生极大的业务价值。在实时计算方向,Flink 为事实标准,也广为业界采用。为了支持丰富的业务,Flink 引擎的优化对大规模应用是不可或缺的。业界上主流趋势为流批一体,Iceberg 作为数据湖存储的事实标准被广泛用于流批一体的建设。尤其伴随越来越多的业务接入实时数据,已经采用实时数据的业务也在将更多的场景迁移到实时计算上,在降本增效的背景下,资源持续紧张已经成为常态,在这种情况下,业务特别是高优业务要求的稳定性成为一个日益严重的挑战。
基于上述背景,我们认为应该充分跟随业界的技术趋势,并结合B站的实时计算的现实和环境,从业界引入新的技术和架构设计,并充分吸收,来解决业务面临的痛点,充分发挥基础架构对业务的支撑作用。
本次分享将结合Flink 引擎建设、基于 Iceberg 的流批一体建设、稳定性保障建设等方面,帮助大数据从业者深入了解和洞悉计算实时化的最新突破和研究,为业界的实时计算方向和技术发展提供一定的参考。
课程收益
1、帮助学员掌握当前实时计算体系架构与落地方法
2、帮助学员洞悉 Flink 引擎建设、流批一体实践和稳定性建设方面的技术细节。
3、帮助学员了解当前云原生(Flink on Kubernetes)领域的探索,为技术选型与架构升级提供前瞻性指导
受众人群
大数据开发工程师、运维工程师、数据架构师、数据分析师、数据科学家及相关技术专家、管理者,以及其他对流批一体架构感兴趣的人员
课程周期
0.5天(3H)
课程大纲
1、B 站实时计算介绍
2、实时计算痛点和需求分析
3、B站Flink 引擎维护和优化实践
4、B站流批一体建设实践
5、B站实时计算稳定性建设实践
6、未来规划
7、Q&A