课程简介
随着国产算力的发展,算力集群的从单一的 NVIDIA 设备逐步走向有更多不同国产厂商设备构成的异构算力集群,异构算力的管理这个问题逐步浮出水面。HAMi 在易用性和管理能力上取得了一个较好的平衡,但是受限于 Kubernetes 的 Device Plugin 本身的缺陷,调度性能和精细化分配的能力面临瓶颈。
然而,随着 Kubernetes v1.34 将 Dynamic Resource Allocation(DRA) 特性正式推进至 GA,集群设备资源管理从以节点为中心的分配模型,逐步演进为以资源对象为核心的声明式管理模式,相比传统 Device Plugin 接口仅能暴露简单容量信息,DRA 通过引入 ResourceClaim 使设备资源能够在 Pod 创建之前完成表达与约束,为 GPU 等复杂硬件资源的精细化调度提供了新的基础能力。
HAMi-DRA 作为 HAMi 社区在 DRA 方向上的最新实践,它在不牺牲核心调度能力的前提下,将现有 GPU 虚拟化调度体系平滑迁移至 DRA 资源模型。同时,结合 HAMi-DRA 提供的 MCP 服务器,又降低了在 DRA 模式之下异构算力的维护成本。从范式的实践结果来看 HAMi-DRA 在调度性能和精细化管理方面带来了显著的提升。
本次分享将从 Kubernetes 设备资源模型演进的视角出发,向与会者剖析HAMi社区在异构设备管理的面临的技术挑战和实践,并且详细解析 HAMi-DRA 的整体架构设计与关键实现细节,展示基于 DRA 和 MCP 构建面向 AI 工作负载的可扩展异构算力调度方案,以此为业界展示落地 HAMi-DRA 的过程中全新管理范式、开源社区遇到的难题。
课程收益
目标:
1.学习最新 Kubernetes DRA 相关方法实践;
2.了解 DRA Driver 的实现原理和技术难点;
3.洞悉DRA 给 AI 原生工作负载带来的价值。
成功要点:
借助 DRA 所带来的全新的设备资源描述能力,能够实现多维度的资源建模,显著提升异构算力管理的精细度和调度能力,并结合 MCP提供的大模型结合能力有效降低 DRA 的学习和集群的维护成本。
启示:
1. 积极拥抱上游社区的新方案有助于享受到新的技术红利,有利于开源社区的发展;
2. 结合大模型的基础能力,能有效降低异构集群的维护成本,版加速技术迭代。
受众人群
系统研发专家、工程师、技术专家、架构师、开发者、开源领域建设者、CTO、算法工程师、AI工程师以及其他对系统研发、算力感兴趣的从业者。
课程周期
0.5天(3H)
课程大纲
课程模块 | 授课内容 |
一、异构算力的背景、动机 | 1、异构设备管理的挑战 2、传统 Device Plugin 的局限性 |
二、破解HAMi 的难题 | 1、HAMi 设计思路和关键实现 2、HAMi 的问题和挑战 |
三、Kubernetes DRA 特性 | 1、DRA API 2、分享Consumable Capacity 特性 |
四、HAMi-DRA 设计和实践 | 1、整体架构和设计理念 2、HAMi-DRA 的落地挑战 3、基于 HAMi-DRA 的 GPU 调度方案 |
五、HAMi-DRA 的 MCP Server 实现方案 | |
六、总结与展望 | 1、HAMi-DRA 后续规划 2、多个 DRA Driver 联动支持 |
京ICP备2022035414号-1