DRA + MCP:面向 AI 工作负载的异构算力调度新范式
Baker Yang 查看讲师
百林哲咨询(北京)有限公司专家团队成员
某知名决策职能企业系统研发专家
浏览:14次
详情 DETAILS

课程简介

随着国产算力的发展,算力集群的从单一的 NVIDIA 设备逐步走向有更多不同国产厂商设备构成的异构算力集群,异构算力的管理这个问题逐步浮出水面。HAMi 在易用性和管理能力上取得了一个较好的平衡,但是受限于 Kubernetes 的 Device Plugin 本身的缺陷,调度性能和精细化分配的能力面临瓶颈。

 然而,随着 Kubernetes v1.34 将 Dynamic Resource Allocation(DRA) 特性正式推进至 GA,集群设备资源管理从以节点为中心的分配模型,逐步演进为以资源对象为核心的声明式管理模式,相比传统 Device Plugin 接口仅能暴露简单容量信息,DRA 通过引入 ResourceClaim 使设备资源能够在 Pod 创建之前完成表达与约束,为 GPU 等复杂硬件资源的精细化调度提供了新的基础能力。

 HAMi-DRA 作为 HAMi 社区在 DRA 方向上的最新实践,它在不牺牲核心调度能力的前提下,将现有 GPU 虚拟化调度体系平滑迁移至 DRA 资源模型。同时,结合 HAMi-DRA 提供的 MCP 服务器,又降低了在 DRA 模式之下异构算力的维护成本。从范式的实践结果来看 HAMi-DRA 在调度性能和精细化管理方面带来了显著的提升。

 本次分享将从 Kubernetes 设备资源模型演进的视角出发,向与会者剖析HAMi社区在异构设备管理的面临的技术挑战和实践,并且详细解析 HAMi-DRA 的整体架构设计与关键实现细节,展示基于 DRA 和 MCP 构建面向 AI 工作负载的可扩展异构算力调度方案,以此为业界展示落地 HAMi-DRA 的过程中全新管理范式、开源社区遇到的难题。

课程收益

目标:

1.学习最新 Kubernetes DRA 相关方法实践;

2.了解 DRA Driver 的实现原理和技术难点;

3.洞悉DRA 给 AI 原生工作负载带来的价值。

 成功要点:

借助 DRA 所带来的全新的设备资源描述能力,能够实现多维度的资源建模,显著提升异构算力管理的精细度和调度能力,并结合 MCP提供的大模型结合能力有效降低 DRA 的学习和集群的维护成本。

 启示:

1. 积极拥抱上游社区的新方案有助于享受到新的技术红利,有利于开源社区的发展;

2. 结合大模型的基础能力,能有效降低异构集群的维护成本,版加速技术迭代。

 受众人群

系统研发专家、工程师、技术专家、架构师、开发者、开源领域建设者、CTO、算法工程师、AI工程师以及其他对系统研发、算力感兴趣的从业者。

课程周期

    0.5天(3H) 

课程大纲

课程模块

授课内容

一、异构算力的背景、动机

1、异构设备管理的挑战

2、传统 Device Plugin 的局限性

二、破解HAMi 的难题

1、HAMi 设计思路和关键实现

2、HAMi 的问题和挑战

三、Kubernetes DRA 特性

1、DRA API

2、分享Consumable Capacity 特性

四、HAMi-DRA 设计和实践

1、整体架构和设计理念

2、HAMi-DRA 的落地挑战

3、基于 HAMi-DRA 的 GPU 调度方案

五、HAMi-DRA 的 MCP Server 实现方案

六、总结与展望

1、HAMi-DRA 后续规划

2、多个 DRA Driver 联动支持


预约内训 APPLY
前往提交您的需求,我们会及时与您联系
课程推荐 COURSE
次

企业服务热线:400-106-2080
电话:18519192882
投诉建议邮箱:venus@bailinzhe.com
合作邮箱:service@bailinzhe.com
总部地址:
北京市-丰台区-汽车博物馆东路6号3号楼1单元902-B73(园区)
全国客户服务中心:
天津市-南开区-桂苑路15号鑫茂集团鑫茂军民园1号楼A座802-803
公众号
百林哲咨询(北京)有限公司 京ICP备2022035414号-1