课程简介

当前，各种大模型应用呈现爆发式增长，模型推理给云数据中心带来了极大的算力挑战，各类国产芯片应运而生，但彼此架构和软件各不相同，如何以同一套解决方案来同时覆盖各种国产芯片成为企业当前面临的核心痛点。此外，走出数据中心集中式服务场景，其他下沉场景与泛在智能（自动驾驶、实时翻译、VR/AR等）和数据隐私敏感场景（医疗、金融本地部署等）也逐渐走向规模化落地，推理任务如何在终端设备上高效执行成为另一个亟待解决的问题。最后，云和端并非孤立存在。只有推动云端与终端深度协同，才能构建出面向未来的新一代分布式推理系统。

 针对这一挑战，Oxygen xLLM团队深入探索了国产芯片在云端大模型推理的适配与性能优化。同时，随着边缘终端侧硬件算力的崛起，单纯依赖云端的架构正在向“轻量化端侧推理”与“异构端云协同”的下一代范式演进。通过协同云和端两侧的设备算力，可进一步提升token生产效率。

 本次分享将聚焦于Oxygen xLLM大模型推理框架在云端国产芯片的真实落地实践经验，并前瞻性地剖析端侧推理及端云异步协同的最新研究成果。旨在为业界提供一套高吞吐、低成本、安全可控的大模型泛在部署新思路。

 课程收益

目标：

1.为行业提供大模型在国产算力生态上真正“跑得通、跑得快”的系统级落地实践范本。

2.引导打破“纯云端”大模型服务的思维定势，展示利用边缘终端算力实现低成本、高并发的泛在部署。为面临算力紧缺、带宽受限的场景，提供一套提升token生产效率的异构协作方案。

 成功要点：

1.国产化适配：一套框架覆盖多种国产芯片，填补"异构芯片统一推理"空白，降低国产化部署门槛；

2.架构创新：首创服务-引擎解耦，调度与计算独立演进、协同增效；

3.性能突破：多层次流水线、自适应图模式、动态 PD 分离等关键技术，在严格 SLO 约束下显著提升吞吐与资源利用率，整体性能超越现有 SOTA 推理框架；

4.高可用保障： 全局 KV Cache 管理、分布式快速故障恢复、健康监控与自动巡检，护航大规模生产稳定运行。

 启示：

1、端云协同突破硬件物理极限，通过将推理任务拆解分流至端侧，有效缓解云端数据中心的算力赤字和带宽拥堵，解决单一云架构无法承载爆发式需求的根本矛盾。

2、实现全局算力“池化”，不再依赖单一高性能GPU，而是充分挖掘云、边、端所有闲置或低效算力，提升整体资源利用率，加速大模型推理效率。

3、对企业而言极致降本增效，可降低云端大规模基建投入和运营，同时利用端侧就近处理，显著降低推理响应延迟，提升用户体验。

 受众人群

大模型开发工程师、技术专家、架构师、中台研发人员、端云研究人员、CTO、算法工程师、AI工程师以及其他对架构感兴趣的从业者。

课程周期

    0.5天（3H） 

课程大纲