课程简介

随着 Agent 应用的发展，长上下文、连续多轮交互和突发流量，对推理系统的计算效率、状态管理和资源调度提出了更高要求。如何将多品牌、多型号的算力组织成稳定、经济、可持续交付的 Token 产能，正在成为规模化推理的核心课题。

 本次分享结合商汤大装置 SenseCore 的实践，围绕“横向资源编排”与“纵向执行优化”两条主线，深入研讨统一资源画像、国产算力 Prefill 与 NVIDIA Decode 协同、KV Cache 状态交接及缓存感知路由等关键机制。结合 GLM 5.3 等代表模型的适配与混推实践，解析从模型、引擎到芯片运行时的联合优化方法，并探讨动态 P/D 资源池、面向多模态 MoE 的模块级拆分等演进方向，展示通过有效吞吐与完整资源成本评估优化价值。

 课程收益

目标：

1、理解规模化推理从单点执行优化到集群协同的技术体系，厘清模型适配、P/D 分离、KV Cache、路由与调度之间的关联，为异构算力选型和架构设计提供参考。

2、掌握面向真实业务负载的评估方法，将模型质量、首 Token 时延、逐 Token 时延、有效吞吐和资源成本纳入统一评价框架。

 成功要点：

1、按负载匹配资源。 综合计算吞吐、KV 容量、有效带宽、互联拓扑和版本兼容性，为 Prefill 与 Decode 选择适合的资源组合。

2、从请求全链路优化。 联动准入、容量预留、KV 交接和异常回收，综合比较本地缓存命中、远程拉取与冷节点重算的实际成本。

3、以可复现结果验证收益。 通过流量重放、链路观测和持续回归，在相同质量与服务目标下比较有效产能，并计入计算、网络、存储和运维成本。

 启示：

建设 Token 工厂，需要把模型执行、状态管理、资源编排和服务运营连接起来，使算力投入能够持续转化为业务可用、成本可衡量的推理服务。

 受众人群

系统研发专家、工程师、技术专家、架构师、开发者、开源领域建设者、CTO、算法工程师、AI工程师以及其他对系统研发、算力感兴趣的从业者。

课程周期

    0.5天（3H） 

课程大纲