课程简介

随着 Agent 和 Skill 在零售等复杂业务场景中的应用不断增加，企业关注点正从“能否完成一次演示”转向“能否稳定、可靠且安全地完成真实任务”。

多数实践中，人工试用覆盖有限，线上反馈发现滞后；同时，路由误触发、参数处理异常、工具调用失败、结果不完整与权限风险等问题，难以通过单一模型分数或传统自动化测试有效衡量。

本次分享将结合业务智能体质量治理实践，围绕任务交付构建 Agent + Skill 分级评测体系，以可用性门槛保障发布底线，以结果完整性、响应体验和性能效率衡量使用质量；通过确定性断言与 LLM Judge 协同提升评测可信度，并利用 pass^k、置信度和人机一致性校准处理智能体的随机性。进一步表现从 Skill 规格、参数定义、近邻能力与线上日志自动生产评测数据，并通过数据集覆盖检查和 Badcase 回流形成持续优化闭环。   

课程收益

目标：

1、理解如何以任务交付而非单一模型分数，衡量 Agent 与 Skill 的真实质量。

2、掌握从评测器校准、评测数据集准出到 Badcase 回流的关键方法。

3、了解如何将评测能力嵌入业务智能体的发布准入与持续治理流程。

 成功要点：

1、以端到端任务交付作为核心评测目标，将路由、工具调用、结果完整性和安全边界纳入统一质量体系。

2、坚持确定性断言优先、LLM Judge 兜底，兼顾评测的可解释性与复杂业务场景的语义判断。

3、通过自动生成用例、数据集准出检查和 Badcase 回流，将评测从一次性验证升级为持续演进的质量闭环。

 启示：

1、企业落地 Agent 与 Skill，不能只关注模型“能不能回答”，更要建立覆盖任务交付、安全边界与用户体验的质量评测机制。

2、将评测数据和线上真实问题持续沉淀为回归资产，才能让智能体从一次可用走向稳定、可信、可持续优化。

 受众人群

软件研发负责人，研发管理负责人，运维负责人，DevOps负责人，测试负责人，工程效能负责人，软件架构师，资深研发工程师以及其他对测试感兴趣的从业者。

课程周期

    0.5天（3H） 

课程大纲