课程简介

随着微服务、容器化和分布式架构普及，系统调用链路日益复杂，故障影响范围从单个服务扩展到数据库、中间件、网络、客户端及最终用户。传统故障处理高度依赖人工判断与沟通：拉群慢、问题分析效率低、故障处理滞后、复盘纯人工整理，难以应对复杂链路下的快速恢复诉求。

作为 vivo 监控与运维研发团队，我们围绕故障处理全流程构建了自动化闭环：异常检测 → 告警 → 问题合并（同源、同因）→ RCA（单个告警、合并事件）→ 影响分析 → 圈定处理人 → 快速召集/处理 → 自动复盘 → 案例沉淀。其中 RCA Agent 是闭环的核心智能单元。

本次分享聚焦其设计与实现：以算法为确定性基础，以 Agent 为协同执行单元，以 OTEL 原生观测数据、端侧拨测和业务资产为分析上下文，构建从服务端到端侧的根因分析闭环；展示如何将 RCA 从"发现服务异常"推进到"定位资源和代码根因"，再延伸到"验证端侧影响和故障恢复"，并打通从告警、RCA 到 处理恢复的智能排障路径，探索 Agentic AIOps 在复杂生产环境中的落地方法。

课程收益

目标：

1、理解故障处理全流程自动化闭环方法，了解从异常检测、问题合并、根因分析、影响分析到自动复盘、案例沉淀的端到端闭环设计，破解人工拉群、分析低效、处理滞后、复盘人工的痛点。

2、掌握服务端到端侧的 RCA 闭环方法，了解通过服务端分析、端侧拨测和恢复验证协同判断故障影响，避免只关注服务端指标而忽略真实用户体验。

3、掌握 OTEL 原生数据驱动的深度根因定位方法，理解利用 SQL、HTTP、JVM、连接池、异常堆栈和火焰图等资源级证据，将 RCA 从服务定位深入到接口、资源和代码定位，并打通到 AI Coding。

4、了解对抗噪声和大模型幻觉的工程化方法，掌握多维异常检测、精准取数、数据压缩等工程化手段，控制输入数据范围，提高 RCA 结论的准确性、稳定性和可解释性。

5、掌握面向生产环境的 Agent 资产与评价体系建设方法，了解业务资产体系、通用 Agent + 业务经验双轨模式，以及 Benchmark 评价体系如何保证 RCA Agent 可验证、可持续演进。

成功要点：

1、以多 Agent 协同完成从告警到知识库沉淀的端到端闭环：通过服务端 RCA Agent、端侧拨测 Agent、资源分析 Agent、变更分析 Agent、代码定位 Agent 和OnCall Agent 分工协作，完成从异常发现到恢复确认的完整流程。

2、以算法能力确定分析基础：通过突变检测、多维异常分析和拓扑分析，提前确定异常范围和关键问题，并对同源、同因告警进行合并，减少 Agent 在海量数据中的无效探索。

3、以 OTEL 原生数据补齐关键证据：采集 SQL、HTTP、JVM、连接池、异常堆栈等数据，使 Agent 能够基于多维证据建立因果链，而不是停留在"下游服务变慢"等泛化结论。

4、以精准取数和数据压缩控制分析噪声：围绕具体问题限定服务、接口、时间窗口和资源范围，对指标、日志和 Span 进行聚合、分类和采样，只向 Agent 提供能够验证根因的关键信息。

5、以业务资产提升 Agent 理解能力：将语义标准库、CMDB 静态资源、链路动态拓扑、指标日志和变更事件统一组织，采用通用 Agent + 业务经验双轨模式，为 Agent 提供完整业务上下文。

6、以 Benchmark 和反馈机制保证能力可验证：建立标准故障场景、标准根因和关键证据，持续评估根因准确率、关键证据命中率、幻觉率、端侧验证成功率和代码定位命中率，并通过线上反馈推动持续迭代。

启示：

1、RCA Agent 建设不应简单理解为"接入大模型、增加几个工具"，而应沿着确定性能力与智能协同逐步演进。补齐服务端和端侧的观测数据，建立统一的语义、拓扑和业务资产基础；其次，依托异常检测、问题合并、拓扑分析等算法能力确定问题范围，减少大模型在海量数据中的盲目探索。

2、通过 OTEL 原生证据、精准取数、多 Agent 协同和 Benchmark 评价，将大模型能力嵌入故障分析、影响判断和恢复验证流程，并沉淀案例反哺迭代。

3、从观测数据到算法分析，再到 Agent 协同和闭环验证的渐进路径，能够兼顾分析准确性、工程可控性和建设投入，推动 AIOps 从服务端告警分析逐步走向端到端、资源级和代码级的智能排障。

受众人群

运维工程师，软件研发开发者，DevOps负责人，SRE负责人，AIOps负责人，架构师，资深研发工程师以及其他对运维感兴趣的从业者。

课程周期

    0.5天（3H） 

课程大纲