课程简介

多模态大模型已经具备较强的图文理解能力，但进入真实网页环境后，仅能识别“页面是什么”还远远不够：模型还要准确理解控件、属性、空间关系与页面状态，并在多步操作中持续判断动作结果。结合在细粒度图文对齐、开放词汇目标检测和大模型目标检测方面的研究积累。

 实际研发中，GUI Agent 最难的不是点中一个按钮，而是任务走了十几二十步以后还能记住目标。页面不符合预期时，它要能发现问题、调整策略，必要时交给人处理；企业内部的流程规则，也需要通过具体样例告诉它。

 本次分享以 VisFlow 浏览器智能体典型案例，分享以视觉理解连接无 API 或难改造的业务系统，通过人工演示与样例复用补充企业私有流程知识，以及探究长流程执行中处理定位、规划、反馈、异常和安全控制。从“看懂界面”走向“学会流程、自主完成任务”，总结 GUI Agent 的关键技术路径、真实落地经验与能力边界。

 课程收益

目标：

1、理解 GUI Agent 从界面感知到任务完成的核心技术链路。

2、了解如何通过人工演示与样例复用，让浏览器智能体学习企业私有流程。

3、获得长流程任务在稳定性、安全控制和人机协同方面的实践经验。

 成功要点：

1、VisFlow 这类多模态浏览器 Agent 的价值，在于让 AI 从“回答问题”走向“实际操作”，像人一样理解网页并完成点击、输入和跳转，为没有 API 或难以改造的系统提供新的自动化方式。

2、GUI Agent 正在改变传统自动化对固定脚本和系统接口的依赖。VisFlow 通过视觉理解、人工演示和样例复用，把企业已有的操作经验转成可供 Agent 参考的流程样例，减少重复开发和维护脚本的成本。

3、企业不必一开始就追求所有流程完全自动化，可以先从重复度高、规则较清楚的任务做起，在关键环节保留人工确认，再逐步扩展到更长、更复杂的业务流程。

 启示：

1、从“固定规则”到“示范学习”，企业可以把员工已经跑通的操作流程录制成样例，让 VisFlow 在处理相似任务时参考，不必为每套系统重新开发接口和脚本。

2、从“辅助操作”到“可控自主”，浏览器 Agent 可以自主规划并执行任务，同时在关键步骤保留人工确认；VisFlow 支持自托管部署，便于企业兼顾数据安全、系统权限和使用成本。

 受众人群

AI科学家、大模型研究员和技术负责人、资深算法专家、CTO、Loop技术开发应用人员、本体论研究者、GUI系统研发工程师、智能体Agent架构师以及其他对Agentic感兴趣的从业者。

课程周期

    0.5天（3H） 

课程大纲