从生成到自愈:多模态融合驱动的 UI 自动化全链路闭环实践
James Hu 查看讲师
百林哲咨询(北京)有限公司专家团队成员
某知名运输企业资深测试工程师
浏览:20次
详情 DETAILS

课程简介

在「多端兼容 + 品牌碎片 + 周级迭代」的极端场景下,传统自动化深陷「高维护、低鲁棒、难扩展」的死局。1.8w+ 脚本规模遭遇周级迭代冲击导致维护崩塌,弹窗碎片化引发高中断,元素强依赖致使定位脆弱,人工排查导致诊断低效,加之脚本依赖人工编写致使资产沉淀难。如何打破这一困境,构建从生成到自愈的全链路闭环,成为亟待解决的核心挑战。

 为破解上述痛点,我们着力构建 AI 驱动的UI自动化全链路闭环体系。生成侧聚焦步骤降噪与视觉模型辅助,基于 AI 轨迹自动生成高质量 DSL,从源头夯实脚本健壮性;执行侧构建「截图+OCR+DOM+控件画像」多模态融合感知体系,通过弹窗智能处理与元素重定位,攻克碎片化识别难题;自愈侧创新「控件画像+五步分层诊断」机制,依托结构化决策实现步骤级精准重试,确保自愈过程可解释、可追踪、可进化,全面推动自动化测试向智能化闭环演进。

 本次分享将揭秘本企业质量团队在「生成 → 执行 → 自愈 → 迭代」闭环中的创新实践。我们将系统拆解生成侧的 DSL 自动生成突破、执行侧的多模态感知与弹窗处理落地细节,以及自愈侧的分层诊断与精准重试机制。通过真实业务场景的实战经验,为与会者展示如何以 AI 赋能测试全生命周期,提供打破传统自动化瓶颈、实现UI自动化可持续演进的可借鉴路径。

 课程收益

目标:

1、深度拆解货拉拉 UI 自动化在多模态感知及分层诊断自愈等核心环节的工程化落地细节,为行业提供可直接借鉴的实战路径与避坑指南。

2、全面输出基于 AI 执行轨迹自动生成 DSL 脚本的核心能力,为行业提供自动化资产快速复用与持续沉淀的创新思路。

 成功要点:

1、以多模态融合感知重塑UI自动化范式,打破“脚本激增、成本线性攀升”的传统魔咒,将海量脚本维护工作从“人工驱动”升级为“AI自愈”,全面实现高频迭代下的降本增效。

2、基于 AI 执行轨迹自动生成高质量自动化脚本,从源头重塑脚本生产模式,实现自动化资产的快速复用与规模化沉淀。

 启示:

AI 在测试领域的落地不能仅停留在“辅助写脚本”的单点工具层面,必须构建贯穿测试全生命周期的系统性工程保障体系,以应对规模化挑战。同时,在应用大模型强大的泛化能力时,必须结合具体业务场景进行“工程化约束”(如知识库建设、分层诊断、结构化决策),避免 AI 沦为新的黑盒,确保智能化真正可解释、可落地、可复用。

 受众人群

测试负责人,软件研发负责人,研发管理负责人,运维负责人,DevOps负责人,工程效能负责人,软件架构师,资深研发工程师以及其他对测试感兴趣的从业者。

课程周期

    0.5天(3H) 

课程大纲

课程模块

授课内容

一、背景&挑战

二、AI脚本自愈

1、五步诊断法:自愈服务机制、结构化指令

2、弹窗分析引擎:结构化弹窗库&智能处理

3、页面感知引擎:页面多模态融合分析&自愈&迭代

三、AI脚本生成

1、AI规划场景路径:AI形态用例、测试场景规划

2、AI执行轨迹降噪

3、精准操作还原

四、全链路闭环实践效果

五、未来展望


预约内训 APPLY
前往提交您的需求,我们会及时与您联系
课程推荐 COURSE
次

企业服务热线:400-106-2080
电话:18519192882
投诉建议邮箱:venus@bailinzhe.com
合作邮箱:service@bailinzhe.com
总部地址:
北京市-丰台区-汽车博物馆东路6号3号楼1单元902-B73(园区)
全国客户服务中心:
天津市-南开区-桂苑路15号鑫茂集团鑫茂军民园1号楼A座802-803
公众号
百林哲咨询(北京)有限公司 京ICP备2022035414号-1