课程简介

Small VLM的核心命题是在大幅压缩参数量的前提下，保留企业场景所需的多模态理解能力。当前的技术路径主要围绕架构轻量化、量化与推理优化、视频理解的专门化设计。Small VLM的工程实践也正在形成一套可复用的方法论，核心是“用小数据、小算力、短周期完成从通用到专用的转化”。

 视频理解能力的突破正在推动Small VLM从“单点工具”向“业务基模”演进，这一路径包括任务级嵌入、流程级整合、业务基模的形成。尤其是随着多模态模型进入真实业务，仅凭单项任务指标，难以判断模型是否具备应用价值。Small VLM还需同时面对模型规模、视觉信息处理、推理时延和部署成本的约束。

 本次分享以视频异常理解（VAD）和视频时空定位（STVG）两项专项研究为案例，将解析高难度视频任务中积累的数据构造、训练和评测经验；重点分享Small VLM（SVLM）业务基模的建设实践，围绕图片、视频和文档等输入，讨论Grounding、OCR、多模态问答与Agentic能力的组织方式，以及CPT、SFT、数据配比和分层评测等关键问题，并结合业务场景说明模型落地时需要关注的效果、时延、资源占用和系统协同。

 课程收益

目标：

1、剖析VAD、STVG与Small VLM的不同定位，以及专项研究如何为业务基模提供数据、训练和评测方面的依据。

2、围绕能力定义、数据组织、训练策略、评测设计和工程约束，给出判断Small VLM业务可行性的思路。

 成功要点：

1、VAD和STVG等高难度视频任务，可以检验模型是否真正利用视觉证据、理解时间关系和空间位置。要得到可信结论，任务定义、数据质量和评测方法必须与目标能力相匹配。

2、SVLM训练中，数据质量、任务配比、CPT与SFT的职责划分，以及强化学习、在线蒸馏等后训练方法，都要结合目标能力验证。简单扩大数据量或模型规模，未必能解决基础能力问题。

3、模型进入业务系统后，仍需验证私有数据适配、推理时延、资源占用、跨芯片推理适配性，以及面向OCR、Gounding和Agent等应用场景进行改造。

 启示：

1、专项研究要服务更多业务场景，数据、训练和评测经验需要一并沉淀并验证。

2、业务基模的任务和数据应围绕可复用能力组织，并根据应用场景确定模型与业务系统的分工。

3、Small VLM的方案选择应同时考察模型效果和工程成本，评测基准结果还需要结合公开Benchmark与业务验证集。

 受众人群

AI科学家、大模型研究员和技术负责人、资深算法专家、CTO、Loop技术开发应用人员、本体论研究者、GUI系统研发工程师、智能体Agent架构师以及其他对Agentic感兴趣的从业者。

课程周期

    0.5天（3H） 

课程大纲