课程简介

视觉技术正经历从“看懂图像”到“理解世界”的范式跃迁。以 ViT 为代表的视觉基础模型，通过大规模预训练解决特征提取与通用表征问题。而视觉语言模型 VLM 在此基础上引入语言对齐与跨模态推理，使视觉系统不仅能描述所见，还能理解语义、回答提问、执行指令。这一演进的核心逻辑是：视觉不再孤立存在，而是与语言深度耦合，从感知走向认知。

高效训练视觉基础模型和视觉语言模型一直都是业界关注的方向，MVT 系列和LLaVA-OneVision系列正是从这个点出发给业界的参考方案。同时深入探索视频的本质结构，核心思路是摆脱均匀抽帧与暴力堆算力，利用视频Codec信号，只对真实变化建模。这样既降低训练与推理成本，又让模型真正理解时间维度上的动态语义。

本次分享聚焦自研视觉基础模型MVT系列从1.0到2.0的演进及其在LLaVA-OneVision-2.0中的核心作用。MVT以聚类判别替代对比学习构建通用视觉底座；MVT 2.0借鉴视频Codec思想，将视觉信号解耦为上下文帧与运动残差，以Codec-Stream Tokenization配合3D-RoPE实现长视频与空间推理统一建模，赋能LLaVA-OneVision-2.0在视频基准上显著领先。完整呈现从"看得清"到"看得细"再到"看得懂时间"的技术闭环。

课程收益

目标：

1、了解视觉大模型ViT和视觉语言模型VLM的训练方法和技巧；

2、掌握高效视频理解的新思路；

3、学习一套可自由复现和使用的LLaVA-OneVision系列全开源训练框架（数据、代码、编码器），利于社区可复现、可改进。

成功要点：

将视觉模型演进路线和发展思路贯穿系统，可以拥有一条降低长视频理解成本的具体技术思路，可直接评估并迁移到自身业务场景中。

启示：

MVT系列和LLaVA-OneVision系列的数据和算法说明模型效果提升不仅来源于盲目扩大数据和算力，更可以是对问题本身结构的洞察。

受众人群

AI科学家、大模型研究员和技术负责人、资深算法专家、CTO、Loop技术开发应用人员、本体论研究者、GUI系统研发工程师、智能体Agent架构师以及其他对Agentic感兴趣的从业者。

课程周期

    0.5天（3H） 

课程大纲