iFLYTEK logo arXiv:2607.02542 · Technical Report · 2026-06-24

具身智能的下一条线：Omni 而非更大的 VLA

小白版：这篇论文在讲一种机器人 AI。它不是只会“看图听指令后动手”，而是先理解任务、想象下一步可能发生什么，再把计划变成一串动作。

Glossary First

先把黑话翻译成人话

读这篇论文前，只需要先理解下面 8 个词。后面所有英文缩写都围绕这几件事：看懂、预演、动手、考试。

VLA Vision-Language-Action

看得见、听得懂、能动手的模型。输入是画面和指令，输出是机器人动作。

像一个会看现场、听老板指令、然后伸手操作的实习生。
VLM Vision-Language Model

视觉语言模型。负责看图、读文字、理解“要做什么”。

像大脑里的理解和规划部门。
VGM Video Generation Model

视频生成/预测模型。这里重点不是拍好看的视频，而是预测动作之后画面会怎样变化。

像先在脑中预演：如果我把杯子推过去，桌面会变成什么样。
AGM Action Generation Model

动作生成模型。负责把计划翻译成机器人可以执行的一串控制动作。

像小脑和手脚协调系统。
WAM World-Action Model

世界-动作模型。重点学习“动作会如何改变世界”。

像一个物理直觉：拿起、推开、倒入后，物体会怎么移动。
Action chunk 动作片段

不是每 0.01 秒重新想一次，而是一次生成一小段连续动作。

像先说“抓住杯子并移到篮子上方”这一小段，而不是逐帧指挥每根手指。
Zero-shot 零样本泛化

模型没有专门练过这个新变化，也要直接上手完成。

像没在这间厨房训练过，也能照着指令把东西放到正确位置。
Benchmark / Success Rate 测试集 / 成功率

Benchmark 是统一考试；success rate 是任务做成的比例。

100 次任务里成功 89.6 次，就是 89.6% 成功率。
Executive Takeaway

一句话：它把“想、看未来、动手”放进同一个模型回路

89.6%

LIBERO-Plus 平均成功率

93.68%

RoboTwin 2.0 Clean

93.16%

RoboTwin 2.0 Rand

89.0%

Long-horizon Rand

事实：这里的成功率是机器人在统一考试里完成任务的比例。观点：真正值得看的是“先理解、再预演、再执行”的结构，不是单个榜单数字。

Problem Framing

VLA 和 WAM 各补一半，但都不完整

VLA：会看、会听、会动手

强在理解指令

问题：常把动作当作直接输出，较少显式预测“动作后世界会怎样变”。

WAM：懂动作如何改变世界

强在未来状态预测

问题：通常更偏未来画面预测，语言理解和长程规划支撑不足。

级联风险

先生成未来画面，再反推动作

问题：视觉预测误差会传给动作模型，接口损耗会放大。

论文方案

共享 Omni Attention

让 VLM、VGM、AGM 保持分工，同时在同一上下文中交换信息。

Architecture

Brain-Cerebellum：高层脑 + 低层小脑

小白版：VLM 负责理解，VGM 负责预演，AGM 负责动手。Omni Attention 像会议桌，让这三方同步信息。

VLM 理解指令、图像语义、空间关系与任务分解
VGM 预测未来视觉状态，补上世界动态建模
AGM 把共享上下文转成可执行 action chunk
Omni Attention 让视觉、语言、视频、动作在同一上下文交换信息
Overview of iFLYTEK-Embodied-Omni architecture
来源：arXiv source package / paper Fig. 1
Training Data

训练数据不是只靠机器人轨迹

事实：最大占比是空间推理与具身感知数据，其次才是带动作标注的机器人轨迹。

Training data composition figure
来源：arXiv source package / dataset composition figure
Progressive-to-Joint

先分训，再合训：减少异构目标互相干扰

  1. I VLM Fine-tuning 先建立具身语义、空间感知和任务规划
  2. II VGM Training 冻结 VLM，训练未来视频预测
  3. III AGM Training 冻结脑部组件，学习动作 chunk
  4. IV Joint Fine-tuning 三条能力链端到端对齐
Attention masks for different prediction modes
来源：arXiv source package / attention masks
Benchmark Console

结果切换：总榜、双环境、消融

小白版：Benchmark 是统一考试；Clean 是标准考场；Rand 是桌子、光线、位置等随机变化后的考场。

LIBERO-Plus 平均成功率

事实：iFLYTEK-Embodied-Omni 平均 89.6%，高于 ACoT 86.6% 与 CKT-WAM 86.1%。

RoboTwin 2.0

Clean 到 Rand 只降 0.52 个百分点

事实：Clean 是标准环境，Rand 是随机环境。论文报告 Clean 93.68%，Rand 93.16%。观点：环境变化后仍稳定，比只在标准环境高分更有产业含义。

RoboTwin 2.0 benchmark figure
来源：arXiv source package / RoboTwin 2.0 figure
Long-Horizon

长任务的关键：持续记住“现在做到哪一步”

事实：七个长程任务平均 Clean 88.3%，Rand 89.0%。最大优势出现在 Hang Mug，Clean/Rand 均高第二名 20 个百分点。

规划

拆分多阶段任务。

预演

预测未来视觉状态。

执行

生成 temporally consistent action chunk。

Long horizon task benchmark figure
来源：arXiv source package / long-horizon task figure
Why It Wins

三分支 MoT 的收益：平均 +3.7 个百分点

Two-branch MoT attention example
Two-branch MoT：注意力更分散
Three-branch MoT attention example
Three-branch MoT：更集中到目标物和交互区域

观点：分工不是为了模块复杂，而是为了让语义、动态、控制三类学习目标少互相污染。

Limits

读论文要看限制：模拟强，不等于真实世界已解决

事实：论文实验集中在模拟环境；真实机器人部署泛化没有被这篇论文直接验证。

事实：Three-branch MoT 同时协调 VLM、VGM、AGM，推理成本仍高。

事实：action chunk 长度是固定超参，暂不能按子目标复杂度自适应。

观点：对产业落地来说，效率、真实场景鲁棒性和可观测评测闭环，比单个榜单分数更关键。

For Qiantuwang / Creative AI

给千图的迁移：把创意工作流也拆成脑、小脑、世界模型

  • 观点：创意 AI Agent 也需要“脑-小脑”分工。规划、预演、执行不应都塞进同一个文本 Agent。
  • 观点：内容平台的下一代工作流评测，应从“回答质量”转向“多阶段任务成功率”。
  • 观点：VGM 的价值不是生成视频素材，而是让 Agent 在执行前预演结果，降低动作盲飞。
  • 观点：千图可以先在数字环境里做“创意动作空间”，再逐步映射到真实生产系统。
Sources

来源清单

注：本文页使用论文 TeX source package 中的图表素材；所有解读中「事实」来自论文与 arXiv 元数据，「观点」为 Wayne研究室解读。