核心内容摘要
算法市场中的模型监控：AI应用架构师的3个工具
宇树机器人各种炫酷的表演我们都见过尤其是同王力宏跳舞那场演唱会真的很震撼。
刚刚宇树科技开源的UnifoLM-VLA-0模型则让机器人开始走进生活。
UnifoLM-VLA-0通过独特的动作分块预测与动力学约束技术让视觉-语言模型VLMs从单纯的图文理解进化为具备物理常识的具身大脑在仅使用340小时真机数据的情况下实现了通用操作的极致泛化。
转载,宇树开源新里程碑UnifoLM-VLA-0模型让机器人走进生活它利用Qwen
5-VL作为基座通过极其高效的数据策略和创新的动力学预测架构解决了传统模型手眼不协调的顽疾并在宇树G1人形机器人上实现了惊人的多任务通用能力。
从图文理解到具身大脑的进化视觉-语言模型虽然能够精准地识别出一张图片里有一个红色的苹果也能写出关于苹果的诗歌但它们缺乏物理常识。
它们不知道这个苹果有多重不知道捏起它需要多大的力气更不知道如果手滑了苹果会以什么轨迹掉落。
UnifoLM-VLA-0基于开源的Qwen
5-VL-7B使用跨机器人和通用场景的多任务数据集进行持续的预训练让模型继承了基座模型强大的语义理解能力在此基础上还生长出了对物理世界的感知力。
这种进化让机器人拥有了类似于人类的小脑直觉。
当它看到一个物体时不再仅仅是在进行语义打标而是在瞬间计算出物体的空间位置、几何形态以及潜在的交互方式。
它开始理解物体之间的空间关系明白物体在受力后的运动规律。
这就是UnifoLM-VLA-0所强调的物理常识。
这种常识的注入使得机器人不再是一个只会执行死板代码的机械臂而是一个能够感知环境、理解物理规律并做出自适应决策的智能生命体。
UnifoLM-VLA-0确立了单一策略多任务操作的高标准。
它不需要针对每一个特定的动作比如开瓶盖、叠毛巾去单独训练一个模型。
它用一个统一的大脑就能应对千变万化的生活场景。
UnifoLM-VLA-0引入了空间语义增强技术。
在传统的视觉模型中文本指令往往很难与图像中的具体像素点精确对应。
比如指令说把杯子放在桌子左上角模型可能知道什么是杯子但对桌子左上角这个几何概念的理解却很模糊。
宇树的团队通过继续预训练将文本指令与2D及3D的空间细节进行了深度融合。
这种融合让模型建立起了清晰的几何坐标系它开始能够精准地理解像素背后的三维结构从而极大地增强了空间感知和几何理解能力。
在机器人操作中仅仅知道要去哪里是不够的还需要知道怎么去以及去的过程中会发生什么。
为了让机器人动得更自然、更符合物理规律模型构建了全链路的动力学预测数据。
UnifoLM-VLA-0集成了动作分块预测Action Chunking Prediction技术并引入了前向与逆向动力学约束。
这相当于在机器人的大脑中植入了一个微型的物理引擎。
在执行动作之前模型就已经在脑海中对动作序列进行了统一建模和预演。
这种动力学建模能力让模型具备了长时序动作规划的能力。
它不仅关注当下的这一个动作还能预测这个动作会对物体产生什么样的后续影响以及接下来的动作该如何衔接。
这种对物理交互规律的深度理解使得UnifoLM-VLA-0在面对复杂任务时显得游刃有余。
通过整合2D检测与分割、任务层级分解、3D目标检测以及轨迹预测等多维度的监督信号模型实现了几何空间与语义逻辑的完美对齐让视觉信号能够顺畅地转化为精准的动作指令。
极致数据效率与空间推理能力宇树团队对开源的机器人数据集进行了系统化的清洗和精选。
在海量的数据海洋中他们最终仅保留了约340小时的高质量真机数据用于离散动作的预测训练。
这个数字在动辄万亿token的语言模型训练中显得微不足道但正是这少而精的340小时数据成为了模型掌握物理世界交互法则的关键钥匙。
通过混合使用机器人场景和通用场景的多任务数据集它在多类任务场景下展现出了显著增强的空间推理能力。
这种能力体现在模型可以进行零样本Zero-shot的复杂推理。
让我们通过几个具体的推理场景来感受这种能力这种可靠的多模态感知性能证明了UnifoLM-VLA-0已经真正具备了理解复杂物理环境的智慧。
仿真与真机实战的顶级表现宇树团队在LIBERO仿真基准上进行了严格的测试。
UnifoLM-VLA-0展现出了压倒性的优势。
UnifoLM-VLA-0在LIBERO-Object物体操作任务上达到了完美的100分在LIBERO-Spatial空间感知和LIBERO-Goal目标达成上也分别拿到了
9
0和
9
4的高分。
即便是在最考验模型长期规划能力的LIBERO-Long长序列任务中它依然保持了
9
2的超高水平最终以
9
7的平均分傲视群雄超越了包括OpenVLA、InternVLA以及π0系列在内的众多知名模型。
在宇树G1人形机器人平台上UnifoLM-VLA-0通过构建覆盖12类复杂操作任务的高质量真机数据集模型仅使用一个单一的策略网络Checkpoint就完成了对所有任务的统摄。
这12类任务涵盖了极为广泛的操作类型双臂协作整理桌面需要左右手配合理解物体的相对位置。
收纳铅笔盒这包括了拿起笔盒、放入背包、最后拉上拉链这一系列精细的连续动作。
倒药片打开药瓶盖并将药片倒入盒子这需要极高的手部稳定性和对微小力度的控制。
叠毛巾这是典型的柔性物体操作机器人需要理解毛巾的形变将其铺平并折叠成方块。
整理文具调整笔盒位置将笔和橡皮放入然后关上盒子考验的是对多种不同形状物体的适应性。
收纳乒乓球拍拿起球拍放入拍套合上盖子并拉好拉链涉及刚性物体与柔性容器的交互。
水果分类将西瓜放在粉色盘子香蕉放在黄色盘子牛油果放在绿色盘子这是对语义理解与颜色形状匹配的综合测试。
积木堆叠按照特定顺序红底、绿中、黄顶堆叠积木考验的是序列规划和精准放置。
工具归位将桌面散乱的工具放回洞洞板和杯子里的指定位置需要极高的定位精度。
擦拭污渍拿起抹布擦除桌面的液体这需要机器人根据视觉反馈动态调整擦拭的轨迹。
擦黑板拿起板擦清理黑板同样是基于视觉反馈的覆盖性操作。
桌面综合整理对桌面上杂乱的物品进行整体的分类和摆放。
在执行这些任务时UnifoLM-VLA-0展现出了极强的鲁棒性。
即便在执行过程中受到外部的人为干扰比如轻轻推一下机器人的手臂它也能迅速调整姿态继续稳定地完成任务。
这种抗干扰能力是机器人走出实验室、进入家庭服务场景的必备素质。
UnifoLM-VLA-0为具身智能的研究者提供了一个高标准的参考范本。
参考资料https://unigen-x.github.io/unifolm-vla.github.io/https://github.com/unitreerobotics/unifolm-vlahttps://huggingface.co/unitreerobotics/models