核心内容摘要
SmolVLA效果对比：SmolVLA vs RT-2在相同抓取任务上的动作精度与延迟
开源已成为推动机器人和自动驾驶创新的重要力量。
通过提供从仿真框架到AI模型的关键基础设施英伟达正在推动协作开发加速实现更安全、更强大的自主系统。
在本月的CES展会上英伟达发布了一套全新的开放物理AI模型和框架旨在加速人形机器人、自动驾驶汽车和其他物理AI实体的开发。
这些工具覆盖了机器人开发的整个生命周期——从高保真度世界仿真和合成数据生成到云原生编排和边缘部署为开发者提供了一个模块化工具包用于构建能够在真实世界中推理、学习和行动的自主系统。
OpenUSD提供了通用框架标准化了3D数据在这些物理AI工具之间的共享方式使开发者能够构建准确的数字孪生体并在从仿真到部署的过程中无缝复用。
基于OpenUSD构建的英伟达Omniverse库为整个技术栈提供真实仿真的数据源。
英伟达物理AI技术栈的实际应用在CES 2025展会上开发者将英伟达物理AI技术栈从实验室带到了展厅展示了从重型设备和工厂助手到社交和服务机器人的各类设备。
该技术栈整合了英伟达Cosmos世界模型、英伟达Isaac技术包括全新的Isaac Lab-Arena开源框架用于策略评估、英伟达Alpamayo开放产品组合涵盖自动驾驶汽车的AI模型、仿真框架和物理AI数据集以及英伟达OSMO框架用于跨计算环境的训练编排。
卡特彼勒的Cat AI助手采用英伟达Nemotron开放模型驱动智能体AI运行在英伟达Jetson Thor边缘AI模块上将自然语言交互直接带入重型车辆驾驶室。
操作员可以通过Hey Cat式的提问获得逐步指导还可以通过语音调整安全参数。
在后台卡特彼勒使用Omniverse库构建工厂和作业现场的数字孪生体帮助仿真布局、交通模式和多机器工作流程。
这些洞察在部署到作业现场之前会反馈到设备和车队中使AI辅助操作更加安全高效。
LEM外科展示了其Dynamis机器人手术系统该系统已获FDA批准并在脊柱手术中得到常规临床应用。
新一代系统采用英伟达Jetson AGX Thor进行计算英伟达Holoscan进行实时传感器处理英伟达Isaac医疗版训练其自主机械臂。
LEM外科还使用英伟达Cosmos Transfer——一个开放的、完全可定制的世界模型支持基于物理的合成数据生成——来生成合成训练数据并使用英伟达Isaac Sim框架进行数字孪生仿真。
作为专为硬组织手术设计的双臂人形手术机器人Dynamis系统模拟人类外科医生的灵巧性能够以更高精度执行复杂的脊柱手术减轻外科医生和手术助手的体力负担。
NEURA Robotics基于完整的英伟达技术栈构建认知机器人在部署到家庭环境和工作场所之前使用Isaac Sim和Isaac Lab在基于OpenUSD的数字孪生体中训练其4NE1人形机器人和MiPA服务机器人。
该公司使用英伟达Isaac GR00T-Mimic对Isaac GR00T基础模型进行后训练。
此外NEURA Robotics正与SAP和英伟达合作将SAP的Joule智能体与其机器人集成使用Mega英伟达Omniverse蓝图在复杂、逼真的操作场景中仿真和优化机器人行为然后将这些智能体和行为部署到公司的Neuraverse生态系统以及现实世界的机器人车队中。
AgiBot使用英伟达Cosmos Predict 2作为其Genie EnvisionerGE-Sim平台的世界建模主干——使该平台能够生成基于强大视觉和物理先验的动作条件视频。
将这些数据与Isaac Sim和Isaac Lab相结合以及在AgiBot自有数据上进行后训练使得在Genie Envisioner中开发的策略能够更可靠地迁移到Genie2人形机器人和基于Jetson Thor的紧凑型桌面机器人上。
Intbot使用英伟达Cosmos Reason 2开放模型为其社交机器人提供现实世界的第六感——利用该模型的推理能力识别超越简单脚本任务的简单社交线索和安全语境。
在其Cosmos Cookbook示例中Intbot展示了推理视觉语言模型如何帮助机器人决定何时说话以及如何更自然地与人类互动。
下一代机器人开发工具英伟达最近推出了Agile这是一个基于Isaac Lab的人形机器人运动操控引擎为在Unitree G1和LimX Dynamics TRON等平台上训练强健的强化学习策略提供了完整的、从仿真到现实验证的工作流程。
机器人开发者可以使用Agile内置的任务配置、用于决策的马尔可夫决策过程数学模型、训练工具和确定性评估工具来调整策略。
然后开发者可以在Isaac Lab中对这些策略进行压力测试并更可靠、高效地将运动和全身行为迁移到现实世界的机器人上。
社区合作与开放生态Hugging Face和英伟达正通过将英伟达Isaac GR00T N模型和仿真框架集成到LeRobot生态系统中将两个机器人社区联合起来。
开发者现在可以直接在LeRobot中访问Isaac GR00T N
6模型和Isaac Lab-Arena以简化策略训练和评估。
此外Hugging Face的开源Reachy 2人形机器人现已与英伟达Jetson Thor完全互操作支持直接部署先进的视觉语言动作VLA模型实现强健的现实世界性能。
ROBOTIS作为智能伺服器、工业执行器、机械手、开源人形平台和教育机器人套件的领先开发商使用英伟达Isaac技术构建了一个开源的仿真到现实流水线。
该工作流程从Isaac Sim中的高保真数据生成开始使用GR00T-Mimic进行增强来扩展训练集然后微调基于VLA的Isaac GR00T N模型直接部署到硬件上——加速了从仿真到强健现实世界任务的转换。
QAQ1英伟达物理AI技术栈包含哪些核心组件A英伟达物理AI技术栈包含英伟达Cosmos世界模型、Isaac技术包括Isaac Lab-Arena开源框架、Alpamayo开放产品组合涵盖自动驾驶汽车的AI模型和仿真框架、以及OSMO编排框架覆盖从仿真到边缘部署的完整开发周期。
Q2OpenUSD在机器人开发中起什么作用AOpenUSD提供通用框架标准化3D数据在物理AI工具间的共享方式使开发者能够构建准确的数字孪生体并在从仿真到部署过程中无缝复用。
基于OpenUSD的Omniverse库为整个技术栈提供真实仿真的数据源。
Q3这些技术在医疗机器人领域有哪些应用ALEM外科的Dynamis机器人手术系统是典型应用该系统已获FDA批准用于脊柱手术。
它使用Jetson AGX Thor进行计算Holoscan处理实时传感器数据Isaac医疗版训练自主机械臂并通过Cosmos Transfer生成合成训练数据实现高精度复杂手术操作。