黄仁勋没有吹牛！
AI不能只会看、会说、会生成，它必须理解并遵守物理世界的规则。
现在，英伟达补上了关键拼图——
让AI从「生成画面」升级为「生成可行动的3D世界」，不仅能描述世界，还能一步步搭建世界、修改世界、纠错迭代。
3D-Generalist采用视觉-语言-动作（VLA）模型来生成代码，用于构建与修改最终3D环境的各个方面（材质、光照、素材与布局）。
该VLA通过一个自我改进训练循环进行微调，以优化与提示词（prompt）的对齐效果。
3D-Generalist还使用了另一个VLA来处理多样化的小物体摆放任务，即使 3D素材是无标注（unlabeled）的也能完成。
微调后（After Finetuning）， 3D-Generalist涌现出自我纠错行为。研究团队还使用Florence-2框架，在由3D-Generalist生成的3D环境渲染得到的合成数据上训练一个视觉基础模型。
结果表明：其效果接近使用规模大几个数量级的真实数据所能达到的效果。
如果你认为黄仁勋费尽心机搞这个，只是为了让你玩游戏更爽，或者让视觉特效更便宜，那你严重低估了英伟达的野心。
英伟达不只是买买游戏显卡，更致力于解决「智能」算力问题。
这篇论文的真正战略意图，其实藏在英伟达宏大的「具身智能」（Embodied AI）版图中。
老黄早已押注机器人，他认为那是一个数万亿美元的机遇：这次无疑是英伟达「秀肌肉」。
请看这个逻辑链条：
我们想要全能的机器人（比如特斯拉Optimus，或英伟达Project GR00T）。
机器人需要学会像人一样处理复杂的物理世界（怎么拿鸡蛋不碎？怎么在湿滑地板上走路？）。
在真实世界里训练机器人太慢、太贵、且不可逆（你不能让机器人摔坏一万个鸡蛋，或者摔断一千次腿）。
解决方案： 把机器人扔进「虚拟世界」里训练。
但是，以前的虚拟世界（模拟器）不仅搭建很慢，而且不够真实。
如果模拟器里的物理规则和现实不一样，机器人学出来的本事就是花拳绣腿，一上真机就扑街。
现在，新模型「3D通才」补上了这一环。
有了这个技术，英伟达可以瞬间生成数百万个包含不同物理变量的「虚拟平行宇宙」。
场景A：地板刚拖过，很滑，光线昏暗。
场景B：地板铺了地毯，摩擦力大，强光照射。
场景C：地板上散落着乐高积木，障碍物复杂。
在这个无限生成的「3D物理世界」里，机器人大脑可以在一天之内经历人类几百年的训练时长。它在虚拟世界里摔倒一亿次，就是为了在现实世界里稳稳地迈出第一步。
在英伟达的Omniverse生态中，研究团队使用Omniverse Replicator实现大规模合成数据生成，并支持域随机化（domain randomization）；而Isaac Lab提供可直接使用的具身载体（例如人形机器人），可在这些生成环境中进行机器人仿真。
这才是「物理AI」的终极目标：打通Sim-to-Real（从模拟到现实）的最后一公里。
黄仁勋构建的不仅仅是一个生成的引擎，它是硅基生命诞生的子宫。
当AI不仅掌握了人类的语言（GPT），掌握了人类的视觉（Sora），现在又掌握了构建物理世界的法则（Physcial AI）时，虚拟与现实的界限，将不再是泾渭分明的。
我们在屏幕里创造的世界，将拥有和现实世界一样的重力、光影和因果律。
而我们在现实世界里的机器人，将拥有在数亿个虚拟世界里磨练出来的智慧。
在2024年的SIGGRAPH大会上，黄仁勋曾说：「Everything that moves will be autonomous.」（所有移动之物，终将自主。）
当时我们以为他在说机器人。
现在看来，他说的是整个物理世界。
作者介绍
Fan-Yun Su是斯坦福大学AI实验室（SAIL）的计算机科学博士生，隶属于Autonomous Agents Lab和斯坦福视觉与学习实验室（SVL）。
在读博期间，他也深度参与了英伟达研究院的工作，曾效力于学习与感知研究组、Metropolis深度学习（Omniverse）以及自动驾驶汽车研究组。
他的研究兴趣主要在于生成具身（3D）环境与数据，用于训练机器人和强化学习策略；致力于推动具身、多模态基础模型及其推理能力的发展。
Shengguang Wu目前是斯坦福大学计算机科学系的博士生，师从Serena Yeung-Levy教授。
他在北京大学获得硕士学位，导师为Qi Su教授；此前，他也曾在Qwen团队担任研究实习生。
他的研究致力于赋予机器跨多模态的类人学习与推理能力，并推动现实应用的落地。
多模态Grounding与推理：利用视觉洞察来优化基于语言的推理，同时引入文本反馈来指导细粒度的视觉感知。
自我提升：让AI智能体能够从交互中学习并持续自我进化——主动适应新信息，并随着新任务的出现不断成长。
Jiajun Wu吴佳俊是斯坦福大学计算机科学系助理教授，同时兼任心理学系助理教授。
在加入斯坦福之前，他曾在Google Research担任访问研究员，与Noah Snavely合作。
他本科毕业于清华大学交叉信息研究院「姚班」，师从屠卓文（Zhuowen Tu）教授。在清华期间，他曾连续三年保持年级第一，并荣获清华大学最高荣誉——特等奖学金以及「中国大学生年度人物」称号。
随后，他在麻省理工学院获得电气工程与计算机科学博士学位，导师是Bill Freeman和Josh Tenenbaum。
吴佳俊的团队致力于物理场景理解的研究——即构建能够「看」见世界、进行推理并与物理世界互动的机器，其代表性项目包括Galileo、MarrNet、4D Roses、Neuro-Symbolic Concept Learner以及Scene Language。
除了开发表征本身，团队还同步探索这些表征在各个领域的应用：
多模态感知，代表项目如ObjectFolder和RealImpact；
4D物理世界的视觉生成，代表项目如3D-GAN、pi-GAN、Point-Voxel Diffusion、SDEdit和WonderWorld；
基于物理概念接地的视觉推理，代表项目如NS-VQA、Shape Programs、CLEVRER和LEFT；
机器人学与具身智能，代表项目如RoboCook和BEHAVIOR。
Shangru LiShangru Li是英伟达高级系统软件工程师，长期从事智能视频分析（IVA）和Metropolis平台的相关工作。
他拥有宾夕法尼亚大学计算机图形学与游戏技术工程硕士学位，以及广东外语外贸大学计算机软件工程学士学位。
其他华人作者还有：
Haoming Zou (Stanford University)
Yu-Hsin Chou (Stanford University)
Xunlei Wu (NVIDIA)
