核心内容摘要
3个核心功能：CefFlashBrowser实现Flash内容全场景访问方案
Project Genie 主要原理就是基于去年 8 月谷歌推出的 Genie 3 世界模型结合 Nano Banana Pro 和 Gemini 的原型 Web 应用从文本提示实时生成可互动的虚拟世界用户可探索、修改环境并创建角色可以说为普通大众打开了一扇亲身沉浸式体验世界模型的大门。
今天一早Google DeeMind CEO Demis Hassabis 终于放出了之前在达沃斯期间就曾透露的重磅产品 Project Genie。
Demis 在 X 发了一条很激动的帖子这次《盗梦空间》成为现实了Genie 项目对我来说意义非凡因为自己职业生涯的起点就是模拟游戏制作 AI并研究大脑中的记忆和想象力。
Genie 将所有这些元素融合在一起。
甚至让自己联想到了电影《盗梦空间》中的梦境序列——科幻成为了现实……如果不看宣传片单凭文字来形容这款产品总归有些难以想象。
通过官方放出的宣传片中可以看出这次推出的 Project Genie 项目依旧属于 DeepMind 的实验性原型阶段但已经对外正式开放Project Genie 主要原理就是基于去年 8 月谷歌推出的 Genie 3 世界模型结合 Nano Banana Pro 和 Gemini 的原型 Web 应用从文本提示实时生成可互动的虚拟世界用户可探索、修改环境并创建角色可以说为普通大众打开了一扇亲身沉浸式体验世界模型的大门。
当然这个项目的灵感Demis上面也提到了源自于其早期游戏 AI 开发和大脑记忆研究。
马斯克也忍不住在评论区为这个项目点赞Cool三项主打的“世界”功能草绘、探索、重混此次Project Genie 主打三项核心体验。
世界草绘World Sketching、世界探索World Exploring和世界重混World Remixing。
这就为大家逐一介绍下。
首先世界草绘是指用户可以通过文本提示以及生成或上传的图片来创建一个“活的”、不断扩展的环境。
同时还支持用户创建角色、设定世界并定义探索方式——无论是步行、骑行、飞行、驾驶还是其他方式。
据谷歌官网介绍为了实现更精细的控制该项目将World Sketching与Nano Banana Pro进行了整合。
用户甚至可以在进入世界前预览世界的样子并对图像进行修改以微调最终效果。
另一个不错的体验是用户还可以设定角色的视角例如第一人称或第三人称从而在进入世界前就决定如何体验这个场景。
小编看来单凭这一点足以看出谷歌 DeepMind 在世界模型方面的扎实功底。
可以说成功将 AlphaGo 的模拟框架扩展到了如今的物理、机器人和虚构场景。
但遗憾依旧是有的谷歌坦承当前生成时长限于 60 秒物理模拟不完全逼真。
第二世界探索。
生成的世界是一个可以自由导航的环境等待你去探索。
当你在世界中移动时Project Genie 会根据你的行为实时生成前方的路径。
你还可以在探索过程中随时调整摄像机视角。
这一点虽然说起来容易但实现起来挺难。
涉及到物理世界的位置、物理方位感知等等细节控制重要的是实时生成这些更难。
最后一个世界重混。
简单理解就是二次编辑你刚才构建的世界。
你可以在已有世界的提示词基础上进行再创作生成新的世界版本也可以浏览画廊中策划好的世界或使用随机生成器获取灵感并在此基础上继续构建。
而且这些构建的好的世界以及探索过程都可以自己下载下来。
目前仅限美国 Google AI Ultra 订阅用户访问引发 Elon Musk 等正面回应和 Reddit 讨论认为虽未达手工游戏水准但标志生成式 AI 在互动内容创作的重大进步未来计划扩展全球并优化控制性。
尝鲜网友们玩疯了很快不少早期体验的达人们整起了活儿。
效果简直比官宣的视频还要非常惊艳。
印象深刻的是一位博主将一张20世纪初的伦敦上空俯瞰的老照片喂给了Project Genie。
结果下一秒就给出了逼真的 3D 世界不过这位博主表示他想给 Demis 个反馈虽然 Genie 真的生成了一座城市、但仅限于照片里的内容并没有生成照片外的属于伦敦的内容。
另外还有一个实测者觉得很 amazing 的地方Project Genie 有一种超预期的涌现能力例如一位博主在第一人称导航中GPS 小地图与视角运动保持同步→ 测试者称这是“完全没有预期到的涌现能力”。
多位参与者反复提到一个感受同一个 prompt、不同的人会走向完全不同的体验路径。
这带来了一种久违的感觉模型本身就是一个很值得探索的产品此外这位博主很确定的透露一个消息Genie
5版本一定在研发的路上。
DeepMind内部员工不是用来做游戏的另外DeepMind内部团队成员在播客中也反复强调了一点Project Genie 并不是用来直接“做游戏”而是用来快速原型化世界与体验的为所有人打造的、可互动的“世界构建器”。
目前它的的用例是较为模糊的它更多是帮助创作者在极早期验证“感觉对不对”当然还会有更多的用例涌现出来比如灾难恢复领域等等。
Genie 真正“新”的地方在哪世界模型本身已经不算是个新鲜词了。
AI 生成无限的视频内容同样在早在两年前就爆火了。
那么这次的谷歌新发布到底“新”在哪里呢结合美国达人的体验反馈小编认为
总结起来就一句话这次 Project Genie 的亮点画面精细度、生成速度这些倒是其次最关键的变化是把“内容生成”推进到了“环境生成”。
具体体现在三件事上
世界是连续生成的。
你没有看到“边界”。
你往前走前方的世界才被计算出来。
世界会响应行为。
移动路径、视角变化、行动方式都会影响接下来生成的环境注意是环境级建模。
世界具备一致性。
场景结构、空间关系、基本物理规则能够维持稳定不再是“每一帧都在变脸。
这无疑可以说是一个从“AI 视频玩具”转向“真正的世界模型”的一个里程碑式的信号。
这和 Sora、游戏引擎有什么不同这是很多人第一时间的疑问。
跟大家之前看到的 Sora 生成视频不一样 Genie 3 生成的更像一个“正在运行的环境”。
简单区分一下视频模型生成一段完整结果你负责看游戏引擎规则由人写好世界按脚本运行Genie模型在实时计算世界接下来该如何继续换句话说Project Genie 的重点不在“画得多像”而在于世界如何运转。
这也是 Google 把它称为 world model 的原因。
为什么 Google 现在要推它从 DeepMind 的历史来看这一步并不突然。
过去十多年DeepMind 非常擅长封闭环境中的智能体围棋、象棋、Atari 游戏。
但现实世界不是棋盘。
它是连续的、不确定的、充满变化的。
如果 AI 要真正走向通用能力它必须学会在“世界”中行动而不仅是调用工具。
世界模型正是连接 Agent、机器人、现实模拟的关键底座。
没有世界模型Agent 只能停留在工具层。
有了世界模型Agent 才有“活动的空间”。
Demis 在达沃斯之后的采访就曾这样表示过世界模型是 AGI 的关键因为它允许系统在现实世界中进行长期规划。
这正是人类轻松做到、但当前 AI 仍然无法完成的事情。
官方的克制其实是另一种信号在发布中Google 反复强调 Project Genie 仍是实验原型并主动列出限制比如世界生成时长限制为 60 秒行为控制存在延迟世界可能不完全遵循真实物理部分已公布能力尚未开放但据小编从播客中了解到其中不少限制其实并非模型本身的技术原因更多还是产品策略的原因。
例如关于 60 秒限制团队说得很明确这是人为设定的体验边界并非模型的根本限制。
通过“上一帧接续生成”等方式已经可以手动延展世界。
而且从 Google 的惯例来看这其实意味着另一件事方向已经确认剩下的是工程问题。
最后坐等谷歌将美国地区限制开放给全世界吧参考链接https://www.youtube.com/watch?vlALGud1Ynhcview-source:https://blog.google/innovation-and-ai/models-and-research/google-deepmind/project-genie/最后小编顺带做一个调研。
新年伊始这里有一份 IDC 发起的全球大模型问卷调查。
题目简单、几分钟就能完成却能帮我们捕捉 真实的模型行业认知。