World Labs 官网： World Labs
Blog原文： RTFM：实时框架模型
RTFM: A Real-Time Frame Model
主要内容和结论：
-
核心理念与三大原则： RTFM的设计围绕着三个核心原则：
-
效率 (Efficiency): 它可以在单个H100 GPU上以交互式帧率运行，这使得该技术在当前就可以被实际应用，而不需要等待未来的硬件发展。
-
可扩展性 (Scalability): 它不依赖于传统的3D表示，而是通过从大规模视频数据中学习来模拟3D世界。它像一个“学会了渲染的神经网络”，能够通过学习现实世界中的光影、反射等复杂视觉效果来生成内容。
-
持久性 (Persistence): 通过一种叫做“上下文杂耍”(context juggling)的技术，模型能够将姿态帧作为空间记忆，从而在长时间的交互中维持大型世界的存在，而不会导致计算成本无限增加。
-
-
关键能力：
-
从单张图片创建3D世界： RTFM能够仅根据一张图片就生成一个可供探索的3D世界。
-
从短视频渲染真实场景： 它也可以利用简短的视频来渲染真实世界的场景。
-
模糊了“重建”与“生成”的界限： 模型可以根据提供的输入视图数量，在“重建现实”和“生成全新内容”之间进行切换。
-
-
结论与趋势：
-
实时交互式AI世界成为可能： 我们正在接近一个可以实时重建、生成和模拟具有物理精确性的交互式世界的未来。
-
技术正在走向普及： 通过在现有硬件上实现高效运行，这类强大的AI世界模型正在变得越来越容易被开发者和用户所接触。
-
AI原生内容生成是未来： 未来的虚拟世界和体验将越来越多地由AI实时生成，而不是预先手动创建。
-
这些趋势和结论与AI原生游戏的结合点：
AI原生游戏的核心理念是游戏的体验和内容是由AI在运行时动态生成的，而不是预先设计好的。RTFM这样的技术为AI原生游戏提供了强大的技术基础和广阔的想象空间。
-
无限的、动态的游戏世界： 传统的开放世界游戏，其地图和内容都是有限和固定的。结合RTFM技术，游戏世界可以根据玩家的行为实时、无限地生成。玩家的每一个动作都可能改变世界的样貌，每一次游玩都会有独一无二的体验。
-
高度个性化的游戏体验： 玩家可以上传一张自己喜欢的风景照，或者一段旅行的视频，RTFM就可以此为基础生成一个完整的游戏世界供玩家探索。这为实现真正个性化的游戏体验提供了可能。
-
“活的”、有记忆的游戏世界： RTFM的“持久性”特点意味着游戏世界是有记忆的。玩家对世界造成的改变（例如摧毁一栋建筑、种下一棵树）会被永久记录下来，并影响后续的游戏进程。NPC也会记住与玩家的互动，从而做出更真实的反应，让世界变得更加生动和可信。
-
突破图形和物理的界限： 通过“学习”真实世界的视频，游戏可以呈现出超越传统渲染管线的、极其逼真和复杂的光影效果和物理模拟。例如，游戏中可以有真实世界中才会出现的复杂光线反射和折射效果。
-
降低开发门槛，激发创意： 对于游戏开发者，尤其是独立开发者来说，创建大规模、高质量的3D世界是一项耗时耗力的工作。RTFM这样的技术可以将开发者从繁重的资产创建工作中解放出来，让他们更专注于游戏玩法和创意的实现。
*总结来说，RTFM这样的实时生成式世界模型，是实现真正意义上AI原生游戏的关键拼图。它将游戏的静态世界变为动态的、与玩家共同创造的“活的”世界，这可能会从根本上改变我们对游戏的认知、设计和体验方式。
RTFM和Marble区别
目前，没有官方声明明确说他们会放弃之前的模型，但从技术演进和战略方向来看，很可能的情况是：RTFM 将成为未来发展的绝对核心和基础引擎，而之前的模型和方向将以一种新的方式被融合、演进，而不是被抛弃。
以下是AI的几点分析：
1. RTFM 是“实时交互”的关键，这是终极目标
对于构建AI原生世界或元宇宙（Metaverse）来说，实时交互是不可或缺的“圣杯”。用户不仅仅是观看一个生成好的世界，而是要能够实时地、动态地与这个世界互动，并看到世界即时地反馈。
-
之前的模型： 更像是一个“世界生成器”或“蓝图设计师”。它们擅长根据提示词高质量地生成一个宏大、自洽、风格独特的静态世界。你可以把它想象成一个极其强大的关卡编辑器。
-
RTFM： 更像是一个“实时渲染和物理引擎”。它负责在用户探索世界时，实时计算并呈现出用户所看到、所交互的一切。
没有RTFM这样的“引擎”，之前生成的“蓝tuning”就只是一个静态的、没有生命力的模型。因此，RTFM是实现其最终愿景的必要技术拼图，其战略优先级必然是最高的。
2. “融合”比“替代”更合乎逻辑
之前的模型在生成世界的持久性（Persistence）和宏观结构方面具有优势。而RTFM专注于局部的、实时的生成和渲染。这两者并非相互替代，而是天然的互补关系。
未来的工作流程很可能是：
-
第一步（宏观生成）：使用类似之前模型的技术，根据一个概念（比如“一座在云端的赛博朋克城市”）生成一个宏大世界的基础结构和风格规则。这个世界是持久的、有记忆的。
-
**第二步（实时体验）：**当用户进入这个世界开始探索时，RTFM引擎接管一切。它会根据宏观的结构规则，实时地生成用户视野范围内的具体细节、光影、动态效果，并处理用户的交互。
打个比方：之前的模型是画好了整个城市的地图和建筑蓝图，而RTFM则负责在你走进一条街道时，实时地为你“渲染”出这条街上的行人、车辆、商店橱窗里的倒影以及你踢飞一个易拉罐的物理效果。
3. 之前的技术仍有独立价值
即使在以RTFM为核心的实时体验之外，之前的高质量世界生成技术仍然有其独特的应用场景：
-
游戏开发资产生成： 开发者可以继续使用这个技术快速生成游戏世界的原型或最终资产，然后导出到Unity、Unreal等传统游戏引擎中使用。
-
影视、动画背景制作： 对于不需要实时交互的影视内容，这种“离线”生成高质量场景的方式依然极具效率和价值。
-
不同产品线的划分： World Labs 可能会将技术划分为两条产品线：一条是面向开发者的、用于资产生成的工具（基于之前的技术）；另一条是面向最终用户和开发者的、用于构建完整实时体验的平台（以RTFM为核心）。
核心观点总结
World Labs 不太可能放弃之前的模型和方向，而是会将 RTFM 作为其技术栈的核心引擎，将之前的大世界生成技术作为上层的“世界构建规则”和“宏观蓝图”。
可以预见，他们未来的主要精力会投入到 优化 RTFM 的效率和效果，并研究 如何将宏观的世界生成规则与实时的 RTFM 引擎更无缝地结合起来。
所以，答案是：RTFM 会成为绝对的主力，而之前的方向会演变为支撑这个主力的、定义世界“灵魂”和“骨架”的关键部分。 这是一种演进和融合，而非简单的替代。