AI无限生成《我的世界》，玩家动动键盘鼠标自主控制！国产交互式世界模型来了

用AI 无限扩展《我的世界》，动动鼠标、键盘即可搞定！

一直前进、砍掉树木，后面别有洞天的世界，都是由用户与环境交互、AI 实时生成的。

也就是说，在砍掉树木之前，树后面的内容还是不存在的。

用鼠标切换视角、环顾环境，丝滑生成连贯画面内容。

哪怕是跳跃，画面也非常稳定，且符合自然世界物理规律。

Minecraft 中森林、沙滩、沙漠、冰川、河流、平原等场景都可搞定。

支持基础运动（前后左右）、复合运动、视角移动、跳跃、攻击等细节操作。

而且不局限于《我的世界》，类 Unreal Engine 场景泛化也不在话下。

生成的雨天后的街道，已经非常逼真。

无限逼近画面细节也不崩：

以上，就是交互式世界模型最新的重大更新！

Matrix-Game，面向游戏世界建模，专为开放世界生成高质量内容而来。

它由昆仑万维带来，可以让用户通过简单的键鼠指令，自由探索、创作细节丰富且符合现实世界物理规律的虚拟内容；以极低操作门槛，释放物理真实感与创作自由度的双重潜力。

要知道，传统方法构建类似效果，往往需要手写代码、渲染视觉效果，耗时又耗力。

此前，谷歌推出了完全由 AI 驱动的实时游戏引擎 GameNGEN 一夜爆火，它能以每秒 20 帧模拟经典射击游戏 DOOM，被网友直呼 " 比 Sora 还震撼 "。

Matrix-Game 与之类似，是交互式世界模型的更进一步探索。

具体如何实现？一起来看。

自由探索创作虚拟世界

Matrix-Game 主要发布了三方面内容：

Matrix-Game-MC 数据集

Matrix-Game 主模型

GameWorld Score 评测体系

Matrix-Game-MC 数据集

Matrix-Game-MC 数据集是一个自主构建的大规模交互世界数据集。主要包含两类数据：大规模无标签的 Minecraft 游戏视频和带有键盘与鼠标控制信号的 Minecraft 与 Unreal 可控视频数据，具备精细动作标注。

这能让模型同时学习复杂环境动态和交互模式，完成建模。

其中，无标签预训练数据采用三阶段过滤机制：画质与美学过滤→非游戏内容剔除→动态与视角稳定性过滤。

从 6000 小时的 MineDojo 数据中过滤出近千小时高质量数据。

有标签数据采用 2 种混合策略，生成数千小时可控监督数据。

一方面基于探索代理（Exploration Agent），借助 VPT agent 在 MineRL 环境中自动探索，生成大规模、高质量的 Minecraft 视频数据，数据中包含精确的键盘与鼠标控制信号，支持可控性学习。

另一方面进行程序化模拟（Unreal Procedural Simulation），基于 Unreal Engine 手动构建结构清晰、标签精确的模拟交互场景，提供位置信息、动作标签（离散与连续）、以及环境反馈信号（如方块是否成功破坏），生成高精度、无噪声的可控标注数据，以此完成高保真动作 - 响应建模。

Matrix-Game 主模型

主模型核心框架基于扩散模型。包含图像到世界建模、自回归式视频生成、可控交互设计几个部分。

首先，图像到世界建模（Image-to-World Modeling）以单张图像作为生成交互式视频起点，融入用户动作输入（如键盘、鼠标），通过类似 Flux 与 HunyuanVideo 的多模态扩散模型直接生成虚拟游戏世界的视频内容。

过程中不依赖语言提示，仅基于视觉信号建模空间几何、物体运动及其物理交互。

然后通过自回归式视频生成（Autoregressive Diffusion Generation），持续生成高一致性长视频内容。

每次生成以前一视频片段的最后 k=5 帧作为运动上下文，逐段递进生成，确保时间上的连贯性。

为缓解时序漂移和误差累积，训练中以一定概率针对参考图像与运动上下文引入随机扰动、随机删除以及分类引导（CFG）策略。

训练中采用可控交互设计（Injecting Actions for Controllability），键盘动作以离散 token 表达，视角移动动作则以连续 token 表达。

采用 GameFactory 的控制模块，并融入多模态 Diffusion Transformer 架构，同时使用 CFG 技术提升对控制信号的鲁棒响应能力。

GameWorld Score 测评体系

为了系统性评估和比较交互式世界生成模型的性能，Matrix-Game 提出了一套统一评测框架。

该评测体系首次实现了感知质量 + 控制能力 + 物理合理性的全方位衡量。

核心评估维度有四方面：

视觉质量

（Visual Quality）：评估每一帧图像的清晰度、结构一致性与真实感。依据人类视觉系统（HVS）标准衡量每一帧图像生成效果。

时间一致性

（Temporal Quality）：衡量模型生成视频的动态连贯性，包括运动连续性、节奏平滑性与时间稳定性。

交互可控性

（Action Controllability）：评估生成结果是否准确响应用户输入的控制信号，涵盖离散控制（如前进、跳跃）和连续控制（如视角转换）。

物理规则理解

（Physical Rule Understanding）：测试生成视频是否遵循物理常识与空间一致性。

8 大 Minecraft 场景中全面领先

结果显示，在 GameWorld Score 评测系统中，Matrix-Game 全面超越现有开源基线模型 Decart 的 Oasis 与微软的 MineWorld，在视觉质量、时间一致性、动作可控性与物理规则理解四大维度上均取得领先成绩。

在双盲实验中，用户也更倾向于选择 Matrix-Game 生成的视频，总体偏好率达到 96.3%，细分维度上的偏好也都超过 89%，尤其是视觉质量上，偏好率达到了 98.23%。

在 " 运动 "、" 攻击 " 等动作上，Matrix-Game 可实现 90%＋准确率，而且在细粒度视角控制下依然保持高精度响应。

在 8 大典型 Minecraft 场景中全面领先。

在实际应用方面，Matrix-Game 可以在虚拟游戏世界快速搭建、影视与元宇宙内容生产、具身智能体训练和数据生成上发挥作用。

能够更低成本、更高效率生成高保真、物理一致且可交互的虚拟视频内容或虚拟环境。

空间智能正在重塑虚拟世界

随着大模型应用落地趋势开启，在前沿领域，AI 正在从 2D 世界向 3D 世界渗透。

李飞飞官宣创业 World Labs，更是让空间智能成为当下热议方向。

如今，只凭一张图生成以假乱真的 3D 世界，已经成为现实。

今年 2 月，昆仑万维推出了 Matrix-Zero 世界模型，成为中国第一家同时推出 3D 场景生成、可交互视频生成模型的企业。由此也开启了昆仑万维在世界模型 Matrix 系列上的探索以及在空间智能领域的深度布局。

国内外，大厂巨头们也纷纷押注 3D AIGC，如谷歌 DeepMind、腾讯等也一直在该领域进行前沿布局。

为啥都看好空间智能？

一方面是技术演进逻辑使然：从单模态到多模态、从 2D 到 3D，技术总是朝着 " 更能传递丰富信息 " 的方向演进。

另一方面在于，现阶段技术也为向 3D 领域探索做好了一定基础准备，从算法、数据到算力，都展现出了处理 3D 内容生成的潜力。比如世界模型、3D 数字资产生成等……现在可以进行前沿探索了。

再从行业需求来看，影视制作、游戏场景开发、具身智能等领域，都已经浮现出对 3D AIGC 的需求。近期大火的智能体，也能在虚拟 3D 世界中进行训练和迭代。

一定程度上，3D AIGC、世界模型可以为人类提供了一种全新的交互体验。

所以也就不难理解李飞飞为何在这一领域创业，硅谷巨头也积极入局，这是对下一代 AI、下一个 " 大模型 " 的押注。

如此趋势，在国内亦是如此。

更懂 AI 的人，已经火速奔赴下一个战场抢占先机了。

而这一次，站在最前面的是Matrix-Game 及其背后的昆仑万维，它们让世界不再只是被观看，而是被探索、被创造。

Github：https://github.com/SkyworkAI/Matrix-Game

Huggingface model：https://huggingface.co/Skywork/Matrix-Game

Homepage：https://matrix-game-homepage.github.io

技术报告：https://github.com/SkyworkAI/Matrix-Game/blob/main/assets/report.pdf

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

点亮星标

科技前沿进展每日见