李飞飞空间智能独角兽开源底层技术！AI生成3D世界在所有设备流畅运行空间智能的“着色器”来了

李飞飞空间智能创业公司 World Labs，开源一项核心技术！

Forge 渲染器，可在桌面端、低功耗移动设备、XR 等所有设备上实时、流畅地渲染 AI 生成的 3D 世界。

具体来说，Forge 是一款 Web 端 3D 高斯泼溅渲染器，无缝集成 three.js，实现完全动态和可编程的高斯泼溅。

Forge 底层为 GPU 优化设计，其地位相当于传统 3D 图形领域的基础组件 " 着色器 "。

Forge 只需极少的代码即可启动和运行。它支持多个 splat 对象、多个摄像头以及实时动画 / 编辑。

World Labs 联创、NeRF 作者 Ben Mildenhall 称这项技术 " 让开发者像处理三角形网格一样轻松处理 AI 生成的 3D 世界。"

李飞飞表示，" 它能做到的事情简直令人难以置信 "。

3D 高斯溅射 ( 3D Gaussian Splatting ) 已成为生成式人工智能和 3D 重建领域的主流方案。

这项技术通过将 3D 场景和对象表示为微小的高斯形状斑点（又称 Spat）的集合，机器学习技术可用于创建可实时渲染的细致逼真的 3D 内容。

然而，3D 高斯溅射（3DGS）是一项相对较新的技术，许多传统的基于三角形的 3D 网格渲染引擎尚无法使用，而网络上最流行的 3D 图形库 three.js 无法直接渲染 3DGS。

虽然有一些库可以在网络上渲染 3DGS，但它们各自都存在不同的限制，如次只能渲染一个 3DGS 对象、3DGS 对象之间的遮挡不正确、无法动态修改对象、需要 WebGPU 或渲染速度慢 / 卡顿。

Forge 被设计为一款可编程的 3DGS 引擎，能够以前所未有的方式控制 3DGS 的生成、动画以及在场景中的渲染。

与现代 3D 图形引擎中的着色器图形系统类似，Forge 允许将函数块（称为 Dyno）组合成计算图形，可以程序化地生成、任意修改 Spalt，或执行能想到的任何其他计算，并转换为 GLSL 语言在 GPU 上运行。

官网用一个菜单场景，很好地展示了 Forge 渲染器的实时交互能力。

实时高斯泼溅渲染的最大挑战之一是对每个 splat 进行排序，这被称为画家算法（Painter ’ s algorithm），也是 Forge 系统设计的核心。

管理此过程的关键组件是 ForgeRenderer，它遍历并编译 Three.js 场景中所有 splat 的完整列表。

每个 ForgeRenderer 都有一个默认的 ForgeViewpoint ，它会从 GPU 读取所有 splat 视角列表，然后使用高效的 bucket sort 算法确定绘制顺序，并通过 SplatWorker 在后台工作线程中运行。

通过生成额外的 ForgeViewpoint 对象，支持创建多视角同时渲染。

Forge 还利用这个机会在 GPU 上的每个 splat 上运行用户可编程的数据流水线。标准流水线提供高级功能，例如应用刚体变换、调整 RGB/ 不透明度和球谐函数，以及颜色编辑和扰动以及双四元数骨骼动画系统。

标准流水线还允许通过 dyno 着色器图形系统注入任意代码来修改每个 splat。

Forge 支持完全控制编写任何以编程方式计算 splat 属性（中心、比例、四元数、RGBA）的函数。这些属性可以是无状态的，也可以依赖于 splat 文件、纹理和其他全局参数的复杂组合进行实时程序生成，并且可以随时间变化以生成实时动画。

World Labs 成立以来完成超过 2.3 亿美元融资，投资方包括 a16z、英特尔、AMD 等。

他们的目标是将多模态 AI 从二维像素平面提升到完整的三维世界，称将于 2025 年推出首款产品。

另外，World Labs 曾透露还计划打造一些对艺术家、设计师、开发者、电影制作人和工程师等专业人士有用的工具，目标客户涵盖从视频游戏开发商到电影工作室等各个领域。

从这一点看来，Forge 渲染器更像是开发者工具中的一部分，真正的产品还在后面。

Forge 主页

https://forge.dev

参考链接：

[ 1 ] https://x.com/BenMildenhall/status/1929618052813054294

—  完  —

 量子位 AI 主题策划正在征集中！欢迎参与专题365 行 AI 落地方案，一千零一个 AI 应用，或与我们分享你在寻找的 AI 产品，或发现的AI 新动向。

也欢迎你加入量子位每日 AI 交流群，一起来畅聊 AI 吧～

一键关注 点亮星标

科技前沿进展每日见

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！