123,123

李飛飛World Labs推出世界模型Marble：構(gòu)建空間智能未來的基礎(chǔ)

2025-12-01 16:43

剛剛，李飛飛在社交平臺(tái)上宣布，她的 AI 公司 World Labs 正式推出世界模型 Marble，11 月 12 日起向所有人開放。

兩個(gè)月前，World Labs 分享了 Marble 的預(yù)覽版，這是一個(gè)能夠根據(jù)圖像或文本提示創(chuàng)建 3D 世界的世界模型。Marble 已向部分早期測(cè)試用戶開放，讓他們可以自行創(chuàng)建 3D 世界。

今天，World Labs 正式向所有人開放 Marble，這是一款首創(chuàng)的生成式多模態(tài)世界模型。

同時(shí)，Marble 的功能也大幅擴(kuò)展，其中包括：

多模態(tài) Marble：能夠利用文本、圖像、視頻或粗略的 3D 布局創(chuàng)建 3D 世界；Marble 還允許用戶交互式地編輯、擴(kuò)展和組合這些世界。生成的 3D 世界可以導(dǎo)出為高斯斑點(diǎn)、網(wǎng)格或視頻。
Marble Labs：藝術(shù)家、工程師和設(shè)計(jì)師們將展示創(chuàng)意、真實(shí)的工作流程以及游戲、視覺特效、設(shè)計(jì)、機(jī)器人等領(lǐng)域的全新可能性。Marble Labs 還提供深入的案例研究、教程和文檔，為所有人提供學(xué)習(xí)、構(gòu)建和分享他們自己的 3D 世界所需的工具。

Marble 世界模型

研究人員表示，世界模型應(yīng)具有高度多模態(tài)性，能夠將任何可用的輸入信號(hào)提升到一個(gè)完整的三維世界中，并且能夠隨著新信息的出現(xiàn)而迭代更新其對(duì)世界的理解。

Marble 可以讓用戶根據(jù)簡單的圖像或文本提示快速創(chuàng)建完整的 3D 世界，也可以交互式地編輯 2D 和 3D 世界，將腦海中的世界構(gòu)想變?yōu)楝F(xiàn)實(shí)。

Marble 可以根據(jù)單張圖片或簡短的文字提示創(chuàng)建完整的 3D 世界，生成各種場(chǎng)景類型和藝術(shù)風(fēng)格的世界。圖像提示功能也讓 Marble 與其他 AI 工具的結(jié)合變得輕松便捷。

想要輕松創(chuàng)建更具創(chuàng)意控制力的世界，多圖像提示是一種簡單有效的方法。與文字或單圖提示不同，在文字或單圖提示中，Marble 必須自行想象提示中未提及的世界部分，而使用多圖提示，您可以控制生成的世界從不同角度呈現(xiàn)的樣貌。

Marble 還內(nèi)置了 AI 原生世界編輯工具。編輯可以很小很局部：移除一個(gè)物體，修飾一個(gè)區(qū)域。也可以很徹底：交換物體，改變視覺風(fēng)格，或者重構(gòu)世界的大片區(qū)域。

AI 工具 Chisel

World Labs 還推出了 Chisel ，這是一款 AI 原生工具，可以直接在 3D 中雕刻大理石世界。

Chisel 是一種面向高級(jí)用戶的全新實(shí)驗(yàn)性編輯模式，用于創(chuàng)建 3D 世界。用戶可以使用粗略的 3D 形狀來布局 3D 世界的粗略結(jié)構(gòu)，或者將現(xiàn)有的 3D 資源導(dǎo)入到場(chǎng)景中。

后續(xù)還可以添加文本提示來描述場(chǎng)景的視覺風(fēng)格，或者添加粗略布局中未包含的其他元素。

Chisel 將結(jié)構(gòu)與風(fēng)格分離。粗略的 3D 場(chǎng)景決定了世界的結(jié)構(gòu)，而文本提示則控制了其整體風(fēng)格。兩者可以任意組合，為世界生成增添了全新的控制維度。

構(gòu)建廣闊世界

世界生成后，Marble 允許一步式擴(kuò)展，使其更大。用戶可以選擇要擴(kuò)展的世界區(qū)域，Marble 將創(chuàng)建更多內(nèi)容來填充所選區(qū)域。

原本破碎成碎片的世界區(qū)域，在擴(kuò)展后會(huì)變得清晰完整。擴(kuò)展還可以用來為世界的特定區(qū)域添加細(xì)節(jié)。

使用 Marble 創(chuàng)建世界后，還可以選擇多種方式將其導(dǎo)出。

高斯粒子是模擬大理石世界最高精度的渲染方式。用戶可以使用 World Labs 與 THREE.js 集成的開源跨平臺(tái)渲染器 Spark，在瀏覽器中渲染高斯粒子。

Marble 世界也可以導(dǎo)出為兩種三角形網(wǎng)格：碰撞器網(wǎng)格和高質(zhì)量網(wǎng)格。將世界導(dǎo)出為網(wǎng)格后，它們可以與許多行業(yè)標(biāo)準(zhǔn)工具兼容。

Marble 還可以增強(qiáng)導(dǎo)出的視頻，增加細(xì)節(jié)、去除瑕疵，并為場(chǎng)景添加動(dòng)態(tài)元素，同時(shí)保持像素級(jí)精準(zhǔn)的相機(jī)控制，并符合生成的 3D 世界的結(jié)構(gòu)。

World Labs 的相關(guān)人員表示，Marble 只是邁向空間智能征程中的一步。展望未來，交互性將是一個(gè)關(guān)鍵機(jī)遇。未來的世界模型將使人類和智能體能夠以全新的方式與生成的世界進(jìn)行互動(dòng)，從而在模擬、機(jī)器人等領(lǐng)域解鎖更多應(yīng)用場(chǎng)景。

參考資料：

https://www.worldlabs.ai/blog/marble-world-model