不是什麼都叫"世界模型",李飛飛給出新定義

2026-06-05 | 來源: 騰訊科技 | 轉到微信 | 有0人參與評論 | 字體: 放大縮小 | 收藏 | 打印

在許多方面，這恰好是渲染器的逆向過程。渲染器以行動為輸入並產生觀測值，規劃器則以觀測值為輸入並產生行動，從而完成“感知—行動”的閉環。

視覺-語言-動作模型、基於模型的系統，以及新近興起的世界動作模型，本質上都屬於規劃器的嘗試。這些系統旨在讓機器人在非結構化世界中自主決定下一步動作，直接輸出一個可執行的決策。

這是最受關注的新興方向，與機器人學習領域緊密相連。過去兩年，各類機器人演示視頻頻頻引發關注：機械臂靈活抓取物體，雙足機器人在復雜地形上行走，機器人在桌面上完成精細操作等。

但李飛飛在文中指出，這些演示幾乎全部局限在嚴格受控的實驗室環境內，物體種類有限，任務周期很短。沒有任何一個系統在真實世界部署所需的復雜性、多變性或持久性方面得到過驗證。

盡管技術尚未成熟，商業層面的押注卻已開始。一批資金雄厚的新玩家正競相推出通用規劃系統。另一邊，大型基礎設施巨頭則已搭建起龐大的模擬平台，能處理從物理計算到環境生成的各種任務，現在正把規劃能力作為新功能加進去。

03 模擬器被低估了

在渲染、模擬、規劃這三個類別中，模擬器獲得的大眾關注最少，但它卻是三者中影響最深遠的一個。她的這篇文章，正是為了解決模擬器在關注度上的不對稱。

商業層面的想象空間同樣可觀。李飛飛在文章中直接提及英偉達的Omniverse平台，它所瞄准的工廠、倉庫、供應鏈和數字孿生領域，潛在市場規模超過一萬億美元。機器人訓練、自動駕駛測試、建築可視化、工程設計和藥物研發等等，都依賴於模擬形態的技術能力。

但模擬器面臨的挑戰也最為嚴峻。

首先是數據問題：包含顯式幾何、材料屬性和物理標注的三維數據，遠比渲染器訓練所依賴的互聯網視頻稀缺得多，相差以數量級計。互聯網上有取之不盡的視頻素材可以用來訓練渲染器，但帶有精確物理屬性的3D資產卻極其有限。

SpaceX真正的"定海神針"不是馬斯克

維C不是仙丹!過量可能出現4大中毒症狀

河南中專生成北大博士:這不是逆襲只是回到正常

其次是長期存在的“模擬與現實差距”。無論模擬做得多麼精細，虛擬環境中的測試結果遷移到真實世界時，總會產生偏差。這個問題在機器人學和自動駕駛領域已經被反復討論，至今沒有完全解決。

此外，生成式模擬器還引入了新的風險。AI生成的幾何體看起來可能正確，但可能包含自相交或錯誤比例，一旦跑起物理模擬，就會產生荒謬的結果。

最後是計算成本的問題。在大規模多物理場景模擬中，剛體、可變形物體、流體和布料相互交織，其計算成本比單一領域的模擬高出太多。這意味著，即使有了足夠的數據和模型，運行這些模擬本身也是一項昂貴的工程。

李飛飛創辦的World Labs推出了Marble系統，這是朝“統一模擬”邁出的第一步。它接收文本、圖像、視頻或空間草圖等輸入，生成可交互的3D環境，同時輸出兩種結果：用於視覺呈現的高斯潑濺（Gaussian Splats），決定場景的視覺外觀；用於物理計算的碰撞網格（Collision Meshes），決定物體的空間邊界與碰撞響應。過去，視覺渲染和物理模擬是兩套獨立的系統，Marble把它們整合進了同一個模型。

Marble的出現讓模擬器第一次同時兼顧視覺呈現與物理結構。但正如李飛飛所說，這只是一個開始。

04 三條界限，正在消失

李飛飛的另一項核心判斷是：渲染、模擬、規劃這三個類別，正在開始相互融合。

推動這種融合的是一個共識——渲染一個世界、模擬一個世界以及在那個世界中采取行動所需要的知識，在很大程度上是通用的。