矩陣世界是 AI 精心設(shè)計(jì)的模擬世界！普林斯頓用 Infinigen 這把鑰匙，打開(kāi)矩陣大門(mén)，AI 生成的大自然比真實(shí)世界還真！

尼奧在「黑客帝國(guó)」中發(fā)現(xiàn)自己生活的世界并非真實(shí)存在，而是被精心設(shè)計(jì)的模擬現(xiàn)實(shí)。

而你，有沒(méi)有那么一瞬間，認(rèn)為我們生活的世界，就是模擬的矩陣世界。

而現(xiàn)在，矩陣正式開(kāi)啟。

靜心感受，這個(gè)人類(lèi)生存已久的地球，大自然的一切，都是虛幻世界。

北極冰川太陽(yáng)升起。海底世界中的千奇百怪的魚(yú)群、五彩斑斕的珊瑚礁。

高山飛雪，老鷹在浩瀚無(wú)垠的天空中翱翔。熾熱沙漠，兇險(xiǎn)的蛇自由穿梭。

河邊小樹(shù)，燃起熊熊烈火，煙霧繚繞。

清澈見(jiàn)底的大海和小溪，海龜在沙灘慵懶地曬著太陽(yáng)，許多蜻蜓在空中嬉戲。

巖洞中光與影的變幻。

嘩嘩墜落的雨滴、隨風(fēng)飄落的楓葉，時(shí)間瞬間戛然而止。

你所見(jiàn)皆是人工智能設(shè)計(jì)的。它們的模擬是如此逼真，甚至被所有人誤認(rèn)為是現(xiàn)實(shí)本身。

打開(kāi)這扇矩陣大門(mén)的團(tuán)隊(duì)來(lái)自普林斯頓，研究一出瞬間在網(wǎng)上瞬間引起軒然大波。

網(wǎng)友紛紛表示，原來(lái)我們生活在矩陣中！

論文中，研究人員引入了一個(gè)自然世界的逼真 3D 場(chǎng)景程序生成器「Infinigen」。

Infinigen 完全是程序化的，從形狀到紋理，都是通過(guò)隨機(jī)的數(shù)學(xué)規(guī)則從頭開(kāi)始生成。

甚至，還能變換無(wú)窮，覆蓋了大自然界的植物、動(dòng)物、地形，還有火、云、雨和雪等自然現(xiàn)象。

最新論文已被 CVPR 2023 接收。

Infinigen 建立在免費(fèi)和開(kāi)源的圖形工具 Blender 上，同樣 Infinigen 也是開(kāi)源的。

值得一提的是，3.5 個(gè)小時(shí)就能生成一對(duì) 1080p 的圖像！

無(wú)限 CV 數(shù)據(jù)生成器

普林斯頓大學(xué)提出的 Infinigen 可以輕松定制，生成各種特定任務(wù)的真實(shí)情況。

如下，模擬大自然界中的多樣性。

而它最主要的作用就在于，能夠作為作為無(wú)限訓(xùn)練數(shù)據(jù)的生成器，用于廣泛的計(jì)算機(jī)視覺(jué)任務(wù)。

其中，包括 目標(biāo)檢測(cè)、語(yǔ)義分割、姿態(tài)估計(jì)、3D 重建、視圖合成和視頻生成。

此外，它還可以用于構(gòu)建訓(xùn)練物理機(jī)器人，以及虛擬具身智能體的模擬環(huán)境。

當(dāng)然了，3D 打印、游戲開(kāi)發(fā)、虛擬現(xiàn)實(shí)、電影制作和一般的內(nèi)容創(chuàng)作都可用。

接下來(lái)，看看 Infinigen 系統(tǒng)是如何被設(shè)計(jì)出來(lái)的。

Blender 的預(yù)演。

研究人員主要使用 Blender 開(kāi)發(fā)程序化規(guī)則，Blender 是一個(gè)開(kāi)源的三維建模軟件，提供各種基元和實(shí)用工具。

Blender 將場(chǎng)景表現(xiàn)為擺放對(duì)象的層次結(jié)構(gòu)。

而用戶(hù)通過(guò)轉(zhuǎn)換對(duì)象、添加基元和編輯網(wǎng)格來(lái)修改這一表示。

Blender 提供了大多數(shù)常見(jiàn) 3D 文件格式的導(dǎo)入 / 導(dǎo)出。

最后，Blender 中的所有操作都可以通過(guò)其 Python API 自動(dòng)完成，或者通過(guò)檢查其開(kāi)源代碼。

節(jié)點(diǎn)轉(zhuǎn)譯器。

作為 Infinigen 的一部分，研究人員開(kāi)發(fā)了一套新的工具來(lái)加速研究人員的程序化建模。

一個(gè)值得注意的例子是研究人員的節(jié)點(diǎn)轉(zhuǎn)換器，它可以自動(dòng)將節(jié)點(diǎn)圖轉(zhuǎn)換為 Python 代碼，如圖所示。

由此產(chǎn)生的代碼更加通用，并允許研究人員隨機(jī)化圖形結(jié)構(gòu)，而不僅僅是輸入?yún)?shù)。

這個(gè)工具使結(jié)點(diǎn)圖更具表現(xiàn)力，并允許與其他直接用 Python 或 C++ 開(kāi)發(fā)的程序化規(guī)則輕松整合。

生成器子系統(tǒng)。Infinigen 是由生成器組成的，生成器是概率程序，每個(gè)程序都專(zhuān)門(mén)用于生成一個(gè)子類(lèi)的資產(chǎn)。

每個(gè)發(fā)生器都有一套高級(jí)參數(shù)，反映了用戶(hù)可控制的外部自由度。

在默認(rèn)情況下，研究人員根據(jù)為反映自然界而調(diào)整的分布對(duì)這些參數(shù)進(jìn)行隨機(jī)抽樣，沒(méi)有用戶(hù)的輸入。

然而，用戶(hù)也可以使用研究人員的 Python API 覆蓋任何參數(shù)，以實(shí)現(xiàn)對(duì)數(shù)據(jù)生成的細(xì)粒度控制。

分別為:山脈、上漲的河水、雪山、海岸日出、水下、北極冰山、沙漠、洞穴、峽谷和浮島。

樹(shù)葉、鮮花、蘑菇、松果。

樹(shù)木、仙人掌、灌木。

海洋生物。

各種類(lèi)型的地表。

下圖則是生物的生成。

研究人員自動(dòng)生成了不同基因組、身體部位(b)、身體部位拼接(c)、毛發(fā)(d)和體態(tài)(e)。

在下圖中，研究人員按程序組成一個(gè)隨機(jī)的場(chǎng)景布局。

最后再渲染一個(gè)真實(shí)的圖像。

下圖展示的是動(dòng)態(tài)分辨率縮放。

研究人員展示了三個(gè)相機(jī)距離不同，但內(nèi)容相同的特寫(xiě)網(wǎng)格可視化視圖。

盡管網(wǎng)格分辨率不同，但在最終的圖像中看不到任何變化。

實(shí)驗(yàn)結(jié)果

為了對(duì) Infinigen 進(jìn)行評(píng)估，研究人員制作了 30K 的圖像對(duì)，這些圖像有用于矯正立體匹配的地面實(shí)景。

研究人員在這些圖像上開(kāi)始訓(xùn)練 RAFTStereo，并在 Middlebury 驗(yàn)證集和測(cè)試集上對(duì)結(jié)果進(jìn)行了比較。

這項(xiàng)研究代碼在今天剛剛公布，已經(jīng)收攬 99 顆星。

「西部世界」既視感

英偉達(dá)科學(xué)家 Jim Fan 表示，當(dāng)我們?cè)诂F(xiàn)實(shí)中沒(méi)有好的訓(xùn)練數(shù)據(jù)時(shí)，模擬是便下一個(gè)「金礦」。

這里，Infinigen 便是一個(gè)開(kāi)源的、程序化生成的、用于 3D 視覺(jué)的逼真數(shù)據(jù)集。其質(zhì)量是驚人的！沒(méi)有兩個(gè)世界是相同的。

? 每一個(gè)小細(xì)節(jié)都是隨機(jī)和可定制的，甚至是花瓣上的褶皺！

? 自然界的各種物體和場(chǎng)景:植物、動(dòng)物、地形；火、云、雨和雪。

? 基準(zhǔn)真實(shí)值自動(dòng)注釋:光流、三維場(chǎng)景流、深度、表面法向量、全景分割、封閉邊界。

? 用 Blender 編寫(xiě)。

有網(wǎng)友表示，這真是讓我大開(kāi)眼界。在 Blender 中程序化生成 3D 世界。不使用 AI，就可以創(chuàng)建任何你能想象的世界。

結(jié)合像這樣的工具來(lái)創(chuàng)造世界，像 Daz3D 這樣的工具來(lái)創(chuàng)造角色，Blockade Labs 來(lái)創(chuàng)造天空盒，Convai 來(lái)創(chuàng)造 NPC。

還有人表示 Infinigen 將在人工智能計(jì)算機(jī)視覺(jué)研究中發(fā)揮作用。

他認(rèn)為未來(lái)人工智能將 handle 所有一切。

比如，我們想在一個(gè)有霧的森林里面做一個(gè)有瀑布的村莊。

我們告訴一個(gè)人工智能寫(xiě)一個(gè)關(guān)于森林的詳細(xì)描述，再發(fā)送到 3D 世界生成器。

世界生成后，就可以在村莊里添加人物角色。這些人將由人工智能控制，他們將有互動(dòng)、對(duì)話和記憶。

一種西部世界的趕腳。

另外，有網(wǎng)友稱(chēng)程序生成已經(jīng)存在了 20 年。「No Man's SKy」是 5 年前技術(shù)的一個(gè)很好的例子。

Infinigen 的亮點(diǎn)在于它生成標(biāo)記數(shù)據(jù)。這些數(shù)據(jù)可用于訓(xùn)練 AI。這就很瘋狂。

還有網(wǎng)友暢想，在不遠(yuǎn)的將來(lái)，游戲會(huì)變得瘋狂……「獨(dú)立」游戲開(kāi)發(fā)者將能夠推出一些瘋狂的高端內(nèi)容。

Infinigen 生成太過(guò)逼真，以至于有人認(rèn)為這是虛幻引擎生成的。

作者介紹

Alexander Raistrick

Alexander Raistrick 是普林斯頓大學(xué)計(jì)算機(jī)系的二年級(jí)博士生，導(dǎo)師是 Jia Deng。

Lahav Lipson

Lahav Lipson 是普林斯頓大學(xué)三年級(jí)博士生。

他研究重點(diǎn)是為三維視覺(jué)構(gòu)建深度網(wǎng)絡(luò)，利用關(guān)于極線幾何的強(qiáng)大假設(shè)來(lái)實(shí)現(xiàn)更好的泛化和測(cè)試準(zhǔn)確性。

Zeyu Ma

Zeyu Ma 是普林斯頓大學(xué)視覺(jué)與學(xué)習(xí)實(shí)驗(yàn)室的三年級(jí)博士研究生。他曾于 2020 年獲得清華大學(xué)電子工程學(xué)士學(xué)位。目前的研究重點(diǎn)是多視圖 3D 重建和程序數(shù)據(jù)生成。

參考資料: