自從伯克利和谷歌創(chuàng)造的NeRF誕生以來(lái)，江湖上靜態(tài)圖表變圖表的魔力就開始流行起來(lái)。

但是，如果你想依靠AI來(lái)簡(jiǎn)化像這樣的3D動(dòng)態(tài)效果的制作，計(jì)算成本可不小:

以NeRF為例，要想在14401600像素，90Hz的VR頭盔中實(shí)現(xiàn)實(shí)時(shí)渲染，需要37 petaFLOPS，目前在GPU上還無(wú)法實(shí)現(xiàn)。

如何降低點(diǎn)的計(jì)算復(fù)雜度。

現(xiàn)在，來(lái)自格拉茨科技大學(xué)和臉書的研究人員想出了一個(gè)竅門:引入真正的深度信息。

在這方面，推理成本最多可降低48倍，僅用一個(gè)GPU就能以每秒20幀的速度實(shí)現(xiàn)交互渲染。

畫質(zhì)沒(méi)有影響，甚至可以改善:

具體有什么訣竅讓我們繼續(xù)談下去

基于深度預(yù)測(cè)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)

首先需要注意的是，神經(jīng)輻射場(chǎng)法NeRF沿著相機(jī)光線對(duì)5D坐標(biāo)進(jìn)行采樣，實(shí)現(xiàn)圖像合成。

也就是說(shuō)，在NeRF的渲染過(guò)程中，需要對(duì)每一條光線的網(wǎng)絡(luò)進(jìn)行評(píng)估，輸出相應(yīng)的顏色，體積密度等信息。

這是實(shí)時(shí)渲染應(yīng)用中NeRF開銷過(guò)大的主要原因。

現(xiàn)在，來(lái)自格拉茨科技大學(xué)和臉書的研究人員發(fā)現(xiàn)，通過(guò)引入真實(shí)的深度信息，只考慮物體表面周圍的重要樣本，在不影響圖像質(zhì)量的情況下，可以大大減少每個(gè)視圖光線所需的樣本數(shù)量。

基于此，他們提出了DONeRF。

DONeRF由兩個(gè)網(wǎng)絡(luò)組成，一個(gè)是Sampling Oracle Network，它使用分類來(lái)預(yù)測(cè)沿視圖光線的最佳采樣位置。

具體而言，該深度預(yù)測(cè)網(wǎng)絡(luò)可以通過(guò)離散化沿著射線的空間并預(yù)測(cè)沿著射線的采樣概率來(lái)預(yù)測(cè)每個(gè)射線上的多個(gè)潛在采樣對(duì)象。

如下圖所示，三個(gè)顏色通道沿著光線對(duì)三個(gè)最高采樣概率進(jìn)行編碼灰度值表示可能只需要對(duì)一個(gè)表面進(jìn)行采樣，而顏色值表示需要對(duì)這些樣本進(jìn)行深度擴(kuò)展

其次，它是一個(gè)著色網(wǎng)絡(luò)，使用類似于NeRF的光線傳播累積方法來(lái)提供RGBA輸出。

為了消除輸入的模糊性，研究人員還將光線轉(zhuǎn)化為統(tǒng)一的空間，并使用非線性采樣來(lái)跟蹤接近區(qū)域。

此外，在兩個(gè)網(wǎng)絡(luò)之間，研究人員扭曲了局部樣本，從而可以將著色網(wǎng)絡(luò)的高頻預(yù)測(cè)引導(dǎo)到前景。

本文還介紹了視圖單元的概念視圖單位被定義為具有主方向和最大視角的邊界框

簡(jiǎn)單地說(shuō)，這個(gè)邊界框可以捕捉來(lái)自框內(nèi)和某個(gè)旋轉(zhuǎn)范圍內(nèi)的所有視圖光線。

通過(guò)這種方法，我們可以分割大場(chǎng)景，解決NeRF不能應(yīng)用于大場(chǎng)景的問(wèn)題。

此外，較小的視圖單元減少了場(chǎng)景中的可見(jiàn)內(nèi)容，因此成像質(zhì)量可以進(jìn)一步提高。

比較結(jié)果

因此，DONeRF與它的前身NeRF相比能有多快。

我們直接看對(duì)比結(jié)果。

在相似的質(zhì)量下，NeRF總共使用了256個(gè)樣本但是DONeRF只用了4個(gè)樣本，可以提升20—48倍的速度

而在成像細(xì)節(jié)方面，DONeRF的圖像邊緣更加清晰。

研究人員還指出，在16個(gè)樣本的情況下，從峰值信噪比來(lái)看，DONeRF在幾乎所有場(chǎng)景中都超過(guò)了NeRF。

入口

論文地址:

項(xiàng)目地址: