你能相信這是人工智能利用圖像重建的3D場(chǎng)景嗎。

這么大規(guī)模的場(chǎng)景還能保持這么高的清晰度你確定這不是谷歌地圖的錯(cuò)誤不要！這是HKCU團(tuán)隊(duì)提出的模型:BungeeNeRF，適用于各種尺度的場(chǎng)景還原目前，該論文已被收錄到ECCV2022中

也許這是我最近幾周最喜歡的NeRF項(xiàng)目之一，這是一個(gè)非常有趣和令人興奮的結(jié)果！

這么厲害，邦奇納夫是怎么做到的。

多級(jí)監(jiān)管的漸進(jìn)模式

多尺度還原3D場(chǎng)景會(huì)導(dǎo)致大規(guī)模的數(shù)據(jù)變化，這也意味著會(huì)增加學(xué)習(xí)的難度，改變圖像的焦點(diǎn)。

BungeeNeRF以漸進(jìn)的方式建立和訓(xùn)練模型，使用漸進(jìn)的神經(jīng)輻射場(chǎng)來(lái)表示各種尺度下的場(chǎng)景用于生成3D場(chǎng)景的照片包括各種視角和距離這種漸進(jìn)的方式對(duì)各網(wǎng)絡(luò)層的工作進(jìn)行了分工，并使位置編碼能夠在不同的尺度上激活不同的頻道，在每個(gè)尺度上釋放相應(yīng)的細(xì)節(jié)它既能很好地渲染大規(guī)模場(chǎng)景的細(xì)節(jié)，又能保持小規(guī)模場(chǎng)景的細(xì)節(jié)

具體來(lái)說(shuō)，該模型可以很好地恢復(fù)各種尺度的3D場(chǎng)景，主要是由于以下兩個(gè)部分:

首先，它是一個(gè)具有殘差塊結(jié)構(gòu)的漸進(jìn)式增長(zhǎng)模型，可以解決以往模型在大尺度下的偽影問(wèn)題BungeeNeRF模型預(yù)設(shè)了訓(xùn)練階段的總數(shù)，訓(xùn)練階段的數(shù)目是攝像機(jī)與場(chǎng)景的連續(xù)距離離散后的分段數(shù)換句話(huà)說(shuō)，模型每個(gè)階段的訓(xùn)練都是指不同尺度下的訓(xùn)練

然后從遠(yuǎn)處看，伴隨著訓(xùn)練的進(jìn)行，BungeeNeRF會(huì)在每個(gè)訓(xùn)練階段加入一個(gè)更接近的音階通過(guò)允許模型在早期訓(xùn)練階段對(duì)外圍區(qū)域投入更多的成本，可以補(bǔ)償樣本分布的偏差在訓(xùn)練階段，訓(xùn)練集的增加伴伴隨著殘差塊的增加

每個(gè)殘差塊都有自己的輸出頭，可以用來(lái)預(yù)測(cè)連續(xù)階段之間的顏色和密度殘差，并在近距離觀察時(shí)捕捉場(chǎng)景中新的復(fù)雜細(xì)節(jié)其次，BungeeNeRF具有包容性的多層監(jiān)管結(jié)構(gòu)

因?yàn)樾枰３炙谐叨认碌膱D像渲染質(zhì)量一致，所以在訓(xùn)練階段，輸出頭由之前更大尺度的圖像共同監(jiān)督，這個(gè)階段的損失會(huì)匯總到之前所有尺度的輸出頭上。

多層次監(jiān)督的設(shè)計(jì)考慮到了更深的輸出頭上細(xì)節(jié)的復(fù)雜程度，所以渲染出來(lái)的視圖會(huì)更清晰，更真實(shí)相比其他模型在各種尺度上的細(xì)節(jié)渲染效果，BungeeNeRF的效果更明顯

全尺寸細(xì)節(jié)渲染

在論文中，研究小組對(duì)BungeeNeRF和其他模型生成的3D場(chǎng)景進(jìn)行了比較BungeeNeRF明顯優(yōu)于其他模型，非常接近真實(shí)場(chǎng)景

此外，BungeeNeRF允許從不同的殘差塊靈活退出，以控制LOD在放大圖像時(shí)，后一級(jí)輸出頭在前一級(jí)的粗輸出中逐漸加入更復(fù)雜的幾何和紋理細(xì)節(jié)，而保持淺層學(xué)習(xí)的特點(diǎn)對(duì)早期輸出頭是有意義的

有興趣的可以戳下面的鏈接了解更多~

參考鏈接: