要制作慢動(dòng)作視頻就必須要用死貴的高速攝像機(jī)。

NO! 可以用 AI。

看到?jīng)]，這就是 AI 完成的效果！

雖然和真正的高速攝像機(jī)至少上千的幀數(shù)沒法比，但它完全可以做到每秒 53 幀的視頻輕輕松松變成 960 幀，沒有偽影也沒有噪聲。

很多網(wǎng)友看完效果都按耐不住了:非常想要一個(gè)深入的教程，能不能出一個(gè)應(yīng)用程序

而這項(xiàng)酷斃的研究成果也成功入選 CVPR 2021，研究人員來自華為蘇黎世研究中心和蘇黎世大學(xué)。

當(dāng)然，也用了一個(gè)特殊的攝像頭

實(shí)現(xiàn)這一效果沒有采用通過視頻光流來猜測(cè)粒子運(yùn)動(dòng)的經(jīng)典思想，而是先用了兩個(gè)攝像頭來捕捉畫面。

一個(gè)就是普通攝像頭，記錄低幀真實(shí)畫面，

要想達(dá)到慢動(dòng)作效果，起碼得每秒 300 張畫面才夠，20 幀的視頻給的信息太少了，沒法直接合成慢動(dòng)作。

怎么辦?？苛硪粋€(gè)特殊的攝像頭 ——

也就是事件相機(jī)，它使用新型的傳感器，拍攝的是事件，也就是記錄像素亮度變化。

事件相機(jī)還比較新興，實(shí)驗(yàn)室里有很多，市場(chǎng)上還沒有大規(guī)模問世，報(bào)價(jià)有 2000 美元一個(gè)或更高。

由于該相機(jī)記錄的信息經(jīng)過壓縮表示，因此可以較低的清晰度，高速率進(jìn)行拍攝，也就是犧牲圖像質(zhì)量換取更多圖像信息。

最終的信息量足夠 AI 理解粒子的運(yùn)動(dòng)，方便后續(xù)插值。

問號(hào)部分即為我們要的插幀

這倆相機(jī)同步拍攝到的內(nèi)容合起來就是這樣的:

拍好以后，就可以使用機(jī)器學(xué)習(xí)來最大化地利用這兩種相機(jī)的信息進(jìn)行插幀了。

研究人員在這里提出的 AI 模型叫做 Time Lens，一共分為四塊。

首先，將倆相機(jī)拍到的幀信息和事件信息發(fā)送到前兩個(gè)模塊:基于變形的插值模塊和合成插值模塊。

基于變形的插值模塊利用 U 形網(wǎng)絡(luò)將運(yùn)動(dòng)轉(zhuǎn)換為光流表示，然后將事件轉(zhuǎn)換成真實(shí)的幀。

合成插值模塊也是利用 U 形網(wǎng)絡(luò)將事件置于兩個(gè)幀之間，并直接為每個(gè)事件生成一個(gè)新的可能幀。

該模塊可以很好地處理幀之間出現(xiàn)的新對(duì)象以及光線變化。

不過到這里的話，合成的視頻可能會(huì)有一個(gè)問題:出現(xiàn)噪聲。

這時(shí)，第三個(gè)模塊的作用就派上用場(chǎng)了，它使用第二個(gè)插值合成模塊中的新信息來細(xì)化第一個(gè)模塊。

也就是提取同一事件的兩個(gè)生成幀中最有價(jià)值的信息，進(jìn)行變形優(yōu)化 —— 再次使用 U—net 網(wǎng)絡(luò)生成事件的第三個(gè)幀版本。

最后，這三個(gè)候選幀被輸入到一個(gè)基于注意力的平均模塊。

該模塊采用三幀表示中最好的部分將它們組成最終幀。

現(xiàn)在，有了幀之間第一個(gè)事件的高清幀后，再對(duì)事件相機(jī)提供的所有事件重復(fù)此過程，就能生成最終我們想要的結(jié)果了。

這就是使用 AI 創(chuàng)建逼真的慢動(dòng)作視頻的方法怎么樣

附一個(gè)攝像機(jī)的參數(shù)圖:

取得了智能手機(jī)和其他模型無法達(dá)到的效果

你說這個(gè) AI 模型的效果好，那得對(duì)比一下才知道。

比如上面這個(gè)與最優(yōu)秀的插值模型之一的 DAIN的對(duì)比，誰好誰壞效果就很明顯了。

而且它的插值方法的計(jì)算復(fù)雜度也是最優(yōu)的:圖像分辨率為 640×480，在研究人員的 GPU 上進(jìn)行單個(gè)插值時(shí)，DAIN 模型需要 878 毫秒，該 AI 則只需要 138 毫秒。

另外，雖然不建議，用該模型輸入的視頻即使只有 5 幀，也可以生成慢動(dòng)作。

和其他模型的對(duì)比實(shí)驗(yàn)數(shù)據(jù)，大家感興趣的可以查看論文。

一作 Stepan Tulyakov，華為蘇黎世研究中心機(jī)器學(xué)習(xí)研究員。

共同一作 Daniel Gehrig，蘇黎世大學(xué)博士生蘇黎世聯(lián)邦理工大學(xué)機(jī)械工程碩士

論文地址:

開源地址: