說起VR領(lǐng)域的前沿研究進展，全球最火的VR設備供應商Meta絕對是引領(lǐng)市場潮流的。

Meta首席執(zhí)行官馬克·扎克伯格最近幾天在接受采訪時透露了Meta在meta—universe的最新布局Meta將在10月份推出一款新的VR耳機——meta quest Pro

根據(jù)消息顯示，該頭顯最大的亮點是其面部和眼睛追蹤功能，可以讓虛擬數(shù)字化身進行眼神交流硬件分析師布拉德林奇認為，Meta Quest Pro將采用改進的XR2處理器，與現(xiàn)有的XR2處理器相比，性能同比提升30%分析師郭明預測，Quest Pro將采用2160×2160分辨率的單目鏡面板

在采訪中，扎克伯格還談到了元宇宙社交他認為，社交媒體的載體正從文字，圖像向更大的信息容量進化，下一個能承載比視頻更多信息的載體是在VR領(lǐng)域

此前，扎克伯格親自推薦了自己的社交平臺Horizon Worlds，并發(fā)布了一張VR自拍雖然照片被全網(wǎng)嘲諷，但扎克伯格給《地平線世界》帶來了一波人氣

扎克伯格的VR自拍

最近Meta在元宇宙動作頻頻今年6月，Meta的VR部門Reality Labs推出了四款VR頭戴樣機，分別展示了未來VR設備的四大關(guān)鍵技術(shù)演進方向:高分辨率，高動態(tài)范圍，輕薄外形，變焦技術(shù)優(yōu)化以減少眩暈感在8月份舉行的SIGGRAPH大會中，Meta的顯示系統(tǒng)開發(fā)負責人Douglas Lanman發(fā)表了演講，為我們介紹了打破VR技術(shù)瓶頸的十大挑戰(zhàn)

在SIGGRAPH 2022大會上，外媒Auganix的記者薩姆·斯普里格體驗了具有HDR功能的VR原型機StarburstOculus Quest 2是迄今為止Meta推出的VR一體機中的巔峰之作去年出貨量突破1000萬臺，成為史上最暢銷的VR產(chǎn)品，《星爆》的峰值亮度是Quest 2的200倍

那么，Meta的元宇宙布局是怎樣的呢Meta的原型機是怎樣的體驗Meta幾百億的研發(fā)投入到哪里去了帶著這些問題來看看Meta在VR領(lǐng)域的最新進展吧

1.為了探索這四個研究領(lǐng)域，Meta發(fā)布了四個原型。

今年6月，Meta Reality Labs公布了四款不同技術(shù)領(lǐng)域的VR頭顯原型。

Butterscotch探索分辨率技術(shù)，Starburst探索HDR技術(shù)，Holocake 2探索VR頭顯的輕薄外形構(gòu)建技術(shù)，Half Dome系列探索變焦技術(shù)這四款原型機分別代表了Meta在四款VR頭顯研發(fā)上的最新進展

此前，Meta的CEO馬克·扎克伯格提出了視覺圖靈測試的概念簡單來說，視覺圖靈測試的考核標準就是虛擬圖像能不能真實，讓人分不清虛擬圖像和真實圖像扎克伯格表示，視覺圖靈測試有兩個重點，即照片級真實感和臨場感

不同VR頭顯分辨率的比較

讓圖像更真實的方法之一就是盡可能的提高圖像的分辨率為此，Meta開發(fā)了Butterscotch原型，其特點是視網(wǎng)膜級分辨率

Butterscotch的PPD達到55，非常接近每1度角60像素的視網(wǎng)膜分辨率水平，分辨率是Quest 2的2.5倍Meta Reality Labs研究部DSR團隊的光學科學家楊釗表示，Butterscotch的定制鏡頭模塊有兩個高精度玻璃鏡頭，表面質(zhì)量更高，但也更重此外，還有一個特殊的透鏡，可以衍射光線透鏡與衍射透鏡結(jié)合后，可以呈現(xiàn)清晰的圖像

星爆原型

Starburst原型的特點是具有高HDR功能，其背光最大亮度可達20000nit，是現(xiàn)有VR頭戴式Quest 2的200倍Meta Reality Labs團隊開發(fā)了Starburst，以在虛擬環(huán)境中還原完整的室內(nèi)照明，并探索用戶實現(xiàn)最佳沉浸體驗的理想亮度

Starburst采用COB LED替代原有的LCD屏幕背光，大大提高了LCD的背光亮度，但也產(chǎn)生了更多的熱量所以Starburst還配備了風扇和3D打印的散熱機箱但是，整個設備體積龐大，耗電量大四項技術(shù)中，這項技術(shù)是離市場最遠的

全息照相2原型

Holocake 2原型機輕薄，可以提高VR頭顯的佩戴舒適度Holocake 2是一款PC VR設備雖然它的外形輕薄，但需要額外的空間來放置計算和電池組件，并采用了分體式設計

半穹頂發(fā)展歷史

Half Dome是一個基于Oculus Rift的VR頭戴原型，其特點是采用了變焦鏡頭從第三代開始，半球型的鏡頭由機械系統(tǒng)升級為電子變焦系統(tǒng)，降低了機械噪音和振動半穹頂3具有32個可切換的焦平面據(jù)體驗者介紹，在通過Half Dome的動態(tài)變焦玩《幸運的故事》等游戲時，視野中圖像的焦點可以根據(jù)手柄移動的距離而變化

02.《星爆》的峰值亮度為20000尼特，是《探索2》的200倍。

在本月舉行的計算機圖形學峰會SIGGRAPH 2022上，來自外媒Auganix的記者Sam Sprigg體驗了具有HDR功能的VR原型機StarburstOculus Quest 2是迄今為止Meta推出的VR一體機中的巔峰之作去年出貨量突破1000萬臺，成為史上最暢銷的VR產(chǎn)品，《星爆》的峰值亮度是Quest 2的200倍

在展覽現(xiàn)場，兩個星爆被掛在一個框架上，供參與者體驗Starburst的重量在2.5kg左右，對于一個耳機來說有點太大了薩姆·斯普里格說，太重了你不能把它戴在頭上只能捧在臉前而且Starburst需要很大的功率來支撐它的高亮度顯示，所以固定在邊框上

架子上掛著兩張星爆圖。

星爆的亮度用尼特來衡量薩姆·斯普里格說室內(nèi)環(huán)境亮度超過10000尼特，而《星爆》的峰值亮度是20000尼特Meta曾說過，Quest 2的峰值亮度約為100nit，Starburst的峰值亮度是Quest 2的200倍

而20000nit的峰值也能在一定程度上解釋《星爆》的笨重高亮度也會產(chǎn)生高熱量為了散熱，Starburst配備了大型鋁制散熱器Meta的顯示系統(tǒng)研究團隊的研究科學家內(nèi)森·松田隼表示，鋁制散熱器至少占設備重量的50%此外，設備頂部有一個大風扇，可以吸收散熱器的熱量

《星爆》由36部分組成。

但《星爆》分辨率較低，約為2560x1620像素，略低于Quest 2可是，這是可以接受的因為《星爆》主要展示的是HDR方案，至于高分辨率，那是Butterscotch應該探索的方向

Starburst使用彩色和單色液晶顯示器松田隼說，這是因為單個液晶顯示器在弱光下的對比度很差，而兩個彩色液晶顯示器會吸收大部分光線，降低顯示效果因此，串聯(lián)使用彩色和單色液晶顯示器可以獲得最佳的顯示效果

為了專注于探索HDR技術(shù)，《星爆》在畫面的刷新率和視野上做了妥協(xié)不過，薩姆·斯普里格表示，這一妥協(xié)并沒有影響Starburst在HDR和亮度方面的表現(xiàn)

薩米格穿著星爆。

Starburst演示的第一部分是在虛擬空間中設置一個光源，然后放置一些球體來顯示反射的光源SamIgG表示，在10000nit的顯示范圍下，這和Quest 2是一樣的體驗，并沒有什么特別之處

但是，當亮度上升到10000尼特時，他能感覺到更明顯的亮度當顯示10000尼特光時，演示切換到海洋日落景觀透過云層，陽光照射在海洋的波浪上，水面波光粼粼然后，光線上升到20000nit的峰值，畫面中出現(xiàn)了一個虛擬的太陽薩姆·斯普里格說，他覺得自己仿佛看到了真正的太陽，因為光線太亮了最后，當太陽落山時，海浪發(fā)出微弱的反光這個演示令人印象深刻

放置球形測試光源。

薩姆·斯普里格說，在《星爆》中直視20000尼特的光源可能類似于盯著一個60瓦的燈泡但是VR里的光源離他的眼睛只有幾英寸，很近他認為這種亮度顯示器可以給用戶帶來更真實，更身臨其境的體驗

不過，Sam Sprigg也指出，功率，熱量和形狀是限制VR頭顯HDR技術(shù)發(fā)展的重要障礙他認為，我們可能需要很長時間才能在市場上出口20000單位的成熟產(chǎn)品

3.困難重重，VR頭顯面臨十大技術(shù)挑戰(zhàn)。

目前Meta雖然在VR頭顯方面取得了一定的技術(shù)進步，但是仍然遇到了很多目前無法解決的技術(shù)瓶頸。在SIGGRAPH大會的演講中，元顯示系統(tǒng)開發(fā)負責人道格拉斯·蘭曼為我們提供了一些參考方向——為了將VR體驗提升到一個新的水平，目前有十個挑戰(zhàn)需要解決！

誰能率先突破這些挑戰(zhàn)，誰就有望在越來越激烈的元宇宙硬件入口競爭中占得先機。

1.分辨率:Meta開發(fā)Butterscotch原型以提高分辨率。

為了提高用戶的沉浸感，讓虛擬世界看起來更加真實清晰，VR頭顯必須有更高的分辨率目前VR頭顯的分辨率遠遠達不到人類視覺的水平

Meta表示，他們最初的目標是實現(xiàn)單目8K分辨率和60PPD但目前Quest 2只做到了單目2K分辨率和20PPD，離這個目標還有一段距離

為了提高VR頭顯的分辨率，Meta開發(fā)了Butterscotch原型，專注于探索分辨率在這方面，高分辨率顯示器的研發(fā)和生產(chǎn)并不是難點，難點在于如何為高分辨率顯示器配備相應的計算能力蘭曼指出，凝視渲染和云流媒體技術(shù)可能有助于提高計算能力，但它們也非常難以開發(fā)

以上是普通虛化處理的VR效果，以下是凝視點渲染技術(shù)的虛化效果。

2.視場角:VR頭顯的視場角比人眼小兩倍。

人類的平均水平視野是200度，而目前大多數(shù)商用VR頭顯的水平視野都是100度這意味著VR頭顯的視野比我們在真實環(huán)境中看到的要窄此外，在垂直視角方面，VR頭戴顯示器也有提升空間

3.人體工程學:VR頭顯的佩戴舒適度不夠。

目前大多數(shù)VR頭戴設備都略顯笨重比如Quest 2重量超過500g，裝備厚度8cm這樣的設備顯然不會給用戶帶來好的佩戴體驗理想的VR設備應該是越來越薄，用戶可以長時間舒適佩戴

扁平透鏡和全息透鏡可能有助于減小頭顯的體積目前Meta的Holocake 2原型機正在探索這個方向，但還沒有發(fā)展到量產(chǎn)的水平

墨鏡是Holocake 1的原型，透明的是2016款Oculus Rift。

4.視力矯正顯示器:目前還沒有發(fā)現(xiàn)低成本的視力矯正顯示器。

比較好的VR頭顯應該有視力矯正功能，這樣用戶就不用在VR頭顯下面戴普通眼鏡了這個問題可以通過特殊的鏡頭配件來解決，但這并不是一個理想的解決方案最好的解決方案是頭戴顯示器自帶視力矯正功能，這樣頭戴設計者就不再需要考慮配眼鏡的問題了

但挑戰(zhàn)是，我們?nèi)绾握业揭粋€制造成本低且沒有額外重量的解決方案。

具有視力矯正功能的鏡片配件已經(jīng)有了，但并不是理想的解決方案。

5.變焦:Meta原型半穹頂可以實現(xiàn)人眼的變焦。

在自然環(huán)境下，為了看清不同距離的畫面，人眼可以自然變焦但在VR頭顯中，由于人眼與屏幕的距離沒有變化，人眼無法變焦，也看不到遠近場景的區(qū)別視覺會聚調(diào)節(jié)有沖突所以有時用戶會感到眼睛疲勞，甚至頭痛和嘔吐

為了解決這個問題，Meta的研究人員開發(fā)了一系列支持漸進視覺的原型半穹頂Half Dome可以模擬不同的焦平面，呈現(xiàn)不同程度的模糊，從而幫助人眼在虛擬世界中調(diào)整焦距

瞳孔伴隨著物體的距離而變化。

6.眼球追蹤:很難適應所有人的眼部狀況。

眼球跟蹤是虛擬現(xiàn)實中的一項關(guān)鍵技術(shù)它是許多其他重要VR技術(shù)的基礎(chǔ)，如縮放和失真校正通過這項技術(shù)，用戶可以在虛擬世界中與其他用戶進行眼神交流，擁有更加真實的社交體驗

但問題是每個人的瞳孔形狀不一樣，眼瞼和睫毛的生長也不一樣，所以目前的眼球追蹤技術(shù)并不適合所有用戶因此，藍曼團隊將廣泛收集更多的用戶數(shù)據(jù)，以升級眼球追蹤技術(shù)，并嘗試將其適應更多的人

瞳孔的形狀因人而異，這對眼動追蹤技術(shù)是一個挑戰(zhàn)。

7.失真校正:Meta開發(fā)了一個失真模擬器來加速算法迭代。

瞳孔運動會造成圖像失真，降低用戶的沉浸感這種現(xiàn)象在配合變焦技術(shù)使用時尤為明顯為了開發(fā)校正算法，研究人員必須在真實的頭顯上進行調(diào)整測試，但可能需要數(shù)周甚至數(shù)月才能制作出頭顯，這大大延遲了算法的迭代時間

為了解決這個問題，Meta研究小組開發(fā)了一個失真模擬器通過這個模擬器，研究人員可以在不生產(chǎn)測試頭和特殊鏡頭的情況下測試校正算法

紅光是未校正的，藍光是校正后的結(jié)果。

8.高動態(tài)范圍:星爆原型機的峰值亮度為20000尼特。

實物和環(huán)境的亮度遠高于VR頭顯為了解決這個問題，Meta創(chuàng)造了Starburst原型《星爆》的亮度峰值為20000nit，是現(xiàn)有Quest 2的200倍

Starburst可以更真實地模擬封閉空間和夜間的光照條件，使虛擬環(huán)境看起來更真實不過目前星爆很重，耗能很大

Meta認為HDR比分辨率和變焦對視覺現(xiàn)實的貢獻更大，但這項技術(shù)離實際應用最遠。

星爆原型特寫

9.視覺保真:透傳技術(shù)尚未成熟。

更好的VR頭顯還應該讓VR用戶與現(xiàn)實世界保持聯(lián)系VR頭顯可以記錄真實的環(huán)境信息，并在虛擬現(xiàn)實中以視頻圖像的形式顯示出來這種被稱為透視的技術(shù)已經(jīng)在商用VR頭顯中實現(xiàn)，但質(zhì)量很差例如，Quest 2提供了黑白透視模式，而Meta即將推出的高端VR頭顯Quest Pro旨在追求更高的分辨率和彩色透視

可是，VR頭顯還沒有實現(xiàn)對物理環(huán)境的完美重建透視技術(shù)拍攝的畫面視角在空間上偏離眼睛，用戶長時間使用可能會感覺不適所以Meta正在研究人工智能輔助的凝視合成，可以實時生成正確的視點，視覺逼真度高

此外，Meta還在研究一種反向透視功能，可以讓真實用戶看到VR用戶的眼鏡和臉，然后進行眼神交流但目前，這項技術(shù)在視覺上不協(xié)調(diào)，不自然，還遠遠沒有為市場做好準備

左邊是一個Oculus Rift，擋住了VR用戶的視線，右邊是一個早期的反向透視原型。

10.面部重建:Meta對虛擬化身項目進行研究。

Meta希望在未來，人們可以在虛擬的環(huán)境中像在現(xiàn)實中一樣真實地相遇為此，Meta正在開發(fā)一個名為虛擬化身的研究項目，致力于在虛擬環(huán)境中為人們創(chuàng)建3D數(shù)字化身

目前，VR頭顯可以實時讀取VR用戶的面部表情，并傳輸?shù)教摂M現(xiàn)實中根據(jù)消息顯示，即將推出的Quest Pro將成為Meta中第一款提供面部追蹤的設備

Quest Pro可以識別面部表情，并將其傳輸?shù)絍R設備中。

04.結(jié)論:Meta的VR技術(shù)有所突破，但仍需攻克技術(shù)難題。

蘭曼在SIGGRAPH 2022上提出了VR頭顯正在面臨的十大挑戰(zhàn)，從中可以看出Meta取得的進步和尚未解決的問題Meta發(fā)布了四款樣機，從分辨率，變焦，輕薄外形，HDR四個方面解決VR頭顯的問題四種樣機各有千秋，在各自領(lǐng)域取得了初步的技術(shù)進步此外，Meta還開展了幫助VR頭戴式人臉重建的虛擬化身項目，開發(fā)了加速算法迭代的失真模擬器

這些原型展示了Meta現(xiàn)在在VR單項技術(shù)領(lǐng)域所能達到的最高水平，但這些技術(shù)還遠遠不足以打造一個成熟的VR頭顯還有一些技術(shù)問題Meta暫時克服不了比如VR頭顯的視場角比人眼窄，佩戴VR頭顯的舒適度不夠，VR頭顯的視力矯正功能尚未配備，VR頭顯的眼球追蹤技術(shù)并不適合所有人，VR頭顯的透視技術(shù)不成熟

縱觀目前Meta在VR頭顯方面的探索，可以發(fā)現(xiàn)Meta在VR頭顯探索的道路上已經(jīng)走了很長一段路但是，Meta還遠沒有走到這條路的盡頭目前，與VR頭顯相關(guān)的各種技術(shù)都在積極開發(fā)中，但這些技術(shù)還遠未成熟，距離投入商用還有很長的路要走從這個角度來說，VR的爆發(fā)還很遙遠