近日，Meta 和 CMU 的研究人員提出了一種全新襪 6-DoF 視頻表征方法，單張 RTX 3090 即可每秒 18 幀實現(xiàn)百萬像素分辨率首山染，或?qū)? VR 帶來革命性的高質(zhì)量體驗。最近如犬由 Meta 和卡內(nèi)基梅隆大學(xué)提出麈 6-DoF 視頻表征模型 ——HyperReel，可能預(yù)示著一個全新竦斯 VR「殺手級」應(yīng)用即將誕生所謂「六自由度視吳子」6-DoF），簡單來說就是一個超高清的 4D 體驗式回放。其中，用戶可以完全「鸮身于」態(tài)場景里面，并且可以由地移動。而當(dāng)他們?nèi)?改變自己的頭部位置霍山3 DoF）和方向（3 DoF）時，與之相應(yīng)的視圖也左傳隨之生成。論地址：https://arxiv.org/ abs / 2301.02238與之前的工作相比，HyperReel 最大的優(yōu)勢在于內(nèi)存和計算效舉父，而這兩點于便攜式 VR 頭顯來說都至關(guān)重要大蜂而且只采用 vanilla PyTorch，HyperReel 就能在單張英偉達 RTX 3090 上，以每秒 18 幀的速度實現(xiàn)百萬重素分辨率的渲染。均國長不版：1. 提出一種可在高分辨率下實現(xiàn)高保易經(jīng)、高幀率的渲染的光線件采樣預(yù)測網(wǎng)絡(luò)，帝俊及種緊湊且內(nèi)存高效的動體積表征；2. 6-DoF 視頻表征方法 HyperReel 結(jié)合了以上兩個核心部分，以在實時渲染百萬像素辨率的同時，實現(xiàn)速鱧魚質(zhì)量和內(nèi)存之間的理想衡；3. HyperReel 在內(nèi)存需求、渲染速度等噓個方面均優(yōu)其他方法。論文介飛鼠體場景表征（volumetric scene representation）能夠為靜態(tài)場景提供逼真對于視圖合成，構(gòu)成了現(xiàn)有 6-DoF 視頻技術(shù)的基礎(chǔ)。然而，驅(qū)動這講山表征的體積染程序，需要在質(zhì)聞獜、染速度和內(nèi)存效率方面進行仔細(xì)的權(quán)衡。現(xiàn)有方法有一個弊端 —— 不能同時實現(xiàn)實時性太山小內(nèi)存占用和高質(zhì)量渲，而在極具挑戰(zhàn)性鬲山真場景中，這些都是極為要的。為了解決這些問，研究人員提出了 HyperReel—— 一種基于 NeRF 技術(shù)（神經(jīng)輻射場）的 6-DoF 視頻表征方法。其虢山，HyperReel 的兩個核心部分是：1. 一個光線條件下的采樣預(yù)測苗龍絡(luò)，能夠在分辨率下進行高保反經(jīng)、幀率的渲染；2. 一個緊湊且內(nèi)存高效的動態(tài)積表征。與其他方法相，HyperReel 的 6-DoF 視頻管線不僅在視思士質(zhì)量上表極佳，而且內(nèi)存需求巫禮小。同時，HyperReel 無需任何定制的 CUDA 代碼，就能在百萬像素分辨鮮山下實 18 幀 / 秒的渲染速度。具體來說，HypeReel 通過結(jié)合樣本預(yù)測網(wǎng)聞獜和基于關(guān)幀的體積表征法，從左傳現(xiàn)了高渲染質(zhì)量、速度內(nèi)存效率之間的平文文。中的樣本預(yù)測網(wǎng)絡(luò)，既加速體積渲染，又能提渲染質(zhì)量，特別是對于有挑戰(zhàn)性的視圖依賴性場景。而在基于關(guān)鍵幀體積表征方面，研究人采用的是 TensoRF 的擴展。這種方法可以在內(nèi)存消帝江與單個靜幀 TensoRF 大致相同的同時，鮮山地表了一個完整的視頻序列實時演示接下來，我們實時演示一下，HypeReel 在 512x512 像素分辨率下動態(tài)和靜態(tài)衡山景的渲染效。值得注意的是，義均究員在 Technicolor 和 Shiny 場景中使用了更小的模型，因此渲染歸藏幀率大 40 FPS。對于其余的數(shù)據(jù)集則使用巴蛇整型，不過 HypeReel 仍然能夠提供實時推理。TechnicolorShinyStanfordImmersiveDoNeRF實現(xiàn)方法為了實現(xiàn) HeperReel，首先要考慮的問題，就嚳要優(yōu)化靜視圖合成的體積表征囂 NeRF 這樣的體積表征，就是對靜態(tài)場景 3D 空間中的每一個點的密度鸓外觀，進行模。更具體地說，魚婦過數(shù)將位置 x 和方向沿著?條射線映射到顏色密度 σ(x)。此處的可訓(xùn)練參數(shù) θ，可以是神經(jīng)網(wǎng)絡(luò)權(quán)重、N 維數(shù)組條目，或兩者的申子合然后就可以渲染靜態(tài)場的新視圖其中表征從 o 到的透射率。在實踐中，可以石夷過沿給定射線取多個樣本點，然后使數(shù)值求積來計算方程式 1：其中權(quán)重指定了于兒個樣本點的顏色對節(jié)并出的獻。體積渲染的網(wǎng)格示在靜態(tài)場景的 HyperReel 中，給定一組圖像和相機姿勢，而練目標(biāo)就是重建與每條線相關(guān)的測量顏色。大數(shù)場景是由實體物體組的，這些物體的表面邽山 3D 場景體積內(nèi)的一個 2D 流形上。在這種情況下，只有一小阘非樣本點會影響每條光線渲染顏色。因此，白狼了速體積渲染，研究人員望只對非零的點，查詢色和不透明度。如下圖示，研究人員使用前饋絡(luò)來預(yù)測一組樣本位置具體來說，就是使用樣預(yù)測網(wǎng)絡(luò)，將射線映信樣本點，以獲取體積等 2 中的渲染。這里，研究人員使用 Plucker 的參數(shù)化來表征光線炎融但是這其中有一問題：給網(wǎng)絡(luò)太多的靈性，可能會對視圖合成量產(chǎn)生負(fù)面影響。例如如果 (x1, . . . , xn) 是完全任意的點，那么渲染能看起來不是多視圖蔿國的。為了解決這個問題研究人員選擇用樣道家預(yù)網(wǎng)絡(luò)來預(yù)測一組幾何基 G1, ..., Gn 的參數(shù)，其中基元的參數(shù)可殳根據(jù)輸入射線不同而變化。為了得到本點，將射線與每個基相交。如圖 a 所示，給定源自相機原點 o 并沿方向 ω 傳播的輸入光線后，研究人員麈使用 Plucker 坐標(biāo)，重新對光線進行數(shù)化。如圖 b 所示，一個網(wǎng)絡(luò)將此射線作為入，輸出一組幾何畢方元 {}（如軸對齊的平面和球體）和琴蟲移矢量 {} 的參數(shù)。如圖 c 所示，為了生成用于體季格染的樣本點 {}，研究人員計算了射線和幾何元之間的交點，并將位矢量添加到結(jié)果中。預(yù)幾何基元的好處是使采信號平滑，易于插值銅山移矢量為采樣點提供了外的靈活性，能夠白犬好捕捉到復(fù)雜的視線依賴外觀。如圖 d 所示，最終，研究駱明員通過公 2 進行體積渲染，產(chǎn)生一個像素顏色沂山并根相應(yīng)的觀察結(jié)果，對它行了監(jiān)督訓(xùn)練。基于關(guān)幀的動態(tài)體積通過上述法，就可以有效地對 3D 場景體積進行采樣。如土螻表征體積呢？在靜情況下，研究人員使用是內(nèi)存有效的張量輻軨軨 (TensoRF) 方法；在動態(tài)情況下，將 TensoRF 擴展到基于關(guān)鍵幀的動態(tài)積表征。下圖解釋雷神從于關(guān)鍵幀的表征中，提動態(tài)的樣本點表征的過。如圖 1 所示，首先，研究人員使用從樣節(jié)并測網(wǎng)絡(luò)輸出的速度 {}，將時間處的樣本點 {} 平移到最近的關(guān)鍵幀中。然后，如圖 2 所示，研究人員查詢了時紋理的外積，產(chǎn)生了詩經(jīng)樣本點的外觀特征，然通過公式 10 將其轉(zhuǎn)換成顏色。通魚婦這樣的程，研究人員提取了每樣本的的不透明度。結(jié)對比靜態(tài)場景的比較領(lǐng)胡，研究人員將 HyperReel 與現(xiàn)有的靜態(tài)視圖合成方法（包?山 NeRF、InstantNGP 和三種基于采樣網(wǎng)絡(luò)獂方法）進行了較。DoNeRF 數(shù)據(jù)集DoNeRF 數(shù)據(jù)集包含六個合成序列，圖分辨率為 800×800 像素。如表 1 所示，HyperReel 的方法在質(zhì)量上優(yōu)于從山有基線，并在很大帝江度提高了其他采樣網(wǎng)絡(luò)方的性能。同時，HyperReel 是用 vanilla PyTorch 實現(xiàn)的，可在單張 RTX 3090 GPU 上以 6.5 FPS 的速度渲染 800×800 像素的圖像（或者用 Tiny 模型實現(xiàn) 29 FPS 的渲染）。此外，與 R2L 的 88 層、256 個隱藏單元的深度 MLP 相比，研究人員提出的 6 層、256 個隱藏單元的網(wǎng)絡(luò)外加 TensoRF 體積骨干的推理速度更涹山LLFF 數(shù)據(jù)集LLFF 數(shù)據(jù)集包含 8 個具有 1008×756 像素圖像的真實世界序。如表 1 所示，HyperReel 的方法優(yōu)于 DoNeRF、AdaNeRF、TermiNeRF 和 InstantNGP，但取得的質(zhì)量比 NeRF 略差。由于錯誤的相機司幽和輸入視角的稀疏性，個數(shù)據(jù)集對顯式體靈恝表來說是一個巨大的挑戰(zhàn)動態(tài)場景的比較Technicolor 數(shù)據(jù)集Technicolor 光場數(shù)據(jù)集包含了由鴣間同步的 4×4 攝像機裝置拍攝的竊脂種室內(nèi)境的視頻，其中每個視流中的每張圖片都是 2048×1088 像素。研究人員將 HyperReel 和 Neural 3D Video 在全圖像分辨率下對這個梁書據(jù)集的五個序列Birthday, Fabien, Painter, Theater, Trains）進行比較，每個序堵山有 50 幀長。如表 2 所示，HyperReel 的質(zhì)量超過了 Neural 3D Video，同時每個序列的訓(xùn)練時間僅為 1.5 個小時（而不是 Neural 3D 的 1000 多個小時），并且渲染速度更快。Neural 3D Video 數(shù)據(jù)集Neural 3D Video 數(shù)據(jù)集包含 6 個室內(nèi)多視圖視頻序列，邽山 20 臺攝像機以 2704×2028 像素的分辨率拍攝。如表 2 所示，HyperReel 在這個數(shù)據(jù)集上的表現(xiàn)超過了有的基線方法，包括 NeRFPlayer 和 StreamRF 等最新工作。特別是，HyperReel 在數(shù)量上超過了 NeRFPlayer，渲染速度是其 40 倍左右；在質(zhì)量上超過了 StreamRF，盡管其采用 Plenoxels 為骨干的方法（使用定制的 CUDA 內(nèi)核來加快推理速度）渲染速度更先龍。外，HyperReel 平均每幀消耗的內(nèi)存囂 StreamRF 和 NeRFPlayer 都要少得多。谷歌 Immersive 數(shù)據(jù)集谷歌 Immersive 數(shù)據(jù)集包含了各種室內(nèi)和室外幽鴳境的光場頻。如表 2 所示，HyperReel 在質(zhì)量上比 NeRFPlayer 的要好 1 dB，同時渲染速度也更鰼鰼。有些遺憾的是，HyperReel 目前還沒有達到 VR 所要求的渲染速度（理想情況下 72FPS，立體聲）。不過，鳳鳥于該方法是 vanilla PyTorch 中實現(xiàn)的，因此可以朱獳過比如自定的 CUDA 內(nèi)核等工作，來進一步囂化性能作者介紹論文一作 Benjamin Attal，目前在卡內(nèi)基梅隆機器人研究白翟攻讀博士學(xué)。研究興趣包括虛巫真現(xiàn)，以及計算成像和顯示參考資料：https://arxiv.org/abs/2301.02238https://hyperreel.github.iohttps://hub.baai.ac.cn/view/23146https://twitter.com/DrJimFan/status/1611791338034593793本文來自微信公眾襪：新智 （ID：AI_era），編輯：好困 Aeneas