中文題目：基于多項式的神經輻射場實時渲染

論文題目：Polynomial for real-time rendering of neural radiance fields

錄用期刊/會議：The Visual Computer(CCF C)

原文DOI：https://doi.org/10.1007/ s00371-024-03660-4

原文鏈接：https://link.springer.com/article/10.1007/s00371-024-03660-4

錄用/見刊時間：2024.9.27

作者列表：

1) 朱麗萍 中國石油大學（北京）信息科學與工程學院 計算機系教師

2) 周海波 中國石油大學（北京）信息科學與工程學院 碩21

3) 吳祀霖 中國石油大學（北京）信息科學與工程學院 碩22

4) 程天榮 中國石油大學（北京）信息科學與工程學院 碩23

5) 孫紅軍 中國石油大學（北京）信息科學與工程學院 計算機系教師

背景與動機:

基于神經輻射場的研究所面臨的一個共同挑戰就是圖像的渲染速度慢，導致這一現象的原因在于極端的采樣要求和昂貴的神經網絡查詢成本，對于一條光線的渲染需要查詢神經網絡的每個5維坐標（位置坐標與視角坐標）的映射。PlenOctrees方法通過將NeRF模型轉化成體素結構并利用八叉樹存儲，實現了離線渲染，在渲染速度上得到了指數提升。但此類方法以犧牲大量的存儲空間來換取渲染時間的突破，且在場景細節的渲染上效果不佳。

針對這些問題，本研究提出PNeRF（Polynomial for Neural Radiance Fields）模型來訓練三維場景表示。通過神經網絡推理得到渲染結果只需要查詢一次網絡，在渲染時間上大幅度提升，為了進一步優化渲染速率，又設計了六軸曲面方法來存儲渲染視圖，將觀察起點與方向映射的渲染值通過六軸曲面模型存儲，實現離線渲染。

設計與實現:

本研究將三維靜態場景表示為6D神經輻射場的連續函數，其輸入是觀察起點坐標x0和觀察方向向量d，其輸出是場景空間的密度多項式系數、顏色多項式系數以及與觀察位姿相關的像素顏色權重w。本文將此場景表示方法稱為PNeRF模型，即基于多項式的神經輻射場場景表示。PNeRF的整體架構如下圖1所示。

 

 

圖1 基于多項式的神經輻射場

為了更好的反映顏色變化情況，對每條光線設置權重w(x0,d)，權重w與觀察位姿相關，表示為光線色彩RGB三通道分別對最終像素的貢獻度，取值范圍為[0,1]，此外，每條光線的強度比例為一常數，為方便于計算，將其與權重混合在一起，即w(x0,d)表示光線色彩貢獻度與強度的乘積，得到新的體渲染方程為：

 

推理得到單光線渲染方程的最終形式為：

 

進一步計算積分得到在PNeRF網絡中的最終體渲染推理方程式為：

 

在方程式中，F(s)與f(s)分別為三維空間中體積密度函數與原函數在光線發射方向d上的梯度向量。

在渲染視圖時，本節提出了六軸曲面（Six-axis surfaces，Sas）的球面數學模型，如圖2所示，不再使用坐標原點發射的一條射線與球面交于一點的傳統思想，而是通過坐標軸，以X軸與Y軸發射兩個平面與球面交于一點的觀念。為了使分布更為均勻，通過三維坐標軸的六個方向劃分球面，對這六個球面分別表示。 

 

圖2 六軸曲面模型可視化

以Z軸正方向上的球面為例，設從X軸發射的平面與Z軸的夾角為u，從Y軸發射的平面與Z軸的夾角為v，根據X軸發射的平面與Z軸的夾角可以得到平面法向量，為X軸向量與平面在ZoY平面上的交點到原點向量之間的叉乘，解算兩平面與球面的交點得到Z軸正方向上的曲面方程為：

如圖3所示，在六軸曲面方程的基礎上用網格來分割曲面，網格頂點上存儲對應觀察位置的渲染視圖，網格內的切點則通過頂點的插值來實現。

 

圖3 距離場插值算法

在四個頂點存儲的視圖中，對應相同坐標的像素顏色值ci會有一定差距。本研究使用距離場來描述插值點的視圖顏色，通過頂點插值得到對應坐標上的顏色值，每個頂點對插值點顏色的貢獻度與距離相關，且貢獻度總和為1。則頂點貢獻度表示為：

 

實驗結果及分析:

本文依照在LLFF數據集上呈現。所有的消融實驗均在模型選擇的最佳參數上進行的。

表1 不同模型組件的實驗結果

 

 

圖4 不同渲染加速算法合成新視圖

根據LLFF數據集來進行實驗并評估本章節的算法。首先，在渲染質量上，如圖6所示，展示了真實的360度場景Horns與Trex的渲染結果對比，渲染質量評估數值對比見表2。

表2 不同方法的比較

  

其次，對比渲染時間性能，綜合渲染質量對PNeRF結合六軸曲面模型的性能進行評估。如圖5所示。 

              

圖5 渲染速率與質量綜合對比                 圖6 渲染速率與存儲成本的綜合對比 

最后，在存儲成本上的對比，如圖6所示。PNeRF模型的存儲空間大小僅僅只需保存網絡權重的空間且渲染速率表現較優。

 

結論:

本文主要研究基于多項式的體渲染表示以及六軸曲面模型實現離線渲染?；诙囗検降捏w渲染表示方面，本文對當前離散化的體渲染表示進行了優化，根據多項式擬合離散點的性質，將體渲染表示連續化并轉換到三維空間中，通過實驗證明提出的基于多項式的體渲染表示在提升渲染速率上的有效性。對于六軸曲面模型，本文設計了網格分布均勻、存儲成本更小的球面存儲結構，來存儲渲染的視圖從而實現離線實時渲染，實驗結果表明，該方法可以大幅度提升渲染速率，有效壓縮存儲空間。結合以上兩個方式，有效地提高了渲染速度，壓縮了存儲成本，實現了離線實時渲染。

作者簡介:

朱麗萍，博士。中國石油大學（北京）計算機系副教授，碩士生導師。目前主要研究方向是大數據和數據挖掘方向，尤其關注深度學習在計算機視覺方向上的應用，已發表論文多篇高水平論文。

聯系方式：zhuliping@cup.edu.cn。