論文題目：基于邊緣強化神經拉動模型的三維表面重建

錄用期刊/會議：紅外與激光工程, (EI中文期刊)

見刊時間：2024.06.25

作者列表：

1）徐寶昌 中國石油大學（北京）人工智能學院 自動化系 教師

2）王毅豪 中國石油大學（北京）人工智能學院 控制科學與工程 研23

3）郝圍圍 中國石油集團工程技術研究院有限公司鉆井工藝研究所

4）尹士軒 中國石油大學（北京）人工智能學院 控制科學與工程 博23

5）王 威 中國石油集團工程技術研究院有限公司鉆井工藝研究所

6）李雅飛 中國石油集團工程技術研究院有限公司鉆井工藝研究所

摘要:

通過學習空間點云數據的符號距離函數(SDFs)進行三維表面重建是當前的研究熱點。為重建出高精度的水密模型，神經拉動(NP)采用點云拉動，以訓練同步更新SDFs，但在實際重建過程中，重建模型會因為點云存在噪聲和缺失而導致重建結果不夠精細，帶來錯誤的表面重建。針對以上問題，本文引入邊緣提取強化輸入點云的邊緣信息，提出利用殘差學習機制的邊緣強化神經拉動模型(NPEE)。為確保重建表面平滑的同時能夠獲取更多的表面細節，該方法在保留原本神經網絡用于學習SDFs的基礎上引入一個新的網絡，利用殘差學習機制學習點云的邊緣SDFs。同時在原始點云的基礎上，引入邊緣因子，結合學習的邊緣SDFs，通過點云邊緣的魯棒提取強化輸入點云。為驗證算法模型的優化效果，本文采用目前廣泛使用的ABC數據集、斯坦福掃描模型和模擬掃描數據集設計對比實驗，實驗結果以及評估指標(CD)表明，NPEE可以有效改善神經拉動算法在邊緣表面重建的缺陷，同時和其他重建方法相比，NPEE在面對稀疏點云和含噪點云時仍能保證重建的精確性和完整性。

背景與動機:

符號距離函數(Signed Distance Functions，SDFs)是三維模型的一種重要表示方式，廣泛應用于計算機圖形學和視覺模擬領域。對于復雜的三維模型，SDFs能夠有效地表示模型細節以及尖銳特征。目前的方案是使用深度神經網絡模型，從空間點云數據學習SDFs，并進一步利用移動立方體方法(Marching Cubes，mcubes)重建三維表面。其原理是通過離散空間點云之間的鄰近距離直接學習點云的無符號距離場(Unsigned Distance Functions，UDFs)，再通過點云中表現更多的信息獲取距離場的符號。用空間點云學習三維模型的SDFs來重建三維表面的方法如今得到了廣泛的應用，但仍面臨著依賴基準監督和大規模梯度計算等問題。Groop等提出一種損失函數，使輸入點云具有隱式幾何正則化屬性，有利于生成平滑和自然的零水平集表面，但該方法需要依賴基準真值(Ground Truth，GT)進行監督，當原始點云不包含梯度信息時，重建效果較差；Ma等基于表面先驗，通過將查詢點投影到曲面三維表示來學習點云數據的SDFs，但該方法在面對稀疏點云時，有時不能正確識別SDFs；Chibane和Chen分別利用梯度信息和離散網格對SDFs進行優化估計，以獲取更加細致的重建曲面，但該方法依賴大規模的梯度計算，在面臨缺陷點云時離散網格往往會產生錯誤的表面估計，不利于三維模型的正確表示。

神經拉動(Neural-pull，NP)是一種從離散空間點云信息中獲取高質量SDFs并進行表面重建的方法，旨在使用預測的SDFs和查詢點的梯度信息將查詢點拉動到重建表面上。該方法的特點是模型訓練過程無需基準真值GT的符號距離值作為監督，同時在訓練過程中同步更新符號距離值以及梯度信息高效學習點云SDFs，確保了重建準確性的同時具備較高的重建效率。然而，實際獲取的空間點云數據不可避免地存在噪聲以及缺陷，會使重建表面出現邊緣缺陷的現象。例如，Ma指出NP在處理相對離散的邊緣點云時，重建的三維模型無法表現清晰的細節特征；Chen指出面對多層次復雜結構點云，NP重建的三維模型出現了重建斷層。

設計與實現:

針對NP的邊緣過擬合問題，本文提出一種改進思路，引入邊緣提取強化輸入點云的邊緣信息，提出利用殘差學習機制的邊緣強化神經拉動模型，在文中被稱為基于邊緣強化的神經拉動(Neural Pull based on Edge Enhancement，NPEE)。如圖2所示，它主要是由EN邊緣構建網絡(Edge-construction Network)和NP神經拉動網絡(Neural-pull Network)組成。EN邊緣構建網絡提取空間離散點云的邊緣SDFs，并基于邊緣因子提取出點云的邊緣特征。NP神經拉動網絡提取全局SDFs特征，并通過mcubes移動立方體算法完成總體的表面重建。

  邊緣構建網絡采用殘差網絡結構，該網絡以空間離散點云的位置編碼向量作為輸入，輸出用于預測空間點云SDFs參數，以構建致密的0基準隱式表面。邊緣點云提取算法采用一種快速、魯棒的方法，通過分析每個點的k-臨近(k-nearest neighbor)的協方差的特征值，提取點云邊緣的尖銳特征。神經拉動網絡采用神經拉動算法，該網絡先將邊緣加強的重組點云的位置編碼向量輸入到MLP骨干(backbone)得到對應的特征值，該特征值將用于計算每個空間離散點的SDFs值，并根據學習的SDFs反向傳播的梯度信息進行拉動操作，更新輸入點云的位置編碼向量以及SDFs。經過這樣對點云的多次迭代計算SDFs值以及拉動操作后，輸出用于預測空間點云SDFs的神經網絡參數，并構建全局SDFs信息，提取SDFs的0等值面，通過mcubes移動立方體算法輸出水密的3D網格。

圖 1 神經拉動在2D表面上的示例：將離散的點拉到2D表面上，其中、為梯度信息，、為符號距離值

圖 2 算法框架

實驗結果及分析:

本文的主要目標在于NP的邊緣過擬合導致邊緣缺失的問題。下面的實驗首先對廣泛使用的數據集進行表面重建，比較重建效果；然后進行稀疏點云重建，與不同的重建方案進行定量定性的分析。

為驗證引入邊緣提取強化輸入點云邊緣信息的有效性，本文以ABC數據集為基準，參考文獻所進行的驗證方法，隨機選取個點作為輸入，分別采用NP和NPEE進行重建實驗。得到的重建結果由圖3所示?？梢悦黠@得到，NPEE所重建的表面更接近基準真值，邊緣完整性明顯優于NP重建結果。稀疏點云的重建任務中，進行重建任務之前，需要將基準真值的網格轉化為空間離散點云，離散點云的提取標準為隨機提取真值點云的3%，得到的重建結果如圖4所示。由于DeepSDF的重建結果無法正確收斂，所以得到的CD距離相對較大。與Onsurface和NP相比，本文方法在實驗數據上都有一定的提升，這表明了本文所提方法在空間離散點云重建方面的優越性。

圖 3 邊緣強化輸入有效性分析

圖 4 與其他表面重建方法的定性對比

面對包含噪聲、內部存在較大空洞的點云時，DeepSDF會出現錯誤的表面擬合，例如anchor和gargoyle。由于噪聲的影響，NP的重建效果較差，anchor、children和gargoyle模型重建結果均出現了不同程度的破損。Onsurface和NPEE都重建出了完整的網格模型，但在重建的細節上缺乏一定的表現，例如，對anchor的重建缺乏元件中心空洞的輪廓，對children的重建不能完全分離重建每個角色的足部，對gargoyle的重建翅膀末尾出現了較大面積的破損。本文方法重建掃描件與元件基準真值具有最小的CD值，表明本文方法在面對噪聲點云時具有一定的泛化能力。

圖 5 面對含噪點云的掃描結果

小結:

(1)本文針對神經拉動算法在稀疏點云和含噪點云重建中所出現的邊緣缺陷問題提出一種改進思路，提出利用殘差學習機制的邊緣強化神經拉動模型NPEE。

(2)本文在模型中引入邊緣因子，設計一種EN邊緣構建網絡以構建空間離散點云的邊緣SDFs并以此強化原始輸入點云，從而優化了重建的效果。

(3)為驗證算法模型的優化效果，本文采用目前廣泛使用的ABC數據集、斯坦福掃描模型和模擬掃描數據集設計一系列對比實驗。首先，將NP和NPEE的重建結果進行對比，驗證了引入邊緣提取強化輸入點云邊緣信息的有效性；然后，基于ABC數據集和斯坦福掃描數據集，設計了重建實驗，數據結果表明，和其他重建結果相比，本文所提方法邊緣特征明顯、完整度高，CD指標顯著低于其他重建結果，有效提升了重建質量。

(4)為了探討重建過程中每一個環節所產生的作用，本文設立了消融實驗。首先，設定不同的進行重建實驗，得到邊緣因子的最佳取值為0.03；其次，針對EN邊緣提取網絡的殘差結構設計消融實驗，重建結果和CD指標驗證了殘差結構優化邊緣重建的必要性；最后，基于模擬掃描數據集，并與其他重建方法進行對比，數據結果表明，CD指標低于其他重建方法，NPEE重建結果最接近基準真值。

(5)本文主要關注空間三維點云的表面重建，對于具有復雜集合特征的開放性空間，近期基于點的神經輻射場 (3D Gaussian Splatting，3DGS)展示了新穎的三維表面重建思路，可以作為下一步的研究方向。

作者簡介:

徐寶昌，教授,博士生導師/碩士生導師。長期從事復雜系統的建模與先進控制；鉆井過程自動控制技術；井下信號的測量與處理；多傳感器信息融合與軟測量技術等方面的研究工作?，F為中國石油學會會員，中國化工學會信息技術應用專業委員會委員。曾參與多項國家級、省部級科研課題的科研工作，并在國內外核心刊物發表了論文70余篇；其中被SCI、EI、ISTP收錄30余篇。