論文題目：基于圖像分解去糾纏與邊緣引導的遙感影像語義分割算法研究

錄用期刊：遙感學報（CCF A）

作者列表：

1） 連遠鋒 中國石油大學（北京）人工智能學院 智能科學與技術系教師

2） 李科科 中國石油大學（北京）人工智能學院 計算機科學與技術專業 碩23

 

摘要: 

遙感圖像具有目標尺寸差異顯著、背景復雜多變的特點，存在地物光譜混淆和特征邊界不清晰等現象，這增加了語義分割任務的難度。針對不同光照條件下遙感圖像目標由于特征相互依賴而導致的語義分割困難問題，本文提出了一種基于去糾纏的遙感圖像語義分割模型，該模型由光照反射去糾纏網絡（LRD-Net）和多模態語義分割網絡（MSS-Net）構成。首先，基于Retinex理論設計LRD-Net網絡用于分解光學圖像中的光照和反射特征，通過權重共享Transformer（WS-Transformer）提取目標的全局和局部特征；其次，引入多尺度噪聲模塊對光照分量進行自適應增強以提高模型的去糾纏能力，通過顯著特征強化模塊（SE）突出不同分量特征之間的差異信息；最后，使用邊緣特征提取模塊（EE）提高遙感目標的邊緣識別能力，并通過多模態語義分割網絡（MSS-Net）融合光照特征和反射特征提升語義分割性能。實驗結果表明，本文提出的模型在遙感圖像語義分割任務中優于其他模型。

背景與動機: 

在城市環境中，當光照條件的顯著變化時，遙感圖像的語義分割面臨目標尺度不平衡和同物異譜及異物同譜等問題。因此，研究如何在不同光照條件下對復雜城市背景中目標進行精確分割具有重要的意義。

設計與實現: 

本文提出遙感圖像語義分割模型的整體框架如圖1所示，主要由光照反射去糾纏模塊、光照反射增強模塊和語義分割模塊3部分組成。模型將遙感光照圖像作為光照反射去糾纏模塊的輸入。其中 LRD-Net是雙分支結構，分別提取光學圖像的光照信息和反射信息。同時該模塊采用WS-Transformer，將光照反射去糾纏模塊中提取的光照信息和反射信息在特征提取的不同階段進行多次融合。在光照反射增強模塊中，LRD-Net對多尺度噪聲模塊增強的光照特征進行再分解。SE模塊從全局上提取分解后的高層特征，獲取更多語義信息。最后語義分割網絡MSS-Net利用EE模塊對深層信息進行邊緣提取，得到語義分割結果。

 

圖1  整體框架結構圖

實驗結果及分析:

在ISPRS Vaihingen和ISPRS Potsdam數據集上，本模型的特征去糾纏效果如圖2所示。相較于輸入的原圖像，本模型通過分解輸出的反射特征與光照特征，精確地實現了光照分量與不變反射率的有效去糾纏。 針對本模型在特定場景下的性能評估，所展示的輸入原圖像場景均存在細節豐富的識別物種類，如復雜的城市建筑、多樣的地表覆蓋等，然而在本模型所提取的光照特征熱力圖中陰影變化與光照強度的分布被準確捕捉。

(a)ISPRS Vaihingen 數據集

(b)ISPRS Potsdam 數據集

圖2  特征分解效果對比圖

為了更好地展示對比，圖3和圖4展示了本文方法與和其他語義分割模型的實驗結果?？梢钥闯?，在ISPRS Vaihingen和ISPRS Potsdam測試集上，本文方法的性能優于其他方法，證明本文方法具有更強的魯棒性。

圖3  不同模型在ISPRS Vaihingen數據集上的分割結果對比

圖4  不同模型在ISPRS Potsdam數據集上的分割結果對比

結論:

本文提出一種基于物理過程去糾纏的遙感圖像檢測模型。該模型基于去糾纏理論和Retinex理論設計了基于物理過程的LRD-Net生成遙感圖像中的光照特征和反射特征，并基于權重共享模塊實現了WS-Transformer提取全局和局部特征，引入SE模塊進一步對特征進行融合。最后使用MSS-Net融合去糾纏后的特征，引入EE模塊提升分割精度。在ISPRS Vaihingen和ISPRS Potsdam數據集上的實驗表明，所提模型提升了遙感圖像語義分割的精度，能夠通過對遙感圖像光照和反射的去糾纏解決不同光照條件下遙感圖像識別精度下降的問題。未來考慮融合遙感大模型和去糾纏理論提高遙感圖像的分割精度。

作者簡介:

連遠鋒，教授。研究方向為圖像處理與虛擬現實、機器視覺與機器人、深度學習與數字孿生。