中文題目：多天氣恢復任務：一種基于提示引導的高效卷積架構

論文題目：Multi-weather restoration: An efficient prompt-guided convolution architecture

錄用期刊/會議：IEEE Transactions on Circuits and Systems for Video Technology (SCI 1區TOP，CCF B)

原文DOI：10.1109/TCSVT.2024.3469190

原文鏈接：https://ieeexplore.ieee.org/document/10697214

錄用/見刊時間：2024年9月27日

作者列表：

1） 李承陽 中國石油大學（北京）人工智能學院 智能與科學系教師

2） 孫方偉 軍事科學院 計算機科學與技術專業 博23

3） 周   恒 江南大學人工智能與計算機學院 人工智能系教師

4） 謝永強 軍事科學院 研究員

5） 李忠博 軍事科學院 高級工程師

6） 朱麗萍 中國石油大學（北京）人工智能學院 計算機系教師

摘要:

應對惡劣天氣條件在實際應用中起著至關重要的作用。許多現有的恢復方法僅限于特定的天氣類型，這限制了它們在不同天氣場景中的適用性。研究者們已經利用包括 Transformer 和擴散模型在內的先進技術來應對這一挑戰。然而，這些方法通常會增加網絡復雜性并延長推理時間。為此，本文提出MW-ConvNet，一種用于多天氣恢復的基于 U 形卷積的網絡。具體來說，引入了 MW-Enc 塊和 MW-Dec 塊來實現簡單但強大的特征提取，這完全依賴于傳統的 2D 卷積。為了提高對多種天氣條件的適應性，設計了一個提示生成模塊來在編碼器的終端生成代表性的天氣提示。從風格轉換中汲取靈感，天氣提示用于指導解碼器通過漸進式恢復程序進行學習。對于未來的高保真恢復，在編碼器階段通過小波池化塊引入頻率分離，在解碼器階段引入相應的上采樣塊。低頻和高頻特征的分離處理抑制了網絡計算過程中紋理信息的丟失。它還提高了生成的天氣提示的質量和準確性。大量實驗表明，與最先進的方法相比，所提出的 MW-ConvNet 在特定天氣和現實世界恢復任務中都獲得了卓越的性能。值得注意的是，本文方法實現了每 256x256 圖像 0.12 秒的驚人推理速度，超過了基于Transformer和基于Diffusion的模型。

背景與動機:

多天氣條件下的圖像恢復對于增強自主系統的感知能力以及提高航空偵察能力至關重要。真實世界的場景經常受到霧、雨和雪等惡劣天氣條件的影響，這些條件會扭曲圖像并阻礙能見度。這些失真對下游任務如目標檢測和目標跟蹤產生了不利影響。盡管在解決特定退化問題方面已經取得了實質性進展，例如去霧、去雨和去雪，但大多數現有方法都是針對單一天氣條件設計的。這一限制限制了它們在真實世界場景中的有效性，真實世界場景中通常會同時出現多種天氣條件。為了應對多種天氣退化，最近出現了一些有意義的研究工作。All-in-One首次引入這種多天氣恢復任務。它還提出了一個統一的框架，該框架利用特定任務的編碼器和多功能解碼器，通過神經架構搜索進一步優化，以實現有效的特征融合。TransWeather利用Transformer模型，采用了基于Transformer的編碼器和解碼器結構來提升性能。此外，WeatherDiff引入了擴散模型，并設計了一種基于補丁的條件擴散方法。盡管這些方法顯示出相當大的潛力，但它們也導致訓練參數數量的顯著增加，導致訓練復雜性和推理時間方面的挑戰。

設計與實現:

為了滿足實時性要求并設計一種簡單高效的多降質恢復算法，本文提出一種完全基于簡單卷積的多降質恢復網絡MW-ConvNet。該網絡旨在解決多種降質因素導致的圖像退化問題，其整體架構如下圖所示。MW-ConvNet采用含有跳躍連接的經典U形網絡U-Net的結構。其整體架構可以劃分為五個連續階段，依次為淺層特征提取階段、編碼器階段、提示生成模塊、解碼器階段和圖像重建階段。

在初始階段，采用2個3x3的卷積運算進行淺層特征提取，將輸入圖像映射到高維特征空間。淺層特征的維度為dxHxW，d表示特征通道數，H和W表示特征圖的尺寸。編碼器階段被劃分為5個子階段，每個子階段對應不同的特征尺度，MW-Enc塊的數量依次設置為[2, 2, 4, 8, 5]。在前4個子階段尾部，加入小波池化塊以進行下采樣。該模塊將功能解耦到四個頻域，從而實現高低頻特征的分離。與編碼器對應，解碼器階段同樣分為5個子階段，MW-Dec塊的數量依次設置為[5,2,2,2,2]。在前四個子階段尾部，上采樣模塊被使用來放大特征圖尺寸。最終，圖像重建階段由2個3x3卷積組成，將特征圖重新恢復到原始的圖像空間，其維度為3xHxW。

提示生成模塊位于編碼器階段和解碼器階段之間，其作用是為解碼器階段中的MW-Dec塊提取表征降質因素的降質提示向量。在訓練期間，該模塊通過引入額外的約束損失來促進降質提示的學習過程。該模塊的設計旨在提升網絡的降質特征表示能力，并為解碼器提供準確的降質提示信息，從而增強模型對降質特征的敏感性，并實現更好的圖像重建效果。在多降質恢復任務中，核心挑戰在于如何在網絡執行過程中有效地分離不同的降質因素，并生成相應的解決方案。根據以往的研究，可以將每種降質因素視為一個獨立的風格域?；诖硕x，降質提示歸一化方法被提出作為一種簡單有效的方法，用于協調和融合圖像特征和降質提示向量，使兩者有機地結合起來。這種方法不僅通過特定降質特征的統計數據實現了特征級的風格轉換，而且還保留了特征圖中細節信息的空間結構。通過引入降質提示向量，MW-Dec塊能夠有效地提高解碼器的性能和魯棒性，為在同一模型內分離處理不同降質提供了一種靈活而可靠的解決方案。

實驗結果及分析:

實驗數據集主要涵蓋三種降質場景，分別為雨滴、雨霧、雪。為了確保公平比較，采用與All-in-one和TransWeather論文中相同的訓練集和測試集，被稱為“AllWeather”。對于去雨滴、去霧和雨、去雪任務的定量比較中，將參與比較的方法分為兩類：特定降質和多降質。其中，特定降質方法是針對特定降質數據集進行定制訓練，以專門處理單個降質恢復任務，而多降質方法則通過訓練統一模型來同時處理所有降質恢復任務。MW-ConvNet在多降質恢復任務中表現出優異的性能，體現在其較高的PSNR和SSIM分數。此外，其訓練過程也相對穩定，能夠快速地收斂訓練損失。相比基于Transformer的方法（如TransWeather）和基于擴散的方法（如WeatherDiff），基于CNN架構的MW-ConvNet有效地解決算力需求較大的挑戰，極大增強實際部署場景中的實用性。

同時，進行了實驗對不同恢復方法的推理時間進行比較分析，如下表所示。在所有方法的測試實驗中，統一采用相同的輸入圖像尺寸256x256。值得注意的是，MD-ConvNet具有最快的推理速度，每張圖像僅需0.12秒就可以完成圖像恢復。僅基于卷積的模型架構成為提高其效率的關鍵因素，并且采用多尺度和編碼器-解碼器的設計進一步提升特征豐富度和利用率，從而達到基于較大參數模型Transformer和擴散模型相同的實驗性能。

結論:

本文重新思考了傳統的2-D卷積，并發現基于卷積的模型可以實現與基于Transformer和基于Diffusion的模型相似的性能?；谶@一觀察，本文提出了一個簡單而高效的卷積架構MW-ConvNet，用于多天氣恢復。MW-ConvNet采用了帶有無激活特征提取塊MW-Enc和MW-Dec的U形編碼器-解碼器架構。為了解決多種天氣共存的問題，在編碼器的末端引入了提示學習，以生成一個天氣提示。通過強大的約束，這個提示具有強大的天氣感知能力，用于指導圖像重建。此外，引入了小波池化塊和上采樣塊進行頻率分離，以實現高質量的提示和高保真的恢復。在合成和真實世界的多天氣數據集上的比較實驗證明，MW-ConvNet在性能和推理時間方面比其他當前最先進的方法具有優勢。這些結果高度表明了2D卷積的強大特征提取能力和網絡中提示的引導能力。本文為未來研究提供了啟示：最新的先進技術值得探索用于各種應用。然而，在某些任務中（例如本文中的多天氣恢復），小型模型也可以實現最先進的性能，這些模型更易于部署在實際受限場景中。

作者簡介:

李承陽，特任崗位副教授。博士，中國石油大學（北京）人工智能學院智能科學與技術系教師，主要研究方向為復雜環境多模態智能感知技術。