一種基于神經網絡層貢獻分析的高效微調方法
中文題目：一種基于神經網絡層貢獻分析的高效微調方法
論文題目：Efficient Neural Network Fine-Tuning via Layer Contribution Analysis
錄用期刊/會議：The 2024 Twentieth International Conference on Intelligent Computing (CCF C)
原文鏈接：https://link.springer.com/chapter/10.1007/978-981-97-5591-2_30
作者列表：
1） 劉志卓 中國石油大學（北京）人工智能學院 先進科學與工程計算專業 博 22
2） 周南建 中國石油大學（北京）人工智能學院 計算機科學與技術專業 碩 23
3） 劉 民 中國石油大學（北京）人工智能學院 計算機科學與技術專業 碩 21
4） 劉志邦 中國石油大學（北京）人工智能學院 控制科學與工程專業 博 21
5） 徐朝農 中國石油大學（北京）人工智能學院 計算機系教師
文章簡介:
隨著物聯網技術的快速發展，各類智能設備在智能家居、智慧城市和工業自動化等領域得到了廣泛應用。然而，隱私問題隨著設備的普及而日益突出，促使在本地設備上進行模型訓練成為趨勢。由于物聯網設備計算資源有限，如何在這些受限條件下高效訓練模型成為重大挑戰。物聯網場景中，單個設備產生的數據量通常較小，傳統深度神經網絡訓練難以獲得滿意的效果，因為深度學習模型通常需要大量標注數據，而本地設備上的小樣本數據集難以滿足這一需求。為此，少樣本學習技術應運而生，旨在利用少量樣本數據進行有效模型訓練。遷移學習作為少樣本學習的一種變體，通過預訓練模型獲取先驗知識，再通過微調適應特定任務，從而在數據量較少的情況下仍能取得不錯的推理精度。遷移學習中的特征重用是關鍵步驟，通過使用預訓練模型中的特征提取器，從少樣本數據集中提取特征向量，提升分類的精度。然而，簡單利用少樣本數據集訓練分類器易導致過擬合。為解決這一問題，少樣本分類方法興起，利用度量學習或原型網絡技術，通過建模樣本間的距離進行分類，有效避免過擬合問題。這些方法通過相似樣本聚類、不相似樣本分離，分類效果顯著，但其性能仍有提升空間，進一步優化少樣本分類方法仍是一個重要的研究方向。
本文的主要內容如下：
本文首先量化分析神經網絡各層對模型推理性能的貢獻，基于這些分析尋找最優微調策略以最大限度提高精度，然后利用求解器求得最佳微調策略。通過多次迭代，能夠在保證推理精度的前提下，大幅減少微調所需的時間，從而使系統可以在資源受限的物聯網設備中應用。與元學習相比，將微調所需的時間最多減少了36%。
由于隱私問題的日益突出，在物聯網設備上部署深度神經網絡逐漸成為一種趨勢。然而，物聯網設備有限的計算能力與神經網絡訓練所需的巨大計算資源之間存在矛盾。為提高訓練效率，通常采用遷移學習方法。這種方法高度依賴微調，盡管微調對于模型的準確性至關重要，但也引入了額外的訓練時間開銷。為此，我們提出了一種高效的微調方法——基于神經網絡層貢獻分析的高效微調方法，旨在滿足推理精度要求的同時加快微調速度。通過分析每一層對模型性能的貢獻，構建了一個優化微調策略的問題模型，以最大化準確性。我們利用求解器識別出最佳微調方法。與元學習相比，在保持準確性的同時，將微調所需的時間最多減少了36%。
本文將每一層的推理準確性表現作為性能的直接指標，相較于其他代理信號，這更直接地反映了其對推理精度的重要程度。本文假設各層對推理精度的貢獻是可以疊加的。在此基礎上，我們引入了對各層分類特性的分析，以確保最佳策略不會破壞模型低層的特征提取能力，從而保留特征重用的效果。因此，可以建模為：
在深度神經網絡中，各層權重對遷移學習的影響存在顯著差異，這為模型訓練策略提供了指導。本文旨在在保持推理精度的前提下盡可能的減少訓練時間，因此提出了一種高效微調方法，優先處理對模型性能至關重要的層次。通過量化分析每一層對準確性的貢獻，能夠有效確定微調策略。
如上圖，本文使用預訓練的ResNet-18模型和CUB-200-2011數據集舉例說明。首先，用少樣本分類器替換模型的全連接層，并將此時的精度作為基準。然后逐層微調卷積層的權重，并記錄每層權重對精度的增益。實驗結果顯示，不同卷積層對準確性的貢獻不一致，且深層卷積層并不一定貢獻更大；同時，微調所需的時間隨著層的加深逐漸減少。這一現象與模型結構有關，因為計算較低卷積層的梯度時，即使不更新這些層的參數，仍需涉及與其他相關層的梯度計算。此方法能夠在精度和微調時間之間取得平衡，進而選擇出最佳的微調策略，以保證在達到最優推理精度的同時，微調時間消耗最小化。需要注意的是，預訓練模型與少樣本學習數據集之間存在關聯，準確性會受到用于預訓練的大規模數據集與小樣本數據集之間差異的影響。
本文在同時引入了對各層分類特性的貢獻分析。在預訓練模型中，隨著網絡逐步向前推進，從較低層次提取基本特征，在較深層逐漸將不同的特征向量分類，最終輸出圖像分類結果。較低層的分類特性不明顯，因為此時提取的主要是基本幾何形狀（如邊緣和線條），這些特征在相對較低的層上可以重復利用。隨著網絡的加深，模型的分類特性逐漸變得顯著，這表明要增強模型對特定任務的推理性能，微調應主要集中在較深層次。分類特性通過下式表示：
最后，本文將模型的全連接層替換為少樣本分類器，此分類器由小樣本數據集的支持數據集計算得出。
本文針對三種模型進行實驗，包括了ResNet-18、ResNet-50和SqueezeNet。首先對層貢獻進行分析得出微調方案，下圖展示了各層對推理精度的貢獻及對應消耗的時間。
本文與Meta-Learning方法和Prototypical Networks方法進行對比，實驗結果如下：
本文提出的高效微調方法在不同模型上都優于Meta-Learning，并且有
的性能提升。
本文提出的神經網絡高效微調方法，在保持推理精度的同時降低微調時間消耗。通過分析模型各層的貢獻，將尋找最佳微調策略的問題建模為優化問題，并利用求解器確定出高效的微調策略。與元學習相比成本降低了多達36%。這一方法加速了模型訓練過程，使其在執行特定任務時更加高效。
徐朝農，中國石油大學（北京）人工智能學院教師，主要研究領域為邊緣智能、嵌入式系統、無線網絡。