中文題目：可微神經網絡模塊組裝

論文題目：Differentiable Neural Network for Assembling Blocks

錄用期刊/會議：The 27th European Conference on Artificial Intelligence ECAI 2024 (CCF-B類會議)

原文DOI：10.3233/FAIA240747

原文鏈接：https://doi.org/10.3233/FAIA240747

錄用/見刊時間：2024.10

作者列表：

1）劉志偉 中國石油大學（北京）人工智能學院 計算機科學與技術 碩21

2）魯  強 中國石油大學（北京）人工智能學院 智能科學與技術系副教授

3）趙藝博 中國石油大學（北京）人工智能學院 計算機科學與技術 碩23

4）趙艷紅 昆侖數智科技有限責任公司 北京

5）Jake Luo  University of Wisconsin Milwaukee  Department of Health Informatics and Administration  Associate Professor

摘要:

模塊組裝的目標是針對不同數據集從預訓練神經網絡模型中選擇模塊，組合成一個新的神經網絡。通過重用這些模塊的權重，使得訓練變得高效。本文提出一種稱為PA-DNN的端到端可微神經網絡。PA-DNN由劃分神經網絡模塊和組裝神經網絡模塊組成。其中劃分神經網絡模塊將根據新數據集把現有的預訓練神經網絡模型劃分成模塊；組裝神經網絡模塊選擇這些模塊中的一部分，并使用縫合層將它們組合成新的神經網絡。實驗結果表明，與手工設計的網絡、神經結構搜索方法和神經網絡組裝方法DeRy相比，PA-DNN能夠以更低的訓練代價生成更精確、更輕量級的神經網絡。 

背景與動機:

目前已經積累了大量的神經網絡，如HuggingFace和MMPretrain中提供了大量在特定數據集上訓練好的模型。雖然這些預先訓練的神經網絡模型在原始訓練數據集上表現較好，但當遇到新的數據集時，它們的性能可能會下降，通常需要手動調整模型結構或重新訓練以適配新的數據集，這會耗費大量人力和計算資源。為緩解此問題，本文提出PA-DNN模型最大化重用模型權重，可以有效減少訓練成本。

設計與實現:

劃分組裝可微神經網絡（PA-DNN）總體框架如圖1所示。首先，從類似于 Huggingface 的預訓練模型庫中選擇一些模型作為模型庫?；谛聰祿?，利用劃分神經網絡模塊學習劃分點的概率分布，將預訓練的模型拆分為模塊。在獲得劃分好的模型庫后，組裝神經網絡模塊將通過路由模塊（如圖2a）來選擇其中的一些模塊，并使用縫合層（如圖2b）將模塊連接得到組裝模型。訓練時利用驗證數據集更新路由模塊的參數，以指導結構生成；利用訓練數據集更新縫合層參數，以適配目標任務。然而，獲取組裝模型的精度需要多次的前向傳播和梯度下降迭代，非常耗時。為了克服這個問題，使用評分函數預測組裝模型的精度，無需在評估期間重新訓練組合出的神經網絡。訓練后，PA-DNN 會微調最佳模型的縫合層以適配新的數據集。PA-DNN以端到端的方式完成了網絡劃分與模塊組裝。

 

圖1 劃分組裝可微神經網絡模型(PA-DNN) 

 

圖2 路由模塊和縫合層

實驗結果及分析:

在CIFAR-10和CIFAR-100數據集上分別運行PA-DNN四次得到的模型結構圖，其中相同色塊表示來源于相同的預訓練模型（如圖3所示）。

 

圖3模型結構圖

為驗證所提出的評分函數，在NAS-Bench-201數據集上進行實驗。如圖4所示，性能評估得分和模型準確率整體上呈線性正相關。

 

圖4 評分函數與模型精度關系圖 

 

圖5 驗證準確率對比結果

 

圖6 準確率和訓練參數對比結果

結論:

本文提出了一種新的神經網絡模塊組裝方法——劃分組裝可微神經網絡（PA-DNN）。該方法使用端到端的可微分神經網絡來從神經網絡模型庫中組裝神經網絡模塊。PA-DNN主要由兩個部分組成：劃分神經網絡模塊和組裝神經網絡模塊，分別負責模型劃分和網絡組裝。與手工設計的模型、神經結構搜索方法和DeRy方法相比，PA-DNN以較小的搜索成本組裝出新的網絡，并以較小的訓練成本就可以得到較好的模型表現。

通訊作者簡介:

魯強：副教授，博士生導師。目前主要從事演化計算和符號回歸、知識圖譜與智能問答、以及軌跡分析與挖掘等方面的研究工作。

聯系方式：luqiang@cup.edu.cn