中文題目：基于多級深層次知識蒸餾的動態類增量學習框架

論文題目： A dynamic class incremental learning expansion architecture based on Multi-level deep knowledge

錄用期刊/會議：中國自動化大會CAC（CAA A類會議）

錄用時間：2024.9.18

作者列表：

1) 鄒   周 中國石油大學（北京）人工智能學院 控制工程 碩22級

2) 劉建偉 中國石油大學（北京）人工智能學院 自動化系 教師

摘要:

增量學習是旨在解決模型無法連續訓練的問題而提出的，其中動態可擴展架構在性能方面有極為顯著的優勢，然而，它在其中也存在一些問題，首先數據間存在三種混亂問題阻礙性能的提升，其次沒有考慮到不同樣本的知識含量以及繼承難度，使得難以充分繼承。本文提出了一種名為MLD-DEA的動態類增量學習擴展架構，旨在解決以上問題并克服類增量學習任務中的災難性遺忘。

背景與動機:

類增量學習旨在訓練出一個模型能夠克服災難性遺忘，其在當前類上訓練獲取新知識時，能夠盡可能多的保留從舊類中學到的舊知識。目前，動態可擴展框架（DEA）正逐漸成為一種備受關注的模型范式。該框架隨著任務數量的增加而靈活擴展，通過將每個任務映射到獨立的子網絡并在引入新任務時凍結先前任務的權重，實現了網絡結構的動態演化。其中，DEA的一項顯著優勢在于其能夠有效地保留已學習任務的知識。但是它目前存在著數據間的混亂以及數據不充分繼承的問題，阻礙它的性能進一步提升。

主要內容:

本文提出了一種基于多層次深度知識蒸餾的動態擴展架構（MLD-DEA）來解決數據間的混亂以及數據不充分繼承的問題，從而更好地克服增量學習中的災難性遺忘問題。MLD-DEA 利用多層次深度知識蒸餾，結合了特征層、實例對數層、實例間相關對數層和類相關對數層。具體來說，它在每個新舊特征提取器之間建立知識傳播路徑。然后，在新舊分類器之間建立多級知識傳播路徑，從而形成舊知識繼承和新模型的完整路徑，有效地將知識從舊模型轉移到新模型，從而緩解任務間、任務內和新舊混淆等問題。此外MLD-DEA還引入了熵加權實例級蒸餾，以根據樣本的不同難度調整知識轉移過程，并且設計了全新的特征融合模塊，通過聚焦于更主要的特征來克制災難性遺忘問題。

圖1. MLD-DEA模型的結構圖

結論:

本文重點研究了動態可擴展架構中的混亂問題，其中ITC、WTC 和 ONC 是災難性遺忘的主要原因。針對這一問題，本文提出了MLD-DEA，利用多層次的深度知識提煉和特征融合模塊，更全面地繼承和學習知識。在 CIFAR100 和 ImageNet100 上進行的完整實驗驗證了我們的方法。MLD-DEA 報告了最先進的準確率，并且即使在不同內存池大小的情況下也能保持最先進的水平。但是，由于每個任務網絡中的知識無法全部貢獻出來，因此準確率的提高和誤差的減少仍然受到限制。因此，未來我們將探索如何更好地共享不同子網絡之間的知識，并有興趣將 MLD-DEA 擴展到其他應用場景。

作者簡介:

劉建偉，教師，學者。