中文題目：基于高質量和高相關性潛在特征的高效對比學習的長尾分類

論文題目：Long-Tailed Classification by Efficient Contrast Learning with High Quality and High Relevance Latent Features

錄用期刊：Applied Intelligence（中科院大類二區）

錄用時間：2025.01.04

作者列表：

1)袁鴻力 中國石油大學（北京）人工智能學院 控制科學與工程 碩22級

2)劉建偉 中國石油大學（北京）人工智能學院 自動化系 教師

摘要:

本文提出了一種更加高效的對比學習方法，并結合特征之間的關系圖，使得模型能夠提取更加魯棒的表示。對于表示學習任務，我們采用類原型來構建長尾場景下的高斯混合模型，以減少計算和內存上的開銷。并且我們利用高質量的特征關系圖建模特征之間的關系，使得提取的特征能夠考慮到相似的語義特征。

背景與動機:

長尾分布存在數據稀缺性和顯著的類不平衡問題，導致模型對頭部類的預測傾向增加，對尾部類的預測性能降低。傳統的長尾對比學習方法可以緩解尾部類的信息缺失問題。然而，這存在兩個問題:(1)利用更加準確的高斯混合模型建模長尾分布需要利用非常大的記憶池，這增加了計算和存儲的開銷.(2)傳統方法通常只考慮了樣例層面和類層面的對比，忽視了樣本關系層面的信息。

針對問題(1)，我們提出了基于類原型和批次特征來構建長尾高斯混合模型的方法。能夠更加高效的進行特征學習。針對問題(2)，我們利用圖結構來建模特征之間的語義關系，使得特征空間中，語義相似的特征也能相互靠近。在三個基準數據集的大量實驗證實了我們提出的模型的有效性。

主要內容:

1.基于批次特征和類原型的長尾高斯混合模型建模

表示高斯混合模型下特征通過分類器輸出后的似然函數。

2.基于高質量和高相關KNN圖的對比學習方法

圖1：基于高質量和高相關KNN圖的圖卷積映射頭

圖1能夠準確地表示多個相關對象之間的關系。KNN圖相比一般的全連接圖可以更好的過濾噪聲信息，并且針對高維數據和大批次數據有很好的可擴展性。因此，利用KNN圖結很好的建模長尾批樣例之間的關系。

首先根據分類正確樣例的集合。

然后通過設定閾值確定KNN的topK值：

然后構建鄰接矩陣:

利用圖卷積映射頭提取包含語義關系的特征表示：

最后進行對比學習：

實驗結果與分析:

我們在三個廣泛使用的長尾數據集上評估了我們提出模型的性能：CIFAR10-LT， CIFAR100-LT和ImageNet-LT。

部分實驗結果如表所示，我們在各個數據集上，展現了出色的競爭力：

表1 對不同不平衡因素下CIFAR10/100-LTtop-1測試精度（%）進行基準測試

表2 對ImageNet-LT數據集進行基準測試

結論:

本文提出了一種基于批特征表示和類原型（CGM-BF-CP）的條件高斯混合模型對比學習算法。該方法對數據分布進行了更精確的建模，并引入了特征空間補償，緩解了批量長尾分布的問題。此外，我們還從理論上推導了CGM-BF-CP的誤差界。此外，我們還提出了一個特征融合模塊，該模塊使用logits向量構造KNN圖，并使用圖卷積提取融合特征。該模塊可以將頭部類的信息傳遞到尾部類的信息，有利于學習尾部類的表示。最后，我們在三個常用的長尾數據集上做了很多實驗。

作者簡介:

劉建偉，教師，學者。發表學術研究論文280多篇。研究領域涉及在線學習（包括強化學習，賭博機算法，持續學習，長尾學習）；圖像視頻顯著性目標檢測，解糾纏表示學習，光場和神經場模型，以及圖像視頻少樣本變化檢測；自然語言理解中的知識補全，圖神經網絡；不平衡數據處理；霍克斯點過程故障預測與診斷；非線性預測與控制。 是兵器裝備工程學報第三屆編輯委員會委員。歷屆中國控制會議(CCC)和中國控制與決策會議(CCDC)的程序委員會委員。擔任過80多個國際會議的TPC。