中文題目：融合潛在特征的長尾分類與對比學習

論文題目：Long-Tailed Classification with Fused Latent Features and Contrast Learning

錄用期刊/會議：2024中國自動化大會 （CAA A類會議）

錄用時間：2024.9.14

作者列表：

1) 袁鴻力 中國石油大學（北京）人工智能學院 控制科學與工程 研22級

2) 劉建偉 中國石油大學（北京）人工智能學院 自動化系 教師

摘要:

傳統深度學習方法取得矚目的成就離不開優質的平衡數據集，然而，真實世界中的數據集往往呈現長尾分布，尾部類數量過少，導致模型不能充分學習少數類。本文提出了新的對比學習損失函數，使得模型可以更好的適用于長尾場景學習來特征表示，此外還利用圖結構將頭部類信息遷移到尾部類特征中，增強尾部類效果。

背景與動機:

長尾場景（Long tail scenario）指數據集中少數頭部類包含絕大多數樣本，而眾多的尾部類僅包含小部分樣本的情況。在這樣的數據集下訓練模型，會導致模型對尾部類學習不夠充分，并且模型更加關注頭部類樣本?，F實中有些數據本身獲取極為困難，并且人工標注大量數據需要高昂的成本，引入長尾學習技術對深度學習在實際場景中的部署具有重要意義。

主要內容:

對比學習有助于模型提取魯棒的特征表示，過去的對比學習方法主要利用樣本和樣本之間的信息以及類別與類別之間的信息，而對于特征本身之間的關系利用的不夠充分。除此之外，模型對分布的建模不夠準確。針對關系利用不充分問題，本文利用KNN圖來建模特征之間的關系，并通過卷積神經網絡提取信息融合后的特征，然后利用對比學習提取魯棒表示。

圖1. 混合模塊結構

針對分布建模不準確的問題，我們提出了一種新的適用于長尾場景的對比學習損失函數（圖2. 對比損失函數），利用基于批數據和類原型的高斯混合分布來建模數據集的類條件分布。最后在常用的長尾數據及上進行了緊密的實驗，實驗結果證明了我們方法的有效性。

圖2. 對比損失函數

實驗結果如表1所示：

結論:

本文按照最近研究趨勢，沿用將對比學習應用在長尾場景的下的思路，針對傳統對比學習利用信息不充分以及建模分布不夠準確的不足，分別提出了基于KNN圖建模特征間關系，然后利用圖卷積遷移頭部信息的模塊和新的長尾對比損失函數。最后在常見的長尾數據集上進行了詳盡的實驗，實驗結果證明了我們提出的方法的有效性。

作者簡介:

劉建偉，教師，學者。