中文題目：帶有域對抗學習的多級模態間和模態內Transformer網絡用于多模態睡眠分期

論文題目：Multilevel Inter-modal and Intra-modal Transformer Network with Domain Adversarial Learning for Multimodal Sleep Staging

錄用期刊：Cognitive Neurodynamics（中科院大類三區）

錄用時間：2025.04.15

作者列表：

1)何洋洋 中國石油大學（北京）人工智能學院 控制工程 碩22級

2)劉建偉 中國石油大學（北京）人工智能學院 自動化系 教師

摘要:

睡眠分期是睡眠相關疾病診斷過程中的重要環節，是了解睡眠過程的關鍵，主要基于整晚的腦電圖睡眠信號等時間序列來精準劃分睡眠階段。傳統上人工視覺觀察睡眠信號并依據醫學專業知識識別的方法效率低下。隨著生物傳感技術和深度學習技術的發展，使得通過非侵入式的腦電圖信號（Electroencephalography，EEG）等自動解碼睡眠過程成為可能。然而傳統的基于深度學習的自動睡眠分期方法往往只考慮單模態的腦電信號，沒有同時考慮對多模態數據的利用，這限制了模型的性能。此外考慮到不同人的個體差異性，不同人的睡眠信號包含不通用的個性化特征會影響模型的泛化能力。為了解決上述問題，本研究設計了多級Transformer的深度學習架構來充分地捕獲睡眠信號中每個模態內的時間依賴性和不同模態間的相互依賴性。本文還創新地引入了域對抗學習方法來提高模型泛化性能。本文的實驗結果表明提出的深度學習模型在多個常用數據集上優于大多數基準模型。這一成果為實現高精度的睡眠分期和便攜的家庭睡眠監測提供了有力的技術支撐。

背景與動機:

傳統的基于深度學習的自動睡眠分期方法往往只考慮單模態的腦電信號，沒有同時考慮對多模態數據的利用，這限制了模型的性能。此外考慮到不同人的個體差異性，不同人的睡眠信號包含不通用的個性化特征會影響模型的泛化能力。

為了解決上述問題，本研究設計了多級Transformer的深度學習架構來充分地捕獲睡眠信號中每個模態內的時間依賴性和不同模態間的相互依賴性。本文還創新地引入了域對抗學習方法來提高模型泛化性能。

1.多尺度編碼器

 

圖1 雙尺度的CNN結構圖

2.  模態間級Transformer

 

圖2 模態間級Transformer編碼器結構

3.  模態內級Transformer

 

圖3 多級Transformer結構圖

4.  對抗域泛化

 

圖4 提出的MIIT-DAL模型的整體架構

結論:

在本文中提出了一個新穎的多模態模型架構用于睡眠分期任務，能夠通過域對抗學習策略引導模型學習域無關特征提升模型泛化能力。首先，該模型利用多尺度CNN去提取時不變特征，實驗結果證明這是非常有效的。此外，使用了設計的模態間Transformer去捕獲模態間復雜的非線性依賴關系和模態內Transformer提取時間依賴關系。它們以級聯方式連接去更好地提取模態間和模態內特征并減少信息冗余。最后結合了域對抗學習技術以引導模型學習域無關特征。在多個公開數據集上的實驗結果表明了該模型很有競爭力。而且，為了強調各個模塊的重要性，還進行了消融實驗。最終，可視化了該模型和睡眠專家的分類結果得到了睡眠圖。

作者簡介:

劉建偉，教師，學者。