中文題目：基于上下文感知圖卷積網絡的圖對比學習在口語理解中的應用

論文題目：Spoken Language Understanding via Graph Contrastive Learning on The Context-aware Graph Convolutional Network

錄用期刊：Pattern Analysis and Applications (CCF C類期刊)

錄用時間：2024.10.18

作者列表：

1) 曹   澤 中國石油大學（北京）人工智能學院 控制科學與工程 碩21級

2) 劉建偉 中國石油大學（北京）人工智能學院 自動化系 教師

摘要:

口語理解系統是對話系統的關鍵組成部分，其任務是理解用戶的言語表達并相應地執行相應的任務。語境口語理解（語境SLU）是該領域的一個極其關鍵的問題，因為它有助于系統更準確地理解用戶的言語表達，從而提高系統的性能和準確性。本文旨在提高語境SLU分析的有效性?；谏舷挛牡恼Z言單元系統主要關注有效地整合對話上下文信息。當前的方法通常使用相同的上下文信息來指導所有標記的槽填充，這可能會引入不相關的信息，導致理解偏差和歧義。為了解決這個問題，我們應用了基于圖卷積網絡（GCN）的圖對比學習原理來增強模型聚合上下文信息的能力。同時，應用圖對比學習可以通過增強模型的意圖來提高模型的有效性。更確切地說，圖卷積網絡可以考慮上下文信息并自動聚合上下文信息，使模型不再依賴于傳統設計的啟發式聚合函數。對比學習模塊利用對比學習原理實現意圖增強的效果，它可以學習更深層次的語義信息和上下文關系，并提高模型在三個關鍵任務中的有效性：槽填充、對話動作識別和意圖檢測。在合成對話數據集上的實驗表明，我們的模型達到了最先進的性能，并且明顯優于其他先前的方法（Sim-M上的Slot F1值+1.03%，Sim-R上的+2.32%；Sim-M上動作F1值+0.26%，Sim-R上浮0.56%；Sim-M上浮幀Acc值+3.15%，Sim-R為+1.62%）。

背景與動機:

在自然語言處理（NLP）領域，口語理解（SLU）是一個關鍵分支，專注于將口語轉換為結構化表達。語境口語理解技術在智能語音助手、人機交互、智能客戶服務和其他領域有著廣泛的應用。對于面向任務的對話系統，SLU是必不可少的任務，因為它可以將自然語言翻譯成有利于用戶意圖、對話行為和時隙信息的語義信息。

主要內容:

1.我們提出了一種改進圖卷積網絡的方法，增強了它們聚合上下文信息的能力。這種方法消除了模型中手動聚合功能的需要，增強了跨各種場景的靈活性和適應性。具體來說，我們在圖卷積網絡之后添加了一個圖對比學習模塊，利用它對歷史對話信息進行建模，并整合來自不同對話回合的信息。該方法有助于更好地利用上下文信息，從而提高多輪SLU的性能和準確性。

2.我們采用圖對比學習模型來提高實驗結果。在多回合對話中，歧義是一個關鍵挑戰，可能會導致對話系統性能下降和用戶體驗下降。為了解決這個問題，我們創新性地提出了一種基于圖對比學習的意圖增強方法，該方法有效地消除了歧義，從而提高了多回合SLU的準確性。

3.全面的驗證實驗，驗證了我們提出的框架的有效性。實驗涉及公共基準數據集，我們與現有的基準方法進行了比較實驗。結果明確表明，我們的框架在多回合SLU領域取得了顯著的增強，達到了最先進的性能水平。

結論:

i） 在利用BiLSTM從對話中學習每個話語級編碼器的問題上，我們引入了遞歸機制來掌握同一對話中當前話語前后的上下文信息；

ii）在利用上下文圖聚合層學習多級層次上下文感知圖節點隱表示方面，在充分利用圖卷積神經網絡結構提取節點局部相關關系并學習節點隱表示的基礎上，我們引入了多級層次圖架構，以進一步抓住同一對話中當前話語前后不同的抽象層次上下文信息；

iii）通過引入圖對比學習輔助任務，我們在初級上下文SLU任務中引入了歸納偏差，使多級分層上下文感知圖節點隱表示具有正確的上下文信息和更強的判別能力。

作者簡介:

劉建偉，教師，學者。