中文題目：基于雙向語義緩解語義漂移的知識圖譜多跳問答

論文題目：Alleviating Semantic Drift in Multi-Hop Question Answering on Knowledge Graphs with Bidirectional Semantics

錄用期刊/會議：International Joint Conference on Neural Networks (IJCNN) (CCF C)

作者列表：

1）袁明才 中國石油大學（北京）人工智能學院 計算機科學與技術 碩21

2）魯   強 中國石油大學（北京）人工智能學院 智能科學與技術系 教師

3）曾顯豪 中國石油大學（北京）人工智能學院 計算機技術 碩23

4）Jake Luo University of Wisconsin Milwaukee Department of Health Informatics and Administration Associate Professor

5）李大偉 中國石油勘探開發研究院 高級工程師

摘要:

知識圖譜多跳問答利用知識圖譜(KG)的結構信息來推斷答案。然而，KG在從問題實體到答案實體的推理路徑上往往存在邊缺失。最近的研究集中在各種KG嵌入方法上，以獲得推理路徑的語義(稱為正向語義)來修復缺失的邊。但是，正向語義可能會隨著路徑變長而漂移。本文提出了一種雙向語義嵌入與匹配方法(BSEM)來緩解正向語義漂移問題。BSEM首先利用反向語義來推導推理路徑相反方向的語義。然后，BSEM構建了一種兩階段學習方法來聯合學習雙向語義并找到正確答案。在兩階段學習方法中，聯合學習同時學習雙向語義，促進兩者的交互；對比學習則用來提高反向語義推理區分正向語義推理答案中錯誤答案的能力。在MetaQA和WebQSP兩個基準測試上的實驗表明，BSEM優于PullNet、EmQL、LEGO、EmbedKGQA和KGT5五種基準方法。特別是在不完整的KG—WebQSP實驗設置中，與除EmQL外的其他四種方法相比，BSEM的準確率分別提高了13.1%、12.0%、5.4%和10.0%。

設計與實現:

圖1 BSEM的模型結構

雙向語義嵌入與匹配方法（BSEM）模型結構如圖1所示，包括三個模塊：知識圖譜嵌入模塊、問題嵌入模塊和語義推理模塊。知識圖譜嵌入模塊利用了一種稱為ComplEx的知識圖譜嵌入方法，用于學習知識圖譜中所有實體和關系的嵌入向量。問題嵌入模塊用于生成給定問題的正向和反向語義表示。語義推理模塊由正向推理和反向推理組成，利用前兩個模塊生成的語義向量進行推理計算，并對候選答案進行排序。在模型訓練階段，設計了一種兩階段學習方法，采用聯合學習和對比學習來訓練正向和反向推理。在模型預測階段，將正向和反向推理結合起來，使用反向推理對正向推理的答案進行反向檢驗，從而推斷出正確的答案。這種方法充分利用了知識圖譜中實體之間的正反向推理語義信息，不僅提高了問答系統的性能和準確性，同時答案也具備一定的可解釋性。

值得一提的是，當前并沒有對應的反向推理問答數據集，同時推理路徑中往往缺少反向的邊，從而導致反向語義難以學習。為了克服這一困難，本文提出了一種新穎的反向語義推理評分函數，它利用了復數向量內積運算的對稱性，將反向計算轉換為正向計算。

其中，和分別代表答案實體和問句實體的復數嵌入向量，而代表問句的反向語義嵌入向量，，則表示共軛復數。

另外，在聯合學習中，本文采用一種新穎的較差者優先評估策略來改進雙向語義,其定義如下：

其中，為評估分數，指的是當前候選節點作為正確答案的得分。具體而言，在訓練過程中，當是正確答案時，評估策略取和之間的較小值。相反，當不是正確答案時，評估策略采用和之間的較大值。通過優先優化表現較差的方向，使得每次訓練迭代都能夠獲得最大的收益。這樣的策略有助于模型更好地學習到正向和反向推理之間的關系，從而提高了模型在推理任務中的性能表現。

同時，在對比學習中，本文利用了一種新穎的對比損失函數。該對比損失函數為每個正樣本分配了加權分數，以反映其對反向語義推理的重要性。原因在于知識圖譜存在缺失信息的情況，同一個問句對應的不同正樣本與問句的主實體之間的推理路徑可能不同，有的甚至缺失了重要的推理信息，導致整體推理的語義信息有強弱之分。該對比損失函數通過為每個正樣本分配了不同的加權分數，綜合了不同正樣本對損失函數的貢獻，這里的加權分數由正向語義推理獲得，代表了不同正樣本推理語義信息的強弱情況。

該對比損失函數由以下方程定義：

其中，是訓練數據集中的問題數量，()是第個問題的正（負）樣本集。是中第i個實體的權重分數。將從正向語義推理獲得的評估分數通過softmax函數傳遞，得到的權重分數，即：

實驗結果及分析:

表1 MetaQA和WebQSP數據集的統計信息

表2 在MetaQA half-KG數據集上的結果

表3 在 WebQSP half-KG 數據集上的結果

表4 在 WebQSP full-KG 數據集上的結果

表5 消融實驗

其中，“{-JL}”表示BSEM去除了聯合學習；“{-CL}”表示去除了對比學習；而“{-JL and -CL}”則刪除了聯合學習、對比學習和反向語義推理。因此，在“{-JL and -CL}”之后，BSEM退化為僅包含正向語義的EmbedKGQA。

表6 權重分數的消融實驗

其中，“WS”代表本文方法，而“NWS”表示本文方法在對比學習中沒有使用加權分數。

結論:

本章提出了基于雙向語義的知識圖譜問答方法（BSEM），一種新穎的雙向語義嵌入和匹配方法，旨在緩解知識圖譜多跳問答中正向語義漂移問題，在提升答案準確率的同時增強可解釋性。BSEM利用反向語義推理對正向語義推理的答案進行反向檢驗，從而推斷出更準確的答案。 在MetaQA和WebQSP兩個基準測試上的實驗表明，BSEM無論在half-KG還是full-KG中都能找到更準確的答案，尤其是在稀疏的知識圖譜中，其性能提升顯著。而BSEM利用反向語義推理驗證正向語義推理答案可信度的過程具備一定的可解釋性。

與PullNet、EMQL、LEGO、EmbedKGQA和KGT5等最先進方法相比，BSEM在知識圖譜多跳問答中具有最佳的整體性能。然而，BSEM只能緩解推理路徑中的語義漂移，而不能防止它。原因在于隨著推理路徑變得更長或重要信息的缺失，正向和反向語義仍然會漂移。受KGT5模型啟發，未來計劃探索基于雙向語義的編碼器-解碼器模型，通過語言模型引入更多的外部知識，實現逐步推理校驗，以防止語義漂移。

通訊作者簡介:

魯強，副教授，博士生導師。目前主要從事演化計算和符號回歸、知識圖譜與智能問答、以及軌跡分析與挖掘等方面的研究工作。聯系方式：luqiang@cup.edu.cn