中文題目：基于兩階段圖注意網絡和Q學習的維修任務調度

論文題目：Two-stage Graph Attention Networks and Q-learning Based Maintenance Tasks Scheduling

錄用期刊/會議： Applied Intelligence (中科院大類2區)

原文DOI： https://doi.org/10.1007/s10489-025-06249-z

原文鏈接：https://link.springer.com/article/10.1007/s10489-025-06249-z

錄用/見刊時間：2025年1月16日

1）高小永 中國石油大學（北京）自動化系 教師;

2）彭   雕 中國石油大學（北京）自動化系 碩21;

3）楊一旭 中國石油大學（北京）自動化系 碩21;

4）黃付宇 中國石油大學（北京）自動化系 碩20;

5）袁   宇 中國石油大學（北京）自動化系 碩22;

6）檀朝東 中國石油大學（北京）自動化系 教師;

7）李菲菲 山東預見智能科技有限公司.

文章簡介:

維修任務調度優化對提高油氣開采效率具有重要意義和挑戰性。維修任務調度優化是個典型的組合優化問題，當較大規模需要考慮時求解難度很大。為此，本文提出了一種兩階段圖注意網絡與Q學習相結合的框架（TSGAT+Q-learning）。實驗對比結果顯示，在大多數情況下，TSGAT+Q-learning優于CPLEX、OR-Tools和其他基于學習的算法。

摘要:

維修任務調度優化對提高油氣開采效率具有重要意義和挑戰性。傳統上，這個問題是使用精確算法、元啟發式算法或求解器來解決的。然而，由于這個問題的大規模性質，這些方法在實際使用中經常失敗。為了解決這個問題，本文引入了一種組合消息傳遞神經網絡（CMPNN）進行圖嵌入，通過對相鄰節點的消息進行聚合得到整個圖的消息，作為后續框架的輸入。在CMPNN的基礎上，提出了一種兩階段圖注意網絡與Q學習相結合的框架（TSGAT+Q-learning）。為了驗證所提方法的有效性，提供了不同規模的場景。在大多數情況下，TSGAT+Q-learning優于CPLEX、OR-Tools和其他基于學習的算法。此外，訓練后的網絡還可以解決不同規模維修任務的問題，這表明TSGAT+Q-learning具有良好的泛化能力。最后，對多約束條件下的現場維修任務調度問題進行了驗證。

背景與動機:

維修任務調度存在于各個行業。有效地安排維修任務和分配資源，以最大限度地提高效率和滿足客戶需求是維修任務調度優化的本質。近年來，深度強化學習（DRL）被引入來解決一些大規模的組合優化問題。受此啟發，本文提出了一種新的DRL方法來解決這一問題。

設計與實現:

為了有效地解決維修任務調度問題，本文提出了一種基于圖神經網絡、注意力機制和強化學習的維修任務調度框架。該框架如圖1所示。

圖 1 所提出框架的描述

1. 圖嵌入

為了解決該框架中計算節點和邊緣特征嵌入的問題，引入了組合消息傳遞神經網絡（CMPNN）。CMPNN是消息傳遞神經網絡（MPNN）的改進版本。MPNN的流程由式1和2表示。

為了提高CMPNN的表達能力，引入了全局不變核函數。每次迭代時，CMPNN可表示為式（3）。

在本文中，CMPNN框架中節點嵌入的更新過程表述為式（4）：

2.兩階段圖注意網絡

智能體嵌入的構造涉及到利用前面描述的圖嵌入中的一組節點特征。這個過程可以用下面的數學公式來表示。

為了保證服務技術人員之間有效的信息共享，將全局嵌入和服務站嵌入連接起來形成圖形上下文嵌入。此串聯過程表示為式（6）：

為了計算將任一維修任務分配給特定服務技術人員的權重，所提出的框架中采用了注意力機制。

服務技術人員與維修任務的兼容性由式（10）計算。

注意權重為的。智能體嵌入在（12）中描述。

在第二階段，描述了將服務技術員分配給維修任務的策略計算過程。這個過程由公式（13-17）描述。

實驗結果及分析:

根據表1所示的結果，可以明顯看出所提出的TSGAT+Q學習框架在效率方面優于其他方法。

表 1 比較不同方法在測試數據集上的解的質量

 

圖2和3展示了5個服務技術人員和50個維修任務的維修任務調度問題的兩個實例的調度結果。類似地，圖4和5顯示了具有10個服務技術人員和100個維修任務的兩個實例的調度結果。結果表明，使用TSGAT+Q學習框架可以成功地為這些案例生成可行的解決方案。

圖 2 案例1的維修調度甘特圖

 

圖 3 案例2的維修調度甘特圖

 

圖 4 案例3的維修調度甘特圖

 

圖 5 案例4的維修調度甘特圖

結論:

近年來，DRL解決組合優化問題已成為一種流行的方法。受此啟發，我們首先將圖嵌入技術應用于服務技術人員和維修任務之間的消息傳遞。所提出的框架利用這種技術在整個圖結構中捕獲和傳播消息。在此基礎上，提出了TSGAT算法來解決維修任務的分配和調度問題。通過實驗對比驗證了該方法的有效性和高效性。

通訊作者簡介:

高小永，人工智能學院副院長，教授，博士生導師，石大學者，校青年拔尖人才，自動化專業及控制科學與工程學科建設負責人，擔任北京自動化學會常務理事、中國自動化學會過程控制專業委員會委員、中國自動化學會教育工作委員會委員、中國化工學會信息技術應用專業委員會副秘書長、中國系統工程學會過程系統工程專業委員會委員等。研究領域為復雜石油石化工業過程智能制造，主要方向有：機理與數據驅動的故障診斷、復雜工業過程建模與優化控制、工業過程計劃與調度優化等。主持國家自然科學基金項目2項、北京市自然科學基金面上項目1項、校企聯合項目30多項，發表SCI/EI等各類論文50多篇。

Email：x.gao@cup.edu.cn