基于深度強化學習的可靠性感知的邊緣計算服務放置和任務卸載
中文題目：基于深度強化學習的可靠性感知的邊緣計算服務放置和任務卸載
論文題目：Deep Reinforcement Learning based Reliability-aware Service Placement and Task Offloading in Edge Computing
錄用期刊/會議：IEEE 2024 International Conference on Web Services (ICWS) (CCF B)
錄用時間：2024年5月14日
作者列表：
1）梁晶語 中國石油大學（北京）信息科學與工程學院 控制科學與工程專業 博20
2）馮子涵 中國石油大學（北京）信息科學與工程學院 計算機科學與技術專業 碩22
3）高 涵 中國石油大學（北京）信息科學與工程學院 計算機科學與技術專業 碩21
4）陳 瑩 北京信息科技大學 計算機學院 教授
5）Linh Truong Aalto University Computer Science Professor
6）黃霽崴 中國石油大學（北京）信息科學與工程學院 教授
摘要:
隨著5G技術的快速發展，各種應用場景中的服務需求不斷增加。移動邊緣計算（MEC）通過將服務資源和相應的計算資源放置到邊緣服務器上，已經成為一種流行的計算范式然而，邊緣服務器缺乏穩定的保護基礎設施，以及有限的存儲空間和計算能力?？紤]到邊緣系統的可靠性和穩定性，有效地將資源和將任務轉移到邊緣服務器已經成為一個緊迫的挑戰。本文考慮了不同時間尺度下的資源放置變化和任務卸載策略，優化了動態邊緣系統下的服務提供商的成本。通過建立馬爾可夫模型，得到系統可靠性和延遲之間的定量關系，并計算出資源放置和任務卸載所需的時間。然后，本文提出了基于強化學習（RL）技術，在不同時間尺度下的資源放置和任務卸載（RPTO）算法，目的是在長期服務中最小化服務提供者的成本。實驗結果表明，本文提出的方法有效地解決了在MEC中聯合資源放置和任務卸載的問題挑戰。
優化模型與優化方法:
圖1 整個過程的框架圖
針對邊緣計算系統的資源分配和任務卸載問題，采用基于深度強化學習的方法對資源放置和任務卸載過程進行優化，目標是優化資源分配和任務卸載過程中服務提供商成本。圖1是本文整個處理過程的框架流程圖。本文考慮到，相比較資源分配的動態變化，任務卸載過程中實時變化更快，因此利用雙時間尺度模型分別對資源分配和任務卸載過程進行分析。為了滿足用戶的可靠性需求，在資源放置部分采用冗余的服務資源放置策略，確保存在正常的服務器能夠為用戶提供服務，任務卸載部分考慮了服務器故障對于處理任務延遲的影響。為了進一步優化資源放置和任務卸載策略，建立了資源分配和任務卸載模型，資源放置部分主要包括離散動作的服務放置決策和連續動作的計算資源分配決策的混合動作空間，而任務卸載部分中的任務類型判斷和任務卸載決策均為離散動作空間。因此，采用兩種深度強化學習的方法分別對資源放置和任務卸載過程進行訓練，優化服務提供商的成本。通過實驗證明了所提出算法的有效性。
實驗結果及分析:
圖2 不同超參數設置對于算法收斂性的影響。
圖3 不同參數設置對服務提供商成本的影響。
圖4 不同可靠性屬性對服務提供商成本的影響。
結論:
本文中，我們考慮了邊緣計算系統中的動態的服務放置和任務卸載問題，這一問題具有挑戰性?？紤]到不同服務的異構性和邊緣服務器有限的存儲空間和計算資源，為了在長期內最小化服務成本，采取了不同的時間尺度來分別處理服務放置和任務卸載。我們提出了一種基于P-DQN和D3QN強化學習的RTPO算法，通過該算法可以動態地處理服務放置和任務卸載問題。此外，通過模型實驗分析了影響算法收斂性的參數，并通過與基準算法的比較，驗證了該方法的有效性。
通訊作者簡介:
黃霽崴，教授，博士生導師，中國石油大學（北京）信息科學與工程學院/人工智能學院副院長，石油數據挖掘北京市重點實驗室主任。入選北京市優秀人才、北京市科技新星、北京市國家治理青年人才、昌聚工程青年人才、中國石油大學（北京）優秀青年學者。本科和博士畢業于清華大學計算機科學與技術系，美國佐治亞理工學院聯合培養博士生。研究方向包括：物聯網、服務計算、邊緣智能等。已主持國家自然科學基金、國家重點研發計劃、北京市自然科學基金等科研項目18項；以第一/通訊作者在國內外著名期刊和會議發表學術論文60余篇，其中1篇獲得中國科協優秀論文獎，2篇入選ESI熱點論文，4篇入選ESI高被引論文；出版學術專著1部；獲得國家發明專利6項、軟件著作權4項；獲得中國通信學會科學技術一等獎1項、中國產學研合作創新成果一等獎1項、廣東省計算機學會科學技術二等獎1項。擔任中國計算機學會(CCF)服務計算專委會委員，CCF和IEEE高級會員，電子學報、Chinese Journal of Electronics、Scientific Programming等期刊編委。
聯系方式：huangjw@cup.edu.cn