中文題目：移動邊緣計算中隱私保護的任務卸載方法：一種基于深度強化學習的方法

論文題目：Privacy-preserving task offloading in mobile edge computing: A deep reinforcement learning approach

錄用期刊/會議：Software: Practice and Experience (CCF B, JCR Q2)

原文DOI：10.1002/spe.3314

原文鏈接：https://onlinelibrary.wiley.com/doi/10.1002/spe.3314

錄用/見刊時間：2024年01月23日

作者列表：

1） 夏方略 中國石油大學（北京） 信息科學與工程學院/人工智能學院 計算機科學與技術專業 碩21

2） 陳   瑩 北京信息科技大學 計算機學院 教授

3） 黃霽崴 中國石油大學（北京） 信息科學與工程學院/人工智能學院 教授

摘要:

隨著機器學習技術的不斷演進，對訓練數據的需求也在不斷上升。通過移動群智感知的方式，從大量的終端用戶中收集數據，能夠有效改善模型性能與泛用性。然而，用戶也會關注數據的隱私性，不愿意輕易提供隱私數據。因此，隱私保護是一個非常關鍵的問題。在機器學習中，聯邦學習是一種常見的隱私保護方法，其通過在數據所有者本地完成模型訓練過程的方式來保護隱私。然而，考慮到移動用戶終端設備的計算能力與電池續航有限，隨著模型復雜度的上升，這些設備無法支撐大量的模型訓練計算任務。隨著移動邊緣計算技術的發展，用戶能夠將模型訓練計算任務卸載到邊緣服務器中，通過用戶設備、邊緣服務器同時訓練的方式加速訓練過程。然而，邊緣服務器并非完全可行，在隱私數據上傳與訓練的過程中仍然會有隱私泄漏風險。為了解決這一問題，本文建立了一個使用移動邊緣計算的分布式機器學習系統，建立了系統模型，設計了基于本地差分隱私的隱私保護算法，并提出了基于深度強化學習的任務卸載算法。上述算法不僅可以加速機器學習模型訓練過程，還可以保護用戶隱私并節約用戶電量。最后，本文通過實驗的方式驗證了上述算法的有效性。

背景與動機:

通過移動群智感知的方式從大量的用戶移動終端中收集數據，能夠有效改善模型的性能與泛用性。然而，傳統的機器學習方法會將用戶數據上傳到云服務器中，不利于保護用戶隱私。同時，聯邦學習雖然能保護隱私，但用戶設備的計算能力有限。因此，需要一種同時兼顧隱私性與效率的方法。

主要內容:

本文首先對本文首先提出了一個使用移動邊緣計算的隱私保護分布式機器學習系統，該系統由多臺用戶移動終端設備、多臺邊緣服務器、單臺云服務器組成。上述系統的工作流程如圖1所示，首先用戶會采集數據，然后在用戶設備與邊緣服務器同時進行機器學習模型訓練過程，最后在云服務器聚合全局模型。

圖1 系統工作流程

為了解決數據傳輸與模型訓練過程中的隱私保護問題，本文提出了一種基于本地差分隱私的隱私保護算法（LDP-PDG），會通過拉普拉斯機制保護數據隱私性，能提供?-DP。算法流程示意圖如圖2所示。

圖2 隱私保護算法工作流程

然后，本文對上述分布式機器學習系統的訓練任務排隊過程、隱私保護傳輸過程、機器學習訓練過程、移動設備電量消耗過程進行建模，將任務卸載的優化問題規約為：

為了優化上述分布式機器學習系統的性能，本文針對移動邊緣計算中的任務卸載問題提出了一種基于深度強化學習的優化算法（DRL-PCO），通過Actor與Critic的雙網絡方式學習知識。該算法的架構圖如圖3所示。

圖3 任務卸載算法架構圖

實驗結果及分析:

在實驗中，本文采取了平均訓練計算量、訓練任務丟棄量、移動設備平均能耗三個指標，將本文提出的方法與DDPG算法、貪心算法（GA）、聯邦學習（FL）方法進行對比。

首先進行的是相同邊緣服務器數量與用戶移動終端設備下的對比，可以看出本文提出的方法優勢明顯

圖4 平均訓練計算量（相同用戶數量與邊緣服務器數量）

圖5 訓練任務丟棄量（相同用戶數量與邊緣服務器數量）

圖6 移動設備平均能耗（相同用戶數量與邊緣服務器數量）

然后，還對比了不同邊緣服務器下的情況，通過箱線圖來展示數據。

圖7 平均訓練計算量（不同邊緣服務器數量）

圖8 訓練任務丟棄量（不同邊緣服務器數量）

圖9 移動設備平均能耗（不同邊緣服務器數量）

最后，還比較了不同用戶對算法性能造成的影響，也使用了箱線圖展示數據。

圖10 平均訓練計算量（不同用戶數量）

圖11 訓練任務丟棄量（不同用戶數量）

圖12 移動設備平均能耗（不同用戶數量）

通過上述實驗，可以看出本文提出的方法能夠滿足不同場景下的性能需求，在絕大多數場景下都顯著優于對比算法。

結論:

雖然近些年聯邦學習已經成為了隱私保護機器學習的主流選擇，但用戶設備的計算性能限制了它的使用場景。為了在減輕用戶設備的計算壓力的同時保護用戶隱私，本文提出了一個結合移動邊緣計算的分布式機器學習系統。同時，本文設計了一個基于本地差分隱私的隱私保護算法與一個基于深度強化學習的任務卸載算法，能同時增強隱私與效率。最后，本文通過實驗證明了本文算法的性能，它在計算性能與用戶設備能耗中取得了較好的平衡。

通訊作者簡介:

黃霽崴，教授，博士生導師，中國石油大學（北京）信息科學與工程學院/人工智能學院副院長，石油數據挖掘北京市重點實驗室主任。入選北京市優秀人才、北京市科技新星、北京市國家治理青年人才、昌聚工程青年人才、中國石油大學（北京）優秀青年學者。本科和博士畢業于清華大學計算機科學與技術系，美國佐治亞理工學院聯合培養博士生。研究方向包括：物聯網、服務計算、邊緣智能等。已主持國家自然科學基金、國家重點研發計劃、北京市自然科學基金等科研項目18項；以第一/通訊作者在國內外著名期刊和會議發表學術論文60余篇，其中1篇獲得中國科協優秀論文獎，2篇入選ESI熱點論文，4篇入選ESI高被引論文；出版學術專著1部；獲得國家發明專利6項、軟件著作權4項；獲得中國通信學會科學技術一等獎1項、中國產學研合作創新成果一等獎1項、廣東省計算機學會科學技術二等獎1項。擔任中國計算機學會(CCF)服務計算專委會委員、秘書，CCF和IEEE高級會員，電子學報、Chinese Journal of Electronics、Scientific Programming等期刊編委。