中文題目：一種面向聯邦學習的分層激勵機制

論文題目：A Hierarchical Incentive Mechanism for Federated Learning

錄用期刊/會議: IEEE Transactions on Mobile Computing (CCF A)

原文DOI: 10.1109/TMC.2024.3423399

作者列表：

1） 黃霽崴 中國石油大學（北京） 人工智能學院 計算機科學與技術系 教授

2） 馬博聞 中國石油大學（北京） 人工智能學院 計算機科學與技術 碩21

3） 陳 瑩 北京信息科技大學 計算機學院 教授

4） 吳 遠 澳門大學 智慧城市物聯網國家重點實驗室 副教授

5） Xuemin (Sherman) Shen University of Waterloo Department of Electrical and Computer Engineering Professor

摘要:

隨著移動計算的爆炸性發展，聯邦學習被認為是一種有前途的分布式訓練框架，可以解決傳統云端集中式訓練的不足。在聯邦學習中，本地模型所有者各自訓練本地模型，然后將訓練后的本地模型上傳給任務發布者進行聚合，以獲得全局模型。當本地模型所有者提供的數據不滿足模型訓練要求時，他們可以招聘工人來收集數據。在本文中，我們考慮到任務發布者、本地模型所有者和工人之間的互動，提出了一個三層層次的博弈框架。然而，這其中存在兩個挑戰。首先，工人與本地模型所有者之間的信息不對稱可能導致工人隱瞞其真實類型。其次，任務發布者與本地模型所有者之間的激勵不匹配可能導致本地模型所有者缺乏參與聯邦學習的意愿。因此，我們將層次框架分解為兩層以解決這些挑戰。對于底層，我們利用契約理論確保工人如實報告其類型，并在此基礎上簡化契約的可行條件并設計最優合同。對于上層，我們采用Stackelberg博弈來建模任務發布者與本地模型所有者之間的互動，并推導出納什均衡和Stackelberg均衡解。此外，我們開發了一個基于迭代的層次效用最大化算法（HUMA）來解決上層和下層博弈之間的耦合問題。廣泛的數值實驗結果驗證了HUMA的有效性，比較結果說明了HUMA的性能提升。

背景與動機:

盡管聯邦學習在協作學習和用戶隱私保護方面顯示出了巨大的優勢，但如果邊緣節點沒有足夠的訓練資源，聯邦學習的性能將會下降。因此，激勵本地模型所有者參與聯邦學習并確保他們擁有足夠的數據至關重要。許多技術已被應用于設計激勵機制，包括契約理論、Stackelberg博弈和拍賣等。然而，現有研究通常只關注任務發布者與本地模型所有者之間或本地模型所有者與工人之間的激勵機制設計，未能充分考慮當本地模型所有者提供的數據不足以滿足模型訓練需求時的特征，以及工人在數據收集過程中的邊際效用遞減規律。為此，本文提出了一個基于分層博弈的三層框架，旨在分析任務發布者、本地模型所有者和工人之間的相互作用，設計有效的激勵機制以激勵工人收集數據和本地模型所有者參與聯邦學習，并解決激勵不匹配和信息不對稱問題。

主要內容:

如圖1所示，我們考慮了一個分層聯邦學習框架，包括一個中心節點、多個邊緣節點和多個數據擁有者。中心節點負責發布聯邦學習任務和總獎勵以吸引感興趣的邊緣節點加入并獲得獎勵。邊緣節點根據任務的要求，選擇合適的數據樣本并參與到聯邦學習的訓練當中。如果邊緣節點缺少訓練數據，它們可以發布數據收集任務，吸引數據擁有者提供數據并給予獎勵。整體框架分為兩層，旨在保護參與者的數據隱私并發揮聯邦學習的優勢。

圖1 系統模型

中心節點的目標是最大化其收益，同時激勵邊緣節點參與聯邦學習任務，通過提供總獎勵來激勵邊緣節點共享數據和計算資源。中心節點的效用函數反映了中心節點通過聯邦學習獲得的凈效益，即模型準確度帶來的收益減去支付給邊緣節點的總獎勵，具體如下所示：

在進行聯邦學習任務時，邊緣節點利用其本地數據樣本進行模型訓練以獲得收益，但此過程也涉及一定的訓練成本，這包括計算成本、通信成本以及數據采集費用，邊緣節點n的效用函數可以定義為：

從經濟學的角度出發，使用基于邊際效用遞減法則的疲勞損失函數來描述數據擁有者在收集數據時的負面效益，疲勞損失函數是非遞減且凸的，這意味著其邊際損失隨著的x增加而增加。具體來說，該函數的一階導數和二階導數均為非負的，表明了每增加一個數據單位，損失的增加速度是加快的。因此，屬于邊緣節點n的第m類數據擁有者的效用函數表示為：

整個系統內的效用最大化問題可以被表述為尋求三個參與者之間的最優策略組合，以實現各自利益的最大化。這可以形式化為以下優化問題：

在上層博弈中，采用兩階段的Stackelberg博弈來模擬中心節點與邊緣節點之間的動態互動。在博弈的第一階段，中心節點公布總獎勵。接著，在第二階段，邊緣節點根據公布的獎勵決定自己的參與程度，以最大化個體效用，其中邊緣節點策略體現為貢獻的數據樣本數量。鑒于每個邊緣節點都追求自身效用的最大化，且行為自私且理性，邊緣節點之間的互動可以轉化為一個非合作博弈，其中的納什均衡反映了各方的最優策略。在下層博弈中，由于邊緣節點不知道數據擁有者的私有屬性，數據擁有者會隱瞞它們的類型以獲取更多的獎勵。因此，可以應用契約理論來解決邊緣節點和數據擁有者之間的信息不對稱問題。在這一部分，本文提出了契約理論的可行條件，優化了其可行條件，并最終給出了最優契約的解析解。上層和下層的激勵機制設計問題已經被分別解決。然而，由于上下層的耦合，不能直接進行求解，我們提出了基于分層的效用最大化算法來解決上述問題。

實驗結果及分析:

我們設計了大量模擬實驗，以評估分層激勵機制框架的有效性和算法的最優性。圖2顯示了本地模型擁有者在選擇任務發布者設計的不同契約條目時的效用。

圖2 本地模型擁有者的效用

圖3顯示了上層博弈本地模型擁有者和任務發布者在迭代過程中效用和策略的變化情況。

圖3 上層博弈中迭代次數變化對性能的影響。(a) 本地模型擁有者的策略。(b) 任務發布者的效用和策略。(c) 本地模型擁有者的效用。

圖4展示了三層博弈框架中工人、本地模型擁有者和任務發布者在迭代過程中效用和策略的變化情況。

圖4 三層博弈框架中迭代次數變化對性能的影響。(a) 工人的實際疲勞水平。(b) 本地模型擁有者的策略。(c) 任務發布者的效用和策略。

圖5展示了在不同定價方案下，不同種類工人的效用、獎勵以及數據收集的定價。

圖5 在不同定價方案下，工人的屬性變化 (a) 工人的效用。(b) 工人的獎勵。(c) 工人數據收集的單價。

結論:

在本文中，我們提出了一種用于聯邦學習的分層博弈框架，包括任務發布者、多個本地模型所有者和多種類型的工人。由于框架中的激勵不匹配問題，作者將框架分解為兩個子博弈。在上層博弈中，采用基于Stackelberg博弈的激勵機制來激勵本地模型所有者增加參與水平。在下層博弈中，應用契約理論解決本地模型所有者和工人之間的信息不對稱問題。隨后，開發了統一算法HUMA來解決層次游戲框架的效用最大化問題。在該框架中，本文捕獲了當本地模型所有者提供的數據不滿足模型訓練要求時，任務發布者、本地模型所有者和工人之間的互動，并相應地設計了激勵機制以激勵他們加入聯邦學習。最后，通過數值實驗展示了所提出方案的有效性和優勢。未來的工作中，我們將進一步考慮任務的動態到達和環境（如時變信道），研究適應性的層次激勵機制框架。此外，還將考慮更復雜的隱私問題，并研究不同類型的工人在層次激勵機制框架中與不同質量水平的訓練樣本相關聯的問題。

作者簡介:

黃霽崴，教授，博士生導師，中國石油大學（北京）人工智能學院副院長，石油數據挖掘北京市重點實驗室主任。入選北京市優秀人才、北京市科技新星、北京市國家治理青年人才、昌聚工程青年人才、中國石油大學（北京）優秀青年學者。本科和博士畢業于清華大學計算機科學與技術系，美國佐治亞理工學院聯合培養博士生。研究方向包括：物聯網、服務計算、邊緣智能等。已主持國家自然科學基金、國家重點研發計劃、北京市自然科學基金等科研項目18項；以第一/通訊作者在國內外著名期刊和會議發表學術論文60余篇，其中1篇獲得中國科協優秀論文獎，2篇入選ESI熱點論文，4篇入選ESI高被引論文；出版學術專著1部；獲得國家發明專利6項、軟件著作權4項；獲得中國通信學會科學技術一等獎1項、中國產學研合作創新成果一等獎1項、廣東省計算機學會科學技術二等獎1項。擔任中國計算機學會(CCF)服務計算專委會委員，CCF和IEEE高級會員，電子學報、Chinese Journal of Electronics、Scientific Programming等期刊編委。