中文題目：基于擴散模型和知識蒸餾技術的時間序列插補方法

論文題目：Diffusion Modeling and Transformer Knowledge Distillation Techniques for Time Series Imputation

錄用期刊/會議：2024中國自動化大會 （CAA A類會議）

錄用時間：2024.9.20

作者列表：

1) 阮丹靈 中國石油大學（北京）人工智能學院 控制工程 碩22級

2) 劉建偉 中國石油大學（北京）人工智能學院 自動化系 教師

摘要:

近年來，大數據分析十分熱門，但數據在收集、存儲等過程中常常會出現缺失的現象，進而影響到數據分析的效果。因此，本文提出用擴散模型來插補時間序列的缺失值，并且加入了Transformer結構來捕捉時間序列數據中的復雜依賴關系，為了提高插補的準確性，還將知識蒸餾用于擴散模型的逆向過程。我們在醫療數據集和空氣質量數據集上進行了實驗，比較了不同缺失值占比的情況下，模型的表現。結果表明，我們的模型在三個評價指標上均優于其他模型。

背景與動機:

近年來，大量的數據被用于分析和決策，許多領域用時間序列數據進行預測分析，例如，預測股票的價格，預測天氣，預測醫療診斷，預測實時交通。但是收集的數據往往會存在缺失，時間序列數據的不完整會導致時間序列的建模出現偏差，進而影響到對時間序列數據分析的結果不準確，因此對時間序列的缺失值的處理也成為一個很重要的問題。缺失值的常用處理方法通常有刪除法和插補法兩種，但是刪除會導致數據一些分布特征的丟失，對后續的時間序列數據的處理造成不良影響，所以如何用更準確的方法來對缺失數據進行填補是目前的熱點問題。

主要內容:

本文選取了擴散模型作為時間序列缺失值插補的基礎模型，并且在此基礎上加入了Transformer和知識蒸餾，將其作為擴散模型反向去噪過程的一部分。用Transformer來捕捉時間序列之間的特征依賴和時間依賴關系。用知識蒸餾來指導去噪過程，將學生模型的去噪函數作為擴散模型的去噪函數，將學生模型和教師模型之間的預測噪聲的差作為知識蒸餾的損失函數，并且將知識蒸餾的損失函數作為總損失函數的正則化項。將模型用于醫療和空氣質量數據集，并且和基線進行比較實驗，得到本文的模型插補的準確率大于基線的準確率。最后，討論了本文的優勢和不足之處，并且提出了之后應該如何改進。

 圖2. 基于擴散模型和知識蒸餾的插補模型結構圖

結論:

本文提出了一種擴散模型和知識蒸餾的時間序列插補的模型框架。該框架通過在擴散模型的反向過程中加入transformer，捕捉時間序列數據中的復雜依賴關系，提高模型的表現能力。通過引入條件信息，Transformer在去噪過程中能夠考慮更多的上下文信息，從而提高預測精度。通過學習教師模型的預測，學生模型能夠更快地收斂并獲得更高的預測精度。此外，我們在醫療和空氣質量數據上做了對比實驗。結果表明，本文提出的框架更能準確的填補時間序列的缺失值，插補準確性更強。我們的研究仍有改進的余地。目前的研究僅僅在擴散模型反向過程中加入了最簡單的知識蒸餾方法，未來的工作可以嘗試更為復雜的知識蒸餾，并將其應用在擴散模型的不同環節。

作者簡介:

 劉建偉，教師，學者。