中文題目：多變量時序標記Transformer及其在電潛泵故障診斷中的應用

論文題目：多變量時序標記Transformer及其在電潛泵故障診斷中的應用

錄用期刊/會議：控制與決策 (國內EI中文期刊論文)

原文DOI：10.13195/j.kzyjc.2024.0266

原文鏈接：http://kzyjc.alljournals.cn/kzyjc/article/abstract/2024-0266

錄用/見刊時間：2024年

作者列表：

1）李   康 中國石油大學（北京）人工智能學院 自動化系教師

2）李   爽 中國石油大學（北京）人工智能學院 碩士生

3）高小永 中國石油大學（北京）人工智能學院 自動化系教師

4）李   強 中國石油大學（北京）人工智能學院 碩士生

5）張來斌 中國石油大學（北京）安全與海洋工程學院 安全工程系教師

摘要:

電潛泵故障診斷對于確保安全可靠采油至關重要，但電潛泵數據呈現出的多變量、非線性和動態變化等復雜特性為該任務帶來了嚴峻挑戰。近年來，深度學習在復雜數據特征提取方面表現出的強大能力催生了一系列基于神經網絡的電潛泵故障診斷方法。然而，多數方法忽略了電潛泵數據的動態特性及長時依賴特征提取困難的問題。針對上述問題，提出一種多變量時序標記 Transformer 神經網絡實現電潛泵故障診斷。該模型設計了新的多變量時間序列標記策略，繼承了引入多頭注意力機制和殘差連接的傳統 Transformer 神經網絡編碼器在長時依賴特征提取方面的優勢，用前向神經網絡替代了傳統 Transformer 神經網絡解碼器以簡化模型復雜度。通過對油田現場故障數據分析，驗證了該方法的有效性。實驗結果表明，所提方法實現了 10 類電潛泵故障的精確診斷，相比流行的深度學習方法診斷性能更優。

背景與動機:

電潛泵（Electric Submersible Pump, ESP）是一種重要的人工舉升采油設備，因其提液能力強、排量大、揚程高，被廣泛應用于海上油田、沙漠油田以及復雜井況的中后期油田的采油任務中。然而，由于其結構復雜，組件繁多，長期運行在高溫、高壓、高雜質、高腐蝕的惡劣環境下，故障發生頻率高且類型多，比如沉積物和固體顆粒對泵造成磨損和堵塞，電纜的絕緣和防水出現問題等。因此，及時準確地診斷電潛泵故障對于保證采油系統安全穩定運行至關重要。

設計與實現:

數據驅動的電潛泵故障診斷本質上是對多變量時間序列片段樣本進行分類識別的問題。由于電潛泵故障數據是多變量時間序列片段樣本，具有多變量、非線性、動態變化等特性，故障信息往往隱含在數據復雜交織的時間和變量維度中，如何從反映電潛泵運行狀態的多變量時間序列信號中提取長時依賴特征成為準確診斷電潛泵故障的難點和關鍵。本文將針對這一挑戰問題進行探索，提出基于多變量時序標記Transformer神經網絡的電潛泵故障診斷方法。如圖1所示，方法主要包含三部分：多變量時間序列標記，Transformer 特征提取及故障分類。其中，多變量時間序列標記模塊主要對輸入進行預處理，兼顧數據的多變量、非線性和動態變化等特性，將其合理地表示為標記嵌入序列；Transformer 特征提取模塊從標記嵌入序列中提取長時依賴特征；故障分類模塊則基于長時依賴特征辨識故障類型。

圖1 基于多變量時序標記Transformer神經網絡的電潛泵故障診斷方法框架

主要內容:

一、多變量時間序列標記

首先將 x 分成多個時間子序列，表示為：

然后利用一個線性投影層將子序列映射到高維嵌入空間，并引入可學習的類別標記，連接成標記嵌入序列，表示為：

為考慮引入時間步信息，擬將位置嵌入與標記嵌入相加生成標記嵌入序列：

基于上述前向運算，將得到作為后續 Transformer編碼器輸入的標記嵌入序列 Tseq。

二、Transformer特征提取

Transformer 特征提取層是整個算法的核心部分，該層通過棧式堆疊個獨立的基礎學習模塊實現。具體地，每個基礎學習模塊中包含了一個多頭注意力機制和一個前向網絡，殘差連接與層正規化也被用來改善模型精度和泛化能力。

圖2給出了多頭注意力機制的細節，將對每個不同的注意力頭進行組合，并采用線性映射來得到多頭注意力值，公式化表示為：

圖2 多頭注意力機制

前向網絡用來將多頭注意力提取到的特征映射為更加抽象的特征。具體地，前向網絡包含兩個線性變換層和一個非線性激活層。為了改善網絡的收斂能力，采用高斯誤差線性單元（Gaussian error Linear Unit, GeLU）激活函數取代傳統的 ReLU 激活函數，具體表示為：

在Transformer層，殘差連接和層正規化被用在多頭注意力機制和前向網絡的輸出部分。具體地，可將多頭注意力機制模塊和前向網絡視作子層Sublayer，它們的輸出將表示為：

綜上，多變量時序標記將通過棧式堆疊的Transformer層實現長時依賴特征提取，最終用于故障分類。

三、故障分類

考慮到傳統 Transformer 神經網絡解碼器的輸出是對編碼器輸入的重構，不適用于電潛泵故障診斷，而前向神經網絡能夠更加簡單、高效地實現電潛泵故障分類，因此設計了基于前向神經網絡的故障分類器。它的結構包含一個全連接層和一個softmax層，用于將由 Transformer 層提取的長時依賴特征轉化為獨熱碼。

基于多變量時間序列所屬故障類別的概率值，利用極大似然準則即可實現故障類別的診斷結果。

實驗結果及分析:

不同算法在四種不同評價指標上的對比結果呈現在表1中。從表1中可以看出 CNN和LSTM 的表現略差于 CNN-LSTM 的綜合表現，這表明在 CNN 特征提取的基礎上融合LSTM 時序依賴特征提取的效果更好。此外，兩種用于處理多變量時間序列分類的 Transformer 變體方法 FormerTime 和Gated-Transformer 均呈現出優于上述三種方法的表現，表明 Transformer 相比傳統深度學習方法（CNN和 LSTM 等）在長時依賴特征提取方面更具優勢。更重要的觀察是，所提方法的綜合表現優于所有對比方法，表明所提方法中設計的多變量時序標記策略更適于處理在電潛泵故障診斷任務。

表1 不同算法在四種評價指標上的對比結果（%）

為更細致地分析不同方法的電潛泵故障診斷表現，在圖3中繪制了不同方法的混淆矩陣。其中，行表示樣本故障類別的預測值，列表示樣本故障類別的真實值。從圖中可以看出大多數診斷失敗的情況發生在管柱漏失 LP、產液低 LL 和電氣故障EF等幾種故障，表明這三種故障模式相對比較復雜，是較難診斷的故障。多變量時序標記 Transformer 神經網絡與其他方法相比在其余故障上的診斷表現更優。此外，考慮到不同方法提取到的數據特征的分布是評估模型泛化表現的重要指標，將不同方法提取到的特征進行了可視化。具體地，采用 t 分布隨機近鄰嵌入（t-distributed Stochastic Neighbor Embedding, t-SNE）方法對特征進行降維，并繪制在圖4中。從圖中可以看出，相比其他方法，多變量時序標記Transformer 神經網絡展現了更優的類內緊湊性和類間可分性，進一步驗證了所提方法的優秀特征提取能力和泛化表現。

圖3 不同方法診斷結果的混淆矩陣

圖4 不同方法對應特征的t-SNE可視化結果

結論:

本文提出了一種多變量時序標記Transformer神經網絡，并將其應用于電潛泵故障診斷。區別于已有Transformer神經網絡模型，多變量時序標記Transformer神經網絡設計了新的多變量時序標記策略用于處理具有多變量、非線性、動態變化等特性的電潛泵數據，沿用傳統 Transformer神經網絡引入多頭注意力和殘差連接機制，實現了更優的長時依賴特征提取效果，并用前向網絡取代了傳統Transformer 神經網絡的解碼器實現了模型簡化，使之更適于處理電潛泵故障診斷任務。最后在真實油田現場電潛泵故障數據上驗證了所提方法的有效性和優越性。

作者簡介:

李康，師資博士后，博士，中國石油大學（北京）人工智能學院自動化系教師，主要研究方向為故障診斷與容錯控制。