中文題目：基于振動信號Transformer神經網絡的智能化滾動軸承故障診斷

論文題目：Intelligent Rolling Bearing Fault Diagnosis Based on Vibration Signal Transformer Neural Network

錄用期刊/會議：CPCC 2024 (CAA-A類 會議論文)

作者列表：

1）李   爽 中國石油大學（北京）人工智能學院 自動化系 控制理論與控制工程專業 碩 22

2）李   強 中國石油大學（北京）人工智能學院 自動化系 控制理論與控制工程專業 博 22

3）李   康 中國石油大學（北京）人工智能學院 自動化系教師

4）高小永 中國石油大學（北京）人工智能學院 自動化系教師

摘要:

本文提出了一種新的滾動軸承故障診斷方法——振動信號Transformer神經網絡(VSTNN)，該方法繼承了Transformer編碼器的多頭注意力機制和殘差連接的優點，在特征空間中聚合不同時間序列的振動信息，從而提高了長期依賴建模的性能。在此基礎上開發了一種新的振動信號標記化策略，該策略通過結合從一維振動數據、類標記和位置嵌入中學習到的多個子序列特征來生成標記嵌入序列。此外，由于軸承故障診斷是一個僅以故障類別作為輸出的序列到類別問題，所以VSTNN采用全連接神經網絡替代傳統Transformer解碼器作為故障分類器，提高了計算效率，降低了內存使用，使模型更適應滾動軸承故障診斷。

背景與動機:

滾動軸承是大多數電氣和動力驅動器中最重要的部件之一。準確診斷軸承故障對于保持電氣和動力傳動的安全平穩運行至關重要。在過去的幾年中，基于深度學習的技術在軸承故障診斷中獲得了廣泛的應用，由于其優越的特征提取能力在該領域取得了優異的表現。然而，當涉及到提取長期依賴的特征時，大多數方法是低效的。

設計與實現:

（1）振動信號標記

首先將輸入振動數據分割成多個子序列，使用線性投影層將子序列映射到高維嵌入空間。然后，引入了一個可學習的類令牌，與子序列向量組合產生一個無序令牌嵌入序列。由于故障發生后，振動信號總是發生變化，因此開發了批量重復的位置嵌入，將位置嵌入序列與無序令牌嵌入序列求和生成令牌嵌入序列。

（2）Transformer層

由N個相同的基本模塊堆疊而成，每個基本模塊由多頭注意力機制和前饋網絡組成，同時使用了殘差連接和層歸一化作為基本模塊的輸出。

（3）故障分類器

故障分類器將Transformer層提取的長時特征轉換為獨熱碼進行故障診斷。其結構由一個全連接神經網絡和一個Softmax層組成。

圖1 VSTNN模型的結構

主要內容:

注意力機制通過為不同的時間序列片段分配可學習權重，使標記嵌入序列中的每個標記都傾向于從其他標記中獲取信息，從而更有效地獲取長期依賴關系。在利用多頭自注意力機制提取特征后，采用前饋網絡學習更復雜的映射。該網絡由兩個線性變換和一個非線性激活函數組成。為了提高網絡的收斂性，采用高斯誤差線性單元激活函數代替ReLU激活函數。此外，在多頭自注意力層和前饋網絡的輸出中同時使用了殘差連接和層歸一化。簡而言之，由N個堆疊的Transformer層可以成功地將輸入振動信號轉換為用于識別最終故障類別的長期特征。

實驗結果及分析:

本文采用凱斯西儲大學公共軸承數據集來驗證所提出的VSTNN在軸承故障診斷中的有效性和優越性。以12 kHz的采樣率采集電機驅動端在四種不同工況下的振動信號。四種不同方法在四種不同工況數據集下的平均診斷準確率如表1所示。很明顯，所提出的VSTNN在診斷準確性方面在統計上優于其他方法，證明了其優越性。此外，可以觀察到，與之前的方法相比，所提出的VSTNN獲得了最小的方差，這表明了它的穩定性。

表1 不同工況數據集下VSTNN與其他方法的比較結果(%)

為了進一步評價VSTNN的故障診斷結果，圖2給出了4個數據集上最佳情況下VSTNN故障診斷結果的混淆矩陣。行顯示樣本的實際故障類別，列表示VSTNN預測的軸承故障類別。從結果可以看出，大部分誤分類類別集中在“BF”故障類別上，這表明該故障類別是軸承故障診斷的一個挑戰。

圖2 VSTNN模型在不同數據集下的混淆矩陣

四種不同工況數據集的VSTNN的t-SNE特征可視化如圖3所示。研究結果表明，不同類型的特征向量具有良好的類內緊密性和類間可分離性。

圖3 VSTNN模型在不同數據集下的t-SNE特征可視化

結論:

本文提出了一種新的基于Transformer神經網絡的滾動軸承故障診斷方法——VSTNN，該方法無需額外的信號處理即可實現對滾動軸承的一維振動信號進行分析。在VSTNN中，采用一種新的振動信號標記策略從一維振動信號中提取嵌入序列。特征之間的長期依賴關系可以通過具有多頭注意力機制和殘差連接的Transformer體系結構來學習。此外，VSTNN繞過了解碼器模塊并直接連接到故障分類器，以提高模型的復雜性。通過一個公共CWRU基準測試數據，驗證了該方法的有效性。

通訊作者簡介:

李康，師資博士后，博士，中國石油大學（北京）人工智能學院自動化系教師，主要研究方向為故障診斷與容錯控制。