中文題目：LSTM多維時序建模中隱藏層激活的降維可視分析對比研究

論文題目：Comparing dimensionality reduction techniques for visual analysis of the LSTM hidden activity on multi-dimensional time-series modeling

錄用期刊：The Visual Computer （JCR Q2）

作者列表：

1） 紀連恩 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機系教師

2） 邱詩榮 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機科學與技術 碩 21

3） 徐   智 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機科學與技術 碩 23

4） 劉   月 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機科學與技術 碩 20

5） 楊   光 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機科學與技術 碩 22

摘要:

長短期記憶網絡(LSTM)已被廣泛應用于包括各類工業控制領域在內的多維時序數據建模中，而可視分析方法（VAST）在提高其可解釋性方面發揮著重要作用。為了理解模型隱藏層中的高維激活模式，降維技術（DR）的應用必不可少。然而，DR的多樣性極大地增加了選擇的難度。本文針對DR在LSTM隱藏層激活可視分析中的適用性問題，選取了四種具有代表性的DR技術作為比較對象，包括PCA、MDS、t-SNE和UMAP。原始的連續型建模數據和符號化處理后的離散型數據作為模型學習的知識，可將它們與LSTM隱藏層的激活行為相關聯，從而比較不同DR技術保持和抽取隱藏層激活信息的能力。根據LSTM模型結構和數據特點，分別設計了在降維質量評估、高低隱藏層間抽象表征、模型與輸出變量間關聯分析、輸入特征重要性分析和隱藏層時序規律探索等五個典型任務中的對照實驗。通過對實驗結果的定性和定量分析，總結了不同DR技術的適用性，提煉了LSTM多維時序建模場景下對隱藏層激活狀態進行降維可視分析的系統性指導原則。

背景與動機:

深度模型具有工作機理復雜、可解釋性差的問題，LSTM也不例外?？梢暦治鲈诟纳粕疃饶Ｐ涂山忉屝苑矫姘l揮了重要作用，而隱藏層激活狀態作為模型的內部表現，是模型可視分析的主要研究對象。但高維的隱藏層激活值難以被直接可視化映射，近年來，人們通過DR提取隱藏層的激活值特征，在低維空間展示模型內部行為以利于人的理解和分析。然而，在對LSTM進行多維時序預測的可視分析中，DR的應用面臨著諸多挑戰。一方面，DR的多樣性極大地增加了選擇的難度，且DR是一個無監督的過程，在實際應用中很容易被誤用；另一方面，不同的DR會產生不同的模式特征，DR的有效性評估分析任務的特點緊密相關。

設計與實現:

本文根據DR特點和應用現狀，選擇了PCA、MDS、t-SNE和UMAP四種代表性技術作為比較對象。此外，還提煉出了多維時間序列建模應用中LSTM隱藏層激活可視分析的五個主要任務，分別為T1：降維質量評估，T2：高低隱藏層間的抽象表征，T3：模型與輸出變量的關聯分析，T4：輸入特征的重要性分析，T5：隱藏層的時序規律探索。

為了能夠全面有效地將降維結果進行可視化，本文設計了空間投影和時序投影兩種視圖。分析人員可根據不同的分析任務選取不同分段下隱藏層激活狀態，將其輸入到DR中，然后再將二維空間下的投影結果映射到相應視圖中進行探索和分析。

圖1 投影視圖

實驗結果及分析:

面向五種典型LSTM可視分析任務場景，文中通過多組對照實驗定性和定量比較了四種DR技術的表現性能和效果。

圖2 降維質量評估（T1）

圖3 模型的隱藏層與輸出變量之間的關聯在訓練過程中發生變化（T2,T3）

表1 多維模型輸入特征重要性保持能力評估結果（T4）

圖4 某樣本在不同DR下的時序投影結果（T5）

基于上述實驗結果，本文提煉了在LSTM隱藏層可視分析任務中選擇DR時必須考慮的幾個重要因素，包括任務的關聯對象、分析視角以及模式探索需求，并對它們適用的DR技術進行了總結，如表2所示。

表2 可視分析任務的特征及其適用的降維技術

結論:

本文通過選擇四種具有代表性的DR技術進行對比研究，提煉了DR應用于多維時間序列建模的五種LSTM可視化分析任務，并進行了相應的案例實驗研究。最后，根據任務的關聯對象和分析視角，總結了不同類型任務對DR的關鍵特征要求，為研究人員在可視化地分析LSTM隱藏層激活狀態時選用最有效的DR技術提供了系統性指導原則。

作者簡介:

紀連恩，博士，副教授，研究生導師。主要研究領域為大數據可視化與智能分析、可解釋機器學習及工業領域應用、虛擬現實與計算機仿真、計算機圖形學與人機交互技術等。主持和參與了國家自然科學基金、國家科技重大專項和重點企業合作項目多項?，F為中國計算機學會（CCF）人機交互專委會委員、中國圖象圖形學學會（CSIG）可視分析專委會委員以及虛擬現實專委會委員。

聯系方式：jilianen@cup.edu.cn