中文題目：步態協調特征建模與多尺度步態表征方法研究

論文題目：Gait coordination feature modeling and multi?scale gait representation for gait recognition

錄用期刊/會議：International Journal of Machine Learning and Cybernetics (中科院SCI 3區，JCR Q2)

原文DOI：https://doi.org/10.1007/s13042-024-02120-8

原文鏈接：https://link.springer.com/article/10.1007/s13042-024-02120-8

錄用/見刊時間：2024.02.11

作者列表：

1） 朱丹丹 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機系教師

2） 季來虎 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機科學與技術專業 碩20

3） 朱麗萍 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機系教師

4） 李承陽 北京大學計算機學院 計算機軟件與理論專業 博20

文章簡介:

本文提出基于模型的GaitSkeleton方法用于步態識別。GaitSkeleton利用骨架序列作為步態表示，通過圖卷積網絡（GCN）和時間卷積網絡（TCN）提取步態時空特征，同時結合步態協調特征和多尺度步態表征，有效提高了步態識別的精度。

摘要:

步態識別是一種先進的生物特征識別方式，根據個體的行走姿勢進行身份識別。目前，大多數步態識別方法采用輪廓圖像作為步態的主要表示形式。然而，包含衣服和隨身物品細節的輪廓信息可能會干擾步態特征的提取。為此，我們提出了GaitSkeleton，一種利用骨架序列作為步態表示的新方法。GaitSkeleton對步態的運動協調特征進行建模，并結合三尺度空間特征，得到具有判別性的特征用于步態識別。為了捕獲關節之間的協調關系，我們設計了一個協調特征學習器( Coordination Feature Learninger，CFL )。將CFL嵌入到ST - GCN模塊中，以增強模型的表征能力。此外，我們引入了一種新的特征級聯模塊MSCM，通過在3個尺度上采樣空間特征，進一步增強了判別信息。整個網絡顯著增強了步態特征的判別性。在CASIA-B數據集上的實驗結果表明，該方法在基于模型的步態識別中取得了最先進的性能。

背景與動機:

步態識別可以根據個體的行走姿勢來識別個體，具有廣泛的應用領域，如公共安全、犯罪預防和門禁系統。然而，當前大多數步態識別方法存在以下三個問題：（1）使用輪廓圖像作為步態的表示形式，但輪廓信息中包含有關服裝和攜帶物品的細節，存在干擾步態特征的提取的可能性；（2）如圖1所示，關節之間的協調關系是步態識別中重要的區分特征，大多數現有方法忽視了步態的協調信息，導致步態特征的區分能力較弱；（3）個體之間的步態變化呈現多尺度性質，不同個體的關節運動、肢體運動和身體姿勢存在差異，如圖2所示。為此本文提出GaitSkeleton方法，利用骨架序列作為步態的表示形式，同時結合步態協調特征和多尺度步態表征，旨在提取更具區分性的步態特征，從而提高步態識別的準確性和魯棒性。

圖1 關節之間的運動協調

圖2 步態差異的多樣性

設計與實現:

本文將步態視為骨架序列，首先利用輸入姿勢估計網絡HRNet生成骨架步態序列。接著先提取骨架步態序列的淺層特征，再使用協調特征學習器(CFL)提取協調特征與時空特征融合得到深層特征。隨后，深層特征經多尺度級聯模塊(MSCM) 得到關節、肢體和姿勢三個尺度的特征，沿空間維度拼接形成步態特征，最后使用SupCon損失來訓練整個提出的模型。整體架構如圖3所示。

圖3 GaitSkeleton方法架構

為了捕獲關節之間的協調關系，我們設計了一個協調特征學習器(CFL )，首先計算關節特征之間的點積相似性，并通過softmax函數將它們映射到區間(0, 1)，生成一個協調系數向量，如圖4所示。通過連接每個關節的這些向量，得到一個協調系數矩陣。

圖4 協調系數矩陣計算過程

如圖5所示，我們基于協調系數矩陣來建模步態協調特征，通過匯總所有關節的信息獲得步態協調特征。

圖5 步態協調特征建模

為了增強步態特征的區分性，本文提出了基于人體骨骼圖的多尺度級聯模塊(MSCM)獲取多尺度步態表征，分別處理關節尺度、肢體尺度和姿勢尺度的判別特征。具體細節如圖6所示。

圖6 MSCM結構

實驗結果及分析:

在CASIA-B數據集上表現如表1所示，GaitSkeleton方法能在不同條件（即正常（NM）、背景（BG）和穿著（CL））有效提升步態識別的準確性。與基于模型的方法相比，在NM、BG和CL條件下，GaitSkeleton相比GaitGraph具有2.5%、3.7%和6.1%的識別準確率提升，可以看出GaitSkeleton在BG和CL條件下展現出最顯著的改善。這可以歸因于其減輕外觀影響并提取高度具有區分性和穩健性的步態特征的能力。與基于外觀的方法相比，在CL條件下，相比GaitPart，在在0°、108°和180°角度處，GaitSkeleton分別實現了0.5%、0.8%和5.3%的識別準確率提升。與GaitSet相比，GaitSkeleton在NM和BG條件下的識別準確率較低。然而，在CL條件下，GaitSkeleton超越了GaitSet，在180°處實現了21.8%的最大改善。這些結果突顯了與基于外觀方法相比，GaitSkeleton對服裝和視角的優越穩健性。

表1 CASIA-B數據集上與最新方法在不同條件與不同角度下性能比較

本文進行了消融實驗，實驗結果分別在圖7和圖8中展示了有無CFL或MSCM的情況?？梢钥闯?，無論是否應用MSCM，CFL都提高了在所有三種條件下的識別準確率。

圖7 不同角度下四種模型的識別準確率評估

圖8 NM、BG和CL條件下，三種模型相對于Baseline的平均準確率提升情況

相比Baseline，CFL分別在NM和BG條件下將準確率提高了0.8%和2%，而在CL條件下激增至5.9%。如圖7所示，只有在CL條件下，CFL在所有角度上都提高了準確率。實驗結果顯示了CFL的優越性，最顯著的改進是在CL條件下實現的。這主要歸因于CFL能通過捕捉關節之間的協調關系豐富特征的語義信息，同時CFL基于協調關系矩陣聚合所有關節的運動特征有助于減輕低質量關節的影響，并減少姿勢估計引入的噪音。

從圖8中可以看出，MSCM在不同條件下持續提高了識別準確率，當MSCM應用于Baseline時，在NM條件下提高了1.4%，在BG條件下提高了2.8%，在CL條件下顯著提高了5.2%。如圖7所示，MSCM提高了幾乎所有角度的識別準確率，特別是在CL條件下大角度（大于或等于90°）的情況下。這主要歸功于MSCM提取的多尺度特征包含更豐富的判別信息，比單尺度特征更有效地捕捉步態模式，并且肢體尺度和姿勢尺度特征分別關注區域和全局運動模式，從而平滑了低質量關節引入的噪音。

結論:

本文提出GaitSkeleton，一種基于模型的新型步態識別方法，利用骨架序列作為主要表示形式。GaitSkeleton旨在捕捉關節之間的運動協調，豐富步態特征的語義信息。為此，我們引入了協調特征學習器（CFL）來有效建模步態協調特征。此外，我們還提出了一種新穎的多尺度步態表示方法，以增強步態特征的區分性。通過設計多尺度協調模塊（MSCM）來提取多尺度步態特征，我們展示了其出色性能。CASIA-B數據集上的實驗結果驗證了我們方法的有效性。

作者簡介:

朱丹丹，博士，中國石油大學（北京）信息科學與工程學院/人工智能學院智能中心副教授，碩士生導師。目前主要研究方向是強化學習和數據挖掘。

聯系方式：zhu.dd@cup.edu.cn