中文題目：多尺度子群體交互關系下的群體行為識別方法

論文題目：Group Activity Recognition under Multi-scale Sub-group Interaction Relationships

錄用期刊/會議：電子與信息學報 (CCF中文C類)

原文DOI：https://doi.org/10.11999/JEIT231304

原文鏈接：https://jeit.ac.cn/cn/article/doi/10.11999/JEIT231304

錄用/見刊時間：2024.5.11

作者列表：

1) 朱麗萍 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機系教師

2) 吳祀霖 中國石油大學（北京）信息科學與工程學院/人工智能學院 碩22

3) 陳曉禾 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機系教師

4) 李承陽 北京大學計算機學院 計算機軟件與理論專業 博20

5) 朱凱杰 中國石油大學（北京）信息科學與工程學院/人工智能學院 碩20

背景與動機:

群體行為識別是視頻理解領域中的關鍵科學問題，在安防、預警、社會管理等領域發揮著重要作用。傳統的行為識別一般僅關注個別或少數人的信息，然而，群體行為識別面對的場景通常包含大量個體，呈現出復雜多樣的情境。具體來說，群體行為識別算法不僅需要準確識別個體的行為，還需要將這些個體的信息集成，從而推斷整個群體的行為。

目前，群體行為識別領域面臨著兩個主要挑戰：如何將多個個體劃分為子群體并建立層次結構，以及如何捕捉具有判別性的個人交互特征。對于第一個挑戰，通常采用基于層次結構的劃分方法，例如，層次關系網絡根據個體空間位置劃分多個不同尺度的子群體。對于第二個挑戰，許多方法利用個體的外觀特征和空間位置來建模它們之間的關系，如關系圖方法利用點乘法來度量特征相似度。然而，過去的方法通常僅考慮了子群體之間的空間位置關系，忽略了行為的相似性和子群體的動態變化。此外，對于交互關系的建模，以往的方法主要關注個體之間的關系，卻忽略了對子群體之間關系的深入研究。因此，如圖1所示，本文提出從動態子群體的角度入手，以更好地建模子群體之間的交互關系，為群體活動識別領域提供了新的解決方案。

圖1 考慮或不考慮子群體關系的群體行為識別效果對比圖

設計與實現:

本文提出了一種名為多尺度子群體交互關系（MSIR）的群體行為識別網絡。該網絡包含兩個關鍵模塊：子群體劃分模塊（SDM）和子群體交互特征提取模塊（SIFEM）。SDM通過融合空間位置和外觀特征來動態地構造語義上相似的子群體。SIFEM則使用關系鄰接矩陣來建模子群體間的交互關系，并引入關系注意力矩陣以篩選出判別性關系特征，從而提高識別的準確性。整體框架圖如圖2所示。

圖2 MSIR的整體架構

本文設計的子群體劃分模塊SDM旨在通過更好地捕捉個體的行為語義信息來優化子群體的劃分。它首先使用多層感知器將個體的空間位置信息映射到特征維度，然后與外觀特征相加，得到每個個體的綜合特征。接著，通過計算這些特征之間的余弦相似度，動態地規劃出子群體。通過調整參數k，可以構建不同尺度的子群體，以捕捉更豐富的交互關系。此外，還設計了一種擴展選擇策略，通過比較最相似的k個個體，形成更具表達力的群體行為特征。

SIFEM模塊旨在分析和捕捉子群體之間的交互關系。首先，使用幾何矩陣從子群體的空間位置信息中提取交互特征。這一過程利用了子群體之間的歐式距離，使得更接近的子群體具有更高的相關性。接著，通過關系注意力矩陣，考慮了子群體之間的特征相似性，以更全面地捕捉不同空間距離上的交互關系。這兩個矩陣的結合形成了關系鄰接矩陣RAM，其中采用了稀疏策略以防止模型過擬合。

在交互特征學習階段，采用了兩個圖卷積網絡（GCN）層來聚合特征，以獲得子群體的交互特征。第一層GCN根據RAM進行推理，計算得到每個子群體的交互特征。具體地，對于每對子群體a和b，計算其之間的RAM矩陣，并使用GCN層將子群體b的特征與RAM作為輸入，從而得到子群體a的交互特征。類似地，使用相同的操作計算子群體b的交互特征。接著，為每個子群體定義鄰接信息矩陣A，以建立當前個體與子群體中其他個體之間的連接關系。第二層GCN以第一層的輸出和鄰接信息矩陣A作為輸入，輸出最終的子群體交互特征。通過這一過程，得到了具有T×N×D維度的子群體交互特征，其中T代表時間步數，N代表子群體數量，D代表特征維度。其中交互關系矩陣的實現細節如圖3所示。

圖3 交互關系矩陣融合處理過程

實驗結果及分析:

在排球數據集和集體行為數據集上地表現如表1所示，MSIR能夠以較高的準確率來完成群體行為識別任務。此外針對子群體劃分方法以及子群體尺度的消融實驗分別如表2和表3所示，通過結果主要有以下四點觀察：

1.本文提出的MSIR方法在排球數據集上達到了95.2%的準確率，在集體行為數據集上達到了96.4%的準確率，均略高于SOTA方法。這是因為MSIR充分利用了子群體級別信息，加強了對多尺度交互特征的學習，而其他方法要么忽略子群體語義，要么在子群體劃分和推理上不夠精細。

2.表2的實驗驗證了子群體劃分模塊（SDM）的有效性，結果顯示其能顯著提高識別效果。相比擴張選擇策略，SDM劃分的子群體因低相似度和低冗余度而表現更佳，最終選擇k個最相似的個體組成子群體。

3.表3的實驗定量比較了不同尺度子群體對群體行為識別性能的影響，相比不使用子群體的模型，準確率分別提升了4.4%和7%。這些結果證明了群體行為識別受益于多層次結構中子群體交互信息的利用。

4.圖4的可視化效果可以看出，RAM能夠準確地捕捉并學習子群體之間的關鍵交互信息。例如，在第三列中，擊球手和攔截者之間的關系具有較大的權重值，這種相互作用對于識別進攻的群體行為非常重要。

表1 排球測試數據集和集體行為測試數據集上不同方法的準確率(%)比較

表2 子群體劃分模塊的定向實驗比較(%)

表3 子群體尺度的定量實驗比較(%)

圖4 一些視頻幀中RAM的可視化

結論:

本文提出一種新型基于多尺度子群體的多層次群體識別網絡框架MSIR。研究通過探索個體和子群體之間的交互關系，并結合關系圖推理，實現了個體行為和群體行為的同時分類。該框架涵蓋了子群體分支和個體分支，用于提取子群體和個體之間的交互特征。在子群體分支中，本文設計了子群體劃分模塊，該模塊實現了一種符合人類邏輯且具有較高可解釋性的子群體劃分方法。此外，還設計了一種關系鄰接矩陣，并將其應用于子群體交互特征提取模塊，以表示子群體之間復雜潛在的交互關系。相對于其它研究結果，本方法在兩個公共數據集上都取得了較好的性能結果。同時，在有限的顯存情況下，該算法表現出良好的群體行為泛化能力。

作者簡介:

朱麗萍，博士。中國石油大學（北京）信息科學與工程學院/人工智能學院計算機系副教授，碩士生導師。目前主要研究方向是大數據和數據挖掘方向，尤其關注深度學習在計算機視覺方向上的應用，已發表論文多篇高水平論文。

聯系方式：zhuliping@cup.edu.cn