中文題目：基于多任務學習的視頻和圖像顯著目標檢測方法

論文題目：Video and Image Salient Object Detection Based on Multi-Task Learning

錄用期刊/會議：計算機科學（CCF中文B類）

原文DOI：10.11896/jsjkx.231000051

原文鏈接：https://www.jsjkx.com/CN/10.11896/jsjkx.231000051

作者列表：

1） 劉澤宇 中國石油大學（北京）人工智能學院 控制科學與工程 博20

2） 劉建偉 中國石油大學（北京）人工智能學院 自動化系 教師

摘要:

顯著目標檢測（Salient Object Detection, SOD）能夠模擬人類的注意力機制，在復雜的場景中快速發現高價值的顯著目標，為進一步的視覺理解任務奠定了基礎。圖像和視頻顯著目標檢測任務既有共性又有特性，因而需要部署獨立的模型進行單獨訓練，這大大增加了運算資源和訓練時間開銷。當前研究大多針對單個任務提出獨立的解決方案，而缺少統一的圖像和視頻顯著目標檢測方法。針對上述問題，本文提出了一種基于多任務學習的圖像和視頻顯著目標檢測方法，通過一次訓練同時適配兩種任務，并進一步彌合圖像和視頻顯著目標檢測方法之間的性能差異。12個數據集上的定性和定量實驗結果表明本文提出的方法不僅能夠同時適配兩種任務，而且取得了比單任務模型更好的檢測結果。

背景與動機:

圖1 圖像和視頻顯著目標檢測方法在靜態圖像和視頻序列上的可視化對比結果示意圖

圖1給出了圖像和視頻顯著目標檢測方法在靜態圖像和視頻序列上的可視化對比結果。 圖像顯著目標檢測算法雖然能夠定位靜態圖像中的顯著目標，并給出清晰的目標邊界，然而不具備視頻理解能力，因而會產生前景誤判問題。 視頻序列的內容是小狗與玩具盒，由于缺乏時空信息，圖像顯著目標檢測算法BASNet錯誤地將玩具盒作為顯著目標，而視頻顯著目標檢測方法能夠基于視頻內容給出合理的預測結果。

設計與實現:

圖2 模型框架結構示意圖

圖2給出了基于多任務學習的圖像及視頻顯著目標檢測方法的整體流程圖。模型采用端到端的編解碼結構，編碼階段使用通道注意力對顯著特征進行挖掘，解碼階段引入自頂向下的特征聚合過程，并進一步共享編解碼模塊參數，以最大限度地利用任務間相關知識。

主要內容:

模型通過聯合優化圖像及視頻顯著目標檢測任務的方式進行訓練，并最大限度地共享任務間相關知識。包含對顯著特征提取模塊、時空注意力模塊、解碼模塊。

實驗結果及分析:

圖3 各模型在視頻顯著目標檢測任務上的定性比較結果

結論:

本文提出了基于多任務學習的視頻及圖像顯著目標檢測方法。在編碼階段，通過帶有殘差連接的通道注意力模塊初步提取顯著特征，過濾冗余信息，選擇與檢測任務最相關的底層特征。針對視頻分支，利用時空注意力引導解碼過程選擇顯著目標，減少背景干擾。時空注意力模塊利用鍵值查詢構建視頻幀之間的暫態關系，有助于融合視頻上下文信息。針對圖像解碼分支，自頂向下的特征聚合過程有助于充分融合多尺度特征，逐步改善目標的局部細節。編解碼過程最大限度地共享網絡權重，使得任務間相關知識得到充分提煉。最后同時對圖像和視頻顯著目標檢測任務進行優化，通過一次訓練同時適配兩種任務。

通訊作者簡介:

劉建偉，副教授，學者。研究領域涉及在線學習（包括強化學習，賭博機算法，持續學習，長尾學習）；圖像視頻顯著性目標檢測，解糾纏表示學習，光場和神經場模型，以及圖像視頻少樣本變化檢測；自然語言理解中的知識補全，圖神經網絡；不平衡數據處理；霍克斯點過程故障預測與診斷；非線性預測與控制。