HR-YOLO:融合高分辨率網絡和YOLOv5的合規性檢測方法
論文題目：HR-YOLO:融合高分辨率網絡和YOLOv5的合規性檢測方法
錄用期刊：Electronics (中科院SCI 3區，JCR Q2)
原文DOI：https://doi.org/10.3390/electronics13122271
作者列表：
1） 連遠鋒 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機系教師
2） 李 璟 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機技術專業 碩22
4） 董紹華 中國石油大學（北京）安全與海洋工程學院 安全工程系教師
5） 李興濤 中國石油國際勘探開發有限公司 高級工程師
摘要:
自動合規性檢測對保障安全生產具有重要意義。然而，由于環境復雜、光照條件差、目標尺寸小等原因，合規性檢測的準確性受到挑戰。本文提出一種新穎高效的深度學習框架HR-YOLO用于安全帽合規性佩戴檢測方法。該框架從安全帽物體特征和人體姿態特征兩方面綜合安全帽佩戴信息。HR-YOLO可以使用兩個分支的特征，使抑制預測的邊界框對小目標更準確。然后，為了進一步提高模型的迭代效率和精度，使用優化的供能隨機梯度下降(OP-SGD)設計了一個優化的殘差網絡結構。此外，設計拉普拉斯感知注意力模型(LAAM)，使YOLOv5解碼器更加關注來自人體姿態的特征信息，抑制無關特征的干擾，從而增強網絡表征。最后，提出非極大值抑制投票(PA-NMS voting)，利用姿態信息約束邊界框的置信度，并通過改進的投票過程選擇最優邊界框，以提高對被遮擋目標的檢測精度。實驗結果表明，提出的安全帽檢測網絡性能優于其他方法，在應用場景中具有實用價值。與其他算法相比，所提算法在準確率、召回率和mAP上分別平均提高了7.27%、5.46%和7.3%
背景與動機:
合規性佩戴檢測是計算機視覺的一個重要任務，已廣泛應用于各個領域，如交通監控、智慧城市、建筑安全等。安全帽合規性佩戴檢測方法主要可分為傳統的估計方法和基于深度學習的估計方法。早期傳統安全帽檢測方法往往采用需要人工檢測且耗時較長，估計結果精度較低，魯棒性較差。近年來，利用卷積神經網絡強大的特征提取能力，采用深度學習的方法來檢測安全帽佩戴狀態。雖然已經取得了顯著的改進，但由于以上安全帽檢測方法忽視了在檢測過程中的人體姿態信息，導致在復雜工業場景下受遮擋和背景混淆的安全帽難以被正確識別，使得在工業場景下的安全帽檢測應用難以獲得良好的結果。
主要內容:
為了實現多尺度目標檢測，構建了一個多分支并行融合網絡HR-YOLO，如圖1所示。原始圖像大小為640 × 640 × 3，首先通過主干部分提取初步特征信息。這些特征傳遞給ODB，由ODB進一步提取和過濾特征，使用LAAM進行頭盔目標檢測。同時，PDB從初步特征中提取人體姿態特征，確定頭部區域信息。最后，PA-NMS投票利用頭盔物體特征和頭部區域信息選擇置信度和可靠性更高的邊界框。通過這4種改進，HR-YOLO有效地識別小目標，并對安全帽佩戴進行合規性檢測。
圖1 HR-YOLO網絡結構
實驗結果及分析:
為了定量分析所提方法與其他方法的檢測性能，在表1中給出了GDUT-HWD數據集上各項指標的實驗結果。對比包括SSD、R-SSD、Faster RCNN、YOLOv3、YOLOv3-tiny、YOLOv4、YOLOv5s、YOLOv7s、YOLOv8s。以平均精度均值(mAP)評價指標為例，與其他方法相比，所提方法在5個類別中均取得了較高的檢測精度。同時，在評估精度和F1分數時，所提出的方法與其他方法相比也在不同識別類別中提高了檢測精度。如表2所示，在SHWD數據集上，當IoU閾值設置為0.5時，所提方法的檢測準確率達到96.1%。在帽子類別和人類別上的準確率分別達到97.4%和94.9%。當IoU閾值在0.5 ~ 0.95之間時，mAP達到65.4%，比YOLOv5s提高了4.3%。為了進一步驗證HR-YOLO的魯棒性，在CUMT-HelmeT數據集上與SSD、Faster RCNN、YOLOv3、YOLOv5s、YOLOv7和YOLOv8s不同方法進行了對比實驗。表3列出了不同方法的precision、recall、F1、mAP、Params和GFLOPs的值。從表中可以看出，與其他六種方法相比，我們的方法表現出最高的準確率、召回率、F1值、mAP@0.5和mAP@0.5:0.95。此外，在precision、recall、F1、mAP@0.5和map@0.5:0.95值上，與YOLOv5的結果相比，分別達到了3.8%、6.1%、5.1%、5.6%和7.7%的提升。
表1 在GDUT-HWD數據集上的實驗比較結果
表2 在SHWD數據集上的實驗比較結果
表3 在CUMT-HelmeT數據集上的實驗比較結果
如圖2所示，在人群密集、背景復雜、目標被遮擋的圖像中，HR-YOLO可以很好地檢測目標。同樣，所提算法在夜間光照不足的圖像中仍能準確、魯棒地檢測出目標。
圖2 SHWDSHWD數據集上的檢測結果示例
從圖3可以看出，在來自加油站的安全帽數據集中，HR-YOLO對于小目標、復雜工業背景等情況仍然能夠準確地檢測佩戴合規性。
圖3 加油站數據集上的檢測結果示例
在CUMT-HelmeT數據集上的對比目標檢測結果如圖4所示，所選原始圖像在小目標和多目標檢測以及光照條件較差的情況下都存在挑戰。從圖中可以看出，本文方法在安全帽檢測方面取得了比對比方法更好的結果。
圖4 CUMT-HelmeT數據集上的檢測結果
為了驗證所提出的安全帽檢測方法的實用性，將HR-YOLO應用于四足機器人巡檢系統，如圖5所示。
圖5 四足機器人巡檢系統
表4比較了不同方法得到的四足機器人系統頭盔檢測分類結果。文件夾大小是指所有配置文件的總大小，使四足機器人系統能夠獨立運行檢測程序。HR-YOLO的測試精度和FPS最高，同時其文件夾大小仍在可接受范圍內。
表4 在四足機器狗上運行的實驗比較結果
圖6展示了HR-YOLO在室內場景中的應用。在加油站，工人經常在密集的管道附近工作，部分設備的形狀類似于安全帽。實驗結果表明，該方法能夠有效地檢測出復雜室內場景下安全帽佩戴情況。
圖6 HR-YOLO在室內場景中檢測結果
圖7展示了HR-YOLO在戶外場景中的應用。由此可見，所提方法能夠準確檢測工人是否佩戴安全帽。四足機器人可以接收HR-YOLO的檢測信息，并將信息傳遞給未正確佩戴頭盔的工人。
圖7 HR-YOLO在室外場景中檢測結果
結論:
針對實際應用中安全帽檢測任務的需求，本文提出一種基于PA-NMS的網絡HR-YOLO，從安全帽物體特征和人體姿態特征中綜合安全帽佩戴信息。為了克服目標尺寸較小導致的檢測精度下降問題，我們設計OP-SGD來提高網絡的表達能力。然后，提出了LAAM，使YOLOv5解碼器更多地關注來自人體姿態的特征信息，以增強網絡表征并抑制無關特征的干擾。此外，本文提出了一種新的后處理算法PA-NMS voting，該算法利用基于位姿信息約束的抑制算法來確定邊界框的置信度，并利用投票操作來獲得新的最優邊界框。最后，將HR-YOLO與其他主流目標檢測方法進行對比，并設計消融實驗對所提方法的性能進行評估。實驗結果表明，HR-YOLO在安全帽佩戴檢測任務中優于其他算法，在面對不同噪聲條件、光照變化和遮擋程度時具有良好的魯棒性。實驗結果也表明了所提方法在各種應用中的實用價值。
未來，我們將重點探索如何進一步優化網絡結構，納入多任務輸出分支，增強網絡對多樣化多模態信息的檢測能力。此外，我們將進一步減少計算/內存成本，改善訓練不穩定性，并支持高效的分布式訓練，以應對大規模應用中的可擴展性問題。
作者簡介:
連遠鋒，教授，碩士生導師。研究方向為圖像處理與虛擬現實、機器視覺與機器人、深度學習與數字孿生。