中文題目：交通場景中夜間圖像的預處理：當低光增強遇上耀斑消除

論文題目：Nighttime Image Preprocessing in Traffic Scenes: When Low-light Enhancement Meets Flare Removal

錄用期刊/會議：2024 International Conference on Virtual Reality and Visualization (CCF C)

作者列表：

1） 劉志強 中國石油大學（北京）人工智能學院 碩23

2） 周   靜 中國石油大學（北京）人工智能學院 碩22

3） 李曉雪 中國石油大學（北京）人工智能學院 碩23

4） 祝留宇 中國石油大學（北京）人工智能學院 碩23

5） 王智廣 中國石油大學（北京）人工智能學院 教師

6） 魯   強 中國石油大學（北京）人工智能學院 教師

摘要:

檢測摩托車駕駛員是否佩戴頭盔是目標檢測領域的關鍵任務之一。然而，大多數現有的頭盔檢測方法都只適用于光線充足的白天場景，在能見度較低的夜間場景中難以發揮作用。夜間場景的能見度較低，視野盲區較大，這給檢測任務帶來了巨大挑戰。此外，本文還強調，在夜間場景中，影響檢測任務的因素不僅限于能見度較低，還包括車輛前燈或路燈產生的反射耀斑。針對上述兩大挑戰，本文驗證了在攝像機中廣泛存在的光學中心對稱先驗信息，即光源及其產生的反射耀斑始終圍繞鏡頭中心對稱。本文還提出了一種數據預處理模型，DCRE。該模型利用層分解技術生成注意力圖，引導增強圖像中的低光區域，同時利用光學中心對稱先驗信息消除反射耀斑，從而提高夜間場景下的檢測精度。本文通過大量實驗驗證了 DCRE 的有效性。使用 DCRE 模型進行預處理后，檢測準確率從 62.8% 提高到 76.0%。

設計與實現:

針對于夜間場景，本文提出了一種基于圖層分解技術和光學中心對稱先驗信息的夜間圖像預處理模型DCRE，如圖1所示。

圖1. DCRE模型的結構。(1)表示圖層分解模塊，用于將輸入圖像(a)分解為光效層(b)和背景層(c)。(2)表示高斯擬合模塊，用于定位圖像的光源中心，(d)中的綠點表示擬合結果。(3)表示消除反射耀斑模塊，該模塊基于光源中心和光學中心對稱先驗信息對背景層(c)中的反射耀斑進行定位和消除。(4)表示低光增強模塊，該模塊使用光效層(b)作為注意力圖，引導模型對去除反射耀斑后的結果(e)的低光區域進行增強，得到增強圖像(f)。(5)表示最終的檢測模塊，本文使用RAY-Net完成檢測任務，得到檢測結果(g)。

1、層分解

如圖1(1)所示，對于任意輸入圖像 I，本文使用圖像層分解技術對其進行分解，分解模型如下：

該公式將輸入圖像 I 分解為無光效的背景層B和光效層E。本文使用兩個獨立的神經網絡從輸入圖像I中獲得背景層和光效層：

其中分別表示從輸入圖像 I 中得到背景層B和光效層E的網絡模型。

2、光學中心對稱先驗

受Dai等人的啟發，我們發現智能手機和相機在捕捉強光時會在圖像中留下反射耀斑。由于攝像鏡頭內部組件的反射，產生這種反射耀斑通常是不可避免的。耀斑會影響圖像的質量，這在交通監測領域中尤為突出，如圖2所示。如果這些耀斑恰好在摩托車駕駛員頭部的位置，將不可避免地影響檢測任務的準確性。如圖3所示，光源和其產生的反射耀斑的位置總是關于相機鏡頭中心呈現對稱關系。本文使用三種品牌的智能手機(iPhone 14 Plus、華為榮耀90 Pro、小米14 Pro)、尼康相機(尼康Z9)和交通監控攝像機(9361-S)進一步驗證了這種光學先驗信息。

圖2. 光源與反射耀斑的位置關系。

3、去除反射耀斑

摩托車的前燈通常不會影響頭盔檢測任務，因為駕駛員的頭部和前燈通常不會重疊。然而，大多數交通監控攝像機都位于頭頂角度，這意味著車輛前燈產生的反射耀斑可能會與駕駛員的頭部重合。同時，交通道路上的路燈產生的反射耀斑也可能與駕駛員重疊。這些反射耀斑會嚴重影響圖像質量，從而影響檢測任務的準確性，如圖2中的反射耀斑所示。本文使用高斯擬合算法在光效層E中定位光源中心的位置，利用光學中心對稱先驗信息，可以很容易地確定反射耀斑的位置：

其中分別表示光源和反射耀斑的坐標。獲取反射耀斑的位置后，我們進一步減少或消除圖像中的反射耀斑。由于在同一場景中收集有反射耀斑和沒有反射耀斑的配對圖像是不現實且不可行的，因此本文使用非配對圖像進行訓練，并采用無監督學習消除反射耀斑。

4、低光增強

如圖1(4)所示，本文使用光效層作為注意力圖引導模型增強低光區域。光效層E中像素值越高，表示原始圖像中該位置的光越強。相反，光效層E中像素值越低，表示原始圖像中該位置越暗。因此，我們使用光效層來引導模型增強低光區域，從而提高這些低光區域的亮度。

在檢測摩托車駕駛員是否佩戴頭盔的任務中，重點關注的是摩托車及其駕駛員的頭部位置，該任務不受強光的影響。因此，本文所提出的方法不同于其他流行的夜間增強方法。其他流行的夜間增強方法通常會在增強低光區域的同時抑制強光區域。相比之下，本文的方法只增強低光區域，而不需要抑制強光區域。

實驗結果及分析:

表1展示了去除反射耀斑前后的圖像質量。從PSNR、SSIM兩個指標的評價可以看出，我們的方法在消除反射耀斑后的圖像質量是非常高的。

Table 1. 去除反射耀斑后的圖像質量。

本文利用光效層作為注意力圖，引導模型增強低光區域。表2將本文提出的增強方法與其他現有流行的方法進行了比較，可以看出我們的方法在增強后具有更高的圖像質量。

Table 2. 低光區域增強后圖像質量的對比。

DCRE模型主要關注的內容是低光區域的增強工作以及反射耀斑的消除工作，因此本文在實驗中對這兩個主要的工作進行消融分析。本文做了如下四個實驗：

1. 直接使用RAY-Net完成檢測任務。

2. 在使用RAY-Net完成檢測任務之前先使用DCRE模型中的低光增強模塊進行預處理。

3. 在使用RAY-Net完成檢測任務之前先使用DCRE模型中的耀斑消除模塊進行預處理。

4. 在使用RAY-Net完成檢測任務之前使用完整的DCRE模型同時進行低光增強和耀斑消除。

實驗結果如表3所示，如果直接使用RAY-Net進行檢測，平均準確率僅為62.8%。如果對輸入圖像進行低光增強后再做檢測任務，平均準確率能從62.8%提升到75.6%。這證明本文的DCRE模型中的低光增強工作是有效的，這是因為低光增強可以改善夜間圖像的可視度和區分度，從而增加圖像中各種物體的可識別性。如果對輸入圖像進行耀斑消除后再做檢測任務，平均準確率能從62.8%提升到64.2%。這證明DCRE模型中耀斑消除功能也是有效的，這是因為去除耀斑可以提高圖像質量，防止反射在摩托車駕駛員頭部的耀斑影響頭盔識別任務。如果同時進行耀斑消除和低光增強，平均準確率能從62.8%提高到76.0%。從消融實驗可以看出，這兩個主要改進都是有意義的，可以有效地增強圖像中的低光區域并且消除圖像中的噪聲，進而提高摩托車駕駛員頭盔檢測任務的準確性。

Table 3. DCRE模型的消融實驗結果。

結論:

針對夜間場景，本文提出了一種名為 DCRE 的預處理方法。DCRE 基于圖像層分解和光學中心對稱先驗信息對夜間圖像進行增強和去噪處理。該方法將圖像分解為背景層和光效層。隨后，我們使用高斯擬合算法來定位光效層中的光源中心，利用光學中心對稱先驗信息定位并消除圖像中的反射耀斑。實驗證明，該方法能夠有效提高夜間場景下檢測任務的準確性。在未來的研究中，我們將進一步探索如何應對其他具有挑戰性的場景，以提高交通監控系統整體的準確性。

作者簡介:

王智廣，教授。博士生導師，北京市教學名師，北京市教育系統“教書育人先鋒”。中國計算機學會（CCF）高級會員，全國高校實驗室工作研究會信息技術專家指導委員會委員，全國高校計算機專業（本科）實驗教材與實驗室環境開發專家委員會委員，北京市計算機教育研究會常務理事。長期從事分布式并行計算、三維可視化、計算機視覺、知識圖譜方面的研究工作，主持或承擔國家重大科技專項子任務、國家重點研發計劃子課題、國家自然科學基金、北京市教委科研課題、北京市重點實驗室課題、地方政府委托課題以及企業委托課題20余項，在國內外重要學術會議和期刊上合作發表學術論文70余篇，培養了100余名碩士博士研究生。