基于模擬多曝光融合的低照度行人動作圖像增強處理設計

徐 沛，沙長濤

(中國電子技術標準化研究院，北京 100040)

0 引言

視頻監控行業自2004年啟動以來，促進了全國平安城市和科技強勁示范城市的建設與發展。隨著多機聯網、統一指揮以及分布式管理的輔助，視頻監控逐漸實現了數字化的發展[1]。在這樣的發展背景下，相關應用領域對于視頻監控中圖像的清晰度提出了更高的要求。但是，在夜間、陰影等光線較差的地方，會嚴重地影響到圖像的質量，從而導致圖像的亮度不均勻、對比度較差、色彩較深，很難實現對視頻圖像中行人動作的精準捕捉，對圖像在視覺呈現上造成嚴重負面影響，并造成后續計算機視覺處理各項任務時的難度進一步增加[2]。

針對上述問題，相關領域研究人員開展了深入的探究。目前，解決低照度問題的方法主要有直方圖均衡處理、Retinex 原理和深度學習等方法。但現有方法計算過程較為復雜，且容易造成過度增強或偏色等問題產生，不僅難以為計算機視覺處理提供幫助，可能還會進一步增加任務難度，進而無法完成各項任務[3]。

模擬多曝光融合技術利用圖像處理技術，將同一場景中不同曝光程度的圖像融合，從而獲得更高質量的圖像。基于這一技術的應用優勢，本文設計了一種新的低照度行人動作圖像增強處理方法。

1 過曝光與中等曝光行人動作圖像生成

將提升圖像的可視化質量作為處理目標，為實現對其增強處理，需要生成具有多個不同曝光程度的圖像，并利用模擬多曝光融合技術實現融合。為了保證融合的有效性，首先要用圖像的質量信息熵來衡量低照度行人動作圖像[4]。利用這一指標，在像素亮度不足時，增強其曝光度。未達到曝光條件的像素灰度值集合可用下述公式表示：

其中，V(x)表示原始圖像的亮度分量；τ表示可實現對曝光度區分的灰度閾值，Q 表示存在曝光度不足問題的灰度集合。在此基礎上，得出曝光度無法滿足處理要求的像素點信息熵：

其中，E(Q)表示曝光不滿足要求的像素點的信息熵；p1表示在集合Q當中每個灰度等級出現的概率。再結合熵值最大化理論，得出低照度行人動作圖像最佳曝光率。在獲得最佳曝光率的基礎上，采用映射方法，對低光照下的圖像進行虛曝光，從而獲得了相應的成分[5]。把經過以上處理的成分和未改變的成分合并成一個新的圖像，再返回RGB 顏色空間，把這個圖像當作過曝光的圖像。基于上述論述內容，將過曝光圖像通過亮度映射函數映射，并得到中等曝光圖像。

2 基于模擬多曝光融合的行人動作圖像多尺度融合

采用模擬多曝光融合技術，對上述生成圖像融合處理。低照度、中等曝光、過曝光三種行人動作圖像的融合過程可表示為：

其中，(x,y)表示融合框架表達函數；Yl表示l 層的高斯金字塔系數；Ll表示l 層的拉普拉斯金字塔系數；表示歸一化權重；Ek表示行人動作圖像，當k為1時，Ek表示低照度行人動作圖像；當k 為2 時，Ek表示中等曝光行人動作圖像；當k 為3 時，Ek表示過曝光行人動作圖像。

根據上述融合過程，對三種圖像實施融合處理。在融合的過程中過曝光圖像能夠展示出更多有效圖像信息；低亮度圖像對曝光不良區域的增強效果[6]。針對不同的亮度圖像，還需要對其亮度權重合理設置，同時為得到合理光照分量，將圖像轉換到HSV 彩色空間，以此獲得亮度分量，完成對行人動作圖像的多尺度融合[7]。

3 多尺度融合圖像光照分量增強

在完成對圖像的多尺度融合后，為進一步改善影像品質，降低光照等因素對影像的影響，以獲得更精確的圖像信息，還需要對多尺度融合后圖像的光照分量增強處理[8]。將原始圖像的光照分量設置為O(x,y)，分三份輸出光照分量，其中輸出一O1(x,y)為原始分量；輸出二O2(x,y)為Gamma 校正后的分量；輸出三O3(x,y)為CLAHE 校正分量。將三組分量細化特征加權融合，再得到融合后的光照分量。在這一過程中，基于Gamma算法具有很好的邊緣保持性能，實現對圖像噪聲的抑制[9]。再通過CLAHE 算法在濾波平滑處理的過程中，將亮度分解與反射分量相乘，達到增強分量的目的[10]。

4 圖像去噪與細節增強處理

在完成對多尺度融合圖像光照分量增強處理后，為了提高圖像質量，對圖像中的噪聲過濾，并對細節部分做增強處理[11]。由于光照環境和成像技術等因素的影響，造成了行人動作圖像當中存在著較多的噪聲[12]。圖像反射成分是通過將圖像的亮度除以圖像的光照成分而獲得的，其中包含了圖像中的大部分原始細節特征及圖像中的噪音[13]。一般的低照度行人動作圖像在經過上述增強之后，都會出現細節缺失的情況[14]。為了更好地突出圖像的細節，消除噪聲，結合形態學理論，去噪和提高圖像細節[15]。針對反射分量的去噪，可用下述公式表示其形態學操作：

其中，Rdenoise表示反射分量去噪函數；R 表示存在噪聲的反射分量；T 表示直線型結構元素。在完成上述操作后，為了進一步增強圖像細節，選擇一個規格為5×5 的結構元素圖像，利用該圖像對經過上述處理的圖像做膨脹、腐蝕、開和閉的運算操作，以此達到增強圖像中細節結構的目的，從而使圖像能夠展示出更多信息。

5 處理效果實驗對比分析

為驗證基于模擬多曝光融合的低照度行人動作圖像增強處理方法的應用可行性，將該方法作為實驗組，將傳統的基于Retinex理論的處理方法和基于深度學習的處理方法分別作為對照A組和對照B組。利用三種處理方法對相同的低照度行人動作圖像增強處理。實驗中所選擇的低照度行人動作圖像為某小區監控攝像頭拍攝到的圖像畫面。

獲取到的圖像均為在夜晚以及在陰影部分拍攝的內容，充分符合低照度特性。將獲取到的5 幅低照度行人動作圖像分別編號：JPG-#1、JPG-#2、JPG-#3、JPG-#4 和JPG-#5。嚴格按照三種處理方法的實施步驟，完成對圖像的處理。為實現對三種處理方法客觀評價，選擇將處理后圖像的亮度失真作為評價指標，該指標可通過下述公式計算得出：

其中，LOE表示處理后圖像的亮度失真系數；m表示低照度行人動作圖像中的像素個數；RD(x)表示原始低照度行人動作圖像與增強后圖像的相對階差分。在式⑸中，RD(x)又可通過下述公式計算得出：

其中，?表示異或操作；(L(x)表示某一像素x 在原始圖像中的最大取值；L(y)表示某一像素y 在原始圖像中的最大取值；L′(x)表示某一像素x 在處理后圖像中的最大取值；L′(y)表示某一像素y 在處理后圖像中的最大取值；U 表示返回數值，若存在x的取值大于或等于y，則返回值U 為0。根據式⑹，計算得出三組處理方法處理后圖像的亮度失真系數LOE。對圖像增強效果而言，LOE 的數值越小，則說明其亮度自然性保持越好，亮度失真率越低；反之同理。

以上論述，得出三種處理方法的亮度失真結果，如表1所示。

表1 三種處理方法圖像處理效果對比表

由表1 中的數據可以看出，實驗組針對五幅圖像增強處理后，其圖像失真系數均控制在300～330以內，而對照A 組的圖像失真系數在400～700 范圍內波動，對照B 組的圖像失真系數均超過1100。從得出的實驗結果對比得出，實驗組增強處理方法的亮度失真系數最低，說明圖像在經過實驗組方法處理后亮度自然性保持良好，亮度失真率得到有效控制。

為了進一步對三種處理方法處理后圖像的清晰程度對比，選擇將平均梯度作為評價指標，利用這一指標反映原始圖像在增強后的清晰度變化。平均梯度的計算公式為：

其中，G(x,y)表示經過增強處理后圖像的平均梯度；I 表示像素值；(i，j)表示像素點坐標。平均梯度G(x,y)越高，說明圖像越清晰；反之同理。

根據式⑺，以上述五幅行人動作圖像的其中一幅為例，將三種增強處理方法處理后圖像的平均梯度與原始圖像對比，并得到如圖1所示的實驗結果。

圖1 三種增強處理方法處理效果對比圖

從圖1 所示的柱狀圖可以看出，三種處理方法比較后，實驗組和對照A 組處理方法的平均梯度與原圖相比均得到一定提高，而對照B 組處理方法與原圖相比平均梯度反而下降，同時實驗組在四組數據中的平均梯度值大。因此，通過上述實驗進一步證明，實驗組處理方法可有效提高圖像清晰度。因此，綜合上述得出的實驗結果證明，本文提出的基于模擬多曝光融合的處理方法不僅能夠使處理后的圖像保持良好的亮度自然性，同時提升圖像清晰度，以此實現對圖像視覺效果的綜合優化。

6 結束語

本文引入了一種新的融合技術，通過模擬多曝光融合對低照度行人動作圖像進行增強處理。在本研究中：

⑴通過生成過曝光與中等曝光圖像來提高圖像可視化質量；

⑵通過模擬多曝光融合可以實現圖像的多尺度融合處理，增強圖像光照分量可以使圖像保持良好的自然性亮度；

⑶通過過濾圖像噪聲可以提高圖像質量，有效降低失真率。

新方法可以使低照度行人動作圖像保持良好的自然性亮度和清晰度，失真率也得到了有效控制，并通過實驗的方式驗證了該方法的可行性以及應用優勢。

在實際應用中，通過本文處理方法的合理使用可以提高行人動作圖像在視覺上的展示效果，并提高圖像的利用價值，從而更好地為計算機視覺任務服務。在接下來的研究中，將考慮從提高處理效率的角度進一步對該方法優化。