基于局部對比度優化的教學視頻圖像增強方法

張明軍 俞文靜 王影

關鍵詞： 教學視頻; 圖像增強; 對比度優化; 塊效應; 引導濾波; 偽薄霧

中圖分類號： TN911.73?34; TP391 ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）02?0075?05

Teaching video image enhancement method based on local contrast optimization

ZHANG Mingjun， YU Wenjing， WANG Ying

（South China Institute of Software Engineering， Guangzhou University， Guangzhou 510990， China）

Abstract： In allusion to the low contrast of the recorded teaching video images or the false haze caused by devices， a local contrast optimization enhancement method is proposed. The contrast enhancement is conducted for image blocks by using the unsharp masking method. The constraint condition of the gain factor is set to obtain the maximum contrast and the optimal value. The guiding filtering is used for optimization of the gain factor to solve the block effect problem caused by blocking enhancement. The experimental results show that the method can effectively enhance the teaching video images with quality degradation， and has a good enhancement effect and efficiency.

Keywords： teaching video; image enhancement; contrast optimization; block effect; guiding filtering; false haze

0 ?引 ?言

錄制課堂教學視頻是當前教育信息化和教學改革的重要手段之一，而錄制環境和設備卻影響著錄制視頻的效果。由于光照度及攝像頭等成像設備的制約，視頻圖像經常出現分辨率降低，視覺效果較差等現象。因此，圖像增強在教學視頻圖像處理中具有重要的應用價值。

目前，針對圖像的增強和恢復，研究人員提出了很多方法。Pizer等人提出對比度受限直方圖均衡化（CLAHE）算法[1?2];Land基于人眼視覺特性提出了Retinex算法[3]，針對該算法中的入射分量估計進行了改進;文獻[4]提出了單尺度Retinex算法;文獻[5]提出了多尺度Retinex算法;He等人提出了暗通道先驗方法[6]，并借助圖像軟摳圖算法，對大多數戶外圖像都能獲得很好的去霧效果，但圖像軟摳圖具有較高的時間和空間復雜度;因此He等人提出了引導濾波方法[7]來替代圖像軟摳圖的部分，提高了該算法的效率。此外，很多學者以上述算法為基礎針對具體應用也提出了很多方法[8?12]。

教學視頻圖像不夠清晰的原因主要是拍攝場景照度較低，且拍攝以及投影設備的影響導致畫面對比度低或似乎有薄霧的感覺（偽薄霧）。本文針對這種圖像，在圖像退化模型的基礎上，提出一種利用反銳化掩模方法對視頻圖像進行局部對比度優化的增強算法。首先對圖像局部對比度增強，通過約束并求取每個圖像塊的最優增益因子，既要保證圖像塊的最大對比度，也要滿足不因為過增強而丟失信息，然后為了解決分塊增強導致的塊效應，采用引導濾波對增益因子進行優化。實驗結果表明，本文方法對普通的降質圖像以及教學視頻圖像具有較好的增強和恢復能力，具有較好的效果和效率。

1 ?本文算法

1.1 ?圖像退化模型

在計算機視覺中，常用的圖像退化模型[6，13]為：

[X（i）=t（i）F（i）+（1-t（i））A] ?（1）

式中：[Xi=XRi，XGi，XBiT]為觀察到的圖像;[Fi=FRi，FGi，FBiT]為未退化的圖像;r，g，b表示位置i處的像素的三個分量;[A=AR，AG，ABT]為周圍環境中的大氣光;[ti∈[0，1]]為反射光透射率，由場景點到相機鏡頭的距離決定，通常光傳播距離越遠而越分散便越弱。

1.2 ?局部對比度增強模型

依據反銳化掩模方法（Un?sharp masking）[14]可知，對于圖像[X={x1，x2，…，xN}]的增強，有：

[F=X+CX-A] ?（2）

式中：[F={f1，f2，…，fN}]為增強后的圖像，[A={a1，a2，…，aN}]為原圖像X的低頻分量，則[X-A]為圖像X的高頻分量，C為增益因子，當C>0時，圖像X得到增強。

由式（2）得：

[X=11+CF+1-11+CA] ? ?（3）

令[t=11+C]，則[ t∈（0，1）]，可知式（3）符合圖像退化模型。

由于圖像局部信息的差異，導致使用同樣的C值進行增強，可能導致部分區域增強未達到最優，部分區域則過增強而丟失信息。因此，對圖像分塊進行增強，每塊選取不同的C值，能解決上述問題。圖像塊p的增強有：

[Fp=1tXp-Ap+Ap] （4）

由式（4）可知，一般原圖像對比度都比較低，而增強后的圖像塊的對比度則隨著t值變小而增大，因此，需要估計最優的t值而使得增強后的圖像塊具有最大的對比度。

1.3 ?增益因子估計

依據圖像對比度度量的方法[11]，采用均方誤差對比度[CMSE]：

[CMSE=i=1KFpi-Fp2K] （5）

式中：[Fp]為[Fpi]的平均值;K為圖像塊p中的像素個數。

由式（4）和式（5）有：

[CMSE=i=1KXpi-Xp2t2K] （6）

式中，[Xp]為[Xpi]的平均值。

對于彩色圖像，[Xpi=XRpi，XGpi，XBpiT]，不妨記為[XColpi]。將RGB三個通道的對比度求和，有：

[Econtrast=Col∈R，G，Bi∈pXColpi-XColp2t2K] （7）

由此可知，對比度[Econtrast]是關于t的遞減函數。

假設增強后的圖像不能存在像素值上溢和下溢而產生信息損失，那么：

[minCol∈R，G，Bmini∈pFColpi≥0maxCol∈R，G，Bmaxi∈pFColpi≤255] （8）

將式（4）代入式（8）中，則t需滿足如下兩個約束：

[t≥minCol∈R，G，Bmini∈pXColpi-AColp-AColpt≥maxCol∈R，G，Bmaxi∈pXColpi-AColp255-AColp] （9）

由式（9）可得一個約束：

[t≥maxminCol∈R，G，Bmini∈pXColpi-AColp-AColp， ? ? ? ? ? ? ? ? maxCol∈R，G，Bmaxi∈pXColpi-AColp255-AColp ] （10）

由式（7）可知，t取最小值則有最大對比度，但t需同時滿足式（10），則t為最優值。令[t*]為最優值，則有：

[t*=maxminCol∈R，G，Bmini∈pXColpi-AColp-AColp， ? ? ? ? ? ? ? ? ?maxCol∈R，G，Bmaxi∈pXColpi-AColp255-AColp ] （11）

1.4 ?增益因子優化

由式（11）可知，每個圖像塊都可求出該塊的增益因子，即每個圖像塊中的所有像素具有相同的增益因子，而每個圖像塊中的像素是變化的，特別是具有邊緣信息的圖像塊，其像素變化十分明顯，使用相同的增益因子有可能使得邊緣信息無法全部表現，而且可能產生塊效應。為了解決上述問題，本文采用引導濾波[7]對增益因子進行優化，假設在以像素點l為中心，半徑為r的方形窗口[Pl]中，有：

[ti=αTlXi+βl， ? ?i∈Pl] ? （12）

式中：引導圖像[Xi]為原圖像;輸出圖像[ti]為優化后的增益因子圖像（即所有增益因子構成的矩陣）;[αTl=αRl，αGl，αBlT]是顏色取值向量;[βl]是偏移量，在窗口[Pl]中是固定值。由式（12）可知，因[Δt=αTΔX]，線性關系保證了[t]會產生與引導圖像X相同的邊緣。

對于窗口[Pl]，通過搜索出線性因數[αl]和[βl]的最優解[α*]和[β*]使得輸入圖像[t（i）]與輸出圖像[t（i）]的差值最小，即：

[α*，β*=argmintαl，βli∈Plti-ti2] （13）

通過線性回歸分析可得：

[α*=1ωi∈PlXiti-μltlσ2l+εβ*=tl-αlμl] （14）

式中：[ω]是窗口[Pl]中的像素總數;[σ2l]和[μl]分別表示窗口[Pl]中X的方差和平均值;[tl]是窗口[Pl]中[ti]的平均值;[ε]是調整參數。

由于窗口在圖像中逐像素的移動，則像素i可能存在于多個窗口中。對于不同的窗口，[αl]和[βl]的取值不同，則[ti]也不同，解決方法為：選取像素值方差最小的一個窗口作為最佳窗口，求取[ti];若存在多個最佳窗口，則求這些窗口的平均值，即：

[αi=1θl∈Piαlβi=1θl∈Piβl] （15）

式中，[θ]為像素i所在窗口的數量。依據式（12）有：

[ti=αiIi+βi] ? ?（16）

1.5 ?算法流程

其中低頻圖像A的求取可采用低通濾波，本文采用高斯濾波。根據低頻圖像和優化后的增益因子，代入式（4）可對輸入的圖像進行增強。根據式（1）可知，當t趨近于0時，則原圖像趨近為模糊的低頻圖像，并且根據He等人的建議[6，13]，增益因子小會導致噪聲放大，因此，本文對增益因子下限進行約束，取下限[t0=0.1]，則由式（4）有：

[Fp=Xp-Apmax t（i），t0+Ap] ? （17）

式中，[t（x）]為優化后的增益因子。此外，為了校正顏色顯示偏差，本文進行了gamma校正。

2 ?實驗結果及分析

為了檢驗本文算法對教學視頻圖像增強的有效性，在普通計算機上實現了該算法，實現環境為Windows 10系統，Visual Studio 2013以及OpenCV 2.4.12，CPU為Intel[?] Core（TM） i7?5500U，RAM為4 GB。同時，將本文算法運行結果與He算法[6]，多尺度Retinex算法[5]和CLAHE算法[2]進行比較。

2.1 ?主觀比較評價

選取了4張不同類型的圖片，其中straw和dolls為常用測試的有霧圖像，另外slide1和slide2為實拍的教學圖像，如圖2所示，并給出了各算法的增強效果。從圖2可知，He算法、CLAHE算法和本文算法都具有較好效果，由于未對Retinex進行相關優化處理，因此效果較差。本文算法與He算法相當，但在圖像細節和色調上具有更好效果。從兩張教學圖像的增強效果來看，本文算法能有效提高投影內容的對比度，對教學視頻的質量改善打下良好基礎。

2.2 ?客觀比較評價

目前應用最為廣泛的圖像質量盲評審[15]指標包括：e表示原圖像與恢復圖像的可見邊集合的數量比;[r]為可見邊的規范化梯度均值;[σ]是飽和黑色或白色像素點的百分比（本文計算飽和黑色像素的百分比）。增強算法的目的是提高圖像的對比度，增加視覺信息，因此e和[r]值越大，[σ]值越小，則說明算法的效果越好。表1為四種算法增強圖像得到的3個客觀質量評價指標結果。

從表1可知本文算法的e和[r]兩項指標與其他算法比較均較好，在有些圖像中的表現優于其他算法。而本文算法在[σ]指標上與其他算法比較則略差，其主要原因在于本文算法增強圖像后亮度較低，而算法將圖像對比度增強至最大，導致飽和的黑色像素增多，因此導致[σ]值相對較大。綜合來看，本文算法對提高圖像質量是非常有效的。

為了更好地檢驗本文算法對視頻教學圖像增強的有效性，對實拍的slide1和slide2兩張教學圖像再從標準差和平均梯度2個客觀指標進行比較評價，表2為評價指標結果。其中，標準差反映圖像的對比度，其值越大，表示對比度越大;平均梯度反映圖像的清晰度，其值越大，表示圖像越清晰。

由表2可知，本文算法在標準差和平均梯度兩個指標上均超過原圖，與其他算法比較，本文算法也僅有平均梯度指標略差于CLAHE算法。由此可知，本文算法對教學視頻圖像增強具有較好效果。

2.3 ?運行時間

算法的運行時間是其有效性和實時性的重要指標之一。本文算法與其他3種算法的運行時間比較如表3所示，表中數據是各算法測試10次的平均值。

由表3可知，本文算法的運行時間與CLAHE算法、He算法相當，明顯小于Retinex的運行時間。另外，依據視頻的幀頻可知，以slide2的運行時間為例，該分辨率下的1 s的視頻幀（按30幀計算）的處理時間遠小于1 s，因此本文算法完全可以對教學視頻的序列圖像進行實時增強處理。

3 ?結 ?語

本文提出一種局部對比度優化的圖像增強方法。該方法在反銳化掩模方法的基礎上對圖像分塊進行對比度增強，為求取最大對比度，設定增益因子的約束條件，并求得最優值。同時為解決分塊增強帶來的塊效應，又采用引導濾波對增益因子進行優化。實驗結果表明，該方法在主觀和客觀兩個方面都有較好表現，而且執行效率較高，由此可知，該方法能夠滿足教學視頻圖像的增強，具有較好的實用性。

參考文獻

[1] ZIMMERMAN J B， PIZER S M， STAAB E V， et al. An evaluation of the effectiveness of adaptive histogram equalization for contrast enhancement [J]. IEEE transactions on medical imaging， 1988， 7（4）： 304?312.

[2] ZUIDERVELD K. Contrast limited adaptive histogram equalization [M]. San Diego： Academic Press Inc， 1994： 474?485.

[3] LAND E H. Recent advances in retinex theory and some implications for cortical computations： color vision and the natural image [J]. Proceedings of the National Academy of Sciences， 1983， 80（16）： 5163?5169.

[4] JOBSON D J， RAHMAN Z， WOODELL G A. Properties and performance of a center/surround retinex [J]. IEEE transactions on image processing， 1997， 6（3）： 451?462.

[5] JOBSON D J， RAHMAN Z， WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes [J]. IEEE transactions on image processing， 1997， 6（7）： 965?976.

[6] HE K， SUN J， TANG X. Single image haze removal using dark channel prior [J]. IEEE transactions on pattern analysis and machine intelligence， 2011， 33（12）： 2341?2353.

[7] HE K， SUN J， TANG X. Guided image filtering [J]. IEEE transactions on pattern analysis & machine intelligence， 2013， 35（6）： 1397?1409.

[8] 楊有，李波.CLAHE和細節放大相結合的檔案圖像增強方法[J].中國圖象圖形學報，2011，16（4）：522?527.

YANG You， LI Bo. A method of document image enhancement based on the combination of CLAHE and detail amplifying [J]. Journal of image & graphics， 2011， 16（4）： 522?527.

[9] 邵振峰，白云，周熙然.改進多尺度Retinex理論的低照度遙感影像增強方法[J].武漢大學學報（信息科學版），2015，40（1）：32?39.

SHAO Zhenfeng， BAI Yun， ZHOU Xiran. Improved multi?scale retinex image enhancement of under poor illumination [J]. Geomatics and information science of Wuhan University， 2015， 40（1）： 32?39.

[10] 肖進勝，高威，鄒白昱，等.基于天空約束暗通道先驗的圖像去霧[J].電子學報，2017，45（2）：346?352.

XIAO Jinsheng， GAO Wei， ZOU Baiyu， et al. Image dehazing based on sky??constrained dark channel prior [J]. Acta Electronica Sinica， 2017， 45（2）： 346?352.

[11] 馬康，崔子冠，干宗良，等.基于圖像融合策略的Retinex背光圖像增強算法[J].計算機技術與發展，2017，27（8）：73?78.

MA Kang， CUI Ziguan， GAN Zongliang， et al. Backlight image enhancement algorithm of Retinex based on image fusion strategy [J]. Computer technology and development， 2017， 27（8）： 73?78.

[12] 曾接賢，余永龍.雙邊濾波與暗通道結合的圖像保邊去霧算法[J].中國圖象圖形學報，2017，22（2）：147?153.

ZENG Jiexian， YU Yonglong. Image defogging and edge preserving algorithm based on dark channel prior and bilateral filtering [J]. Journal of image and graphics， 2017， 22（2）： 147?153.

[13] KIM J H， JANG W D， SIM J Y， et al. Optimized contrast enhancement for real?time image and video dehazing [J]. Journal of visual communication & image representation， 2013， 24（3）： 410?425.

[14] 楊詞銀，尚海波，賈晨光，等.基于區域分割的自適應反銳化掩模算法[J].光學精密工程，2003，11（2）：188?192.

YANG Ciyin， SHANG Haibo， JIA Chenguang， et al. Adaptive unsharp masking method based on region segmentation [J]. Optics and precision engineering， 2003， 11（2）： 188?192.

[15] 郭璠，蔡自興.圖像去霧算法清晰化效果客觀評價方法[J].自動化學報，2012，38（9）：1410?1419.

GUO Fan， CAI Zixing. Objective assessment method for the clearness effect of image defogging algorithm [J]. Acta Automatica Sinica， 2012， 38（9）： 1410?1419.