基于尺度時間均衡的高速風(fēng)洞視頻測量圖像閃爍修正方法

范金磊, 張征宇, 黃敘輝

(中國空氣動力研究與發(fā)展中心 高速空氣動力研究所, 四川 綿陽 621000)

0 引 言

圖像閃爍是指圖像序列的亮度(灰度值)在空間上和時間上非自然的快速變化，這種變化并不是場景中的原始亮度變化的反映。圖像閃爍的現(xiàn)象廣泛存在，在舊膠片電影修復(fù)、視頻監(jiān)控、全景圖像拼接和延時攝影等領(lǐng)域都會遇到。尤其是在醫(yī)學(xué)/生物學(xué)圖像分析、視頻/攝影測量和機器視覺等領(lǐng)域，許多分析算法都對亮度敏感，圖像閃爍問題會影響結(jié)果的精準(zhǔn)度。

針對不同的圖像，導(dǎo)致其閃爍的主要原因也不同，舊電影中的閃爍是由于早期的電影技術(shù)造成的，如膠片成分的退化、曝光不穩(wěn)定等；而現(xiàn)代視頻或影像的閃爍則主要是受攝像機的性能和光照條件變化的影響，如在日光燈照明下采用較短的曝光時間拍攝圖像時，日光燈的頻閃特性會使圖像序列產(chǎn)生明顯的周期性閃爍。

圖像亮度變化的原因，除照明或設(shè)備原因?qū)е碌姆亲匀婚W爍外，還包括因場景變化(如場景角度變化、目標(biāo)運動和變形)導(dǎo)致的亮度自然變化，多種因素耦合在一起，實現(xiàn)閃爍修正并不容易。在該領(lǐng)域的研究中，閃爍修正多是應(yīng)用在舊電影修復(fù)或監(jiān)控圖像亮度穩(wěn)定上，其目的一方面是盡量減少畫面的明暗變化，避免人眼疲勞，提升觀看體驗；另一方面，亮度均勻的視頻在編碼時具有更高的壓縮率，可以節(jié)省存儲空間，易于傳輸和存檔。

在高速風(fēng)洞視頻測量試驗中，通常會安裝專用照明設(shè)備，但由于試驗段周圍環(huán)境光照條件復(fù)雜(干擾源有用于環(huán)境照明的日光燈或LED燈，以及監(jiān)控設(shè)備的照明燈等)。由于照明燈的頻閃特性，在相機設(shè)定的曝光時間較短時，成像很容易出現(xiàn)不同程度的閃爍，造成圖像的灰度均值出現(xiàn)周期性變化，如圖1(a)～(f)所示，其中圖1(a)和(b)分別為標(biāo)定板圖像及其灰度均值變化曲線;圖1(c)和(d)為模型變形測量圖像及其灰度均值變化曲線；圖1(e)和(f)分別為油流試驗圖像及其灰度均值變化曲線。開展試驗時，可采取增強測量專用照明光源的功率、降低干擾光源功率和延長曝光時間這些措施，在一定程度上能夠抑制干擾源導(dǎo)致的閃爍,但是前2種方法受硬件條件及測試環(huán)境的限制，而延長曝光時間會引入運動模糊，在高速攝影測量中不適用。

(c) (d)

(e) (f)

文獻(xiàn)中圖像閃爍修正的方法主要分成2類：一類是基于線性或非線性模型的修正方法[1-8]。其原理是通過參數(shù)辨識，在基準(zhǔn)圖像和閃爍圖像之間建立仿射模型，利用模型對閃爍圖像進(jìn)行反變換，可得到修正的圖像；或者將圖像分割成小塊，在不同圖像的對應(yīng)塊之間建立仿射模型。對于不含運動的圖像，其優(yōu)點是算法簡單，處理速度快，主要缺點是基準(zhǔn)圖像的特性會擴(kuò)散到整個修復(fù)后的圖像序列，因此修復(fù)效果對基準(zhǔn)圖像的選擇很敏感；對于包含全局運動的圖像，需要先全局消抖；對于包含局部運動的圖像，需要對運動區(qū)域進(jìn)行識別、分割和運動估計，算法復(fù)雜度較高。

在風(fēng)洞試驗中，風(fēng)洞模型一般為不銹鋼材料，表面光滑，缺少可用于圖像分塊匹配的紋理特征。對于不同幀圖像的同一區(qū)域，圖像之間閃爍導(dǎo)致的亮度變化、模型運動以及相機抖動導(dǎo)致的亮度變化耦合，使得運動檢測精度有限，嚴(yán)重限制了模型精度和修正效果，也限制了運動檢測的效果。另外，在風(fēng)洞高噪聲振動環(huán)境下，需要根據(jù)圖像中風(fēng)洞剛性壁板上的標(biāo)記點坐標(biāo)解算相機的實際位置和姿態(tài)，進(jìn)而確定模型上標(biāo)記點的坐標(biāo)以提高測量精度。因此，視頻測量圖像是不可以進(jìn)行全局消抖處理的，這也限制了基于模型方法的應(yīng)用。

另一類是基于直方圖的方法[9-13]，這類方法假定閃爍對整幅圖像產(chǎn)生相同或相似的影響，屬于全局性的變換方法，因此對圖像抖動和局部運動魯棒性很高。傳統(tǒng)的直方圖匹配法將閃爍圖像的直方圖變換成基準(zhǔn)圖像的直方圖來修正閃爍，同樣對基準(zhǔn)的選擇很敏感；直方圖平均法將圖像的直方圖匹配到鄰域內(nèi)多幀圖像直方圖的平均值，在圖像序列亮度存在跳變的情況下不適用[11-12]。假設(shè)直方圖平均法的鄰域?qū)挾葹?，如圖2所示，從上至下前3幅依次為序列中第n-1、n和n+1幀圖像的灰度分布(橫軸為灰度值)，可見，圖像之間亮度存在跳變。第4幅中紅色為平均法得到的第n幅修正圖像的灰度分布，明顯與期望的修正結(jié)果(綠色)不符，損害了圖像中的信號。由圖1可知，在風(fēng)洞試驗中，存在亮度閃爍的序列相鄰幀的亮度在不斷跳變，直方圖平均法不適用。

圖2 直方圖平均法的局限

Delon提出了一種尺度時間的直方圖均衡方法(Scale-Time Equalization, STE),通過將圖像序列的直方圖在時間維度上進(jìn)行高斯卷積變換來修正閃爍，其適應(yīng)性比直方圖平均法強，且修正結(jié)果與基準(zhǔn)圖像無關(guān)。通過指定不同的高斯核參數(shù)，可以調(diào)節(jié)修正量，在閃爍和亮度自然變化之間權(quán)衡，具有很高的穩(wěn)定性[11-12]。在視頻測量試驗中，試驗段的背景相對固定，模型在相機視野內(nèi)運動，其圖像全局特征變化很小，因此基于STE的方法比較適用。

本文針對高速風(fēng)洞視頻測量試驗圖像序列的特點，基于STE方法開展圖像閃爍修正技術(shù)的研究與應(yīng)用。

1 STE方法

1.1 直方圖匹配

設(shè)r和z分別表示變換前的圖像f和變化后的目標(biāo)圖像g的灰度級隨機變量，其概率密度分別為Pr(r)和Pz(z)。直方圖匹配[14]是指將圖像f變換到g,并使g具有指定的概率密度Pz(z)。

變換公式為：

(1)

生成了有均衡化概率密度函數(shù)Pq(q)的灰度級隨機變量q。T(r)是r所在區(qū)間[0,L-1]的嚴(yán)格單調(diào)遞增函數(shù)，且當(dāng)r∈[0,L-1]時，有T(r)∈[0,L]。

假設(shè)z滿足：

(2)

可得：

z=G-1(q)=G-1[T(r)]

(3)

Pr(r)可通過圖像f的直方圖統(tǒng)計得到，T(r)可通過式(1)得到，利用式(2)計算G(z)。對于離散圖像，可通過統(tǒng)計數(shù)據(jù)表查詢得到其反變換G-1(q)，期間需要對浮點數(shù)圓整到[0,L-1]，會對直方圖匹配精度造成一定的損失，因此直方圖匹配操作得到的是近似具有概率密度Pz(z)的圖像g。

1.2 STE

STE利用尺度空間(Scale-Space)理論，針對圖像序列中的每一幀實施直方圖變換，將其直方圖匹配到其目標(biāo)直方圖。每一幀圖像的目標(biāo)直方圖由相鄰圖像的原始直方圖進(jìn)行加權(quán)平均得到，其權(quán)重就是具有不同尺度參數(shù)的高斯核。經(jīng)過卷積處理，直方圖隨時間快速變化的細(xì)微結(jié)構(gòu)被平滑反映到圖像上，就是亮度閃爍被抑制；而目標(biāo)場景的慢速自然變化，根據(jù)尺度參數(shù)的選擇，可以在一定程度上被保留。

針對圖像序列ft，其直方圖的STE變換的公式為：

(4)

基于尺度空間理論的STE變換具有如下特性：(1) 前景/背景獨立性，即對前景的變換和對背景部分的變換是獨立的；(2) 時移不變性，即變換結(jié)果與時間起點的選擇無關(guān)，因此無需預(yù)先指定基準(zhǔn)圖像；(3) 常量不變性，即圖像序列沒有任何變化，變換結(jié)果和原始圖像相同。

1.3 圖像處理流程

對于試驗采集到的離散圖像序列fk,k∈[1,N],其中N為序列長度。

處理流程為:

(1) 設(shè)定尺度因子s和卷積核的長度l生成高斯卷積核Gs。

圖3給出了s取不同值時Gs的形態(tài)，可見，參數(shù)l確定了參與平滑的鄰域幀的數(shù)量，增大l時可強化對低頻閃爍的抑制；s則決定了在圖像之間進(jìn)行平滑處理時各鄰域幀的權(quán)重，值越大，去閃爍效果越強，但是也會將圖像中的亮度自然變化抑制；反之，則會保留更多的幀間自然變化。

圖3 s不同取值時Gs數(shù)的形態(tài)

(2) 計算圖像序列的累積直方圖H(k,λ),k∈[1,N],λ∈[0,L-1]，對于8位灰度圖像，L=256。

2 實驗結(jié)果與分析

2.1 校準(zhǔn)板圖像修正

相機校準(zhǔn)板圖像的拍攝條件為室內(nèi)環(huán)境光加日光燈照明，曝光時間為2000μs，相機成像出現(xiàn)了較強烈的閃爍，如圖1(a)和(b)所示。由于照明燈閃爍頻率為50Hz，而圖像采集頻率為80Hz，采樣頻率較低，因此圖1(b)中灰度均值出現(xiàn)了混疊失真。由于標(biāo)定板位置和姿態(tài)固定，整體在日光燈直射和周圍墻壁反光的照射下成像，且圖像中不存在高光反射點，所以圖像的閃爍是全局性閃爍，不存在局部變化的耦合。圖4(a)顯示了300幀連續(xù)圖像的灰度直方圖，可見，圖像各個灰度值的統(tǒng)計值在時間維度上存在劇烈的波動。卷積核參數(shù)取l=21,s=8，在執(zhí)行STE之后，直方圖在時間維度上被平滑，如圖4(b)所示。

2.2 風(fēng)洞模型變形試驗圖像修正

風(fēng)洞模型變形試驗過程中，模型在風(fēng)洞控制系統(tǒng)的驅(qū)動下，其迎角或側(cè)滑角做連續(xù)式或階梯式的變化，在試驗采集的圖像序列中，試驗?zāi)Ｐ驮趫D像中的位置或姿態(tài)在不斷改變。因此，即使不存在照明導(dǎo)致的閃爍問題，圖像序列中局部區(qū)域的統(tǒng)計特征也會隨時間出現(xiàn)自然的變化。在試驗過程中，通常試驗?zāi)Ｐ椭粫谙鄼C視野內(nèi)運動。因此，在不存在閃爍時，整幅圖像的統(tǒng)計特征(如灰度直方圖)并不會隨著模型運動而出現(xiàn)大的變化，故基于STE的閃爍修正方法仍具有適應(yīng)性。

(a) (b) (c)

(d) (e) (f)

(a) (b) (c)

(d) (e) (f)

由于試驗?zāi)Ｐ驮诓粩噙\動，無法像2.1節(jié)那樣通過相鄰幀的差值直觀地查看閃爍修正的效果。圖5(d)顯示了原始圖像第21和22幀的差量(為了更清楚地看到差異，差值均被放大了2倍)，模型邊緣部分出現(xiàn)了較大的差量帶，其寬度即為模型運動導(dǎo)致其成像位置變化的幅度。圖像中的模型區(qū)是后續(xù)分析處理的關(guān)鍵區(qū)域，為了避免背景像素的干擾，可以將圖像分割成試驗?zāi)Ｐ秃捅尘霸龠M(jìn)行統(tǒng)計。

對原始圖像進(jìn)行二值化和膨脹、腐蝕、填充等形態(tài)學(xué)處理，獲取試驗?zāi)Ｐ偷恼谡謭D像，如圖5(e)所示。將序列中的每一幀圖像，利用其遮罩分割為模型和背景區(qū)域。分別對原始圖像和修正圖像的模型區(qū)域進(jìn)行統(tǒng)計，得到圖5(f)的灰度均值對比曲線，從圖中可以看出，模型區(qū)域平均亮度的閃爍幅值被有效抑制。

2.3 風(fēng)洞動態(tài)油流試驗圖像修正

在動態(tài)油流試驗中，相機曝光時間設(shè)置較短，在環(huán)境光的干擾下，試驗采集的圖像序列出現(xiàn)了閃爍，如圖1(e)、(f)和6(a)所示。由于用來分析試驗圖像的光流法是以運動目標(biāo)亮度不變?yōu)榍疤幔蚤W爍會導(dǎo)致目標(biāo)對應(yīng)像素在幀間亮度突變，影響到幀間目標(biāo)像素的匹配，降低了光流法分析結(jié)果的可信度。

在試驗過程中，油流圖像的油膜區(qū)域在模型表面氣流的作用下不斷地擴(kuò)散，與2.2節(jié)的剛性模型運動不同，其分布形態(tài)、厚度和面積都在隨時間動態(tài)變化。因此，模型區(qū)域統(tǒng)計特性的慢速自然變化和閃爍引起的快速變化耦合在一起，在這種情況下，通過采用較小的尺度參數(shù)，STE方法可以在抑制閃爍的同時保留油流區(qū)域的動態(tài)變化特征。

由于油流試驗過程中油膜分布形態(tài)隨動態(tài)變化，因此也無法通過相鄰幀的差值直觀地查看閃爍修正的效果，可以采用2.2節(jié)類似的方式，單獨對修正前后的圖像的模型區(qū)域進(jìn)行統(tǒng)計分析。

和模型變形測量試驗不同，空腔油流試驗過程中，模型保持靜止，因此可以利用固定的遮罩圖像(見圖6(e))對STE變換前后的圖像序列進(jìn)行分割，然后針對模型區(qū)域進(jìn)行統(tǒng)計。圖6(f)給出了針對模型區(qū)的灰度均值對比曲線，可以看出，STE處理后，模型區(qū)域的亮度閃爍抑制效果良好。

(a) (b) (c)

(d) (e) (f)

本實驗結(jié)果也證明了對于被攝目標(biāo)存在形態(tài)變化的圖像序列閃爍修復(fù)問題，STE方法仍具有較好的適應(yīng)性。

2.4 閃爍修正對標(biāo)記點定位精度的影響

對于圖1(a)中存在強烈閃爍的標(biāo)定板圖像，由于相機和標(biāo)定板均固定，因此可以用來分析閃爍對定位精度的影響。采用灰度質(zhì)心法(二值化閾值取50)分別在修正前后計算第96和97幀圖像中前100個標(biāo)記的質(zhì)心坐標(biāo)差量，如圖7所示。其中修正前差量的均值為0.264pixel，修正后差量的均值為0.173pixel(圖像尺寸：5120pixel×5120pixel，標(biāo)定板長度500mm且成像占滿畫幅，換算成空間坐標(biāo)差量分別約為0.026和0.017mm)，減小了34.5%。

圖7 閃爍修正前后標(biāo)記坐標(biāo)的差量對比

3 結(jié) 論

在高速風(fēng)洞視頻測量試驗中的應(yīng)用結(jié)果表明，基于STE的圖像序列閃爍修正方法對包含閃爍的圖像序列修正效果良好，證明了該方法對于圖像抖動、模型局部運動和變形等干擾因素具有較強的魯棒性。通過調(diào)整卷積核參數(shù)，可以在抑制圖像亮度閃爍的基礎(chǔ)上保留場景的自然變化，有利于保留更多圖像信息。得益于STE的時移不變性，在修正圖像序列前無需指定基準(zhǔn)圖像、無需運動檢測和全局消抖，較基于仿射模型的修正方法，在高速風(fēng)洞視頻測量中更具工程實用性，在攝影測量和機器視覺等領(lǐng)域具有推廣應(yīng)用價值。

參考文獻(xiàn):

[1]孟鳳曉. 圖像序列中亮度閃爍實時修復(fù)[D]. 青島: 中國石油大學(xué)(華東), 2014.

Meng F X. Real-time flicker correction in image sequence[D]. Qingdao: China University of Petroleum (East China), 2014.

[2]黃書錦, 沈一帆. 基于動態(tài)范圍調(diào)整的圖像亮度修正方法[J]. 計算機應(yīng)用與軟件, 2014,31(12):265-267.

Huang S J, Shen Y F. Image brightness enhancement based on adjusting dynamic range[J]. Computer Applications and Software, 2014, 31(12): 265-267.

[3]曾敏. 基于非線性模型的閃爍去除技術(shù)研究[D]. 大連: 大連理工大學(xué), 2011.

Zeng M. Research on flicker removal technology based on nonlinear model[D]. Dalian: Dalian University of Technology, 2011.

[4]Forbin G, Vlachos T, Tredwell S. Flicker compensation for archived film using a spatially-adaptive nonlinear model[C]. International Conference on Acoustics, Speech and Signal Processing-Proceedings. IEEE, 2006.

[5]Forbin G, Vlachos T. Nonlinear flicker compensation for archived film sequences using motion-compensated graylevel tracing[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2008, 18(6): 803-816.

[6]Zhang R, Wu J, Ding Y, et al. The correction of intensity flicker in archived film[C]. International Conference on Information Technology and Computer Science. IEEE Xplore, 2009: 402-405.

[7]Forbin G, Vlachos T, Tredwell S. Flicker compensation for archived film using a mixed segmentation/block-based nonlinear model[C]. Signal Processing Conference, 2007, European. IEEE, 2015: 135-139.

[8]黃曦, 丁友東, 吳兵. 老電影全局閃爍修復(fù)系統(tǒng)的設(shè)計與實現(xiàn)[J]. 電視技術(shù), 2016, 40(12):125-129.

Huang X, Ding Y D, Wu B. Implementation and design of old film global flicker restoration system[J]. Video Engineering, 2016, 40(12):125-129.

[10]盧前前. 基于統(tǒng)計分析的視頻干擾辨識應(yīng)用研究[D]. 武漢: 武漢科技大學(xué), 2014.

Lu Q Q. Application research of video interference identification based on statistical analysis[D]. Wuhan: Wuhan University of Science and Technology, 2014.

[11]Delon J. Movie and video scale-time equalization application to flicker reduction[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2006, 15(1):241-248.

[12]Delon J, Desolneux A. Stabilization of flicker-like effects in image sequences through local contrast correction[J]. Siam Journal on Imaging Sciences, 2010, 3(4):703-734.[

13]Papadakis N, Bugeau A, Caselles V. Image editing with spatiograms transfer[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2012, 21(5):2513-2522.

[14]拉斐爾 C 岡薩雷斯, 理查德 E 伍茲. 數(shù)字圖像處理(第三版)[M]. 阮秋琦, 阮宇智等, 譯. 北京: 電子工業(yè)出版社, 2007.

Gonzalez R C, Woods R E. Digital image processing[M]. 3rd ed. Beijing: Publishing House of Electronics Industry, 2017.