基于多曝光融合的高動態(tài)圖像合成算法

李明揚　宮建波　韓可均　崔偉　李振寶　楊志剛　曲世宏

摘要：目前高速列車動車組一級檢修中的車側(cè)轉(zhuǎn)向架檢查均靠人力完成，使用智能設(shè)備代替人工進行檢測還存在這很多問題。由于轉(zhuǎn)向架部件結(jié)構(gòu)復雜、高低起伏變化較大等因素導致光照不均勻，傳統(tǒng)方法難以直接獲得高清圖像。本文提出一種基于多曝光融合的高動態(tài)圖像合成算法，對同一檢測部位采集多張不同曝光值的圖像，選取每一曝光值下亮度合適的區(qū)域組成高清的圖像?？紤]到采集圖像序列時相機姿態(tài)和位置可能會發(fā)生變動，我們增加了圖像配準算法以便于提高圖像融合的質(zhì)量。

關(guān)鍵詞：動車組;多曝光;動態(tài)圖像

一、計算最佳曝光時間和LDR圖像序列自適應(yīng)獲取

由于車底的拍攝環(huán)境復雜，不同的檢測區(qū)域的被測物反射特性及工作距離并不完全一致，如果在每一個檢測位置都采用相同的曝光值序列獲取LDR圖像序列，會導致不能完全覆蓋對應(yīng)場景的動態(tài)范圍。雖然可以設(shè)定足夠多的曝光值來覆蓋所有檢測位（比如10個），但是這樣會給后續(xù)的配準及融合帶來巨大的計算開銷。因此，需要根據(jù)每一個檢測位置的實際情況，確定相應(yīng)的曝光值序列，從而獲取合適的LDR序列。

根據(jù)以上分析，為了適應(yīng)轉(zhuǎn)向架上表面多變的拍攝環(huán)境，且避免由于使用多幅LDR圖像從而導致計算量增加的弊端，本文提出了一種自適應(yīng)LDR圖像序列獲取方法，具體流程如下：

（1）使用初始曝光值T0采集一幅圖像Image0;

（2）對Image0進行灰度化操作，得到平均亮度Grcy0;

（3）對Image0進行直方圖均衡化，得到圖像ImageS，并計算平均灰度GreyS;

（4）計算比率w=GreyS/Grey0，并計算新的曝光值T1=w*T0;

（5）重復（1）-（4）步直到曝光時間收斂，收斂的曝光值Tbest;

（6）得到曝光值分布是0.1*Tbest，0.5*Tbest，1*Tbest，2*Tbest。

收斂曲線如圖1所示：

二、圖像配準原理和方法

在LDR圖像序列拍攝時，相機的抖動或被測物的微小位移會給融合圖像帶來很大的影響，如造成鬼影效果或運動模糊現(xiàn)象。因此，在多曝光融合過程中，配準的精度對融合效果有著很大的影響。當前對于多曝光序列的配準問題，主要有兩種思路：基于直方圖匹配的配準方法和基于特征點匹配的配準方法。

在基于特征點匹配進行配準的方法中，當前比較流行的特征點描述算子主要有SIFT（ScaleInvariantFeatureTransform），SURF（SpeededUpRobustFeatures），ORB（ORientedBriet）三種。大量的實驗已經(jīng)證明，ORB比SIFT快兩個量級，比SURI快10倍[1]。同時，ORB算子還具有旋轉(zhuǎn)不變形和對噪聲的抵抗性。但是當LDR序列中需要配準的圖像之間的亮度差異過大的時候，ORB和SURF無法提取到足夠的特征點，而SIFT對亮度的變化有一定的抵抗性，可得到較為充足的對應(yīng)點。

這里圖像配準采用改進的基于ORB特征的配準方法來解決相機抖動問題。為了提高配準算法的速度和對亮度變化的抵抗力，在進行特征點提取匹配前，引入了直方圖均衡化。直方圖均衡化通常通過將圖像的灰度等級分布的盡量均勻來增強圖像的質(zhì)量，在經(jīng)過均衡化后，兩幅不同亮度的圖像之間的差異會降到最低，這樣在進行特征點匹配時就基本消除了亮度的影響。

在進行特征點匹配的過程中，勞氏算法[2]用來剔除誤匹配點。首先，兩幅圖像分別提取ORB描述子;然后用漢明距離（HammingDistance）和k近鄰（k-nearestneighbor，簡稱k-NN）方法來選取對應(yīng)點之間的匹配關(guān)系，每一對匹配選取兩組備選;然后計算最佳匹配和次最佳匹配之間的差異，如公式（1.1）所示，分別代表兩個備選匹配的漢明距離;在本文采取的方法中，當?shù)臅r候，我們認為該最佳匹配為一個正確的匹配結(jié)果。

R=D/D（1.1）

匹配結(jié)束后，在獲取了足夠多的匹配點的情況下，計算兩幅圖像之間的變換矩陣，如公式（1.2）;在計算該變換矩陣的過程中，我們采用了RANSAC方法來降低重投影誤差。

為驗證基于ORB和直方圖均衡化的配準方法，對采用上述章節(jié)方法獲取的轉(zhuǎn)向架上表面圖像（如圖2所示，實驗圖像均為采用本文第四章構(gòu)建系統(tǒng)采集的轉(zhuǎn)向架真實圖像）進行實驗，匹配點提取結(jié)果如表1所示。

由實驗結(jié)果可知，未采用直方圖均衡化之前，正確的匹配點對數(shù)量較少，特別是在匹配欠曝圖像的時候，過少的匹配點無法完成變換矩陣的計算。在運用直方圖均衡化后，可以發(fā)現(xiàn)，正確匹配的點對數(shù)量均增加，滿足求取變換矩陣的需求。

三、圖像融合算法

在完成轉(zhuǎn)向架上表面日）R圖像序列采集及配準后，進行高動態(tài)圖像合成。經(jīng)配準后，LDR圖像序列已經(jīng)對齊，問題簡化為在靜態(tài)場景中執(zhí)行高動態(tài)圖像合成。本文采用在靜態(tài)場景下融合效果最佳的基于拉普拉斯金字塔多尺度分解重建的加權(quán)平均圖像融合方法，圖像獲取流程如圖3所示。高動態(tài)范圍高清圖像獲取，主要是為了保證采集到的圖像具有良好的亮度和對比度，使人工可以較為輕松地實現(xiàn)判讀或復核，也為后續(xù)處理提供良好的圖像源。

高動態(tài)范圍高清圖像獲取涉及軟件和硬件兩個方面。硬件方面，圖像采集系統(tǒng)的光源亮度和相機曝光值具有調(diào)節(jié)功能，可以根據(jù)圖像處理計算機發(fā)出的指令，實時調(diào)整光源亮度和相機曝光值。軟件方面，圖像處理計算機上運行圖像質(zhì)量實時評價軟件，對相機傳回的圖像進行分析;如果發(fā)現(xiàn)拍攝的圖像出現(xiàn)過曝（欠曝）現(xiàn)象，無法滿足人工到讀需求，則根據(jù)圖像評價標準計算，重新設(shè)定拍攝參數(shù)，再次拍攝圖像;如果依然無法滿足拍攝要求，則根據(jù)圖像評價標準計算得出相應(yīng)的LDR圖像序列，經(jīng)曝光融合得到最終清晰圖像。

其中，圖像融合方法采用基于拉普拉斯分解重建的加權(quán)融合方法，步驟如下：

（1）配準：首先對獲取的，LDR圖像進行圖像配準，消除由于拍攝過程中相機的抖動引起的融合圖像中的圖像模糊和鬼影現(xiàn)象。

（2）LDR圖像序列質(zhì)量評價：首先計算圖像的對比度C.飽和度S和曝光適度E，然后采用高斯函數(shù)對三個通道分別求權(quán)值，并將對比度、飽和度和曝光適度相乘得出融合權(quán)重分布矩陣。

（3）權(quán)值求?。横槍γ總€像素，經(jīng)歷了（2）中的評價指標求取后，將所有的評價指標按公式合成W為第k幅圖中（i，j）位置處的最終權(quán)值，ω、ω、ω為對應(yīng)對比度、飽和度、曝光適度的指數(shù)，當該指數(shù)為，0即表示不采用對應(yīng)的特征評價。

（4）圖像融合：權(quán)值歸一化后，對圖像進行融合，但直接融合會產(chǎn)生融合縫隙，為了解決這個問題，需要進行多尺度的圖像融合。首先，將輸入圖像序列的每幅圖都進行拉普拉斯分解，即在不同尺度上執(zhí)行帶通濾波;然后，在每一個分解尺度上分別執(zhí)行加權(quán)平均融合算法。

（5）對于彩色圖像，分別對每個通道進行曝光融合，最終合成彩色圖像。

融合方法流程圖如圖4所示。

如圖5所示，為三組在實際動車組現(xiàn)場拍攝的圖像，可以看到，經(jīng)過配準融合后的圖像具有良好的視覺效果，能滿足人工復核的需求。

四、結(jié)論

本文提出本文提出一種基于多曝光融合的高動態(tài)圖像合成算法，通過曝光值收斂算法，得到最優(yōu)曝光序列，并通過圖像配準將圖像進行校正，最終在配準之后的圖像序列上應(yīng)用圖像融合算法，得到融合圖像。從實驗效果可以得出，本文提出的圖像融合算法能有效提高動車組圖像的動態(tài)范圍，提高圖像質(zhì)量，為后續(xù)的圖像故障識別提供良好的基礎(chǔ)。

參考文獻：

[1]范波.高動態(tài)場景的圖像融合優(yōu)化和實時應(yīng)用[J].中國圖像圖形學報，2018（06）.

[2]王慶.基于相機陣列的高動態(tài)范圍圖像合成方法[J].計算機應(yīng)用研究，2018（09）.

[3]李政國.高動態(tài)范圍成像（英文）[J].西安郵電大學學報，2018（02）.

[4]王宇慶.局部方差在圖像質(zhì)量評價中的應(yīng)用[J].中國光學，2018（05）.