基于多分辨率融合的無人機圖像拼接勻色研究

王曉麗，戴華陽，余 濤，謝東海，吳 俁

(1.中國礦業大學(北京)地球科學與測繪工程學院，北京100083;2.中國科學院遙感應用研究所遙感定標與真實性檢驗研究室，北京100101)

一、引 言

無人機遙感作為一種新的遙感技術，具有時效性強、機動靈活等優點，在災害監測和資源調查等領域發揮著越來越重要的作用。受飛機飛行高度和數碼相機焦距的限制，無人機圖像具有像幅小、數量多、航帶多等特點，為了得到拍攝地區的全景圖，圖像拼接成為必不可少的一步。

圖像拼接是指將相鄰的具有一定重疊區域的兩幅或多幅圖像拼接成一幅大圖像的技術過程。無人機圖像的拼接過程包括圖像預處理、圖像配準、圖像融合三大步驟［1］。其中，圖像預處理主要是指對圖像進行幾何糾正，將它們劃到統一坐標系下;圖像配準的目的是建立兩幅圖像之間的空間坐標關系。而在圖像拼接的過程中，往往存在以下兩大問題需要解決：

1)曝光差異產生的拼接線［2］。在圖像的實際采集過程中，受相機鏡頭的曝光時間及地面環境的變化等因素的影響，極易造成拍攝圖像在亮度和色彩上存在差異，將這樣的兩幅圖像簡單的配準疊放到一起，必然會在邊界處留下明顯的拼接線，拼接后的圖像也呈現出明顯的色彩不一，如圖1所示。

2)鬼影［3］。重疊區圖像出現重影物體的現象通常稱之為鬼影，鬼影現象的產生有兩個原因：一是合成鬼影，當圖像中存有運動物體時，這些物體因為位移而無法統一合成;二是配準誤差，飛機在空中進行拍攝時運動不在一個平面上，拍得的圖像之間既存在平移又存在一定的旋轉，很難達到精確配準，重疊區圖像易產生錯位。圖2為采用均值融合得到的拼接圖像，重疊區域由于出現重影而變得模糊。

圖1 配準疊放圖(未經融合)

圖2 均值融合圖

圖像融合是解決曝光差異和消除拼接線的關鍵技術。特征融合方法有平均值融合和加權平均值融合，這兩種方法雖然簡單，但是拼接線的消除效果并不理想。文獻［4］利用小波變換將圖像轉換到頻率域，并在各個頻域分段上完成拼接，以達到消除拼接線的目的;該算法理論上雖然嚴密，但是在處理彩色圖像以及重疊區域較小的圖像時存有一定的局限性。Perez等人在2003年提出了泊松圖像融合算法［5］，該方法借助一個指導場，通過求解泊松方程得到待融合的未知區域的梯度場來實現穩定的融合，在消除拼接線問題上取得了一定效果。Burt和Adelson提出的多分辨率融合算法［6］是處理曝光差異問題的經典算法，該算法可以實現拼接圖像在重疊區的平滑過渡，使其達到整體的勻色效果。

解決鬼影問題的主要方法是基于圖切割的方法。按照切割方式不同，分為3類：頂點覆蓋法［3］、流行拼接法［7］、最佳縫合線法［8］。前兩種方法在解決合成鬼影問題上可以取得明顯效果，但是計算復雜，其中流行拼接法還對運動物體的大小和運動幅度有限制;最佳縫合線法是將重疊區一分為二，兩邊各取一幅圖像的內容，這樣便有效地避免了合成鬼影和配準鬼影。為了同時解決鬼影和曝光差異問題，文獻［9］將圖切割和泊松融合技術結合應用到普通數碼照片的拼接，取得了較好效果。文獻［1］采用最佳縫合線法解決了無人機圖像拼接中的鬼影問題，但卻沒有解決曝光差異產生的勻色問題。

綜合現有文獻，本文在前人工作的基礎上，將最佳縫合線和多分辨率融合技術聯合應用到無人機圖像的拼接，以待同時解決拼接產生的鬼影和曝光差異問題，使拼接后圖像達到理想的勻色效果。圖像拼接的前期處理和配準技術，本文不再作過多介紹，具體方法可參見文獻［1］，下面就基于最佳縫合線的多分辨率融合技術作重點闡述。

二、最佳縫合線

1.最佳縫合線搜索準則

最佳縫合線將重疊區分割成兩部分，兩邊各取一幅圖像的內容，合理的縫合線分割可以有效地解決鬼影問題。最佳縫合線上點的配準精度在重疊區內是最高的，因此，組成這樣一條最佳縫合線上的像素點應該滿足：

1)顏色上，兩幅原圖像的顏色差值最小。

2)結構上，兩幅原圖像的幾何結構最相似。

然而，在實際的圖像拼接中，同時滿足上面兩個條件的縫合線是很難找到的，因此需要找到一條能較好滿足這兩個條件的縫合線。文獻［10］通過對圖像的分析和試驗，推出了能夠有效表達這兩個條件的最佳縫合線的建立準則

式中，Ecolor表示兩幅原圖像重疊區內像素點的顏色差;Egeometry表示重疊區內像素點的幾何結構差，通過Sobel算子進行梯度計算實現。Sobel算子模板要考慮到以像素點為中心的4個對角線方向的邊緣像素點的相關性，由此確定計算x和y方向的梯度的新的算子模板

計算兩幅原圖像A、B在重疊區域的幾何結構差

式中，Diff()是通過計算原圖像A和B在x、y方向梯度之差的積得到的。

2.搜索最佳縫合線

最佳縫合線的搜索方法有復雜度很高的Dijkstra算法［8］、最優路徑搜索法。文獻［11］利用動態規劃思想尋找最佳縫合線，該方法相對簡單有效。因此，本文利用動態規劃思想在重疊區搜索最佳縫合線。

按照最佳縫合線搜索準則，對兩幅原圖像的重疊部分運用動態規劃思想搜索最佳縫合線，具體步驟如下：

1)初始化。從重疊區域第一行出發，建立該行上每一個像素點為起點的縫合線，其強度值初始化為各個點的準則值，縫合線的當前點為其所在的列。

2)擴展。將每一條縫合線的當前點分別與該點緊鄰的下一行的3個點的準則值相加，比較和值大小，取最小的值所在的列作為該縫合線的擴展方向，同時更新縫合線的強度值為最小值，縫合線的當前點變為最小強度值的下一行的點所對應的列。依此類推向下擴展直至最后一行。

3)選取最佳縫合線。從所有的縫合線中選取強度值最小的作為最佳縫合線。

三、多分辨率融合

多分辨率融合算法是一種基于塔式結構的顏色融合算法，該算法最早由Burt和Adelson于1983年提出，并首先被應用到兩幅圖像拼接的平滑處理中，取得了顯著效果。其原理是：若兩幅圖像的帶寬為一個倍頻程，那么這兩幅圖像在拼接時的縫合線兩邊就能實現平滑過渡，而不會出現鬼影和曝光差異。將待拼接的原圖像先分別分解成一系列帶寬近似為一個倍頻程的圖像(稱為拉普拉斯圖像);然后將對應的每一層的拉普拉斯圖像進行融合拼接;最后將所有層的融合圖像相加重構成一層，便可得到經過多分辨率融合的拼接圖像。

1.構造拉普拉斯金字塔圖像

拉普拉斯金字塔圖像的構造過程包括以下幾步。

(1)圖像的高斯塔分解

對原圖像采用高斯濾波器進行低通濾波和降采樣，得到一系列分辨率和尺寸都逐級變小的高斯金字塔圖像。將原始圖像作為高斯金字塔的第0層(底層)，高斯塔其余層的生成，按照公式

式中，0＜l≤N，Gl(i，j)為第l層高斯金字塔圖像;N為分解層數;i、j為圖像的行列數;w是一個5×5具有低通特性的窗口函數，也叫權函數或生成核，具體大小為

(2)由高斯塔生成拉普拉斯塔

從高斯塔的第1層開始，將Gl(i，j)進行插值放大，得到與Gl－1(i，j)在尺寸上一樣大小的插值圖像G'l(i，j)，所采用的插值函數為

雖然G'l與Gl－1尺寸一樣大小，但是二者并不相等，的像素值是由Gl的像素值經過加權平均得到的，Gl又是由Gl－1低通濾波得到的，所以G'l包含的細節信息要少于Gl－1，二者之間是有差別的。將Gl－1與G'l作差便得到了拉普拉斯金字塔的第Ll－1層圖像，即

(3)由拉普拉斯圖像重建原圖像

從拉普拉斯金字塔最頂層開始自上至下，將拉普拉斯圖像內插放大到與下一層圖像一樣大小，然后累計相加便可重構原圖像。

2.基于縫合線的多分辨率融合

在求得最佳縫合線之后，進行多分辨率融合拼接，步驟如下：

1)以拼接后圖像的大小為尺寸，生成一幅模板圖像M，將縫合線左側填充0，右側填充255，形成一幅黑白模板圖像。

2)將經過配準和幾何模型變換后的圖像A、B擴展到拼接后圖像的大小，擴展部分填充0。

3)生成模板R的高斯圖像GR，以及經擴展的A、B的拉普拉斯圖像LA、LB，層數相同。

4)在每一層上分別進行融合，求得融合后的拉普拉斯圖像Lfusion，像素值計算公式為

式中，l代表第幾層;(i，j)代表像素點坐標。

5)對于融合后的拉普拉斯圖像Lfusion，從最高層開始插值擴展，并與其下一層圖像相加，重復此過程直至與最后一層圖像相加完為止，就得到了最終需要的基于最佳縫合線的多分辨率融合圖像。

四、試 驗

本文采用大小為702像素×468像素的航拍無人機源圖像進行拼接試驗，基于C或C++語言，調用OpenCV和GDAL函數庫進行算法編程實現。

(1)兩幅無人機圖像拼接試驗

圖1～圖4所示為原圖像各種拼接結果，分別是配準疊放圖、均值融合圖、最佳縫合線切割圖、基于最佳縫合線的多分辨率融合圖。

圖3 最佳縫合線切割圖

圖4 基于縫合線的多分辨率融合圖

圖1顯示的是源圖像在經過幾何糾正及圖像匹配后，根據幾何變換模型配準疊放到一起的效果。由于沒有進行融合處理。可以看到明顯的拼接邊界，在邊界線附近還存在著由配準誤差產生的物體錯位，拼接圖也因曝光差異呈現出兩種顏色的色彩不均勻現象，影響拼接圖像的目視效果。

圖2在圖1配準的基礎上加入了簡單的均值融合處理。可以看到均值融合圖像的曝光差異較以前得到了一定改善，但是均值融合卻使重疊區域的圖像變模糊了，出現了疊影，圖中白框標示的道路等特征地物重影現象尤為明顯。雖然均值融合可以在一定程度上改善曝光差異，但卻暴露了潛在的鬼影問題。

圖3顯示的是利用動態規劃思想搜索到的一條最佳縫合線分割重疊區的拼接圖。從分割圖可以看到，縫合線基本上位于重疊區的中心線附近，而且較好地避開了易出現配準誤差的特征地物。由于縫合線兩邊各取一幅圖像的內容，鬼影問題得到了有效解決，但是縫合線兩側圖像的色彩差異仍舊存在，縫合線清晰可見。

圖4為本文提出將縫合線、多分辨率融合技術聯合應用到無人機圖像拼接的效果圖。縫合線解決了鬼影問題，多分辨率融合消除了縫合線兩側圖像的曝光差異，圖像拼接遇到的兩大難題都得到了理想解決。拼接圖像在顏色和內容上和諧統一，達到了最佳的目視效果，已看不出是經過圖像拼接的結果。

(2)多幅無人機圖像拼接試驗

圖5給了基于最佳縫合線的多分辨率融合技術用于多張無人機圖像拼接的前后對比圖。融合前的拼接圖呈現補丁狀的拼湊效果，邊界配準誤差和各圖幅顏色差異明顯;融合后的拼接圖像各種配準誤差、顏色差異得到理想消除，整個圖像渾然一體，拼接勻色效果顯著。

圖5 基于最佳縫合線的多分辨率融合技術用于多幅無人機圖像拼接

五、結束語

無人機圖像在拼接時的鬼影和曝光差異問題在現有文獻中還沒有得到同時的有效解決，本文在前人現有工作的基礎上，將最佳縫合線和多分辨率融合技術聯合應用，對兩幅和多幅無人機圖像進行了拼接試驗。結果證實，該方法同時有效地解決了鬼影和曝光差異兩大難題，拼接圖像勻色顯著，達到了理想的視覺效果，提高了無人機拼接圖像的實用性。此外，試驗結果對其他遙感圖像的拼接勻色(如HJ星等衛星影像)也起到了一定的參考價值。

［1］韓文超.基于POS系統的無人機遙感圖像拼接技術研究與實現［D］.南京：南京大學，2011.

［2］SHUM H Y，SZELISKI R.Construction and Refinement of Panoramic Mosaics with Global and Local Alignment［C］∥Proceedings of 6th International Conference on Computer Vision.Bombay， India：［s.n.］， 1998：953-958.

［3］UYTTENDAELE M.Eliminating Ghosting and Exposure Artifacts in Image Mosaics［C］∥Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Hawaii：［s.n.］，2001：509-516.

［4］王建忠.圖像鑲嵌及其邊界處理［J］.模式識別與人工智能，1993，6(3)：189-195.

［5］PEREZ P，GANGNET M，Blake A.Poisson Image Editing［J］.ACM Transactions on Graphics，2003，22(3) ：313-318.

［6］BURT P J，ADELSON E H.A Multiresolution Spline with Application to Image Mosaics［J］.ACM Transactions on Graphics，1983，2(4)：217-236.

［7］PELEG S.Mosaicing on Adaptive Manifolds［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(10)：1144-1154.

［8］DAVI J.Mosaics of Scenes with Moving Objects［C］∥Proceedings of 1998 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Santa Barbara，USA：［s.n.］，1998：354-360.

［9］方賢勇，張明敏，潘志庚.基于圖切割的圖像拼接技術研究［J］.中國圖象圖形學報，2007，12(12)：2050-2056.

［10］方賢勇，潘志庚，徐丹.改進的圖像拼接算法［J］.計算機輔助設計與圖形學學報，2003，15(11)：1362-1366.

［11］DUPLAQUET M L.Building Large Image Mosaics with Invisible Seam-lines［C］∥ Proceedings of SPIE Aerosense.Orlando，Florida：［s.n.］，1998：369-377.