一種基于拼接線和動態基準的影像拼接方法

徐景中，袁 芳，寇 媛

(武漢大學遙感信息工程學院，湖北武漢 430079)

一種基于拼接線和動態基準的影像拼接方法

徐景中，袁 芳，寇 媛

(武漢大學遙感信息工程學院，湖北武漢 430079)

針對無人機影像拼接處理中易產生鬼影、錯位等問題，提出一種基于拼接線和動態基準的影像拼接方法。該方法首先采用改進Duplaquet方法搜索最優拼接線，拓寬了拼接線的擴展方向；然后采用動態基準影像拼接策略，降低累積誤差的影響；接著提出最終基準影像的選擇方法，并在最終基準影像坐標系下實現多幅無人機序列影像拼接。試驗結果表明，該算法能夠有效解決傳統拼接方法中所遇到的拼接線問題，同時能夠避免變換誤差較大的影像對后續拼接影像的影響，獲得更好的拼接結果。

無人機序列影像；拼接線；動態基準；最終基準影像；影像拼接

一、引 言

無人機遙感因具有機動、快速的響應能力，能夠獲取高分辨率圖像，受天氣影響小等優勢，已成為行業學者和工作者關注的焦點。但是受無人機飛行高度的限制，獲取的單幅影像覆蓋范圍有限，要得到完整覆蓋目標區域的影像就需要對不同時刻獲取的序列影像進行拼接。因此，對如何實現影像的有效拼接，減少拼接誤差的研究是十分必要的。

目前已有部分學者對此進行了相關研究。針對拼接中出現鬼影、錯位等問題，張媛等將影像顏色差平方作為準則值，加入重力系數來檢測最優拼接線，該算法沒有考慮影像結構差，在實際中不易找到最優拼接線[1]；王軍等根據重疊區域像素點間的相關性計算各像素點的準則值，但是采用復雜度很高的Dijkstra算法查找最佳拼接線，該算法速度比較慢[2]；黨建武等提出搜索拼接線時優先考慮影像特征點，以此減少拼接線上可能出現的誤差點，但重疊區域的特征點數量有限，對減少誤差的作用不是很大，而且增加了計算時間[3]；謝鵬提出的隨機貪心算法搜索最優拼接線，從重疊區域中心線附近搜索最優拼接線，該算法得到的是一個局部最優解[4]；針對拼接中累積誤差，多次變換引起的影像失真等問題，李從利等在連續拼接過程中采用變換基準圖的拼接策略來消除累積誤差，以中間幀為最終基準圖減少圖像失真，有效地減小了連續拼接中誤差的累積，但是要以中間影像本身變形較小為前提，否則也會產生較大的誤差[5]；何敬等選取航帶中間4幅影像作為備選影像，再從中選擇地物最為豐富、與鄰近影像匹配特征點最多的影像作為最佳影像，該算法比較適用于影像數目較少的拼接[6]。

本文在已有方法的基礎之上，針對影像拼接中累積誤差，鬼影、錯位等問題，提出一種基于拼接線和動態基準的影像拼接方法。

二、算法原理與方法

為了實現基于拼接線和動態基準的無人機影像拼接，本文重點開展了拼接線搜索、動態基準拼接策略、最終基準影像選擇算法研究。該方法總體流程如圖1所示。

圖1 算法流程圖

上述流程中，首先采用具有良好的尺度、旋轉、光照等不變性的SIFT算法[7-8]進行特征點提取、匹配，利用RANSAC算法[9]剔除誤匹配點，并利用提純后匹配點計算透視變換參數；然后在Duplaquet[10]算法基礎上定義一組新的模板計算拼接線準則值，并拓寬拼接線的擴展方向；接著以第2幅到第n-1幅影像(設有n幅影像)中的每一幅影像為基準影像，利用其與相鄰影像間的透視變換參數和同名點計算其準則值，取準則值最小的基準影像為最終的基準影像；最后進行影像拼接。

1.檢測拼接線

(1)計算拼接線準則值

Duplaquet在1998年提出了一個最優拼接縫搜索準則[10]

式中，Ecolor(x，y)表示兩幅影像重疊區域像素點的灰度值之差；Egeometry(x，y)表示兩幅影像重疊區域像素點的梯度值之差。

影像梯度值可以采用sobel算子[11]計算，但經典的sobel算子在計算過程中利用水平和垂直兩個方向的模板，即

這兩個模板既沒有考慮對角線方向上的信息，也沒有考慮到像素點周圍結構的相似性，因此，不能夠找到最優拼接線。在考慮到像素點8方向上的信息，以及像素點周圍結構相似性的基礎上，本文定義一組新的模板。

式中，I(x，y)表示坐標點為(x，y)的像素點的灰度值；Sn表示8方向的Sobel算子模板。

(2)確定最優拼接線

若有重疊區域為n×m的兩幅影像，則能找到n條備選拼接線，每條拼接線搜索的具體步驟如下：

1)將第一行每一列像素點作為每條拼接線的起點，各點的強度值為按式(1)計算得到的準則值，每條拼接線的第二個備選點取對應列的第二個像素點。

2)從第二行起，對位于重疊區域最左邊和最右邊的像素點檢測當前行和下一行3個方向的像素點，其他位置上的點檢測當前點所在位置的左、右及下一行3方向，共5個相鄰像素點，將計算得到的5鄰域中準則值最小的點作為備選拼接線上的下一個點，重復該步驟，直到重疊區域的最后一行。

3)重復上述步驟，直到n條備選拼接線都確定，從所得到的所有拼接線中選擇平均強度值最小的一條作為最佳拼接線。

最佳拼接線搜索算法如圖2所示。

圖2 最優拼接線搜索途徑

圖2中，m、n表示重疊區域的高度、寬度；Ei表示第i個像素點的準則值，黑色圓點表示拼接線上的備選點。

2.動態基準

設有n幅影像f1、f2、…、fn連續拼接，第i次(1＜i＜n)配準以fi為待配準圖，以fi＋1為基準影像，透視變換矩陣為Hi，i＋1。將第i-1次的匹配準圖fi-1，i(即所有變換到fi坐標系下的影像)根據變換矩陣Hi，i＋1變換到fi＋1影像坐標系下。這樣每次圖像變換都是按照本次圖像配準的變換矩陣把上次配準的結果圖變換到新的基準影像坐標系下，就避免了連續重采樣，也就減小了重采樣導致的累積誤差。因此，在拼接過程中，基準影像隨拼接影像的位置在不停的變換。

3.搜索最終基準影像

影像拼接需要將所有影像變換到同一坐標系下才能拼接成一幅全景圖像，拼接坐標系的變換方式選取決定了拼接后影像的精度和形狀[13]。綜合考慮變換過程中的復雜度、固定基準影像引起后續拼接影像的變形程度，本文利用透視變換參數和同名點確定最終基準影像。

(1)判定基準影像的準則

以水平方向上的兩幅相鄰影像為例，兩幅相鄰影像上同名點間的關系式可以表示為

(2)確定基準影像

若有n幅待拼接影像，計算從第2幅到第n-1幅影像間的任一影像k的準則值，將準則值最小的影像視為基準影像，即

式中，Tk-1是第k-1幅影像與第k幅影像間同名點對數；(xi，yi)是第k-1影像上同名點；a1、b1分別為第k-1幅影像投影到第k幅影像坐標系下的第7、8個透視變換參數；Tk＋1是第k幅影像與第k＋1幅影像間同名點對數；(x′j，y′j)是第k＋1幅影像上同名點；a2、b2分別為第k＋1幅影像投影到第k幅影像坐標系下的第7、8個透視變換參數。

三、試驗結果與分析

為了驗證文中算法的有效性，本文利用Visual C＋＋編程實現了本文的拼接算法，分別采用天津和安陽某實地無人機影像進行試驗分析。

為了驗證本文拼接線算法的有效性，以天津某地區的一組影像為試驗數據進行試驗，該地區樓房等高大建筑物比較多，影像分辨率比較高，圖3(a)、(b)所示為該地區兩幅待拼接影像。并將本文算法拼接結果圖與Duplaquet算法拼接結果圖進行對比分析。圖4所示為本文方法搜索最優拼接線進行影像拼接的結果圖，圖5所示為Duplaquet算法搜索拼接線進行影像拼接的結果圖，圖中黑框中曲線是拼接影像的拼接線。從圖4中可以看出，本文中采用的改進拼接線檢測方法能夠使房屋繞開重疊區的高大建筑物，使得兩張影像沒有明顯的拼接痕跡。

圖3

圖4 本文拼接算法結果

圖5 Duplaquet方法拼接結果

Duplaquet算法在搜索拼接線時，從當前像素點的下一行臨近的3個像素點中尋找下一個備選點，因此，拼接線的長度與重疊區域的高度相同。本文中算法，在找拼接線備選點時，為避免拼接線穿過房屋等高出地表物體的水平邊緣，考慮當前像素點水平方向上的點，因此，搜索到的每一條拼接線的長度都是不等長的。表1列出了兩種算法拼接線的長度與重疊區域的高度，通過比較表1中數據，可以看到本文中算法拼接線長度比Duplaquet算法中拼接線長度長。

表1 拼接線長度對比列表像素

以安陽某地區7張影像為試驗數據，采用第二章第1節中算法搜索最優拼接線，采用本文中第二章第3節算法確定最終基準影像，表2列出了按本文方法計算求得的第2幅到第6幅影像作為基準影像的準則值。從表2中可以看出第二幅影像的準則值最小，因此以第二幅影像為基準影像。圖6所示為以第二幅影像為基準影像的單航帶序列影像拼接結果，從拼接結果圖可以看到，拼接線能夠很好地繞過建筑物，其中黑框中曲線為拼接線。

表2 影像準則值

圖6 單航帶序列影像拼接結果

為從整體上降低圖像失真的程度，減小變形誤差，在拼接時從兩端開始，以第二章第3節中算法選擇的基準影像作為最終基準圖，利用第二章第2節中動態基準策略拼接。

若有n幅影像，當n＞3時，若第t( 1＜t＜n)幅影像為本文中方法找到的基準影像，對前t-1幅影像變換到基準影像坐標系下，總共需要經過次變換；對后n-t幅影像變換到基準影像坐標系下，共需經過次變換。若采用第一幅影像為基準影像，后n-1幅影像變換到基準影像坐標系下，共需經過次變換。這樣，本文中提出搜索最優基準影像的算法既沒有增加算法復雜性和程序運行的時間，又降低了圖像由于透視變換影像的失真程度。結合圖6的拼接結果可以看出，利用最優拼接線和動態基準影像進行拼接，可以得到理想的拼接結果。

四、結束語

本文在分析現有的無人機序列影像拼接算法的基礎上，針對地物復雜的特點，采用檢測最優拼接線方法，很好地解決了錯位和鬼影等問題。針對拼接中的累積誤差和連續變換導致的影像失真等問題，以透視投影變換為基礎，通過動態基準和選擇最終基準影像使之得到解決。但同時也存在不足的地方，當待拼接影像間的光照強度不同時，拼接影像在拼接線兩側呈跳躍式的變化。以后需要對重疊區域進行影像融合，對影像拼接線附近進行亮度調整，以達到更好的拼接效果。

[1] 張媛，高冠東，賈克斌.運用特征點匹配的柱面全景圖像快速拼接算法[J].中國圖象圖形學報，2009，3(3)：247-250.

[2] 王軍，朱寶山，朱述龍，等.基于相關系數的遙感圖像拼接線檢測算法[J].測繪與空間地理信息，2011，34(3)：151-153.

[3] 黨建武，宗巖，王陽萍.基于SIFT特征檢測的圖像拼接優化算法研究[J].計算機應用研究，2012，29(1)：329-332.

[4] 謝鵬.基于貪心搜索的正射影像拼接方法[J].中國科技信息，2013(2)：74-77.

[5] 李從利，薛模根，冷曉艷，等.空中偵察序列圖像連續拼接的累積誤差分析與消除[J].中國圖象圖形學報，2008，13(14)：814-819.

[6] 何敬，李永樹.基于特征點和最優路徑的無人機影像拼接方法[J].遙感技術與應用，2012，27(2)：173-176.

[7] LOWE D G.Object Recognition from Local Scale-Invariant Featrues[C]∥International Conference on Computer Vision.[S.l.]：IEEE，1999：1150-1157.

[8] LOWE D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision，2004，60(2)：91-110.

[9] FISHCHLER M A.Random Sample Consensus：A Paradigm for Model Fitting with Appliction to Image Analysis and Automated Cartography[J].Communication Association Machine，1981，24(6)：381-395.

[10] DUPLAQUET M L.Building Large Mosaics with Invisible Seam-Lines[C]∥Proc.SPIE Aerosense.Orlando：[s.n.]，1998.

[11] GONZALEZ R C，WOODS R E.Digital Image Processing[M].2nd ed.Beijing：Publishing House of Electronics Industry，2007：105-107.

[12] 徐亞明，邢誠，陳曉東.一種基于拼接線的無人機序列影像拼接方法[J].武漢大學學報：信息科學版，2011，36(11)：1265-1269.

[13] 李明，劉歡，朱欣焰.一種面向災害應急的UAV影像快速拼接方法[J].災害學，2012，27(3)：139-144.

更正

本刊2014年第8期第134頁《Trimble V10影像流動站在城市測量中的應用》一文中，作者郭玉強、尹國斌的單位應分別為“山西省煤炭地質115勘查院測繪技術中心，山西大同037003；北京麥格天渱科技發展有限公司，北京100043”。特此更正，并向作者、讀者致歉。

本刊編輯部

An Image Mosaic Method Based on the Seamline and Dynamic Datum

XU Jingzhong，YUAN Fang，KOU Yuan

P23

B

0494-0911(2014)09-0034-04

2013-07-19

國家科技支撐項目(2012BAH34B02；2011BAH12B04)

徐景中(1980—)，男，江蘇淮安人，博士，副教授，主要研究方向為LiDAR數據分析與處理。引文格式:徐景中，袁芳，寇媛.一種基于拼接線和動態基準的影像拼接方法[J].測繪通報，2014(9)：34-37.

10.13474/j.cnki.11-2246.2014. 0288