帶地理信息的無人機遙感圖像拼接系統的實現

杜 丹，潘志斌，于君娜，劉春華，路瑜亮

(1.西安交通大學電子與信息工程學院，陜西西安710049;2.總裝北京軍代局駐石家莊地區軍代室，河北石家莊050081;3.中國電子科技集團公司第五十四研究所，河北石家莊050081)

0 引言

無人駕駛飛機簡稱“無人機”，是利用無線電遙控設備和自備的程序控制裝置操縱的不載人飛機。地面人員通過雷達和衛星等設備，對其進行跟蹤、定位、遙控、遙測和數字傳輸。它體積小、造價低、使用方便，不僅在測繪和自然災害等民用領域用途廣泛，而且在軍事方面無人機回傳的定位信息和各種類型的圖像等其他數據更是為偵察情報、遠距離攻擊型智能化武器和信息化武器提供了先決條件［1，2］。

因為單張無人機遙感圖像很難完全包含感興趣的區域，為了進一步擴大視場范圍，需要將多幅遙感圖像拼接起來獲得一定范圍內的全景圖像。一般基于特征的無人機遙感圖像的拼接過程主要包括輻射校正(輻射校正是指消除或修正遙感圖像成像過程中附加在傳感器輸出的輻射能量中的各種噪聲過程)、幾何校正［3］(遙感圖像在獲取過程中，由于飛行器的姿態、高度、速度以及地球自轉等多種原因導致圖像相對于地面目標發生幾何畸變)、圖像配準和圖像融合這4個步驟。但是這種單純基于特征的無人機遙感圖像的拼接系統存在拼接速度較慢、沒有地理信息這2個主要方面的缺陷，在軍事情報以及應急災害應用領域中顯得尤為突出。

下面實現的帶地理信息的無人機遙感圖像的快速拼接系統首先在進行系統幾何校正后，將地理信息和圖像數據保存成GeoTiff格式的圖像，然后使用SIFT方法提取匹配的控制點對，進行圖像序列的配準，最后利用開源庫GDAL根據影像坐標數據實現無人機影像的快速拼接，并采用加權融合的方法使全景圖像在重疊區域邊界處過渡平緩，提高了無人機影像拼接的效率和影像質量。

1 基本原理和主要步驟

實現帶地理信息的無人機遙感圖像的快速拼接的具體步驟包括:幾何校正、圖像特征提取、圖像序列配準、投影鑲嵌和圖像融合。

1.1 幾何校正

在無人機遙感圖像的預處理過程中主要考慮系統幾何校正，利用遙感圖像和飛機位置、姿態以及平臺的參數校正由于傳感器傾斜拍攝導致的圖像像素的局部變形，計算該目標在 WGS－84坐標系中的位置，完成圖像的系統級的初步定位。

轉換模型用到的坐標系和轉換矩陣［4］如圖1所示。

圖1 幾何校正中的坐標系變換

圖1中，由光電平臺坐標系到數碼相機坐標系的變換矩陣為:

由機體坐標系到光電平臺坐標系的變換矩陣為:

由當地地理坐標系到機體坐標系的變換矩陣為:

由大地坐標系(采用WGS－84坐標系)到空間直角坐標系的變換矩陣為:

上述各式中的 Rx(φ)、Ry(φ)和 Rz(φ)分別為繞x軸、y軸和z軸旋轉φ角的旋轉矩陣;αp為掃描角;βp為偏角;φ為方位角;ω為高低角;δ為航向角;為俯仰角;γ為橫滾角;Bo為緯度;Lo為經度。

因此從數碼相機坐標系到大地坐標系的轉換，利用上述變換矩陣得:

常規幾何校正是由式(5)逐像素點進行計算和采樣的。但是在單一航帶內，無人機平臺高低角和飛機俯仰角小于某個范圍內(±3°)近似垂直向下拍攝時，可以認為圖像的分辨率是一致的，因此為了加快幾何校正速度，主要考慮飛機航向角和平臺方位角的影響，矩陣變換的模型可以簡化為:

式中，φ為方位角;θ為航向角;R(φ+θ)為旋轉矩陣。圖像像素點的值由式(6)計算，圖像中心點地理位置由式(5)計算，然后利用大地坐標系進行地圖投影變換，得到投影坐標。其余像素點的投影坐標按照分辨率進行推算。化簡后減少了復雜運算次數，幾何校正時間可以大幅縮短。

完成圖像的幾何校正后，通過最鄰近法插值(速度快)或者雙線性插值法(效果好)來解決計算中出現的非整數坐標像素的問題。最后將地理信息和圖像數據寫入GeoTiff格式的圖像中保存。Geo-Tiff是在 Tiff的基礎上定義了一些地理標簽(GeoTag)，來對各種坐標系統、橢球基準和投影信息等進行定義和存儲，使圖像數據和地理信息存儲在同一圖像文件中，這樣就為制作和使用帶有地理信息的圖像提供了方便的途徑。

1.2 圖像的特征提取

特征提取選用的是SIFT方法，它對影像的尺度和旋轉變化具有不變性，同時對光照和相機視角變換引起的改變也具有一定的不變性［5，6］。但是由于SIFT算子在進行特征提取時計算量非常大，圖像數據越大，速度的缺陷越明顯。為了加快計算速度，圖像特征提取的主要步驟如下:

①圖像下采樣;

②通過建立合適的尺度空間(組數o=2，層數s=3)，尋找候選點;

③利用最優節點優先(Best Bin First，BBF)算法可以快速地搜索匹配點;

④由于初始的匹配點對仍然存在誤匹配，所以采用隨機抽樣一致(Random Sample Consensus，RANSAC)算法剔除一定的誤匹配點對;

⑤按照匹配點均勻分布的方法選取20～30個匹配點為圖像序列配準做準備。

1.3 圖像序列配準

圖像序列配準方法采取相對配準的方法［7］，如圖2所示。用第1幅圖像(或者最后一幅圖像)作為參考圖像，所有后續的圖像按照順序分別配準，其中Rn(n－1)是第n幅圖像到n－1幅圖像的變換矩陣。這種方法的缺點是存在累計誤差。但是比絕對配準的方法節省大量時間。

圖2 圖像序列配準的方法

圖像序列配準主要步驟如下:

①以第1幅圖像為參考圖像，利用均勻分布的20對控制點調整前后的地理坐標對后一幅圖像進行一次多項式擬合校正;

②重采樣后生成待鑲嵌的圖像;

③其余圖像依次按照此方法進行序列配準。

1.4 圖像的鑲嵌和融合

將配準后的待鑲嵌圖像按照地理坐標信息直接鑲嵌全景圖像。Geospatial Data Abstraction Library(GDAL)是柵格空間數據轉換庫，并且GDAL中含像素坐標與地理坐標的轉換函數，調用后可計算出影像中相應像素點對應的地理坐標，再由影像的地理坐標對應關系進行鑲嵌處理將拼接過程簡化，提高了拼接效率。當重疊區域不做處理，直接用后一幅圖像覆蓋同一地理位置的前一幅圖像像素時，直接鑲嵌后的全景圖像邊界較為明顯，有錯位現象。錯位像素平均為6～12個像素。鑲嵌后全景圖像如圖3(a)所示，局部放大效果如圖3(b)所示，錯位主要原因是遙感圖像數據拍攝時不是絕對垂直下視，而是存在一定的俯仰角，以及鏡頭的邊緣畸變，造成圖像邊緣與圖像中心像素變形不均勻。

圖3 直接鑲嵌后的效果

為了從視覺上消除錯位現象，采取一種加權融合的方法處理重疊區域。利用GDAL里ORG庫中的求交函數確定重疊區域，將重疊區域的對角線作為拼接縫，在接縫兩側選取一定寬度w進行融合。輸出的圖像為:

式中，加權系數r滿足0≤r≤1。若r=0.5，則相當于2幅圖像取平均值;若r由1逐漸變化為0時，圖像從I1逐漸過渡到I2，這樣就實現了圖像間的平滑過渡，從而消除了拼接的痕跡。融合后的鑲嵌結果如圖4(a)所示。由圖4(b)可以看出融合后的錯位誤差較小，視覺效果較好。

圖4 加權融合后的效果

2 圖像地理坐標精校正和快速顯示

鑲嵌后的全景圖像可以作為結果圖進行輸出，但是由于幾何校正后的地理坐標存在一定的誤差，采用相對配準的圖像序列配準方法會產生累計誤差。因此可以選擇地表特征明顯的位置作為控制點，利用其精確的地理坐標作對鑲嵌后的圖像進行多項式擬合校正，使全景圖像的地理坐標更準確，并且使在主界面快速計算和顯示鼠標位置的地理坐標達到實時查詢和利用地理信息的目的。

系統利用分層金字塔技術［8］進行圖像的快速顯示，即預先將圖像分層分塊，建立金字塔數據，并將這些數據存放在磁盤上，在圖像顯示時可以根據不同的顯示比例和地理范圍直接從相應的金字塔層中讀取數據，確保每次加載和顯示的數據量較小，從而提高圖像數據瀏覽顯示的速度。

3 實驗結果及分析

實驗計算機為 PC:CPU主頻2.3 GHz，內存2 GB，編程環境為Microsoft Visual C++6.0。實驗選取15幅大小為3 744*5 616，60.15 MB的原始圖像進行拼接，在4倍下采樣條件下，各個步驟時間代價為:幾何校正20.22 s，特征提取32.25 s，序列配準36.13 s，鑲嵌和融合9.12 s。

定位精度:單張遙感圖像進行幾何校正后的定位精度≤60 m，精確校正后的定位精度≤30 m，可以為軍事偵察和打擊任務服務。具體定位精度誤差如表1所示。表1中觀測點1比觀測點2在圖像序列中靠后，因此經過圖像間相對配準后，累積誤差較大。地理坐標的精校正采用另外3個觀測點的精確地理坐標對圖像進行一次多項式擬合。

表1 定位精度

系統拼接的全景圖像結果圖如圖3和圖4所示。由上述實驗結果可以看出，本系統可以很好地完成航帶內遙感影像的拼接及融合處理，整個系統所花的時間代價也是比較適中的。其定位精度和反應速度基本可以滿足軍事偵察情報以及應急自然災害的需求。但是也存在一些不足，主要體現在:①圖像序列配準后存在累計誤差，定位精度下降;②利用圖像的特征點進行圖像序列配準所需時間仍然是最耗時的部分;③本系統只適用于平臺高低角和俯仰角小于某個范圍內(±3°)單航帶內的圖像拼接。

4 結束語

上述系統考慮了無人機基本垂直向下拍攝的條件，對幾何校正模型進行了化簡。利用圖像的旋轉，節約了幾何校正過程中逐點計算地理坐標和重采樣的時間。采用了基于特征的方法，消除了圖像序列間的偏差。利用GeoTiff圖像格式和GADL開源庫處理遙感數據優勢，直接根據地理信息進行投影鑲嵌，加快了全景圖像的拼接速度。處理后的影像整體效果良好，同時可完全實現自動化，不需要人工識別或調整。該系統已經應用于工程實踐，試驗效果良好，并且為不同航帶間以及擺掃拍攝條件下的無人機遙感圖像的拼接打下了良好的基礎。

［1］AUSTIN Reg.無人機系統［M］.陳自力，董海瑞，江濤，譯.北京:國防工業出版社，2013:3－17.

［2］狄穎辰，陳云坪，陳瑩瑩，等.無人機圖像拼接算法綜述［J］.計算機應用，2011，31(1):170 －173.

［3］李 崢.缺少控制點的無人機遙感影像幾何校正技術［D］.成都:電子科技大學，2010:7 －28.

［4］劉春華.航空視頻圖像定位技術［J］.無線電工程，2008，38(4):13 －14.

［5］BROWN M，LOWE D G.Invariant Features from Interest Point Groups［C］∥British Machine Vision Conference，Cardif，Wales，2002:656 －665.

［6］LOWE D G.Distinctive Image Features from Scale Invariant Keypoints［J］.International Journal of Computer Vision，2004，60(2):91 －110.

［7］MCCARTNEY M I，ZEIN-SABATTO S，MALKANI M.Image Registration for Sequence of Visual Images Captured by UAV［C］∥Computational Intelligence for Multimedia Signal and Vision Processing，Nashville，2009:91 －97.

［8］馮克鵬.遙感圖像鑲嵌中多尺度羽化方法的應用研究［D］.銀川:寧夏大學，2009:27－35.