基于無人機低空遙感的航拍圖像拼接方法

匡文元

（湖南省第一測繪院，湖南 長沙 410029）

0.引言

現代科技的快速發展使得計算機視覺技術成為新一代技術領域研究重點，此技術多應用在高分辨率圖像的處理環節，雖然廣角鏡頭具有增強視野范圍的能力，可以在一定程度上滿足高分辨率大場景圖像的處理要求，但這種鏡頭所拍攝出來的圖像邊緣處易出現模糊畸形的問題。為保證圖像的分辨率與使用效果，需要對多個單張圖像進行處理后，拼接合成大場景圖像[1]。通過文獻分析可知，所謂的圖像拼接是指依照多個單張圖形中的重復場景，將其配準為一幅寬視野的圖像。此種圖像處理技術在地質測繪以及微小圖像處理等多個領域均得到廣泛應用，其中使用率較高的為無人機遙感系統，此系統可深入到較為危險的地帶進行航拍，但無人機遙感中使用的相機受拍攝高度與光照強度的影響，其采集到的圖像信息較為有限。為獲取拍攝區域的全部圖像，需要將獲取到的圖像進行拼接。為此，開展無人機遙感航拍圖像的拼接研究具有重要的現實意義。

由于無人機遙感航拍圖像與普通圖像差距較大，其在圖像的拍攝過程中由于外界環境的影響，造成相鄰的兩張圖像亮度與形狀具有一定的差異，所以使用常見的圖像拼接方法是無法完成航拍圖像的拼接工作的。圖像配準對于圖像拼接效果具有重要影響，使用不同的配準方法對圖像拼接效果具有直接的影響。當前的航拍圖像拼接方法對圖像特征點配準技術的選擇較為落后，導致圖像拼接結果異常且誤差較大。針對此問題，本次研究將提出一種新型航拍圖像拼接方法，提高圖像拼接穩健性，保證拼接效率與準確性。

1.基于無人機低空遙感的航拍圖像拼接方法設計

1.1 無人機低空遙感航拍圖像預處理

航拍圖像在獲取過程中易受到無人機自身與外界環境的影響，雖然無人機在組裝過程中可增加多種穩定性的設備，但其自身重量較輕，抗干擾能力較差，在實際拍攝過程中，其飛行姿態與相機選型結果無法抵御外界環境的干擾，導致拍攝目標的位置發生畸變，甚至重影。因此，在本次研究中設定了航拍圖像的預處理環節，對原始圖像進行幾何校正[2]。具體校正過程（如圖1所示）：

圖1 航拍圖像幾何校正過程

根據圖1中內容完成圖像校正過程后，手動選擇控制點，結合地理定位，對控制點位置進行校正處理，而后，計算得到控制點坐標參數，根據此參數構建坐標轉換模型，并對圖像進行灰色處理，生成待預處理圖像。選用中值濾波技術確定濾波窗口A的大小，在此窗口中完成圖像像素排序，用序列中的中位數代替圖像中心處灰度值。設定（g，h）為窗口A的中心點，a為中心點灰度值；（g，h）為A中的像素坐標；f為未經過濾波的圖形序列，則此排序過程可整理為a（x，y）＝median｛（fg，h），（g，h）∈A｝，為實現此排序過程，將其約束條件設定為：median｛w（b）＋v（b） ｝≠median｛w（b）｝＋median｛v（b）｝，w（b）、v（b）分別為面積為b的兩幅圖像。如果圖像中的噪聲值大于圖像像素中的二分之一，則使用小波變換技術對此圖像進行處理，避免圖像失真。在圖像濾波后，可能會出現圖像信息缺失的問題，使用三次卷積插值法對其進行處理。假設圖像中的點C坐標為（i，j），則其周圍的像素點可按照此原理進行設定，D（i－1，j＋1）、E（i－1，j－2）、F（i＋2，j－2）、G（i＋a，j＋b）、H（i＋2，j＋1），G點中的未知項可通過灰度值計算獲取，具體如公式（1）所示：

式（1）中，S＝［Q（1＋a），Q（a），Q（1－a），Q（2－a）］，

K＝［Q（1＋b），Q（b），Q（1－b），Q（2－b）］T，Q（x）為卷積差值權重，使用此公式對圖像中的未知點坐標進行補充，并由此完成圖像預處理部分。

1.2 圖像特征點配準處理

提取處理后圖像的特征點，使用此部分特征點對圖像的關鍵信息進行配準。首先使用尺度空間函數[3]對候選特征點進行坐標信息擬合，將特征點H(x,y,φ)轉化為；根據轉化后的特征點，得到原始圖像的極值點，并對x值進行求導，得到導數為0時的特征點位置。在此部分計算完成后可得到特征點的位置以及相關的尺度信息，為提升配準精度，使用Hessian矩陣進行邊緣點篩除，具體計算過程如公式（2）所示：

式（2）中，Nxx為航拍圖像在不同方向上的二階導數。假設公式（2）中的最小特征值為η，最大的特征值為λ由此如公式（3）所示：

將獲取到的特征點自動生成配準中的控制點，再把得到的控制點結合最小二乘網絡，實現特征點的配準處理，同時將配準結果作為航拍圖像拼接的基礎。

1.3 航拍圖像拼接算法設定

根據上文中設定的相關內容，在本環節中設定航拍圖像拼接算法，完成圖像處理全過程。在對多種拼接算法進行分析后，選擇Hough變換技術[4，5]作為本次研究中的核心算法。根據此技術檢測圖像空間中的圖形是否重疊或模糊，從而提升圖像拼接效果。

在圖像中構建直角坐標系，其中的直線可用方程表示，如公式（4）所示：

式（4）中，?為此直線的斜率；γ為此線段在空間坐標y軸上的斜率，則公式（4）可改寫為γ＝－?x＋y的形式。根據改寫后的形式可確定直線方程在真實的空間坐標系中也為一條直線。由上述計算過程可知，圖像二維空間中的一點（x1，y1）對應參數空間中的一條直線，兩者可進行互換，根據此原理可實現二維空間與真實參數空間的變換，具體過程（如圖2所示）：

圖2 圖像空間與真實空間變換過程

根據圖2變換過程，將圖像空間坐標與真實空間坐標對應處理，實現圖像空間轉換。同時，運用Hough變換技術對特征點配準結果進行初步提純，剔除配準過程中出現的誤匹配特征點對。在圖像拼接的過程中，減少計算過程中的迭代次數，更加快速地得到圖像變換矩陣，完成圖像匹配過程。

對上文中的設計內容進行整理，其中的計算部分需要在多核處理器計算機中完成，以此保證計算結果的可靠性。其余設定部分，按照圖像處理先后順序融入到當前圖像拼接方法中。至此，基于無人機低空遙感的航拍圖像拼接方法設計完成。

2.實驗論證分析

在上文中完成了基于無人機低空遙感的航拍圖像拼接方法的理論設計部分，為確定此方法的研究價值，采集實驗圖像，驗證此方法使用效果。

2.1 實驗環境設定

本次實驗中圖像的拍攝地點均為某工業園區內，在不同拍攝高度、不同拍攝角度以及不同光照條件下完成拍攝過程，使圖像存在不同程度的差異，以測試文中設計拼接方法的使用性能。拍攝高度100m時所得圖像，拍攝對象為住宿區以及周邊建筑（如圖3所示）。在較強的光照條件下，按照預設角度獲取圖像，使圖像存在較大色彩差異與圖像差異。拍攝高度為150m時所得圖像，此圖像拍攝目標為圖書館，周圍建筑物相對較多，在光照強度較弱的條件下進行拍攝，圖像無明顯色彩，但存在一定的視覺差異（如圖4所示）：

圖3 強光條件下100米拍攝高度所得圖像

圖4 弱光條件下150米拍攝高度所得圖像

將圖3、圖4作為本次實驗中的拼接對象，用新型圖像拼接方法、經典SIFT拼接方法、APAP拼接方法對圖形進行拼接處理，并對比上述四種方法使用效果。

2.2 強光條件下圖像拼接分析

使用預設的實驗環境與方法，完成實驗拼接過程。在實驗結果輸出過程中，將拼接結果顯示在左側，圖像局部細節放大后顯示在右側，以此對拼接結果進行細致地分析。強光條件下圖像拼接結果（如圖5所示）：

圖5 強光條件下圖像拼接結果

在上述實驗結果中，（b）組經典SIFT拼接方法在使用后出現接縫較為突出且部分建筑錯位。（c）組APAP拼接方法的圖像配準精度相對較高，但在圖像拼接后存在2處誤差，且存在細微的拼接縫隙。在（a）組新型拼接方法使用后，其圖像拼接配準度較高，沒有出現模糊或拼接縫隙的問題。綜合上述實驗結果可以看出，在低拍攝高度、強光條件下新型圖形拼接方法的使用效果較好。

2.3 弱光條件下圖像拼接分析

根據強光條件下圖像拼接實驗圖像輸出設定，完成弱光條件下圖像拼接分析過程，實驗圖像（如圖6所示）：

圖6 弱光條件下圖像拼接結果

在處理此部分圖像時，（b）組經典SIFT拼接方法在使用后圖像中的建筑物出現了嚴重的拼接問題，圖像的重疊部分出現了小幅度的位移。（c）組APAP拼接方法使用后，在一些細節部分存在誤差，但保持了圖像的原形狀。上述兩種方法在使用后均存在相應的問題，與這兩種方法相比，（a）組的新型圖像拼接方法使用后保證了圖像的完整性，且并未出現拼接異常。將此實驗結果與強光條件下圖像拼接結果進行綜合處理可以發現，在不同的拍攝高度與光照情況下，新型圖像拼接方法均可完成圖像的配準，保證圖像的圖形穩定性。

2.4 圖像拼接均方根誤差分析

除上述圖像細節對比外，在本次實驗中為了客觀評價不同圖像拼接方法的使用效果，使用均方根誤差對圖像拼接后誤差展開計算，計算如公式（5）所示：

式（5）中，f為圖像變換矩陣；｛ai,a′i｝ni=1為已完成配準的特征點。根據以往研究可知，當圖像特征點配準率越高時，對應的R值取值結果越小，圖像拼接效果越好。此實驗環節統計了上述實驗中的均方根誤差值，并對其進行5次計算，具體計算結果（如表1所示）。為了便于分析，將三種圖像拼接方法的R值取值結果分別記為Ra、Rb、Rc，與圖像拼接結果組別相對應。

表1 圖像拼接均方根誤差計算結果

為了更好地對圖像拼接結果進行分析，使用上述數據對不同圖像拼接方法的拼接誤差進行分析。由上述數據可知，在實驗選定的三種方法中，新型圖像拼接方法在兩種圖像的拼接中誤差值較低，說明此方法配準度相對較高，圖像拼接效果較好。APAP拼接方法計算結果與新型圖像拼接方法的100m拍攝高度所得圖像均方根誤差計算結果較為接近，但其對150m拍攝高度所得圖像拼接效果較差，誤差計算結果與新型方法相差較大。經典SIFT拼接方法使用后所得誤差值為三種方法中最高，可見此方法使用效果為三種方法中最差。綜合上述計算結果可知，新型圖像拼接方法配準度最好，使用效果較好。

2.5 實驗結果討論與分析

無人機遙感航拍圖像拼接技術作為計算機視覺圖像處理技術中的重點，已經廣泛地應用到現實生活中的諸多領域。本次研究提出了一種新型方法，并對其進行大量的實驗分析，驗證了此方法的優越性。在本次實驗中通過兩組不同的圖像對文中提出的新型航拍圖像拼接方法進行應用分析。經過多種方法對比可以看出，新方法的圖像拼接能力與圖像特征點配準度均高于當前使用方法。在日后的無人機圖像處理過程中可將此方法作為圖像拼接處理過程中的主要方法，為后續圖像應用環節提供較為完整的大場景圖像。

3.結束語

隨著計算機技術的不斷發展，無人機遙感技術的應用范圍逐漸擴大，為提升其圖像處理效果，在本次研究中提出了一種新型圖像拼接方法，經實驗證實，此方法的使用效果較好，可應用在實際圖像處理過程中。但由于技術的限制，在部分環節無法對其進行全面、完整地闡述，在日后的研究中還應對其進行完善與優化，以此保證此方法的使用效果符合未來無人機航拍領域的發展方向。