海事監管中無人機航拍圖像快速拼接算法*

歐陽帥， 安博文， 周 凡， 曹 芳

(上海海事大學 信息工程學院，上海 201306)

海事監管中無人機航拍圖像快速拼接算法*

歐陽帥， 安博文， 周 凡， 曹 芳

(上海海事大學 信息工程學院，上海 201306)

針對海事監管中航拍圖像拼接生成大視場圖像的時效性較低以及配準準確性不高的問題，提出了一種快速高效的無人機(UAV)航拍圖像拼接算法。根據海事監管轄區航拍圖像特點縮小了角點搜索范圍，通過設定自適應的梯度閾值和角點響應函數閾值篩選角點，通過局部最大角點響應函數值取舍準則實現了角點均勻化分布；采用基于相位相關的模板粗匹配方法和帶有特征約束的RANSAC細匹配方法求出最優變換矩陣；利用人眼的視覺特性改進傳統加權平均融合算法的加權因子使圖像拼接過渡自然。實驗結果表明：算法具有較好的自適應性，在拼接效率和準確率上較傳統算法有了很大改善。

航拍圖像； 角點檢測； 自適應閾值； 圖像配準； 圖像融合

0 引 言

由于無人機(UAV)[1]航拍成像具有“站得高，看得遠，跑得快”的優勢，在船舶的動態管理、防污染監視、執法取證等方面具有其他方式不可比擬的優勢。但無人機航拍的過程中受到飛行條件以及拍攝設備條件的限制，很難用一張圖像將航拍目標區域的信息完全涵蓋，因此，需要利用圖像拼接技術獲得完整的場景以解決實際需求。

目前，基于無人機圖像拼接的方法主要有直接拼接法[2]和基于特征的方法。目前，航拍圖像拼接算法大多基于特征點的方法[3]，主流的方法是尺度不變特征轉換(SIFT)特征點匹配法。雖然其具有高精度的特點，且對平移旋轉具有較好的魯棒性，但是非常耗時，無法滿足實時要求[5]。而Harris角點匹配法[6]具有光強和旋轉不變性，計算速度快，且角點具有顯著的結構信息。鄭蘭等人[7]提出了一種Harris自適應閾值角點提取方法，通過改進的隨機抽樣一致性(RANSAC)算法剔除誤匹配點。楊宇博等人[8]提出了一種分塊的Harris角點提取方法，配準采用分塊逐步的RANSAC方法。

由于無人機沿河岸碼頭固定路線巡航航拍，圖像中會出現較大一部分水域，該區域不存在角點特征，且水面容易受到光照反射影響，對角點檢測和配準帶來極大的干擾，現有的算法對其適用性不理想，故本文提出了一種改進的無人機航拍算法，實現高效精確拼接。

1 自適應閾值的Harris角點檢測算法

1.1 角點檢測區域選定

根據實際航拍圖像特點和拼接實時性、準確性的要求，相鄰幀圖像重疊率達到80 %可以較好滿足要求，故首先沿著飛行方向將搜索區域縮小至原有的0.8倍。然后對航拍圖像灰度化后做二值化處理，以5×5模板從水面方向進行行掃描，當像素點鄰域內的值均為1時，記錄該點像素y坐標并繼續下一行掃描，最后,取y坐標最大值作為搜索區域y方向的分割線，角點搜索區域如圖1。極大地縮小了角點搜索范圍，并有效避免了水面反光問題對特征點提取和配準的干擾。

圖1 角點搜索區域

1.2 自適應的梯度閾值

采用改進的梯度算子[-2,-1,0,1,2]計算灰度梯度值，使得對灰度變化更敏感。設定自適應梯度閾值條件

(1)

即滿足水平和垂直梯度大于行平均梯度和列平均梯度作為待定角點。初步提取的像素點能夠反映圖像的主要特征，保證了提取絕大部分的角點，間接提高了角點檢測效率。

1.3 角點響應函數的自適應閾值

文獻[9]中指出平坦區域的條件隨機場(CRF)算法值為較小的正數，角點的CRF值為較大的正數，如式(2)

(2)

式中 ξ1,ξ2為波動幅度。基于CRF數值大小特性，本文提出了一種自適應閾值的方法。對于m×n的檢測區域，由于按式(1)條件取舍角點，將不符合角點的CRF值置為0，使得搜索區域的CRF矩陣大小也為m×n。現對各行、列的各個點的CRF求均方值，假設第i行或者第j列具有較多角點，則對應的均方值大小要受角點處的CRF值影響而近似于v，即

(3)

由此極大值抑制閾值可表示為

T=

(4)

考慮到圖像紋理信息的不同，用一個全局閾值做角點篩選，容易遺漏一些簡單內容區域的角點。本文采用加權平均的思想分塊搜索區域，先計算局部閾值，然后由局部閾值及其對整體閾值權重的貢獻率得到最終的閾值表達式

(5)

式中 Ti為各區域的閾值；n為分塊數。

1.4 角點聚簇現象的優化

經過上述步驟的篩選后，容易出現局部角點聚簇現象，將對角點匹配造成干擾，為了減少配準誤差，采用15×15大小的模板對匹配區域進行依次掃描，采取取舍準則：只保留掃描區域內最大CRF值的點作為角點。降低角點誤匹配率的同時提高匹配效率。

2 改進的特征點配準算法

2.1 基于相位相關的模板粗匹配算法

傳統歸一化互相關匹配(NCC)算法需要對全部角點進行遍歷并進行雙向匹配，時間開銷大。故采用改進的基于相位相關法的模板粗匹配算法：根據相鄰幀圖像的平移量和參考圖像中角點位置，得到對應匹配角點的大致位置，在待拼接圖像中該點40×40的鄰域內搜索，然后進行反向匹配，得到相關度最大的點。極大減少了搜索區域，且避免了噪聲、重復性紋理特征等因素的干擾，有利于提高配準精度和效率。

2.2 帶有特征約束的RANSAC細匹配算法

通過粗匹配后，難免會出現誤匹配，有效地消除誤匹配點是拼接成功的關鍵[10]。通過定義兩個特征匹配約束條件改進RANSAC算法實現細匹配：

1)視差約束。視差定義為配準圖像上匹配點對的坐標之差，正確匹配對的視差大致相同，而對于誤匹配點，視差往往存在較大偏差。可以按如下取舍原則操作,剔除誤匹配對：計算每一對匹配對其X，Y坐標視差，分別進行快速排序，取剔除視差最大的前5 %和最小的前5 %的點對。

2)唯一性約束:通過對無人機平穩飛行狀況的分析,相鄰圖像時間間隔內無人機在水平和垂直方向上不存在變形量,故在求解變換矩陣時可以從8個自由度減少到6個自由度，則只需3對匹配點即可求解參數模型。對于3對匹配點(A-A′)(B-B′)(C-C′)，由余弦定理知

(6)

以此構建約束條件表達式

(7)

式中sgn為符號函數;φ為約束閾值(本文取0.01)。利用余弦值乘積為0的條件排除了三點共線的情況。由式(7)判斷：若F(A)=±2為誤匹配，直接從集合中刪除上述點；若-2

改進的細匹配算法流程主要步驟如下：

1)定義最大采樣次數，并從粗匹配點集中隨機抽取3對同名匹配點，判斷是否滿足約束條件，滿足，則繼續步驟(2)；不滿足，則舍棄，重新抽取。

2)計算變換矩陣H，設定距離閾值逐一判斷剩余點對是否為內點。當剩余點判斷完畢，循環次數+1。

3)判斷此時循環次數是否大于最大采樣次數，大于,則直接跳出循環，取內點比重最大的集合所求的變換矩陣模型即為最優變換矩陣;否則，繼續步驟(1)，直到循環結束。

3 改進加權因子的加權平均融合算法

傳統算法中對圖像融合[11]采用式(8)

(8)

當2幅圖像光強差異變化大時，采用傳統算法融合過渡效果不自然。本文根據人眼的視覺特性對傳統加權因子d加以改進。為了在拼接線附近區域有更佳的視覺過渡效果，利用三角函數的數學特性對加權因子加以改造，通過待定系數法求解得到改進的加權因子表達式

(9)

如圖2，改進的加權函數在兩端區域較傳統加權因子曲線遞減更為緩慢，在中間區域斜率保持不變，通過這種變化與人眼的視覺敏感度的變化相結合，使融合圖像達到更好的視覺效果。

圖2 傳統加權函數和改進加權函數對比曲線

4 實驗結果與比較

無人機采用大疆經緯M100開發者套件，航拍攝像機CCD6.17mm×4.55mm，成像焦距2.12mm，無人機飛行速度15m/s，高度150m,圖像分辨率為1 280×720。計算機內存為4GB，系統平臺為Win7 64位操作系統。C++編程語言實現，選取2組航拍真實圖像實驗，如圖3。

圖3 兩組航拍實驗

4.1 算法結果比較

1)改進Harris角點檢測算法結果比較

表1為對兩組航拍圖像分別采用傳統算法以及文獻[7]算法和本文角點檢測算法結果比較。結果表明：本文算法較文獻[7]算法的自適應閾值具有更強的普適性，較傳統算法效率提高了20 %以上，同時有效地減少了誤匹配對。

表1 角點檢測結果對比實驗

2)角點聚簇現象的優化

圖4中兩圖為使用15×15模板進行優化前后的對比。結果表明：經過優化，角點聚簇現象得到了極大改善，角點分布更為均勻合理，有利于后期配準。

圖4 角點聚簇優化對比實驗

3)改進的圖像配準算法結果比較

表2～表4為傳統NCC和RANSAC、文獻[7]算法和本文改進配準算法實驗結果比較。其中，NCC閾值設為0.9，通過10次實驗得到統計平均結果。由表2和表3可以看出,傳統算法提取粗匹配點對多，內點比例少，效率不高。文獻[7]算法配準效果有所提升。本文算法經過特征約束，可以降低迭代次數，能較快達到理想的內點比例，配準效果有了更為明顯的提升。表4對比了3種算法的時間開銷。實驗表明，改進配準算法效果明顯。

表2 配準算法實驗結果對比

表3 RANSAC實驗結果對比

表4 配準算法時間開銷結果對比 ms

4)改進的加權平均融合實驗結果

如圖5(a)取一組220×64分辨率的黑白圖像采用傳統加權平均融合和本文的改進算法對比實驗；圖5(b)對第一組2幅待拼接圖像人為干涉調整亮度，并分別對比實驗。左圖為傳統算法融合圖，右圖為本文改進算法融合圖。結果表明:改進后算法漸變效果更加緩慢自然，拼接過渡較傳統算法有了明顯改善。

圖5 傳統加權平均融合算法和本文改進算法實驗對比

4.2 序列圖像拼接成果的應用

圖6為對序列航拍圖像拼接得到的實驗結果，可將成果用于海事監管中。通過拼接圖像可以很直觀看到碼頭全部船舶靠泊情況，檢測其是否超寬靠泊，通過對比圖像中停靠碼頭的船舶和海事平臺系統該區域顯示的船舶，查看其是否按規定開啟船舶自動識別系統，拼接的圖像可以保存到數據庫作為執法的依據。同時，拼接的圖像可以用來生產實時電子地圖數據，更新到海事地理信息系統平臺。

圖6 序列航拍圖像拼接結果

5 結束語

根據海事監管轄區的航拍圖像特點，提出了一種新的無人機航拍圖像快速拼接算法。方法首先改進了Harris算法，有效地減少了檢測的角點數量，具有自適應性，且能夠有效保證檢測的角點數量足夠多，同時對角點聚簇現象進行了優化。然后通過改進的配準方法有效地剔除大量誤匹配對，減少了RANSAC算法迭代運算量，提高了算法的效率和模型的準確性。最后通過改進的加權平均融合算法使得圖像拼接過渡自然。實驗證明：本文拼接流程效率較傳統算法提高了40 %以上。

[1] 吳成東,張 潤,劉寶德,等.基于無人機航拍圖像拼接算法的優化[J].沈陽建筑大學學報：自然科學版,2015(1):182-192.

[2] 程爭剛,張 利.一種基于無人機位姿信息的航拍圖像拼接方法[J].測繪學報,2016(6)：698-705.

[3] 魯 恒,李永樹,何 敬,等.一種基于特征點的無人機影像自動拼接方法[J].地理與地理信息科學,2010,26(5):16-19.

[4] He J,Li Y S,Lu H,et al.Research of UAV aerial image mosaic based on SIFT[J].Guangdian Gongcheng/Opto-Electronic Engineering,2011,38(2):122-126.

[5] 李永佳,周文暉,沈敏一,等.改進Harris特征點的機器人定位算法[J].傳感器與微系統,2011,30(8):131-134.

[6] 鄭 蘭,安博文,曹 芳.一種基于特征點匹配的紅外圖像拼接算法[J].計算機應用與軟件,2015(9):192-196.

[7] 楊宇博,程承旗.基于分塊Harris特征的航拍視頻拼接方法[J].北京大學學報：自然科學版,2013,49(4):657-661.

[8] 馮宇平.圖像快速配準與自動拼接技術研究[D].長春：中國科學院研究生院，長春光學精密機械與物理研究所,2010.

[9] 羅宇平.一種新型遙感圖像配準方法[J].傳感器與微系統,2009,28(10):12-15.

[10] 朱 煉,孫 楓,夏芳莉,等.圖像融合研究綜述[J].傳感器與微系統,2014,33(2):14-18.

UAV aerial image fast mosaic algorithm in maritime supervision*

OUYANG Shuai, AN Bo-wen, ZHOU Fan, CAO Fang

(College of Information Engineering,Shanghai Maritime University,Shanghai 201306,China)

A fast and efficient image mosaic algorithm for unmanned aerial vehicle(UAV) aerial image is proposed,which is able to cope with the problems of low speed and accuracy of generating large field of view image with aerial image mosaic in maritime supervision.First,scanning range of the angular point detection is narrowed according to the feature of aerial image.The gradient threshold and corner response function threshold are used to extract Harris corner.Keeping the max value of local corner response function value is adopted to uniform the feature point distribution.After that,the improved phase correlation of template matching algorithm and improved RANSAC matching algorithm with constraint features are applied to obtain the optimal transformation matrix.Last,according to human visual characteristics,the improved factor of weighted average image fusion algorithm is applied to obtain a seamless image.Experimental results show that the algorithm has better adaptability.And the method overcomes the shortcoming of traditional mosaic methods,since the efficiency and accuracy of stitching are improved greatly.

aerial image; angular point detection; adaptive threshold; image registration; image fusion

10.13873/J.1000—9787(2017)09—0113—04

2016—09—23

國家自然科學基金資助項目(61171126)； 上海市重點支撐資助項目(12250501500); 廣西教育廳科研項目(YB2014207)

TP 317.4

A

1000—9787(2017)09—0113—04

歐陽帥(1993-)，男，碩士研究生，主要研究方向為數字圖像處理。