基于控制點(diǎn)配準(zhǔn)算法的無(wú)人機(jī)遙感影像自動(dòng)無(wú)縫拼接技術(shù)

唐甜甜，陳炳才，2，寧 芊

(1.新疆師范大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，烏魯木齊 830002;2.大連理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，遼寧 大連 116024)

0 引言

無(wú)人機(jī)遙感作業(yè)相對(duì)于傳統(tǒng)航空遙感作業(yè)成本較低[1]，同時(shí)，由于無(wú)人機(jī)便于運(yùn)輸、起降和著陸，使無(wú)人機(jī)的遙感操作更加靈活，能夠快速、實(shí)時(shí)獲取小面積、分散作業(yè)區(qū)域的圖像，使用該技術(shù)能夠改善獲取時(shí)間長(zhǎng)、圖像缺乏靈活性等問(wèn)題[2]。無(wú)人機(jī)遙感影像幾何校正與拼接技術(shù)是快速獲得完整監(jiān)視區(qū)域影像的關(guān)鍵，通過(guò)參數(shù)聯(lián)合獲取圖像外部定位元素，能夠快速對(duì)圖像進(jìn)行定位[3]。

傳統(tǒng)方法通常采用基于圖像匹配的方法對(duì)無(wú)人機(jī)遙感影像進(jìn)行拼接，利用所提取匹配信息建立影像間最佳轉(zhuǎn)換模型，完成影像間的對(duì)齊；影像配準(zhǔn)后對(duì)其進(jìn)行拼接平滑處理，使合成影像色澤一致。盡管新技術(shù)對(duì)尺度變化具有良好的魯棒性，但是當(dāng)圖像之間存在較大未知畸變時(shí)，上述方法就不再適用于這種情況。因此，提出基于控制點(diǎn)配準(zhǔn)算法的無(wú)人機(jī)遙感影像自動(dòng)無(wú)縫拼接技術(shù)，解決上述傳統(tǒng)技術(shù)存在的問(wèn)題，即使在影像間存在較大未知變量時(shí)，也能保證良好拼接結(jié)果。

1 無(wú)人機(jī)遙感影像獲取

根據(jù)生態(tài)環(huán)境監(jiān)測(cè)標(biāo)準(zhǔn)選擇的無(wú)人機(jī)機(jī)長(zhǎng)1.8 m、翼展2.4 m，最大飛行時(shí)間3.5 h、最高水平飛行速度145 km/h；最高限制2 500 km/h，擬載入此類無(wú)人機(jī)遙感設(shè)備可替換可見光CCD成像設(shè)備，其主要目的是作為遙感監(jiān)測(cè)平臺(tái)[4-5]。

無(wú)人機(jī)影像成像原理如圖1所示。

圖1 無(wú)人機(jī)影像成像原理

所用無(wú)人機(jī)遙感系統(tǒng)主要包括空中、地面和數(shù)據(jù)處理3個(gè)部分，其中空中部分主要是將提前規(guī)劃好的航線上傳到無(wú)人機(jī)控制器之中[6]。因?yàn)闊o(wú)人機(jī)實(shí)時(shí)控制和接收飛行姿態(tài)數(shù)據(jù)會(huì)影響遙感圖像的顯示，因此使用監(jiān)測(cè)器監(jiān)測(cè)無(wú)人機(jī)飛行狀態(tài)，當(dāng)數(shù)據(jù)可以可靠地傳送時(shí)，一些控制參數(shù)就會(huì)發(fā)生變化；地面部分主要是航路規(guī)劃設(shè)計(jì)，統(tǒng)計(jì)單幅圖像重疊率、航跡數(shù)、轉(zhuǎn)彎角度等參數(shù)，顯示地面控制面板和數(shù)據(jù)接收情況；數(shù)據(jù)處理部分，需要考慮通過(guò)預(yù)設(shè)的航跡自動(dòng)采集圖像，實(shí)現(xiàn)圖像快速處理[7-9]。

無(wú)人機(jī)遙感圖像采集方法主要是自動(dòng)定點(diǎn)拍攝，以無(wú)人機(jī)為基礎(chǔ)，通過(guò)數(shù)據(jù)采集、數(shù)據(jù)解包和數(shù)據(jù)傳輸3個(gè)環(huán)節(jié)，實(shí)現(xiàn)了通信數(shù)據(jù)實(shí)時(shí)下載[10]。無(wú)人機(jī)遙感系統(tǒng)上端接口為地面測(cè)控系統(tǒng)數(shù)據(jù)通訊接口，所有采集到的數(shù)據(jù)都是由地面測(cè)控系統(tǒng)向外分發(fā)的。全部數(shù)據(jù)分發(fā)后，從管道服務(wù)器數(shù)據(jù)流中檢索出地面?zhèn)鬏斝诺罉?biāo)志，并下載，存入硬件包中。在遙感傳輸過(guò)程中實(shí)時(shí)顯示相關(guān)信息，并在遙感通信接口上實(shí)現(xiàn)數(shù)據(jù)傳輸，數(shù)據(jù)將以圖像格式文件形式存儲(chǔ)[11]。

2 基于控制點(diǎn)配準(zhǔn)算法的圖像配準(zhǔn)

為了減少圖像配準(zhǔn)過(guò)程復(fù)雜性，在圖像配準(zhǔn)中采用了基于控制點(diǎn)配準(zhǔn)算法。在所采集到的控制點(diǎn)中，可能存在兩幅圖像非重疊區(qū)域或者只在其中一幅圖像的控制點(diǎn)，所以要排除這些控制點(diǎn)[12]。該方法通過(guò)設(shè)置閾值，將不具有良好匹配關(guān)系的控制點(diǎn)剔除，篩選出相對(duì)穩(wěn)定且易于識(shí)別的控制點(diǎn)。計(jì)算最鄰近域和次鄰域的比值來(lái)選擇易于識(shí)別的控制點(diǎn)，如果比值小于設(shè)定的閾值，則說(shuō)明該控制點(diǎn)有效，將其保留，否則將其剔除。具體步驟如下：

1)從兩個(gè)影像中至少選擇4對(duì)控制點(diǎn)相對(duì)應(yīng)，在粗匹配圖像中隨機(jī)抽取4對(duì)控制點(diǎn)，以確定是否有3對(duì)有一條線，如果有，則丟棄這組匹配點(diǎn)，否則，需再次隨機(jī)選擇，直到?jīng)]有3對(duì)匹配點(diǎn)對(duì)匹配為止。

2)將所選的4對(duì)控制點(diǎn)進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化處理，其中包括圖像坐標(biāo)平移和縮放。數(shù)據(jù)標(biāo)準(zhǔn)化處理不僅能提高結(jié)果準(zhǔn)確性，而且對(duì)任意坐標(biāo)原點(diǎn)的變化是具有不變性的，能夠徹底消除坐標(biāo)變換對(duì)圖像配準(zhǔn)的影響。

(1)

式(1)中,scale表示變換尺度，計(jì)算公式如下所示：

(2)

(3)

式中,n表示變換次數(shù)。

(4)

(5)

變換矩陣是一個(gè)齊次矢量方程，因此三維空間矢量方向一致，由此說(shuō)明H是一個(gè)線性解。

1)粗配準(zhǔn)。依據(jù)此設(shè)計(jì)粗配準(zhǔn)和細(xì)配準(zhǔn)，其中粗配準(zhǔn)以檢測(cè)重疊區(qū)域?yàn)橹?無(wú)人機(jī)由于受到天氣、氣流等因素影響，實(shí)際航向始終與預(yù)定航向有一定航測(cè)偏差，使重疊圖像呈現(xiàn)出不同形狀。這就使得兩幅圖像重疊區(qū)域難以確定，因此，必須通過(guò)粗配準(zhǔn)進(jìn)行匹配。

粗配準(zhǔn)注意事項(xiàng)如下所示：

(1)為避免計(jì)算過(guò)程繁瑣，應(yīng)提前確定重疊區(qū)域，降低不匹配率，保證配準(zhǔn)質(zhì)量。

(2)通過(guò)上述檢測(cè)步驟，能夠快速確定相鄰圖像之間匹配關(guān)系。若圖像失真過(guò)高，或因意外情況而造成航線模糊，應(yīng)避免人工干預(yù)，使用人工自動(dòng)計(jì)算方法。

(3)對(duì)于不同模式匹配，在對(duì)時(shí)間要求過(guò)高的情況下，需達(dá)到一定的匹配精度。

2)精配準(zhǔn)。由于粗配得到的結(jié)果僅僅是兩幅圖像之間控制點(diǎn)對(duì)應(yīng)關(guān)系，無(wú)法用于記錄影像細(xì)節(jié)。如果在粗匹配后直接拼接圖像，則結(jié)果將在影像出現(xiàn)錯(cuò)位現(xiàn)象。因此，在完成粗配準(zhǔn)后，進(jìn)入精細(xì)匹配階段。

精配準(zhǔn)注意事項(xiàng)如下所示：

(1)選擇穩(wěn)定且顯著的控制點(diǎn)，增強(qiáng)區(qū)分能力；

(2)遵守配準(zhǔn)均勻性；

(3)選擇的控制點(diǎn)要方便匹配，為后續(xù)影像拼接提供幫助。

3 自動(dòng)無(wú)縫拼接技術(shù)實(shí)現(xiàn)

3.1 最佳拼接線搜索

根據(jù)幾何坐標(biāo)信息，確定圖像間的交疊區(qū)域，尋找最優(yōu)拼接線；通過(guò)動(dòng)態(tài)規(guī)劃方法，確定重疊區(qū)域后，在其內(nèi)部尋找最優(yōu)無(wú)縫拼接線，并確定最佳縫線標(biāo)準(zhǔn)。

在此基礎(chǔ)上，從重疊區(qū)域生成差值影像，再?gòu)牟钪涤跋裰袑ふ易顑?yōu)無(wú)縫拼接線，可減小兩幅原始圖像在拼接線上不同影像點(diǎn)間色差和結(jié)構(gòu)差異。

1)強(qiáng)度初始化:像素對(duì)應(yīng)的無(wú)縫拼接線的強(qiáng)度值為每一像素判據(jù)值，無(wú)縫拼接線當(dāng)前控制點(diǎn)對(duì)應(yīng)其所在的列值；

2)擴(kuò)展:比較標(biāo)準(zhǔn)的三個(gè)像素?cái)?shù)值，添加當(dāng)前控制點(diǎn)強(qiáng)度值，通過(guò)比較相應(yīng)像素點(diǎn)最小強(qiáng)度來(lái)確定實(shí)際擴(kuò)展方向，并更新圖像拼接線列值點(diǎn)；

3)最佳縫合線確定:在所有無(wú)縫拼接線中，找出強(qiáng)度值最小的線，控制像素點(diǎn)的色差和結(jié)構(gòu)達(dá)到統(tǒng)一。

3.2 消除拼接縫

搜索出最優(yōu)無(wú)縫拼接線后，按照該線拼接影像。由于影像之間色調(diào)不同，如果在影像拼接時(shí)采用最優(yōu)無(wú)縫拼接線作為邊界，則影像的內(nèi)容將直接從影像兩面提取出來(lái)。使用最佳的拼接線為中心，設(shè)置有一定寬度緩沖帶，將其與影像的交疊區(qū)域緩沖后，消除明顯縫隙，從而使最優(yōu)無(wú)縫拼接線的信息能夠在影像間順利過(guò)渡。

使用加權(quán)平均融合法，將兩幅影像重疊區(qū)域的像素值乘以各自權(quán)值，再疊加平均融合，由此獲取的重疊區(qū)域加權(quán)融合結(jié)果：

(6)

公式(6)中：ω1、ω2分別表示兩幅影像重疊區(qū)域各自權(quán)值，且滿足：

ω1+ω2=1

(7)

使用該方法能夠快速得到結(jié)果，通過(guò)權(quán)值融合，使重疊區(qū)域色調(diào)平滑過(guò)渡，能消除較為明顯的拼接縫。

3.3 無(wú)縫拼接

影像拼接分為無(wú)人機(jī)運(yùn)行航線拼接和側(cè)面拼接兩個(gè)步驟。通過(guò)航線拼接生成航向拼接序列影像；通過(guò)側(cè)面拼接將不同路徑對(duì)應(yīng)的航線拼接，最終生成無(wú)縫拼接影像。具體拼接過(guò)程如下所示：

1)將最優(yōu)無(wú)縫拼接線作為邊界，只取兩幅影像的內(nèi)容，即最優(yōu)無(wú)縫拼接線相鄰影像內(nèi)容；

2)以所拼接生成的影像為左影像，以航線影像為右影像，根據(jù)最優(yōu)無(wú)縫拼接線拼接相鄰影像；

3)重復(fù)步驟1)～2)，直之航線圖像全部拼接完畢，最終生成拼接影像。

4 實(shí)驗(yàn)結(jié)果與分析

在面對(duì)基于控制點(diǎn)配準(zhǔn)算法的無(wú)人機(jī)遙感影像自動(dòng)無(wú)縫拼接技術(shù)研究過(guò)程中，充分考慮算法優(yōu)劣及使用效果，做了驗(yàn)證實(shí)驗(yàn)，并以此為基礎(chǔ)得到驗(yàn)證結(jié)論。

4.1 實(shí)驗(yàn)步驟和方法

分別設(shè)計(jì)實(shí)驗(yàn)平臺(tái)、實(shí)驗(yàn)對(duì)象及實(shí)驗(yàn)參數(shù)，選取無(wú)人機(jī)遙感影像圖，選取圖像的相同特征匹配控制點(diǎn)，采用不同方法匹配控制點(diǎn)，測(cè)試不同方法的影像分辨率及拼接效果。

4.1.1 實(shí)驗(yàn)平臺(tái)

使用C++語(yǔ)言，調(diào)用opencv庫(kù)函數(shù)作為實(shí)驗(yàn)影像處理的接口函數(shù)。在Windows7 Ultimate操作系統(tǒng)支持下，將影像傳入到CPU為Intel Core2 i5-430M的計(jì)算機(jī)之中，使用NVIDIA GeForce GT 420M顯卡將影像處理結(jié)果顯示在界面上，最后再利用MATLAB R2008b工具統(tǒng)計(jì)結(jié)果，待實(shí)驗(yàn)完成后再轉(zhuǎn)向C/C++開發(fā)平臺(tái)。

4.1.2 實(shí)驗(yàn)對(duì)象

實(shí)驗(yàn)研究主要針對(duì)無(wú)人機(jī)遙感影像拼接，因此選取了某村莊的遙感影像圖，如圖2所示。

圖2 遙感影像圖

通過(guò)低空遙感飛行調(diào)查該區(qū)域格局，分別從兩條飛行帶上相鄰影像圖像中選取至少15～25對(duì)相同特征控制點(diǎn)，如圖3所示。

圖3 相鄰影像圖像相同特征控制點(diǎn)選取

4.1.3 實(shí)驗(yàn)參數(shù)說(shuō)明

對(duì)該地區(qū)航拍影像相關(guān)參數(shù)說(shuō)明如表1所示。

表1 該地區(qū)航拍影像相關(guān)參數(shù)說(shuō)明

4.2 控制點(diǎn)匹配

為了改善控制點(diǎn)分布不均勻情況，需將重疊區(qū)域分塊處理，之后再提取控制點(diǎn)，并將分塊中心加入控制點(diǎn)序列中，得到的控制點(diǎn)匹配結(jié)果如圖4所示。

圖4 控制點(diǎn)匹配結(jié)果示意圖

將分塊中心作為控制中心，能夠改善無(wú)控制點(diǎn)分布情況，在沒(méi)有控制點(diǎn)分布區(qū)域通過(guò)所有連接線建立起來(lái)的匹配信息，可確定區(qū)域格局情況。

4.3 影像分辨率檢測(cè)

匹配控制點(diǎn)后，分兩次檢測(cè)影像分辨率，第一次檢測(cè)結(jié)果如圖5所示。

圖5 第一次檢測(cè)結(jié)果

采用的原始影像分辨率為3 455*2 302，設(shè)縮放因子為0.2，那么第一次檢測(cè)到的影像分辨率為690*460，得到平移參數(shù)為(156，40)，旋轉(zhuǎn)參數(shù)為2.5°。

第二次檢測(cè)到的圖像如圖6所示。

圖6 第二次檢測(cè)結(jié)果

第二次檢測(cè)的影像，無(wú)縮放因子，分辨率為1 000*800，平移參數(shù)為(15,5)，旋轉(zhuǎn)參數(shù)為0°。

結(jié)合這兩次檢測(cè)結(jié)果，給出了如表2所示匹配數(shù)據(jù)。

表2 匹配數(shù)據(jù)

結(jié)合圖6、7和表2可得到較為精確數(shù)據(jù)匹配關(guān)系。

4.4 拼接效果分析

分別使用基于圖像匹配方法和基于控制點(diǎn)配準(zhǔn)算法拼接無(wú)人機(jī)遙感影像，拼接效果如圖7所示。

圖7 兩種技術(shù)拼接效果對(duì)比分析

由圖7可知，使用基于圖像匹配方法出現(xiàn)明顯的拼接縫隙，在縫隙處容易丟失影像信息，因此，使用該技術(shù)拼接效果較差。而使用基于控制點(diǎn)配準(zhǔn)算法沒(méi)有明顯的拼接縫隙，獲取的影像信息較為完整，由此可知，使用該技術(shù)拼接效果較好。

5 結(jié)束語(yǔ)

5.1 結(jié)論

研究了一種基于控制點(diǎn)配準(zhǔn)算法的無(wú)人機(jī)遙感影像自動(dòng)無(wú)縫拼接技術(shù)，在特征點(diǎn)檢測(cè)過(guò)程中，通過(guò)控制點(diǎn)配準(zhǔn)算法檢測(cè)關(guān)鍵點(diǎn)，獲得關(guān)鍵點(diǎn)主要方向，在匹配速度相當(dāng)情況下，獲取精準(zhǔn)匹配結(jié)果。使用該技術(shù)即使在無(wú)地面控制點(diǎn)情況下，也可通過(guò)基于特征點(diǎn)匹配獲取一幅良好無(wú)縫拼接影像，避免使用傳統(tǒng)技術(shù)相對(duì)復(fù)雜且不定性的測(cè)量技術(shù)。通過(guò)該技術(shù)得到的主要研究結(jié)論如下所示：

1)通過(guò)控制點(diǎn)配準(zhǔn)算法，消除影像邊緣因相機(jī)鏡頭而引起的畸變問(wèn)題，能夠獲取真實(shí)影像外方位元素；

2)使用該拼接技術(shù)，與傳統(tǒng)技術(shù)相比，拼接精度獲得了提高；

3)解決了影像上拼接錯(cuò)位問(wèn)題，避免拼接影像重疊，通過(guò)融合處理得到良好拼接消縫效果。

5.2 展望

由于無(wú)人機(jī)機(jī)艙空間有限，只能搭載質(zhì)量較輕的普通功能終端，而這種終端測(cè)量結(jié)果與理想測(cè)量結(jié)果還是存在一定差距的，達(dá)不到高精準(zhǔn)測(cè)繪精度要求。如果將性能好的功能終端與無(wú)人機(jī)遙感集成在一起，可以很大程度地提高影像拼接效果。