密集結構改進雙通道神經網絡的遙感圖像配準

王東振 陳 穎 李文舉 李績鵬

(上海應用技術大學計算機科學與信息工程學院 上海 201418)

0 引 言

遙感圖像是指由航空器或衛星上成像系統獲得的具有地面目標特征的圖像,遙感圖像配準是尋找在不同的時間或不同的傳感器捕獲的圖像對間最佳對齊的過程,目前遙感圖像配準技術已被廣泛應用于地面目標識別、城市和地理變化評價等軍事和民用領域。

目前圖像配準兩類主流的趨勢方法是基于區域或特征的算法。基于區域的配準算法,如Rosenfeld等[1]提出了交叉相關的概念,此類方法是以模板的形式來比較灰度區域間的相似性程度,從而判斷配準位置。基于特征的算法一般采用表示高級信息的特征描述符來實現配準,因此預期在圖像外觀發生變化的配準中更可取。所以在此對現有的一些基于特征的方法進行了介紹和討論。由Lowe等[2-3]提出的SIFT算法運用到圖像配準中所得到的配準結果具有較好的魯棒性,并且該算法對于圖像的旋轉、縮放、尺度變換都具有良好的不變性[4],因此現有的基于特征的圖像配準方法大部分都采用SIFT或其改進算法來檢測特征點。然而若待配準的圖像對之間在外觀上存在顯著地貌上的差異,采用傳統算法檢測出的特征點可能存在較多的外點或檢測到的特征點數量不足,這些問題則限制了傳統算法在具有顯著地貌差異的遙感圖像配準中的應用。

近年來,在計算機視覺等領域對深度學習的運用越來越廣泛起來。針對傳統算法檢測特征點不足問題,由Hamester等[5]在2015年提出了一種新的網絡架構即雙通道卷積神經網絡,其中的一個通道設計為卷積式自動編碼器(CAE),另外一個為CNN的通道將保持不變,最后將來自兩個不同通道所得到的圖像信息融合匯聚在同一個全連接層中,該算法實現了圖像多尺度特征的融合。Liu等[6]提出的雙通道卷積神經網絡(CNN),用于SAR圖像變化檢測,這個網絡模型包含兩個并行的CNN結構,可以從兩個不同時間段的SAR圖像中提取特征,豐富了網絡的提取特征。Gu等[7]提出了由SCNN(單通道卷積神經網絡)和SBNN(單通道二值神經網絡)組成的雙通道卷積神經網絡,該算法實現了不同通道的卷積神經網絡對于圖像提取的局部與全局特征的融合,對于之后的圖像處理如(目標檢測或圖像配準)都會有較好的結果。Bai等[8]基于以往的雙通道卷積神經網絡架構的基礎上,參考稠密網絡結構對雙通道卷積神經網絡各個卷積層的連接方式做出了改變,由之前的順序連接修改為跨連接,增加了特征的重利用率,減少了局部的特征缺失。針對外點問題,提出了一種魯棒點集匹配算法是由Myronenko等[9]提出的一致性點漂移算法(Coherent Point Drift,CPD),該算法對于由于出格點或缺失點等問題所得出的非剛體的配準結果具有較強的魯棒性。

針對傳統算法檢測的特征點不足或具有較多無效的特征點的問題,本文提出對輸入的圖像采用密集結構改進的雙通道卷積神經網絡進行特征提取,生成各自的特征點。然后利用粒子群算法對CPD算法進行改進,對生成的特征點集進行匹配,從而實現圖像配準。通過實驗數據對比表明,本文算法的配準精度比傳統算法的更高。

1 本文配準系統框架

1.1 網絡模型

為了實現圖像配準,本文提出了基于雙通道卷積神經網絡的模型架構,具體的功能結構圖如圖1所示:

圖1 系統功能框架模型圖

(1) 將大小為224×224參考圖像與待配準圖像輸入到由VGG16和VGG19共同組成的特征提取網絡。

(2) 經過特征提取網絡的兩個卷積塊后,進入VGG16和VGG19的第3個卷積塊的卷積層,輸出維度為256,卷積核大小為3×3,步長為1,填充的方式采用“same”,類似操作再重復2-3次,進入VGG16和VGG19的第3個卷積塊的池化層,輸出維度同樣為256,步長為2,采用最大池化,填充方式同樣采用“same”。

(3) 以此類推,分別進入VGG16和VGG19的第4和第5個卷積塊的卷積層和池化層,除了輸出維度均修改成512,卷積層和池化層中各個參數的設置均與步驟2中的相同。

(4) 將參考圖像和待配準圖像在不同通道中的后3個卷積塊得到的相應的特征圖大小28×28×256、14×14×512、7×7×512進行特征融合,并生成相應的特征點集。

(5) 通過使用隨機優化算法改進的CPD,來增加確定參數的可靠的特征點的數量,從而提高特征匹配的精度。最后待配準圖像根據特征匹配得到的仿射變換參數完成配準。

1.2 密集結構改進雙通道網絡

1.2.1雙通道卷積神經網絡

對于傳統采用單通道的卷積神經網絡來說,隨著網絡層數深度的增加,會造成提取的圖像局部特征的缺失,從而影響最終的配準結果。本文提出用VGG16和VGG19構成雙通道卷積神經網絡完成對圖像特征的提取,通過對VGG16包含的第三、四、五卷積塊提取的圖像特征和VGG19相對應的卷積塊提取的特征進行特征融合,實現了網絡提取特征多尺度的融合,豐富了網絡提取的特征,最終圖像配準的效果也越好。

VGG16是其中的一個通道,它所包含的網絡結構和部分參數如下所示:VGG16網絡總共包含五個卷積塊blocki(i=1,2,3,4,5),每個卷積塊中包含若干個卷積層和1個池化層。其中,前兩個的卷積塊(稱為卷積塊A)的結構相同而后3個卷積塊(稱為卷積塊B)的結構也相同,它們之間的連接方式采用依次順序連接。blockiconvi和pooli(i=1,2,3,4,5)分別代表VGG16網絡中不同卷積塊中所包含卷積層和池化層。其中,各個卷積層的卷積核的大小為3×3,步長為1×1,各個卷積塊中卷積核的個數分別為64、128、256、512、512。池化層的步長2×2,池化方式采用最大池化。

VGG19網絡是雙通道網絡模型的另一個通道,它的網絡結構與VGG16區別在于VGG19網絡模型后三個卷積塊中比VGG16網絡各多了1個卷積層。其中,各個卷積層的卷積核的大小、步長、各個卷積塊卷積核的個數、池化層的步長等參數均與VGG16網絡設置相同,池化方式也采用最大池化。

雙通道卷積網絡由Hamester等提出,它的基本思想是特征融合。傳統的單通道卷積神經網絡直接把第n層最后一層的輸出用來完成對于圖像的配準、目標識別和場景分類等。假設雙通道卷積神經網絡中的兩個網絡通道中各包含N層,其中各個通道中的每一層分別都包含一個非線性變換Hn=(*)和非線性變換Gn=(*),n表示網絡中的第n層,Hn=(*)和Gn=(*)代表各種網絡作用,如卷積或池化、歸一化。將第n層的輸出記為Xn,最終的輸出記為Yn,雙通道卷積神經網絡實現了不同通道的多尺度的特征的融合,相關公式如下:

Yn=Hn(Xn-1)+Gn(Xn-1)

(1)

雙通道卷積神經網絡利用對不同通道對圖像提取的特征進行融合,使最終得到的圖像特征更加具有多樣性。本文的雙通道網絡模型是由改進后的VGG16和VGG19兩個通道組成的網絡架構,具體結構如圖2所示。可以看出,VGG16和VGG19網絡都是由2個卷積塊A和3個卷積塊B組成。

圖2 雙通道網絡結構示意圖

使用不同的特征融合網絡結構會得到不同的融合結果,原因在于不同的網絡結構的特征提取能力不同。一般的雙通道網絡模型均采用最后一層融合后的圖像特征做圖像的配準、識別或分類等,但僅采用最后一層提取的圖像特征會造成網絡淺層提取的部分局部特征沒有得到充分的利用。由于兩個VGG網絡相應層采用的卷積核大小及個數均相同,有利于它們之后的特征融合。本文采用將各個通道后3層池化層融合后的特征作為最終的輸出,其建立了不同通道之間的緊密連接,相關公式如下:

A3=H10(X9)+G11(Z10)

B4=H14(X13)+G16(Z15)

C5=H18(X17)+G21(Z20)

(2)

式中:A3、B4、C5分別代表雙通道網絡模型中相應的第3、4和5卷積塊融合后的特征輸出;H(*)和G(*)分別代表VGG16和VGG19網絡中各個層所包含的非線性變換,如卷積和池化等;Xi(i=1,2,…,18)和Zj(j=1,2,…,21)分別表示VGG16和VGG19網絡中第i和j層的輸出。

使用Python、TensorFlow完成VGG16和VGG19提取的特征融合,代碼如下:

def register(self,IX,IY):

#定義圖像配準函數,輸入為參考圖像與待配準圖像

# set parameters

tolerance=self.tolerance

#允許容忍的最小誤差

freq=self.freq

#用于記錄節點的使用頻率

epsilon=self.epsilon

#被定義為最小的數

omega=self.omega

#加權平均數中的權值

beta=self.beta#

lambd=self.lambd#

# resize image

Xscale=1.0*np.array(IX.shape[:2])/self.shape

#計算參考圖像與圖像縮放后的權重比值大小

Yscale=1.0*np.array(IY.shape[:2])/self.shape

#計算待配準圖像與圖像縮放后的權重比值大小

IX=cv2.resize(IX,(self.height,self.width))

#將參考圖像IX的寬和高縮到已經給出的參數大小

IY=cv2.resize(IY,(self.height,self.width))

#將待配準圖像IY的寬和高同樣縮放到已經給出的參數大小

# CNN feature

# propagate the images through VGG16

IX=np.expand_dims(IX,axis=0)

#在IX的第一個

#維度上增加一個新的維度,以使數組維度相匹配

IY=np.expand_dims(IY,axis=0)

#在IY的第一個

#維度上增加一個新的維度,以使數組維度相匹配

cnn_input=np.concatenate((IX,IY),axis=0)

#能夠一次完成多個數組的拼接,即對參考圖像和

#待配準圖像的特征進行融合

with tf.Session() as sess:

#使用with tf.Session()創建

#上下文(Context)來執行,當上下文退出時自動釋放

feed_dict={self.cnnph:cnn_input}

#用feed_dict以字典的方式填充占位

D1,D2,D3=sess.run([

self.vgg.pool3+self.vgg1.pool3,self.vgg.pool4+self.vgg1.pool4,self.vgg.pool5+self.vgg1.pool5_1],feed_dict=feed_dict)

#分別將vgg和vgg1對應的VGG16和VGG19后

#3個卷積塊提取的特征進行融合

圖2中還給出若輸入的圖像為224×224,則各個通道中各個卷積塊相應的輸出特征圖的大小。

1.2.2密集網絡

密集連接卷積網絡由Huang等提出,它的基本思想是采用“全跨鏈”的連接方式。后面每一層的輸入是其之前所有層所得到的特征圖的融合,其建立了高層與之前所有層的緊密連接。

傳統的神經網絡需要將第n層的輸出作為結果輸入到下一層第n+1層。假設神經網絡總共包含N層,其中網絡中的每一層都包含一個非線性變換Hn=(*),n表示網絡中的第n層。Hn=(*)代表各種網絡作用,如卷積或池化,歸一化。將第n層的輸出記為Xn。那么傳統網絡的轉換就可以表示為:

Xn=Hn(Xn-1)

(3)

式中:[X0,X1,…,Xn]為第0,1,…,n-1層網絡層輸出的特征圖。密集連接網絡通過增強提取特征的傳播和重利用,能夠有效地解決由于網絡深度增加造成梯度消失的問題。

1.2.3對Vgg網絡模塊的優化

VGG16是由兩種類型的卷積塊A和卷積塊B組成,圖3和圖4分別為密集網絡改進VGG16單個卷積塊的結構示意圖。改進后的卷積塊仍然由若干個卷積層和一個池化層組成,實現對圖像的特征提取。但是其中前面每一個卷積塊單元最后的輸出結果都與下一個卷積塊單元中的多個卷積層的輸出建立連接,增加了信息的重復利用率。

圖3 VGG16單個卷積塊A的連接示意圖

圖4 VGG16單個卷積塊B的連接示意圖

圖3為密集網絡改進后的卷積塊A模塊,包括2個卷積分支(從上到下依次為第1和第2卷積分支)和一個池化分支,2個卷積分支的卷積核大小和個數均為3×3和64(圖中虛線部分表示省略的卷積核)。可以看出,在池化分支部分使用密集網絡重復利用第一卷積分支所提取到的圖像特征,增加了特征的利用率。

圖4為優化后的卷積塊B模塊,采用部分跨鏈的連接方式將卷積塊中第一層與第二層的特征圖F1、F2結合作為第三層的輸入F3,并將第二、三層得到的特征圖再次結合作為池化層的輸入F4,最后對剩余的卷積塊B做同樣的處理。這樣使網絡能充分利用每一層特征圖的信息,實現提取特征的重復利用,同時這些特征圖的結合并沒有增加網絡的復雜度,相關公式如下:

F1=H(x0)=x1

F2=H(x1)=x2

F3=H(x0)+H(x1)

F4=H(x1)+H(F3)=

H(x1)+H(H(x0)+H(x1))

(6)

式中:Fi(i=1,2,3,4)分別代表第i個卷積層所得到的特征圖的輸入或輸出,H(*)代表該卷積層的非線性操作,包括卷積或歸一化等。xi(i=0,1,2,3)代表第i個卷積層的輸出(i=0時表示上一個卷積塊的輸出)。

使用Python、TensorFlow完成VGG16結構的構建和改進,改進VGG16結構代碼如下:

# 開始構建卷積層

# vgg16的網絡結構

# 第一層:2個卷積層1個pooling層

# 第二層:2個卷積層1個pooling層

# 第三層:3個卷積層1個pooling層

# 第四層:3個卷積層1個pooling層

# 第五層:3個卷積層1個pooling層

# 這些變量名稱不能亂取,必須要和vgg16模型保持一致

# 另外,將這些卷積層用self.的形式,方便以后取用方便

self.conv1_1=self.conv_layer(x_bgr,′conv1_1′)

#第一個卷積塊的第一個卷積層,輸入為原始圖片,

#輸出為卷積操作后的特征圖F1。

self.conv1_2=self.conv_layer(self.conv1_1,′conv1_2′)

#第一個卷積塊的第二個卷積層,輸入為特征圖F1,

#輸出為卷積操作后的特征圖F2。

self.pool1=self.pooling_layer(self.conv1_2+self.conv1_1,′pool1′)

#第一個卷積塊的池化層,輸入為F1和F2

#融合后的特征,輸出為池化操作后的特征圖F3。

self.conv3_1=self.conv_layer(self.pool2,′conv3_1′)

#第三個卷積塊的第一個卷積層,輸入特征圖F6,

#輸出為卷積操作后的特征圖F7。

self.conv3_2=self.conv_layer(self.conv3_1,′conv3_2′)

#第三個卷積塊的第二個卷積層,輸入為特征圖F7,

#輸出為卷積操作后的特征圖F8。

self.conv3_3=self.conv_layer(self.conv3_2+self.conv3_1,′conv3_3′)

#第三個卷積塊的第三個卷積層,輸入為

#F7和F8融合后的特征,輸出為卷積操作后的特征圖F9。

self.pool3=self.pooling_layer(self.conv3_3+self.conv3_2,′pool3′)

#第三個卷積塊的池化層,輸入為F8和F9融合后的

#特征,輸出為池化操作后的特征圖F10。

VGG19同樣是由兩種類型的卷積塊A和B組成。其中,VGG19卷積塊A的結構和改進方式同VGG16的卷積塊A完全相同。VGG19網絡中的卷積塊B,同樣采用部分跨鏈的連接方式將網絡卷積塊中第一層與第二層特征圖F1、F2結合作為第三層的輸入F3,并將第二、三層得到的特征圖再次結合,將得到的結果作為下一層的輸入F4,最后將第三、四層得到的特征圖融合后作為池化層的輸入F5,最后對剩余的卷積塊B做同樣的處理。其中,卷積塊B中前三個卷積層的連接方式與VGG16相同,所以F1到F4公式的表達方式與上一個公式的表達方式相同。特征圖F5的表達公式如下:

F5=H(x0)+H(x1)+H(F4)=

H(x0)+H(x1)+H(H(x1)+H(H(x0)+H(x1)))

(7)

式中:Fi(i=1,2,3,4,5)分別代表第i個卷積層所得到的特征圖的輸入或輸出,H(*)代表該卷積層的非線性操作,包括卷積或歸一化等。xi(i=0,1,2,3,4)代表第i個卷積層的輸出(i=0時表示上一個卷積塊的輸出)。

1.3 基于改進CPD算法的配準

1.3.1CPD算法的介紹

CPD算法是將參考圖像與待配準圖像生成的兩個點集之間的對齊匹配問題轉化為一種求解概率密度估計問題,該算法的基本原理是通過對一個確定點GMM(高斯混合模型)的后驗概率進行求解,使其最大化,從而完成匹配。

在點集匹配中,一般是由兩個點集構成,其中一個是參考點集XN×D(x1,x2,…,xN)T是由參考圖像Ix生成的;另外的一個點集是高斯混合模型的中心點集YM×D(y1,y2,…,yM)T,需要將其向參考點集逐漸逼近。其中,N、M、D分別是參考圖像和待配準圖像生成相對應點集所包含特征點的數量和點集的維數。同時我們將一個均勻分布引入到了高斯混合模型中,是為了消除噪聲等其他相關因素的影響。因此本文最后模型的高斯混合分量總和包含有協方差和混合概率,公式如下:

式中:ρ(x|m)一般是概率密度函數中所包含的基函數,ω(0≤ω≤1)是一個權重參數,m是根據待配準圖像生成相應點集中的第m個特征點,x和y分別代表參考和待配準圖像生成相應點集中的特征點。

高斯混合模型的質心位置可以通過對變換參數θ進行一系列調整從而實現變換,實際上是通過對下面公式中的負對數似然函數進行求解實現最小化,從而完成對這些參數進行估計,公式如下:

式中:θ為待估參數,實際意義為GMM質心位置的變換參數,σ2表示協方差,n是根據參考圖像生成相應點集中第n個特征點。用期望值最大化(EM)算法來得到θ和σ2。

可以看出,權重參數ω在該算法中同樣十分重要,一般來說它的數值是由人工進行隨機給定的,但是如果給定的數值設計不合理,最終將會影響配準結果。本文為了得到合理的ω值,從而提高圖像配準的精度,引入了粒子群算法(PSO)優化算法對ω進行自動尋找最優解。

1.3.2PSO優化的策略

為了解決上述ω值設定不合理的問題,本文首先設計一個準則函數用來對得到的ω值進行判定看是否合理,如果數值并不是十分合理,然后利用粒子群優化算法針對給定的ω值自動尋優。

粒子群算法[10-12]同隨機優化算法中的遺傳算法類似,算法主要步驟如下:首先給定一組隨機解,然后通過迭代運算得到最優解,最后通過準則函數對最終得到的結果進行評價分析。其優勢與遺傳算法相比體現在,沒有遺傳算法的“交叉”和“變異”操作,比較簡單,精度較高,收斂快,并且有較強的局部搜索能力。

為了權重參數ω能夠實現自動迭代尋優,準則函數的選取必須是與ω相關的。這里選用距離誤差作為度量標準,即把兩個點集中對應點的歐氏距離作為準則函數。在實際情況中,點集的匹配過程中可能存在多對一的情況,如果準則函數還對每一個相關的點對做相同的處理,則會造成最后的配準誤差較大,針對這一問題,本文提出按照距離的遠近進行反比例的分配權重。換句話說,距離遠權重小,反之權重大,準則函數公式如下:

式中:N為參考圖像生成點集的特征點數量,i是第幾個特征點,W是權重函數,x是兩個點集中其中一個點集中特征點,Tx是另一個點集中與之相對應的特征點,d是兩個點集中相關對應點對之間的歐氏距離。

式中:Dmax是對應點歐氏距離的最大值。

使用權重參數優化后的CPD算法進行特征點精確匹配,并根據最終的正確匹配特征點求出最終的仿射變換系數,待配準圖像根據該系數進行仿射變換,從而完成對遙感圖像的精確配準。

2 圖像配準過程

本文提出的遙感圖像配準算法的具體步驟如下:

(1) 特征提取。對輸入的圖像對利用訓練好的雙通道卷積神經網絡模型進行特征提取。

(2) 特征融合。將來自兩個不同通道提取的圖像特征進行融合,利用融合后的特征生成相應的特征點集。

(3) 特征匹配。利用一致性點漂移算法對參考圖像和待配準圖像的特征點進行匹配,用來求解最佳轉換參數。

(4) 求解變換模型。計算圖像變換矩陣,待配準圖像根據該仿射系數進行變換,完成遙感圖像配準。具體流程如圖5所示。

圖5 本文方法配準流程

3 實驗與結果分析

本文實驗編譯環境、實驗測試環境和實驗訓練設備條件如表1所示。

表1 各種實驗操作的環境和設備條件

表2 各種權值參數下的誤差值

3.1 數據集和參數設置

首先將預先訓練好的VGG模型在ImageNet數據集上完成對參數進行初始化,然后使用自制的遙感圖像數據集對搭建好的雙通道模型進行訓練,從而得到具有更好配準屬性的多層融合特征。本文數據集構建使用AID數據集中59組多時相遙感圖像對。根據圖像類別可分為如下幾類:野外遙感圖像、城市遙感圖像和景觀圖像。占比最大的是第一類,其余兩類占比小且數量大致相同。其中野外遙感圖像以界限分明的湖泊、河流遙感圖像為主。在59對圖像上分別選擇Z個匹配“種子”圖像塊,其大小為32×32像素。這些“種子”圖像塊對中的每一個都被聲明為代表它自己的類。為了擴展這些類,將K=210個隨機變換應用于每個“種子”圖像塊對。每個變換是多個隨機基本變換的組合,主要包括旋轉、平移、縮放和亮度等。因此,本文構建的自定義數據集共有Z類,每個類包含2K個樣本,并將生成的數據集按照4∶1的比例隨機分成為訓練集和測試數據集。

本文用均方根誤差(Root Mean Square Distance,RMSD)、平均絕對誤差(Mean Absolute Distance,MAD)、均方誤差(Mean Square Error,MSE)等參數數據對圖像配準精度做客觀的評價。所有數據結果均是越小越好,單位是像素。

本文中的實驗參數設置如下:根據經驗得出學習速率一般設置為0.000 9,系統默認動量值和權重衰減值分別為0.9和0.000 5,一般不作修改。雙通道網絡多層特征融合模型在本文構建的數據集上的訓練精度和測試精度如圖6所示。

圖6 數據集訓練精度和測試精度

根據對權重參數ω自動尋優,得出當ω=0.4時效果最好。選取由數據來源GoogleEarth制作成的AID遙感數據集中分辨率均為600×600的湖泊、森林、山巒三種類型的測試圖像對本文的算法的可行性進行驗證,并且選取初始、最佳和最小權重參數進行實驗對比,結果如圖7所示。

(a) 參考圖像

ω=0.9

可以看出,當權重參數ω=0.4時,對應的各個誤差值均取得最小;比初始權重ω=0.9時,RMSD和MAD的誤差損失率分別下降了12.1%和12%;比最小權重ω=0.1時,RMSD和MAD的誤差損失率分別下降了24.1%和27.4%。因此權重參數ω=0.4時,配準效果最好。

3.2 本文實驗結果

為了客觀比較分析,本文通過對比其他三種傳統配準算法和一種深度學習圖像配準方法,并在三組不同地貌差異性的實驗測試圖像對條件下進行對比分析。

圖8展示了三組測試圖像利用本文方法與SIFT算法、文獻[13]、文獻[14]及文獻[15]四種方法的對比試驗,總共三組圖像對的配準結果,其中第一組的圖像對的差異性較小,第二和三組的圖像對在外觀上存在顯著差異。

(a) 參考圖像

3.3 實驗結果分析

第一組來自GoogleEarth的圖像的分辨率大小為600×600且圖像的差異性較小、圖像無亮度和視覺方面的變換,SIFT算法、文獻[13]和文獻[14]采用的是傳統的配準算法,而文獻[15]和本文采用的是通過深度學習完成對圖像特征的提取,根據得到的特征生成相應的特征點之后完成圖像配準。對于上述的4種算法都可以比較不錯的配準結果。對于后兩組的圖像對分別來自高分2號制作的DOTA數據集中分辨率大小為953×1 094和高分3號制作的SAR-Ship數據集中分辨率大小為256×256的圖像且在外觀上存在較大差異。SIFT算法、文獻[13]和文獻[14]等傳統算法在提取特征時可能有較多外點或特征點不足,所以配準效果明顯劣于深度學習算法。文獻[15]僅采用的是VGG單通道網絡對圖像進行配準,本文方法通過密集網絡增加圖像的特征重復利用率,同時使用雙通道網絡結構豐富了提取的圖像特征。通過比較可以看出采用本文的方法所得到的配準效果在局部地區比其他方法的配準效果較好。

本文在所測試圖像上均勻,隨機地選擇10組點用作配準誤差測試,通過計算得出各組的實驗數據如表3所示。

表3 與其他方法定量對比

五種方法的RMSD、MAD、MSE的平均值結果如圖9所示。

圖9 圖像定量分析平均值

通過對上面五組的數據對比得出,本文對比實驗數據RMSD、MAD、MSE三者的均值分別比各種對比實驗中最好的數值平均降低了49%、25%、55%,可以看出傳統算法和采用單通道的卷積神經網絡的配準效果同樣也不如本文的方法。因此,本文的算法具有更好的普適性,采用本文的方法對于具有顯著地貌差異的遙感圖像配準,可以得到較好的配準結果。

4 應用前景

隨著科技的進步,遙感對地觀測技術不斷提高,其已廣泛應用于測繪、水文、氣象、國防、能源、交通等領域。遙感圖像配準導航以其分辨率高、被動工作方式以及機載設備體積小、重量輕等顯著優點在飛行器精確導航領域受到越來越多的重視,成為未來自主導航飛行器的主要方式之一。遙感圖像配準技術是飛行器導航系統的核心,決定了導航系統的總體性能。遙感圖像配準算法的適應性、可靠性、實時性以及定位精度是衡量遙感圖像配準算法的主要技術指標。遙感圖像匹配輔助導航系統中,參考圖是在地面事先制備的衛星遙感圖像或航拍圖像,而實時圖像是飛行器在運動過程中實時獲取的地物景象,由于成像的天氣、時間等自然條件、成像傳感器性能和成像傳感器的姿態差異、地面紋理特征等方面的不同,使得參考圖與實時圖像之間存在著較大的差異。面對飛行器如此復雜的工作環境,研究魯棒性好、實時性高的遙感圖像配準算法,滿足飛行器導航的實際需要,是遙感圖像配準技術研究的核心問題。

對于一艘航行中的船舶而言,最為基礎也最為重要的就是船舶周邊的視景獲取,它能增強船舶對環境的感知能力,對于預判航行軌跡、海事分析、規避碰撞、地貌科學研究以及航海人員的培訓等具有重大意義。船舶圖像系統屬于船舶安全駕駛輔助系統的一種,主要利用圖像處理技術,經過畸變還原、視角轉化、圖像配準、圖像增強等流程實時獲取船舶周邊景象,生成全景圖或視野盲區景象圖,再結合目標識別、檢測和定位等計算機視覺領域的先進技術,形成一套可以輔助航海人員安全駕駛、加強船舶信息化建設的系統。其中,全景圖像配準在船舶圖像系統中有著舉足輕重的地位,它是指將多幅具有部分重疊區域的窄視角圖像進行無縫拼接,生成超寬視場的高分辨率圖像的技術,該技術能夠彌補常規相機的不足,解決人眼視角窄、盲區等問題。

5 結 語

本文提出的遙感圖像配準改進算法主要體現在圖像的特征提取及匹配。算法利用密集結構改進的雙通道卷積神經網絡進行特征提取,豐富了圖像提取特征的同時提高了特征的重復利用率。同時采用隨機優化算法改進的一致性點漂移算法進行特征匹配,提高了特征匹配的精度。實驗表明,所提方法的配準結果具有比其他方法更好的效果。此外,本文方法對發生較大變化的遙感圖像的配準具有更好的魯棒性。