基于CNN的多尺寸航拍圖像定位方法的研究與實現

潘海俠， 徐嘉璐， 李錦濤， 王赟豪， 王華鋒,2,*

(1. 北京航空航天大學軟件學院， 北京 100083; 2. 北方工業大學信息學院， 北京 100144)

航拍圖像定位大多利用航拍圖像的絕對定位。匹配方法中基于特征點的匹配應用最為廣泛，適合匹配的特征點有邊緣特征[1-3]、點特征[4-6]和區域特征[7-9]等。根據特征空間的不同，基于特征點的匹配方法分為基于特征點局部灰度區域描述符的匹配方法和基于特征點空間結構信息的匹配方法?；谔卣鼽c局部灰度區域描述符的匹配方法是指在匹配時提取以特征點位置為中心的局部區域灰度信息的某類特征作為描述符進行相似性度量，如提取局部區域 128 維特征向量作為描述子進行匹配的SIFT 特征點匹配[7]等?；谔卣鼽c空間結構信息的匹配方法是指僅利用特征點的空間結構信息進行相似性度量，如基于邊緣點集的 Hausdorff 距離匹配[10-13]、基于形狀上下文特征匹配[14-15]等。

近年來，卷積神經網絡(Convolutional Neural Network，CNN)[16]在圖像領域有很好的表現。其中，OverFeat[17]獲得了極具競爭力的結果，其運用卷積網絡有效實現了一個多尺寸輸入的滑動窗口方法，可用于圖像分類、目標定位和檢測任務?；贑NN善于學習圖像高層次特征的特點，科研人員希望利用CNN將航拍圖像定位問題轉化為圖像分類問題，利用飛行區域的全部信息訓練卷積網絡，對航拍圖像直接進行分類。本文將航拍圖像定位問題轉化為了一種圖像分類問題，基于AlexNet提出了一個融合顯著性特征的全卷積網絡模型，同時自行制作了航拍圖像數據集，提出一種鄰域顯著性參照定位策略來篩選分類結果，從而實現多尺寸航拍圖像的定位。實驗結果表明，本文模型提取圖像特征的能力好于傳統方法。同時，多尺寸航拍圖像定位實驗驗證了本文方法的準確率。

1 多通道全卷積網絡模型

本文在AlexNet[12]的基礎上進行網絡結構的改進，設計了一種基于特征融合的多通道全卷積網絡模型，稱為multi-channel AlexNet-FCN，其是有效支持多尺寸輸入的滑動窗口分類器。

1.1 AlexNet-FCN

AlexNet規定輸入圖像大小為224×224，當輸入更大尺寸的圖片時，網絡會先將輸入圖片尺寸調整成規定大小。為了適應多尺寸輸入，本文使用類似OverFeat[18]的方法，將AlexNet轉換為全卷積形式的AlexNet，稱為AlexNet-FCN，使其變為一個可以輸入任意的不小于規定大小圖像的滑動窗口分類器。

1.2 FCN的滑動窗口形式

全卷積網絡在以滑動方式應用時本質上是高效的，因為窗口自然地共享重疊區域上共有的計算。對于AlexNet-FCN，滑動窗口大小為224×224，滑動窗口步長為32。

輸入一張256×256大小的圖像時，輸出是一個N(類別個數)個通道的2×2大小的類別得分矩陣，如圖1所示。相當于在圖像的垂直方向和水平方向上各進行2次滑窗，每個窗口分別映射到輸入圖像中的一個224×224大小的區域。

圖1 FCN滑動窗口形式Fig.1 FCN sliding window

1.3 顯著性特征圖突出稀疏的顯著性區域

航拍圖像含有大量的不顯著特征，而不顯著特征在不同航拍區域中可能差異很小，將稀疏的顯著性區域突出為前景有助于提取可區別的特征。使用 Image Signature[14]來標記航拍圖像中稀疏的顯著性區域，并生成顯著性特征圖(見圖2)，用以進行后續的特征融合。

圖2 航拍圖像的顯著性特征圖Fig.2 Saliency feature map of aerial image

1.4 multi-channel AlexNet-FCN結構

基于特征融合的思想，本文提出了一種稱為 multi-channel AlexNet-FCN的多通道特征融合CNN模型，結構如圖3所示。原始RGB航拍圖像與其單通道特征圖(本文使用Image Signature[14]生成顯著性特征圖)組合為一個四通道的輸入層，經過卷積核為1×1的卷積層進行降維，將降維后的三通道特征圖輸入AlexNet-FCN。

圖3 Multi-channel AlexNet-FCN示意圖Fig.3 Schematic diagram of multi-channel AlexNet-FCN

2 鄰域顯著性參照定位方法

針對包含多網格區域的航拍圖像，本文提出了一種多尺寸圖像定位方法，稱為鄰域顯著性參照定位方法。

由于航拍圖像中區域的連續性，一個正確預測的區域類別，其周圍也應該存在正確預測的區域。基于鄰域參照的思想，某個被預測區域的相鄰區域的顯著性越強，可以判斷此區域越可能是正確的預測。因此本文提出了一種基于聯通區域分析(connected-component analysis)和最大投票(majority vote)思想的鄰域顯著性參照定位方法，通過區域及其鄰域信息來篩選分類結果，從而提高航拍圖像定位的準確性，其主要包括4個步驟：類別得票數統計、區域顯著性權重計算、預測概率鄰域顯著性參照加強和聯通區域分析。

2.1 類別得票數統計

對于全卷積網絡輸出的類別得分圖(class score map)，將每個位置的所有通道中得分最高且大于閾值的類別作為一個預測分類結果。統計由類別得分圖得到的所有分類結果，得到輸入圖像可能包含的若干個區域的類別及個數，并用一個表示網格區域類別間的真實位置關系的投票矩陣(vote map)來描述，投票矩陣中每個位置的值等于該位置所代表的區域類別的預測個數，未被預測的類別值為0。

2.2 區域顯著性權重計算

為得到所有網格區域的顯著性權重，先將恰好包含所有網格區域的航拍圖像混合顯著性特征圖(Image Signature[14])輸入訓練好的multi-channel AlexNet-FCN，得到投票矩陣。由于越顯著的區域越容易被識別，而投票矩陣描述了每個區域的判別個數，可以認為投票矩陣中每個位置的值表示了該區域的顯著性高低，因此本文提出了一種區域顯著性權重計算方法:

(1)

式中：?(x,y,i,j)∈vote map代表網格區域中的一個位置;vi,j為區域判別個數；wi,j為計算顯著性權重。

由此得到所有網格區域的顯著性權重矩陣(saliency weight map)，其大小與投票矩陣相同。一個如圖4(a)所示的投票矩陣的三維曲面圖，得到的顯著性權重矩陣如圖4(b)所示。其中，x、y代表相對位置，在投票矩陣中，z軸為投票矩陣中該位置所代表的區域類別的預測個數，顯著性權重矩陣中z軸為顯著性權重。

圖4 三維曲面樣例Fig.4 3D surface sample diagram

2.3 預測概率鄰域顯著性參照加強

測試時，將大于224×224的航拍圖像混合顯著性特征輸入訓練好的網絡，得到輸入類別得分圖及投票矩陣，已知投票矩陣中每個位置代表一個區域，對于任意區域，其預測概率為

(2)

式中：Pi,j為預測概率。對每個位置(i,j)∈vote map(見圖5)，有8個鄰域，組成鄰域預測概率的集合為：Gi,j={Pi-1,j-1，Pi-1,j，Pi-1,j+1，Pi,j-1，Pi,j，Pi,j+1，Pi+1,j-1，Pi+1,j，Pi+1,j+1}。2.2節中得到的領域顯著性權重：Si,j={Wi-1,j-1，Wi-1,j，Wi-1,j+1，Wi,j-1，Wi,j，Wi,j+1，Wi+1,j-1，Wi+1,j，Wi+1,j+1}，其中不在投票矩陣中的鄰域的概率和顯著性權重均設置為0。

對?(i,j)∈vote map，根據該位置及其8個鄰域的預測概率，以及顯著性權重，計算其加強概率為

(3)

標準化后得到

(4)

為加強概率。

圖5 顯著性權重示意圖Fig.5 Schematic diagram of saliency weight

2.4 聯通區域分析

已知概率矩陣中所有不為0的位置組成若干連通區域，由于航拍圖像中區域相鄰的特性，可以認為概率矩陣中擁有最大概率和的連通區域所包含位置的類別即為輸入航拍圖像的定位結果，并且按照聯通區域中每個區域的概率高低排列定位結果的優先級，概率越高優先級越高。若不存在唯一的擁有最大概率和的連通區域，則對概率矩陣反復進行鄰域顯著性參照加強，直到得到唯一連通區域。

例如，一個概率矩陣的熱力圖如圖6所示。其中,x、y軸表示相對位置，z軸表示熱力值，熱力值越高且越聚集的位置可判斷為預測正確的區域，即擁有最大概率，可得按照概率降序的定位結

圖6 概率矩陣熱力圖Fig.6 Heat map of probability matrix

果為{12×15,11×15,12×17,12×16,11×16,11×17,10×15}。

3 實驗與結果分析

3.1 數據準備

本文從Google Earth 軟件獲取了黑龍江省哈爾濱市地區某2個不同時間下的衛星圖像作為航拍數據，區域范圍如圖7所示。將圖像劃分為37×27(行×列)個大小相同的正方形網格區域，每個區域圖片像素值為256×256。為了后續數據增強的需要，去掉最外層網格后共得到35×25張圖片，作為要分類的875類區域，每一類圖片用其所在行列號標記。

本文采用了一種填充周圍真實區域的旋轉方法對圖像進行隨機旋轉，同時對圖像進行一定范圍內的隨機顏色抖動，以及對圖像進行一定范圍內的高斯模糊和椒鹽噪聲，用以增強數據并模擬真實環境。

通過以上方法，將每類數據的數量增加到500張，得到875類區域的數據共437 500張，其中訓練集、驗證集、測試集比例為8∶1∶1。

圖7 哈爾濱市的航拍圖像Fig.7 Aerial image of Harbin

3.2 單尺寸訓練與對比實驗

采用3.1節中的數據集作為訓練集，網絡定義輸入大小為224×224，當訓練時輸入大于定義的圖片時，先將輸入圖片做224×224的隨機裁剪。本文訓練集大小為256×256，經過隨機裁剪后進行訓練，可以增強網絡對局部圖像信息的分類能力，提高準確率。本文在單尺寸下分別訓練了AlexNet-FCN和multi-channel AlexNet-FCN，在訓練multi-channel AlexNet-FCN時，分別混合Hog[19]和LBP[19]特征作為網絡的輸入。

為了驗證第2節設計訓練的卷積網絡對單一網格圖像的分類能力，并與傳統方法進行對比，本文從Google Earth上再次獲取了3.1節中地區的另一時間的衛星圖像，并劃分為同樣的875個網格圖像，將每個網格圖像進行一次隨機旋轉來模擬某時間下無人機飛行時的航拍圖像。將旋轉后的875張圖像作為查詢圖像集，將3.1節中875類內部數據的原始網格圖像作為標準圖像集，這樣每張查詢圖像都與某兩張標準圖像所屬類別相同。分別將查詢圖像集輸入訓練好的AlexNet-FCN 和 multi-channel AlexNet-FCN，得到每張查詢圖像輸出的類別得分圖，其中數值越大的類別越可能是該查詢圖像的所屬類別。對每張標準圖像和查詢圖像分別用具有旋轉不變性的SIFT[7]、SURF[8]、ORB[9]提取特征，并計算每張查詢圖像與標準圖像的相似度，相似度越高代表兩張圖像越相近，越可能是同一類別。統計得到查詢圖像集的準確率如表1所示，可知使用CNN對單一網格圖像進行分類的效果遠好于傳統特征，且 CNN對每張航拍圖像的平均處理速度遠快于傳統方法；在CNN模型中，混合顯著性特征的multi-channel AlexNet-FCN具有最好的分類效果，其準確率達到了95.4%。

在查詢圖像集中隨機選取10類區域，并分別旋轉50個角度來模擬飛行時采集的航拍圖像，作為表1中4種全卷積網絡的輸入，4個全卷積網絡模型的ROC曲線如圖8所示。分類器越靠近左上方，性能越好，可以看出multi-channel AlexNet-FCN效果最好。

表1 查詢圖像集準確率Table 1 Query image set accuracy

圖8 ROC曲線Fig.8 ROC curves

3.3 多尺寸航拍圖像定位實驗

為了驗證本文方法對多尺寸航拍圖像的定位能力，對使用鄰域顯著性參照定位策略和不使用鄰域顯著性參照定位策略2種方法進行了對比實驗。

召回率和準確率是2種常用的精度指標。準確率即正確的正例的數量與被歸類為正例的數量的比，其值越高則代表定位識別率越精準。召回率也稱查全率，是真正例數與真正例、假反例數之和的比值，該值越高則代表識別結果查全效果越好。二者共同反映了識別的效果。

本文從Google Earth上獲取了圖7所示區域的另一時間的衛星圖像，通過第2節的方法得到投票矩陣。使用鄰域顯著性參照定位策略得到概率矩陣，對概率矩陣進行基于最大投票的連通區域分析。分別取每張測試圖像定位結果中優先級最高的k個類別作為識別結果，對于圖像所包含的占整個網格區域某個比例范圍的若干區域，分別計算其準確率與召回率，其中k的最大值為測試圖像能包含的完整網格區域的最大個數。分別截取512×512大小和768×768大小的測試集，當閾值為0.99時，2種方法得到的top-k下的平均準確率如表2和表3所示，平均召回率如表4和表5所示。

從實驗結果可知，在多尺寸航拍圖像定位中，使用鄰域顯著性參照定位時效果更好，即對于航拍圖像，本文方法可以準確識別出其包含的大部分區域的類別，且圖像包含的上下文信息越多，定位準確率越高。

表2 航拍圖像為512×512大小時top-k下的準確率Table 2 Accuracy at top-k when aerial image size is 512×512

表3 航拍圖像為768×768大小時top-k下的準確率Table 3 Accuracy at top-k when aerial image size is 768×768

表4 航拍圖像為512×512大小時top-k下的召回率Table 4 Recall rate at top-k when aerial image size is 512×512

表5 航拍圖像為768×768大小時top-k下的召回率Table 5 Recall rate at top-k when aerial image size is 768×768

4 結 論

本文利用飛行區域的全部信息將航拍圖像定位問題轉化為了圖像分類問題，通過使用飛行區域內帶有位置標記的網格圖像制作訓練集?；贏lexNet提出了一種融合顯著性特征的多通道全卷積網絡模型(multi-channel AlexNet-FCN)，實現了一個支持多尺寸輸入的滑動窗口分類器，并提出了一種鄰域顯著性參照定位策略來篩選分類結果，從而實現多尺寸航拍圖像的定位。實驗證明，本文方法訓練的卷積網絡對單一網格圖像分類準確率可以達到95.4%，實現了多尺寸航拍圖像包含的大部分網格的準確定位,很好地適應了航拍圖像的旋轉特性。后續可以通過擴充更多時間和尺度的數據集，來提高卷積特征對航拍圖像的適應能力。