基于全卷積神經網絡的多源高分辨率遙感道路提取

張永宏，夏廣浩，闞 希，何 靜，葛濤濤，王劍庚

(1.南京信息工程大學 信息與控制學院，南京210044； 2.南京信息工程大學 大氣科學學院，南京 210044)(*通信作者電子郵箱287141243@qq.com)

0 引言

隨著大數據時代的來臨，各種遙感探測衛星陸續發射升空，獲取遙感影像變得容易起來，對遙感影像中感興趣的目標進行提取就成了研究的熱點。道路是現代交通體系的主體，具有重要的地理、政治、經濟意義[1]。從高分辨遙感圖像中對道路進行提取在地圖繪制、災后重建方面有著廣泛的應用。

從高分辨率遙感影像中對道路進行識別和提取經過近些年的發展，目前提出了多種方法。Poullis等[2]結合了Gabor濾波器、張量投票和最優化分割思想對多種數據中的道路進行提取，但對道路相似的背景區域進行分割時效果不好，且道路邊緣提取得不夠精細；蔡紅玥等[3]利用面向對象方法提取道路基元，并采用數學形態學等方法進行優化，這種方法沒有考慮圖像的紋理信息，只是利用形狀特征進行簡單提取，普適性較低；沈照慶等[4]提出基于一對多算法的多種道路支持向量機(Support Vector Machine, SVM)一次性高精度提取的多分類策略，該方法對小樣本道路的識別效果更加明顯，但是較為耗時；王建華等[5]提出加入空間紋理信息的遙感圖像道路提取方法，該方法比不加入空間紋理信息提取精度提高了約5%，但道路邊界提取效果一般；Li等[6]先利用卷積神經網絡(Convolutional Neural Network, CNN)對道路區域進行預測，然后通過改進的線積分卷積算法對原始圖片進行平滑處理，最后再結合一些圖像處理操作將道路網絡提取出來，該方法提取的道路精度更高，但效率較低； Xia等[7]利用深度卷積網絡(Deep Convolutional Neural Network, DCNN)對道路網絡進行提取，該方法可以提取出不同級別的道路，但訓練用時較多。

從上述遙感影像道路提取方法的發展可以看出，傳統方法通過提取底層的視覺特征，如：顏色特征、紋理特征、形狀特征來進行道路識別。由于傳統方法提取的道路特征較為單一，導致其提取精度較低且只能對單張影像進行處理，而深度學習方法能夠有效地提高道路提取精度和提取速度。深度學習是一種具有多個隱藏層的人工神經網絡，它由Hinton[8]提出，通過大量隱藏層對數據進行擬合，在圖像識別、語音分析領域有著廣泛的應用。LeCun等[9]提出的卷積神經網絡在圖像識別及語音分析領域有著廣泛的應用，但傳統的CNN算法在進行目標提取時耗時較長，而Long等[10]提出的全卷積網絡(Fully Convolutional neural Network, FCN)在CNN的基礎上進行改進，并將其應用到了圖像語義分割領域，即對一張圖片上的所有像素點進行分類，以此對一張圖片上的目標進行提取。深度學習的方法以它的高正確率、高普適性及高效性，正在代替和超越半自動道路提取方法在高分辨率遙感影像道路提取領域的應用。本文利用基于FCN的多源高分辨率遙感道路提取模型，對高分辨率遙感圖像中的道路進行提取。實驗結果表明，該方法提取精度提升明顯，且具有較快的處理速度。

1 相關工作

1.1 CNN模型

卷積神經網絡是人工神經網絡的一種，它通過權值共享降低了網絡模型的復雜度，減少了權值的數量，該優勢在網絡輸入是多維圖像時表現得尤為明顯。在CNN中，圖像作為層級結構最低層的輸入，信息依次傳輸到不同的層，通過這種多層的學習可以自動發現數據中的復雜結構，避免了傳統算法中復雜的特征提取過程，其在圖像分類[11-14]、目標檢測[15-16]等問題上有著極為廣泛的應用。

因本文的分類任務較為簡單，只需要將包含道路的圖片篩選出來，故采用經典的LeNet-5來對包含道路的圖片進行分類篩選，LeNet-5結構如圖1所示。

圖1 LeNet- 5結構圖

典型的LeNet- 5模型由四個關鍵部分組成，分別為局部連接、權值共享、下采樣以及多層卷積。卷積神經網絡包括了一個由卷積層和下采樣層組成的特征提取器。在卷積層中，一個神經元只與部分鄰層神經元連接，卷積核通過一組權值和鄰層特征圖的某個局部作卷積運算，即局部連接；然后,將加權值傳遞給一個非線性激活函數，如sigmoid函數或者ReLU函數；同一個特征平面的所有單元共享權值，即共享卷積核，權值共享可以有效減少網絡各層間的連接，同時降低過擬合的風險；下采樣又叫作池化(Pooling)，通過下采樣操作能夠減少模型參數，減少運行時間，常見的兩種下采樣為均值下采樣(mean pooling)和最大值下采樣(max pooling)。而由于單層卷積學到的特征往往是局部特征，在實際應用中大多采用多層卷積來進行全局特征學習。

1.2 Canny邊緣檢測

Canny算子是一種基于最優化思想的邊緣檢測算子，它試圖在抑制噪聲和準確定位之間尋求一種最佳的折中方案。用Canny算子進行邊緣檢測的主要步驟如下：

1)利用高斯濾波器平滑圖像。N維空間正態分布高斯公式如式(1)所示：

(1)

其中:r為模糊半徑;σ是正態分布的標準差。高斯濾波即根據待濾波像素點及其鄰域點的灰度值，按照一定的參數規則進行加權平均，該方法可以有效地去除圖像中的高頻噪聲，同時更好地保留邊緣信息；

2)計算濾波后圖像梯度的幅度和方向。常見的梯度算子有Roberts算子、Sobel算子、Prewitt算子，本文實現Canny算法所采用的梯度算子比較簡單，表達式如式(2)所示：

(2)

其x向、y向的一階偏導數矩陣、梯度幅值及梯度方向的數學表達式如式(3)～(6)所示：

P[i,j]=

(3)

Q[i,j]=

(4)

(5)

Θ[i,j]=arctan(Q[i,j]/P[i,j])

(6)

3)對梯度幅度應用非極大值抑制；其過程是找出圖像梯度中的局部極大值點，把其他非局部極大值點置零，以得到細化的邊緣。通過對梯度幅值進行非極大值抑制來找出梯度的局部極大值點，將其他非局部極大值點置零來得到細化的邊緣。

4)用雙閾值算法檢測和連接邊緣；選用兩個閾值T1和T2(T1>T2)，T1用來找到每一條線段，T2用來在這些線段的兩個方向上延伸尋找邊緣的斷裂處，并連接這些邊緣。通過兩個閾值T1和T2來進行邊緣處理，T1的作用是尋找每一條線段，T2的作用是延伸每條線段，使得線段連續起來。

1.3 精度評估方法

本文采用語義分割常用的三種度量方式來評估不同算法在此次實驗上的表現，即：

1)像素精度(Pixel Accuracy, PA)。PA是語義分割最簡單的度量，為標記正確的像素占總像素的比例:

(7)

2)均像素精度(Mean Pixel Accuracy, MPA)。MPA是PA的一種簡單提升，即計算每個類內被正確分類像素數的比例，之后求所有類的平均值。

(8)

3)均交并比(Mean Intersection over Union, MIoU)。MIoU為語義分割的標準度量，其計算真實值(ground truth)和預測值(predicted segmentation)的交集、并集之比，之后求平均值。

(9)

2 全卷積神經網絡道路提取算法

對于高分辨率遙感圖像道路提取任務，基于FCN的多源高分辨率遙感道路提取流程如圖2所示。為了提高模型的普適性，本文選用兩種高分辨率衛星圖像作為輸入源，首先，對高分二號和World View圖像進行分割，調整成合適的尺寸來適應網絡結構。為了提高FCN對于道路的提取速度，本文先采用CNN對分割出的圖像進行分類篩選，剔除掉非道路區域圖像來減少FCN對非道路圖像的處理時間。為了增加輸入特征的多樣性，本文采用Canny邊緣檢測算子對篩選出的道路圖片進行處理，將檢測出的邊緣特征圖像結合RGB和灰度圖像一起放入FCN中進行訓練，之后用訓練好的模型對道路進行提取。

2.1 FCN模型

FCN在現有的網絡上進行微調，如AlexNet[9]，GoogleNet[10]以及VGGNet(Visual Geometry Group Net)[11]，使得微調后的網絡模型可以對圖像進行像素級分類。全卷積神經網絡與卷積神經網絡相比，在結構上有了一些變化，主要體現在卷積層后的網絡結構上。傳統的卷積神經網絡在卷積層之后通常連接的是幾層全連接層(fully connected layers)，全連接層將卷積層產生的特征圖(feature map)映射成固定長度的特征向量，最后以概率值的方式輸出圖像的分類結果。而Long等[10]將傳統CNN中的全連接層改為反卷積層，采用反卷積層對不同卷積層輸出的特征圖進行上采樣，使圖像恢復到原始輸入圖像大小，且每個像素都有一個預測結果。相較于CNN而言，FCN模型的輸出結果由單一的分類概率變成了與原圖尺寸一致的語義分割圖，分割圖中的每個像素對應其所屬類別。FCN的網絡結構如圖3所示。

圖2 道路提取流程

圖3 FCN網絡結構示意圖

2.1.1 上采樣

在全卷積網絡模型中，下采樣層縮小了輸入圖像的尺寸，要想得到一張與輸入圖像大小一致的圖像，則需要將熱圖(heat map)擴大相應的倍數，這個擴大的過程在FCN模型中叫作上采樣(Upsampling)。上采樣中最為核心的步驟叫作反卷積(Deconvolution)，反卷積的作用與卷積恰恰相反，以卷積核大小為4×4的卷積層為例，輸入大小為5×5，卷積步長為1，卷積輸出為2×2，而反卷積則與之相反，使得2×2的輸入還原成5×5的輸出。卷積與反卷積示意圖如圖4所示。

圖4 卷積與反卷積示意圖

2.1.2 多尺度特征融合

FCN中有5個2×2的下采樣層，圖像經過每個下采樣層后分辨率都會降低，故最后一層卷積層輸出的特征圖分辨率會很低，細節特征不明顯，若直接對特征圖進行32倍上采樣，則獲得的圖像精度不高，而且邊緣比較粗糙。Long等[10]提出了多尺度特征融合的FCN結構，結合不同下采樣層輸出的特征圖進行融合，使得模型在細節處理上能力更強。FCN有5個下采樣層，每個下采樣層之前有若干個卷積層，最后一層的輸出圖像為熱圖(heat map)。FCN有三種不同的特征融合方式，直接將熱圖進行32倍上采樣的方法叫作FCN- 32s；將熱圖進行2倍上采樣，與第四層下采樣層輸出的特征圖進行融合，再進行16倍上采樣的方法叫作FCN- 16s；將FCN- 16s的特征圖進行2倍上采樣，與第三次池化層輸出的特征圖進行融合，再進行8倍上采樣的方法叫作FCN- 8s，圖5為FCN多尺度特征融合示意圖。

2.2 基于FCN的多源道路提取

本文基于FCN的多源遙感道路提取方法的多源性在于：1)多數據源，本文采用高分二號和World View高分辨率遙感數據作為訓練集，模型通過處理這兩種不同衛星源的數據可以學習到不同衛星源數據的特征，使得該模型普適性更高；2)多特征輸入源，訓練集中的圖片有四類，在原有的RGB圖以及道路標簽圖的基礎上，新增了經過Canny算子檢測的道路邊緣信息圖和灰度圖，將這四類圖片一同作為訓練的輸入數據，為道路提取提供了更豐富的特征信息。

圖5 多尺度特征融合示意圖

本文的FCN模型基于VGG- 19 Nets進行改進，共19層，前16層為卷積層，后3層為反卷積層。選擇ReLu作為模型的激活函數，其數學表達式如式(10)所示：

h(x)=max(0,x)

(10)

相較于sigmoid和tanh激活函數，ReLu可以很好地解決反向傳播中梯度消失的問題，并且可以減少參數之間的依存關系，緩解過擬合問題的發生；損失函數(loss function)用來評估模型預測值和標簽值的差別，損失函數的值越小，模型的效果就越好，模型的訓練過程就相當于損失函數求最優解的過程，本文采用softmax交叉熵函數作為模型的損失函數，其數學表達式如式(11)所示：

(11)

其中：wij表示第i個神經元的第j個權重；b為偏置；zi表示該網絡的第i個輸出；ai表示softmax的輸出值，即對應了每個像素點的預測值；yi表示真實的分類結果，即每個像素點的標簽值。訓練過程中加入了Dropout，目的是使模型在每次訓練時隨機讓某些隱藏層節點不工作，這種方法可以有效地減少每次訓練迭代中參數的個數，防止過擬合現象的發生。

模型在預測時，同時讀入RGB、灰度圖和邊緣檢測圖，三個卷積通道分別對RGB、灰度圖和邊緣檢測圖進行特征采樣，在卷積通道的末端輸出三張熱圖，將這三張熱圖進行加權疊加，合并成一張熱圖后輸入到反卷積通道，采用FCN- 8s的特征融合方式，對熱圖和下采樣圖進行特征融合，之后通過上采樣輸出一張結果圖。模型預測示意圖如圖6所示。

3 實驗結果與分析

本次實驗采取Windows下的tensorflow機器學習框架，使用Anaconda軟件進行程序編寫,實驗平臺的配置如下：CPU為Inter Xeon E5-2650 3.5 GHz，GPU為Nvidia Titan X 12 GB。

3.1 實驗數據

在深度學習的分類算法中，訓練集的質量直接決定了訓練出來模型的好壞。本文為了增強模型的普適性及魯棒性，故采用了兩種高分辨率遙感衛星數據，即高分二號數據和World View數據。高分二號遙感圖像由西藏高分中心提供，共33景圖像，分為4 m多光譜圖像和1 m全色圖像；World View遙感圖像為下載所得，共30景，分為1.8 m多光譜圖像和0.5 m全色圖像。本次實驗區域選擇西藏日喀則地區，目的是為了減少云層對實驗的干擾。訓練集分為原始圖像(包括RGB、Gary及邊緣特征圖像)和與之對應的標簽圖像。根據手動劃分的矢量文件制作標簽圖像，令道路的灰度值為120，其他區域灰度值為0。為了節省內存并適應網絡結構，將訓練圖片裁剪成100×100的圖片進行訓練，本次實驗共選取12 000對原始圖像和標簽圖像，其中訓練集為10 000對，驗證集為2 000對，且訓練集和測試集不重復，圖7為訓練集數據。

圖6 模型預測示意圖

圖7 訓練集數據

3.2 實驗結果與分析

為了驗證多衛星源輸入對訓練結果的影響，本文將對比單個高分衛星圖像作為輸入和兩種衛星圖像一起投入網絡作訓練的效果，分3種制作訓練集方法，即：1)方法1：訓練集全部采用高分二號圖像；2)方法2：訓練集全部采用World View圖像；3)方法3：高分二號和World View圖像以1：1的比例制作訓練集。不同輸入比例的訓練收斂速度對比如圖8所示。

圖8 不同數據比例訓練收斂速度對比

從圖8中可以看出，方法1、方法2只采用一種高分辨率圖像作為訓練集時，訓練迭代次數較多，這是因為單種數據源的特征信息較少，模型需要大量的迭代計算來獲得更多的圖像特征；在這三種方法中，方法3的迭代效率明顯高于方法1和方法2，這是由于加入了適當比例分辨率較低的圖像作為補充，模型可以同時對兩種不同分辨率圖像進行特征提取，故本文將采用方法3的訓練集制作方式來進行模型的訓練。

本次實驗模型基于FCN- 8s，為驗證該方法在高分辨率遙感影像道路提取上的效果，將其與傳統的分水嶺算法、支持向量機算法進行對比，然后再與深度學習中FCN的3個變種FCN- 8s、FCN- 16s、FCN- 32s進行對比。最終的分類結果對比如圖9所示。從圖9中可以看出：傳統方法中，SVM算法提取出的道路網絡更接近于標簽圖片，但SVM算法和分水嶺算法都會誤將與道路顏色相近的空地識別成道路；FCN的三種方法中，FCN- 8s取得了較好的分割效果，但道路的邊緣信息提取得不夠準確，而由于特征融合的效果不好，FCN- 16s和FCN- 32s道路提取的效果較差；本文方法在FCN- 8s的基礎上加入了Canny邊緣檢測信息，結果顯示，該方法能夠有效優化道路邊緣細節，且道路網絡提取完整。

圖9 不同方法分類結果對比

將本文提出的基于FCN的多源遙感道路提取方法與其他幾種具有代表性的道路提取方法進行比較，如基于模式識別的SVM算法、基于數學形態學的分水嶺算法和傳統的FCN算法，結果如表1所示。數據分析顯示，本文方法取得了88.5%的道路提取精度，較傳統的分水嶺算法和SVM算法提升了超過20個百分點，且處理速度上大幅領先；而FCN的三個變種FCN- 32s、FCN- 16s、FCN- 8s中表現最好的是FCN- 8s，達到了74.7%的道路提取精度，但處理速度在這三種方法中最慢；本文方法在FCN- 8s模型上進行改進，在道路提取精度上較FCN- 8s提升了約14個百分點，道路提取速度也提升了30%左右。總體看來，本文基于FCN的多源遙感道路提取方法在道路提取精度和處理速度上都得到了明顯的提升。

表1 不同方法道路提取精度和測試用時對比

4 結語

針對半自動道路提取方法存在著提取精度較低、提取速度較慢的問題，提出了一種基于全卷積神經網絡的道路提取方法。該方法的優點在其精確、快速的道路提取能力。與此同時，該方法還有許多問題值得進一步研究，如：1)如何將提取單一的道路信息擴展到提取更多的地物信息；2)怎樣加入更多特征信息圖片來進一步提升該方法的準確率。