全卷積神經網絡用于遙感影像水體提取

王 雪，隋立春,2,鐘棉卿,李頂萌,黨麗麗(. 長安大學，陜西 西安 7005； 2. 地理國情監測國家測繪地理信息局工程技術研究中心,陜西 西安 7005； . 西安國際港務區規劃局，陜西 西安 70026； . 咸陽職業技術學院，陜西 咸陽 72000)

隨著遙感技術的發展，利用遙感影像提取水體信息是進行水資源調查和監測的重要手段和方法。水體提取的方法較多：基于影像光譜特征的提取方法，如畢海蕓等[1]利用的單波段閾值法、基于閾值的多波段譜間關系法、基于閾值的水體指數法等；基于影像紋理特征的提取方法,如李小濤等[2]利用變差函數來描述影像的紋理特征，根據水體的紋理特征對水體進行提取；還有一類綜合考慮影像的光譜特征、空間特征和紋理特征的面向對象的提取方法，如殷亞秋等[3]把影像分割成不同的對象，利用影像的光譜信息和空間信息，在對象層次上進行水體的提取。

近年來，隨著人工智能、大數據、機器學習技術的發展，一些新型目標提取算法和技術不斷出現，基于全卷積神經網絡(FCN)的遙感影像水體的提取就是其中之一。卷積神經網絡(CNN)[4]的優點在于其多層結構能自動學習的特征，并且可以學習到多個層次的特征；較淺的卷積神經網絡感知域較小，可以學習到一些局部區域的特征，較深的卷積層具有較大的感知域，能夠學習到更加抽象的特征。目前,卷積神經網絡不僅在全圖式的分類上有所提高[5-7],也在局部任務上,如目標檢測上取得了進步[8-11]。

本文提出的全卷積神經網絡算法用于水體目標提取，可以從抽象的特征中恢復出每個像素所屬的類別，使從圖像級別的分類進一步延伸到像素級別的分類。因此，本文提出的算法相對于傳統的目標提取算法有更高的可信度和穩健性。

1 全卷積神經網絡的基本原理

卷積神經網絡是包含卷積層的深度神經網絡模型。卷積神經網絡模型較多，經典的模型有2012年ImageNet比賽冠軍的模型AlexNet[5]、2014年ImageNet競賽的雙雄VGG[6]模型和GoogleNet模型[7]。這些典型的CNN模型中，開始幾層都是卷積層(CONV)和池化層(pool，即下采樣)的交替，然后在最后一些層(靠近輸出層)則是全連接(FC)的一維網絡，這樣將卷積層產生的特征圖就映射成一個固定長度的特征向量。這些典型CNN結構適合于圖像級的分類和回歸任務。由于最后得到的是整個輸入圖像的一個數值描述的概率值，它會將原來二維的矩陣(圖像)壓扁成一維的，從而使后半段沒有空間信息。那么,如何從抽象的特征中恢復出每個像素的所屬類別，即從圖像級別的分類進一步延伸到像素級別的分類，Jonathan Long等提出了全卷積神經網絡(FCN)[12]。

FCN模型將傳統的CNN模型的全連接層轉化成一個個卷積層，這樣所有的層都是卷積層，故稱為全卷積網絡。FCN的構建包括卷積化、上采樣(反卷積)和跳層結構。

1.1 卷積化

卷積化即將傳統的CNN全連接層轉化成一個個卷積層，輸出低分辨率的分割圖像。如圖1所示，以AlexNet模型為例。

圖1 卷積神經網絡構建全卷積神經網絡示意圖

圖1中，CONV1—CONV5為卷積層，同時每層下采樣，圖像尺寸每層降2倍，全連接層FC6、FC7、FC8分別進行了1×1的卷積，卷積化后的核尺寸(通道數、寬、高)分別變為(4096,1,1)、(4096,1,1)和(類別數N，1,1)。

在卷積神經網絡中，卷積計算需要矩陣化[13]，若卷積參數輸入為4×4圖像，輸出為2×2圖像，卷積核尺寸為3×3，邊界填充補零為0，步長為1。則矩陣乘就是將輸入展開為16維向量x，輸出展開為4維向量y，則卷積計算公式如下

y=Cx

(1)

變換后的稀疏陣C由卷積核C′變換而來，C和C′的表達式如下

通過式(1)即可以進行卷積計算。

1.2 上采樣(反卷積)

由于卷積化后輸出的為低分辨率的圖像，前五卷積層降采樣下降32倍，為了解決低分辨率的問題，將低分辨率圖像進行上采樣，輸出同分辨率的分割圖像。上采樣的方法選用雙線性插值反卷積[14]計算。圖2為上采樣示意圖。

圖2 上采樣示意圖

與卷積化一樣，反卷積操作也需要矩陣化，若卷積參數輸入為2×2圖像，輸出為4×4圖像，卷積核尺寸為3×3，邊界填充補零為2，步長為1，則矩陣乘就是輸出展開為4維的向量y，輸入展開為16維的向量x，反卷積計算公式如下

x=CTy

(2)

1.3 跳層結構

由于從32倍下采樣的圖像直接上采樣插值到原始圖像大小，信息量損失較大，結果較粗糙，只能表示出對象的大致形狀。為了解決這個問題，本文提出跳層結構，以精化分割提取的圖像。

3種模型的構建如圖3所示。第1種模型是FCN-32s，是在第7卷積層(CONV7)后直接采用上采樣32倍的結果；第2種模型是FCN-16s，是在第4池化層(pool4)后增一個1×1的卷積層，同時把第7層上采樣2倍，再將二者融合。融合方法是直接進行矩陣對應位置相加，然后對融合的結果Sum(1)進行16倍的上采樣，獲得FCN-16模型；第3種模型是FCN-8s，是在第3池化層(pool3)后增加一個1×1的卷積層，同時對Sum(1)進行2倍上采樣，二者再進行融合得到Sum(2)，對Sum(2)再進行8倍上采樣獲得FCN-8s模型。

2 全卷積神經網絡的模型構建和試驗數據

本文選用VGG16為基本網絡模型來構建FCN模型，使用VGG16作為初始網絡，保留參數；舍棄最后的2個全連接層換為全卷積層，同時追加一個預測卷積層，按照跳層結構的原理，分別構建出FCN-32s網絡模型、FCN-16s網絡模型和FCN-8s網絡模型。

本文的試驗數據包括訓練數據和測試數據。訓練數據是從遙感影像中裁剪出帶有水體的187幅約為500×500像素大小的影像，分辨率約為4 m，為了增加樣本量，進行90°、180°、270°旋轉，總共獲取748幅影像；同時對這748幅影像的水體進行標注，除水體外其他標注為背景，共兩類目標，作為標簽數據；然后對748幅影像數據和標簽數據的70%作為訓練集，30%作為驗證集，引入VGG16構建的FCN-32s、FCN-16s和FCN-8s網絡模型，進行推理和學習，通過參數微調，獲取3種先驗模型，迭代次數均為50 000次。

測試數據是在遙感地圖上裁剪的2幅圖像，這兩幅圖像與訓練數據來自不同區域。一幅背景較簡單，水體形狀比較規則；另外一幅背景比較復雜，水體形狀不規則，如圖4(a)所示。

圖3 FCN 3種模型的構建

3 試驗結果及分析

全卷積神經網絡由前文直接獲取的3種先驗模型進行測試；閾值法的閾值通過隨機在水體區域選取分布均勻的15個點，確定出閾值的范圍進行水體提取；Grabcut[15]通過人機交互界面粗略地畫出前景和背景線，來自動構建高斯混合模型，進行水體提取。幾種方法提取結果如圖4所示。

圖4 幾種方法試驗結果

圖4所列為試驗結果，其中圖4(a)為原始影像，圖4(b)為人工判讀的結果，作為理想的水體區域參考值，圖4(c)為閾值法結果，雖然能提取出水體，速度比較快，方法簡單，但是噪聲比較多,邊緣也不是特別明顯。另外不同的影像閾值是不固定的，每幅影像要重新選擇閾值,通用性差。圖4(d)和(e)均為全卷積神經網絡提取水體，選擇FCN8s和FCN32s兩種模型的測試結果，可以看出FCN8s提取的邊界更清晰，提取得更精細一些，而FCN32s提取結果雖然位置正確，但是比較粗略。圖4(f)為GrabCut提取結果，GrabCut對背景簡單的提取效果比對背景復雜的要好，但是在提取時需要人工交互選取前景和背景，工作量大，泛化能力較差，精度也不是很高，漏掉的比較多，對于水體提取，該方法還需要改進。因此，全卷積神經網絡尤其是FCN8s模型提取水體自動化程度高，效果較好。

4 結論與展望

本文提出了一種全卷積神經網絡模型用于水體目標提取的方法，通過3種模型FCN32s、FCN16s和FCN8s，對遙感影像上的水體目標進行分割提取試驗，通過與傳統的閾值法和基于圖論的GrabCut算法提取水體對比，全卷積神經網絡的FCN8s模型提取結果穩健性較強，泛化能力較好。

隨著人工智能和大數據的崛起，若能利用遙感影像的高光譜數據的特征，并增加基礎地理信息的面狀和線狀地圖信息，構成大數據進行訓練，筆者相信深度卷積神經網絡將在測繪遙感領域發揮出更大的優勢。

參考文獻：

[1] 畢海蕓，王思遠，曾江源,等.基于TM影像的幾種常用水體提取方法的比較和分析[J].遙感信息，2012，27(5):77-82.

[2] 李小濤，黃詩峰，郭懷軒.基于紋理特征的SPOT5影像水體體取方法研究[J].人民黃河，2010，32(12)：5-6.

[3] 殷亞秋，李家國，余濤,等.基于高分辨率遙感影像的面向對象水體提取方法研究[J].測繪通報，2015(1):81-85.

[4] 吳岸城.神經網絡與深度學習[M].北京：電子工業出版社，2016.

[5] KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet Classification with Deep Convolutional Neural Networks[C]∥International Conference on Neural Information Processing Systems.Nevada：Curran Associates Inc，2012:1097-1105.

[6] SIMONYAN K，ZISSERMAN A.Very Deep Convolutional Networks for Large-scale Image Recognition[J].Computer Science,2014(9):1409-1456.

[7] SZEGEDY C，LIU W，JIA Y，et al.Going Deeper with Convolutions[C]∥IEEE Conference on Computer Vision and Pattern Recognition.Santiago：IEEE Computer Society，2015:1-9.

[8] GIRSHICK R，DONAHUE J，DARREL T，et al.Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[J].Computer Science，2013(6):580-587.

[9] GIRSHICK R.Fast R-CNN[C]∥International Conference on Computer Vision.Santiago：IEEE，2015：1440-1448.

[10] REN S，HE K，GIRSHICK R，et al.Faster R-CNN：Towards Real-time Object Detection with Region Proposal Networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39(6)：1137-1149.

[11] HE K，ZHANG X，REN S，et al.Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37(9)：1904-1916.

[12] LONG J，SHELHAMER E，DARREL T.Fully Convolutional Networks for Semantic Segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39(4)：640-651.

[13] DUMOULIN V，VISIN F.A Guide to Convolution Arithmetic for Deep Learning[J].Stat，2016，1050：23.

[14] ZEILER M D，FERGUS R.Visualizing and Understanding Convolutional Networks[C]∥European Conference on Computer Vision.Zurich ：Springer， 2014：818-833.

[15] ROTHER C，KOLMOGOROV V，BLAKE A.“GrabCut”：Interactive Foreground Extraction Using Iterated Graph Cuts[J].IEEE Transactions on Graphics，2004，23(3):309-314.

[16] GARCIAGARCIA A，ORTSESCOLANO S，OPREA S，et al.A Review on Deep Learning Techniques Applied to Semantic Segmentation[J].Computer Science，2017(4):1704.