基于全卷積神經網絡的灌區無人機正射影像渠系提取

張宏鳴 王 斌 韓文霆 楊江濤 蒲 攀 蔚繼承

(1.西北農林科技大學信息工程學院， 陜西楊凌 712100； 2.西北農林科技大學機械與電子工程學院, 陜西楊凌 712100；3.西北農林科技大學水利與建筑工程學院， 陜西楊凌 712100)

0 引言

灌溉渠系作為現代農業最主要的水利設施，對農業高效節水灌溉具有重要意義。隨著農業節水理論研究的不斷深入，農業節水正趨于精準化和可控化。多級灌溉渠系(干、支、斗、農、毛)作為灌區農田重要的輸、配水設施是實現灌區精細化管理的關鍵[1]。因此，快速準確獲取大范圍渠系分布情況顯得尤為重要，完善渠系信息的分布研究也是解決我國水資源短缺和節水問題的先決條件[2]。無人機技術作為獲取地理信息的前沿技術，具有數據客觀、現實性好等優點，能夠在短時間內獲取較大面積的精準地形數據。可以通過無人機獲取高分辨率遙感影像資料[3]，為后期的數字化技術提供豐富的地理信息，以實現農業的精準灌溉[4]。

通常，主要通過數字高程模型(Digital elevation model，DEM)[5]或遙感圖像進行灌溉渠系的提取[6-8]。文獻[9]基于DEM數據通過改進霍夫變換方法進行渠系輪廓提取，但僅在渠系特征明顯地區提取效果較好，較難提取人造渠系網絡。并且，使用DEM作為數據源是通過模擬水流的方式進行渠系提取，該方法需要人為預設渠系的起點位置，結合水流流向獲取匯水面積進而劃分流域信息，達到渠系提取目的。而河套灌區渠系在凍土時期處于少水或無水狀態，因此該提取方法受季節環境影響，存在一定的局限性。遙感圖像分類的常用算法[10-12]包括最大似然法、K-means算法、支持向量機(Support vector machine，SVM)等。文獻[13]在DEM基礎上通過SVM模型提取灌區渠系輪廓，該方法對大部分支渠、斗渠提取效果良好，但對農渠提取效果較差，并且在圖像預處理(樣本點選取、閾值尋優)、后處理(斷線連接)過程中人工干預較多。

卷積神經網絡(Convolutional neural networks，CNN)是深度學習模型中一種包含多個卷積層的人工神經網絡模型，主要用來識別二維圖像[14]。CNN模型的優勢在于權值共享，自動學習多層次特征并調節網絡參數，比傳統的機器學習具有更強的特征學習和特征表達能力[15-19]。近年來，CNN模型憑借特征自提取的特點在圖像領域中廣泛應用，一些學者已經將其應用在遙感領域當中[14-19]。文獻[20]提出在開放街道地圖(Open street map，OSM)中應用CNN模型進行立交橋交叉結構分類。該方法將矢量數據與柵格圖像相結合，利用CNN模型學習立交橋類型的高層次模糊性特征，并對OSM中的復雜交叉結構進行分類，取得了較好的效果。但由于灌區正射影像中渠系、田間小路交錯分布，且特征相似，同譜異物現象較為嚴重，使用CNN模型不能對二者進行有效區分。文獻[21]在CNN模型的基礎上，提出用全卷積神經網絡(Fully convolutional networks，FCN)模型進行像素級別的分類，從而有效地解決了語義級別的圖像分割問題。基于該網絡可從抽象的特征中恢復出每個像素所屬的類別，即從圖像級別的分類進一步延伸到像素級別的分類，從而完成對目標圖像的分類提取[22-27]。

本文將FCN模型引入到渠系提取領域，以無人機采集的高分辨率正射影像為研究對象，通過FCN模型進行渠系輪廓提取，并將提取結果與改進霍夫變換模型、SVM模型的提取結果作對比，最后進行精度評價，實現灌區渠系輪廓的精確提取。在土地整理規劃時通常不考慮毛渠信息[9]，因此主要對灌區支渠、斗渠和農渠輪廓進行提取，不考慮渠寬小于1 m的毛渠。

1 研究區域及實驗樣本

1.1 研究區域概況

研究區域位于內蒙古自治區臨河市海豐縣河套灌區，地理坐標范圍為41°6′52″～41°8′27″N，107°51′29″～107°53′4″E，海拔范圍為973.76～1 037.01 m。研究區域灌溉面積約為688萬m2。2016年3月，首先在能見度高、風速小于10 m/s的晴朗天氣，使用T-EZ AF1000型無人機在400 m的飛行高度搭載索尼A5100型相機獲取該區域正射影像信息，飛行速度14 m/s。然后使用Agisoft Photoscan軟件拼接生成空間分辨率為0.25 m的正射影像。研究區域正射影像如圖1所示。

圖1 研究區域正射影像Fig.1 DOM data of study area

圖2 各實驗區域正射影像Fig.2 DOM data of each experimental area

從研究區域選取3塊實驗區，其正射影像如圖2所示。實驗區1(圖2a)圖像分辨率為10 000像素×7 000像素，覆蓋面積約67.9萬m2，作為本次實驗的訓練、驗證樣本，范圍最大，包含信息最為全面。實驗區2(圖2b)圖像分辨率為4 000像素×3 000像素，覆蓋面積約12.5萬m2，作為本次實驗測試樣本。實驗區3(圖2c)圖像分辨率為5 000像素×4 000像素，覆蓋面積約為27.5萬m2，作為本次實驗的測試樣本，環境最為復雜。

1.2 實驗樣本

在深度學習的分類算法中，實驗樣本的品質直接決定了訓練的結果。由于本文實驗使用的正射影像數據空間分辨率較高(0.25 m)、細節清晰、特征豐富，因此基于目視解譯的方法使用Photoshop軟件制作標簽圖像，設置渠系的灰度為255，其他區域灰度設置為0。為防止過擬合，對實驗數據進行數據增強，數據增強的方法包括：對圖像進行水平、垂直翻轉和90°、180°、270°旋轉。為節省內存空間并且保證渠系的分割效果，將3塊實驗區正射影像和標簽圖像分割成若干組500像素×500像素的圖像。經過數據增強并分割后，訓練集1 600組(剔除實驗區1和實驗區3中重復樣本)，驗證集400組，測試集1 024組。隨機選取的實驗樣本正射影像和標簽圖像如圖3所示。

圖3 實驗樣本圖像Fig.3 Experimental sample images

2 FCN算法

FCN模型與CNN模型最大的區別在于卷積層之后的結構不同。FCN模型是將CNN模型中的全連接層轉換為卷積層，可以接受任意尺寸的圖像輸入，并加入反卷積層[28]。

本文使用的FCN模型基于VGG-19網絡改進而來，前16層為卷積層，后3層為反卷積層，共19層。

基于FCN模型進行渠系輪廓提取的方法流程如圖4所示。主要過程描述如下：①利用無人機獲取高分辨率正射影像，形成訓練集、驗證集和測試集。②標注訓練集、驗證集、測試集。③對訓練集、驗證集、測試集進行數據增強并分割。④以改進的VGG-19網絡為基礎，采用FCN-8s結構，使用Tensorflow框架構建FCN渠系提取模型。⑤將訓練集、驗證集放入FCN模型中進行訓練、驗證，獲得FCN渠系輪廓提取模型。⑥將測試集放入訓練好的FCN模型中進行測試。⑦將測試結果拼接并進行精度評價。⑧和其他提取模型對比，最終完成渠系輪廓提取。

圖4 方法流程圖Fig.4 Flow chart of method

2.1 卷積層

卷積層的主要目的是提取圖像特征信息，減少不必要的權值連接，降低噪聲對圖像的影響。卷積層常用的激活函數包括Sigmod函數、Tanh函數和ReLu函數。由于ReLu函數只包含線性關系，無論正向傳播還是反向傳播，ReLu函數的收斂速度都比Sigmod函數和Tanh函數快很多。因此本文選擇ReLu作為激活函數，其數學表達式為

f(x)=max(0,x)

(1)

式中x——輸入的神經元

2.2 池化層

下采樣作為池化層的主要操作，其主要目的是對輸入的特征圖進行壓縮，減少模型參數，簡化網絡計算的復雜度，同時防止過擬合。

圖5 FCN-8s模型結構Fig.5 Structure of FCN-8s model

2.3 反卷積層

反卷積層是卷積的逆過程，通過反卷積層對最后一個卷積層的特征圖進行上采樣，使其恢復到輸入圖像的原始尺寸，從而可以對每個像素都產生一個預測，同時保留了原始輸入圖像中的空間信息。在相同尺寸的特征圖上對每個像素進行分類，利用softmax交叉熵函數作為損失函數逐像素地計算損失[29]，其數學表達式為

(2)

(3)

(4)

式中L——損失函數

yi——真實分類結果

ai——softmax的第i個輸出值

zi——網絡第i個輸出

wij——第i個神經元的第j個權重

xij——第i個神經元在第j個維度上的值

b——偏移值

2.4 跳躍結構

實驗樣本圖像經過一系列的卷積、下采樣操作，得到的特征圖尺寸為原圖像尺寸的1/32，此時的特征圖稱為heat map。

此時FCN模型有3種不同的融合方式：①FCN-32s模型，直接對heat map進行32倍上采樣。②FCN-16s模型，將FCN-32s模型得到的heat map進行2倍上采樣后與第4次下采樣后的特征圖融合，再進行16倍上采樣。③FCN-8s模型，將FCN-16s模型得到的heat map進行2倍上采樣后與第3次下采樣后的特征圖融合，再進行8倍上采樣。

實驗中渠系在實驗樣本圖像中趨于細長，在模型提取過程中經過多次下采樣后再經過上采樣會造成特征信息丟失，因此FCN-32s模型和FCN-16s模型的上采樣結果很難提取出有用信息。綜上所述，主要依據FCN-8s模型的上采樣結果進行渠系提取，其結構如圖5所示。

楊琳是歐陽橘紅的救命恩人，他是代歐陽橘紅護理、照顧楊琳。歐陽橘紅的救命恩人，就是他的救命恩人。歐陽橘紅不知道救命恩人的癌細胞開始擴散，在世日子可用手指頭來算了，如果知道，她一定會回濱湖。歐陽橘紅離開濱湖十二年了，楊琳記得，歐陽橘紅走前，說是南京化工廠，她沒問詳細地址，現在還在不在南京化工廠，楊琳也不知道了。他往南京化工廠發了四十多封信，有三十多封退回來了，有十來封沒退回來，估計是在路上丟了。所有退信簽上，都是“查無此人”。

3 實驗結果與分析

3.1 FCN模型訓練

將訓練集、驗證集放入FCN模型進行訓練、驗證，設置批大小為4，訓練速率初值設置為1×10-6，訓練過程中損失函數曲線如圖6所示。前10 000次迭代過程中損失函數迅速減小，經過45 000次迭代后損失函數基本收斂，損失函數值穩定在9.725×10-3，雖然仍有波動出現，但隨著迭代次數的增加，波動的頻率逐漸減小。FCN模型訓練結構如圖7所示。

3.2 精度評估

將測試集放入訓練好的FCN模型進行測試，并將測試結果拼接顯示。然后進行精度評估。

為了進一步量化該方法的提取效果，需要統計提取結果的像元數據，將提取結果保存為以空格符分隔的RGB三元組文本文件，通過遍歷獲得統計結果。在實際地形中，渠系一般為具有一定寬度的線狀結構，因此判讀渠系提取正確與否應設置緩沖半徑R，若緩沖半徑R過大，錯誤提取的渠系像元會被誤判，從而造成渠系提取準確率虛高；同樣，緩沖半徑R過小也會影響真實結果。

圖6 損失函數曲線Fig.6 Curve of loss function

圖7 FCN模型訓練結構Fig.7 Training structure of FCN model

通常渠系寬度最窄為0.5 m，設緩沖半徑為0.25 m用以統計正確像元數，如果該點左右緩沖半徑內有識別出來的像元，則認為是正確提取。

通過3項精度評估指標：準確度P(Precision)、完整度C(Completion)、精度A(Accuracy)對渠系輪廓提取結果進行量化評價[30]，其計算公式為

(5)

(6)

(7)

式中TP——正確識別的渠系數量

FP——非渠系識別為渠系數量

TN——正確識別的非渠系數量

3.3 結果與分析

通過FCN模型進行渠系輪廓提取，并與文獻[13]采用的SVM模型以及文獻[9]采用的改進霍夫變換模型進行對比，3種提取模型的準確度、完整度、精度均值如表1所示。

兩塊測試區域渠系輪廓提取結果如圖8所示，標簽圖(圖8a、8e)中支渠、斗渠用白色線條表示，農渠用紅框標出。結果表明：

(1)3種模型在環境良好、干擾信息較少的測試區1上對支渠、斗渠提取效果均較為良好，但SVM模型(圖8c)對農渠的提取效果較差；改進霍夫變換模型(圖8d)則出現部分錯提、漏提現象，FCN模型(圖8b)對農渠提取效果較好，在整個測試區1提取準確度、完整度、精度均值分別為98.37%、96.22%、94.21%。

表1 精度評價及對比Tab.1 Performance evaluation and comparison of proposed method %

圖8 測試區渠系輪廓提取結果Fig.8 Extraction maps of test area irrigation networks

(2)環境復雜的測試區2中存在大面積房屋、焚燒秸稈的殘留物、樹木陰影以及人為活動等干擾信息，可驗證FCN模型在環境復雜區域的魯棒性。結果顯示，針對環境復雜、同譜異物現象嚴重的區域，SVM模型(圖8g)出現較多錯提取現象；改進霍夫變換模型(圖8h)出現大范圍漏提取現象；FCN模型(圖8f)對支渠、斗渠、農渠的整體提取效果均優于其他兩種模型，其準確度、完整度、精度均值分別為93.18%、88.36%、84.69%，均高于SVM模型和改進霍夫變換模型。

綜上所述，通過改進霍夫變換模型對灌區渠系輪廓的提取主要集中在環境良好、干擾信息較少區域的高級別渠系，而對環境復雜區域的斗渠、農渠等低級別渠系的提取效果不佳，在整個測試區提取的準確度、完整度、精度均值分別為93.98%、87.22%、80.94%。通過SVM模型訓練分類得到渠系和非渠系結果，該方法對大部分支渠、斗渠提取效果良好，但是對農渠提取效果不佳，在整個測試區提取的準確度、完整度、精度均值分別為92.96%、89.08%、84.89%。通過FCN模型對灌區渠系輪廓進行提取，該方法對灌區支渠、斗渠、農渠提取效果均較為良好，在整個測試區提取的準確度、完整度、精度均值分別為95.78%、92.29%、89.45%，各項指標均優于SVM模型以及改進霍夫變換模型。因此，該方法針對不同復雜程度的測試區域，均能得到更加完整精確的渠系分布信息，具有較好的泛化性和魯棒性。然而，本文提取結果的主要誤差由同譜異物現象造成，對圖像特征與渠系相近的田間小路、空地等干擾區域未能較好地區分，有待在今后的研究中改進。

4 結論

(1)以無人機采集的高分辨率渠系正射影像為研究對象，通過FCN語義分割模型進行灌區渠系輪廓提取，針對不同復雜程度的測試區域，FCN模型的提取準確度、完整度、精度均高于支持向量機方法和改進霍夫變換方法，均值分別為95.78%、92.29%、89.45%。

(2)采用FCN模型進行渠系輪廓提取，簡化了傳統識別方法中復雜的圖像預處理和后處理過程，避免了傳統分類方法復雜的特征選擇過程，實現了渠系輪廓特征的自動提取，在人工干預較少的情況下，能夠較為完整、精確地提取渠系輪廓信息，為進一步實現農業的精準灌溉提供了良好的技術支持。