基于深度學習的海岸線邊緣檢測網絡模型*

李忠瑞，崔賓閣，楊 光，張昊卿

(山東科技大學計算機科學與工程學院，山東 青島 266590)

1 引言

海岸線是多年平均大潮高潮所形成的海水和陸地分界的痕跡線,是劃分海洋與陸地行政管理區域的基準線,是確定領海內水和陸地的分界線,也是區分海洋深度基準和陸地高程基準的分界線[1]。由于受到海水沖刷、海風侵蝕、海平面反復漲落等自然因素和人類建立防風堤壩、圍海造田、開采水下礦物資源等人為因素的共同影響，海岸線局部變化頻繁，因此對海岸線進行動態監測非常具有現實意義。

傳統的海岸線測繪方法主要有實地測量法和攝影測量法。這種方法不但費時費力，而且探測難度大，效率不高，已遠遠不能滿足現有需求[1]。隨著遙感技術突飛猛進的發展，其憑借范圍大、效率高和成本低等突出優勢逐漸成為一種提取海岸線及監測動態變化的重要途徑[2]。現有的遙感解譯海岸線方法分為目視解譯和自動解譯2種。目視解譯是遙感技術發展初期最常應用的方法，主要依靠手動目視解譯，效率低下，精度不高，現在已基本被自動解譯方法取代[3]。自動解譯方法應用普遍，有閾值分割法、邊緣檢測法、多分辨分析方法、面向對象法和神經網絡法等。閾值分割法簡單易操作，是常用的海岸線提取方法之一。陳祥等[4]針對合成孔徑雷達SAR(Synthetic Aperture Radar)圖像的特點，采用一種結合粗閾值與精確閾值的海陸分割方法，實現海岸線的精確提取。李宗梅等[5]分別采用目視解譯、MNDWI(Modified Normalized Difference Water Index)和Sobel邊緣檢測算子3種方法提取各類型海岸線，并進行了對比。采用邊緣檢測算子方法對海岸線提取的效果較好，該方法也較成熟，且易于實現。李秀梅等[6]采用Canny算子提取渤海灣海岸線并對其進行監測。張霞等[7]采用MNDWI、數學形態學以及最小噪聲分離變換對砂質海岸、淤泥質海岸以及基巖海岸和人工海岸影像進行了預處理，再運用改進的Canny算子提取海岸線。由于小波變換具有多分辨分析的能力，可對圖像在不同尺度上進行小波變換，并將找到的奇異點逐個連接得到海岸線。張鵬等[8]采用平穩小波變換提取SAR圖像中的海岸線。余連生等[9]通過平移不變離散小波變換對SAR圖像與全色遙感圖像進行融合，以此突出海岸線的特征。面向對象的方法不再以傳統遙感影像中的像元作為基本單元，而是以對象為基本單元，忽略對象內部的紋理特性，并依據光譜、空間特征對影像進行處理[3]。吳小娟等[3]通過面向對象的方法并利用“高分二號”衛星數據對深圳大鵬半島地區的海岸線進行提取。王琎等[10]則分別利用面向對象方法和監督分類方法對珠江口灣區海岸線和沿岸土地利用情況進行了監測與分析。神經網絡法在應對大量數據時有很好的表現。Li等[11]基于UNet提出了更深層次的DeepUNet，提出了2種短連接并在Google-Earth彩色圖像上獲得了比較好的海陸分割結果。Cheng等[12]提出了SeNet(Structured edge Network)，在卷積神經網絡上附加結構化邊緣檢測分支，使用多任務損失同時獲得海陸分割和海岸線檢測結果。同年，Cheng等[13]提出了FusionNet，通過添加邊緣感知正則化項細化分割和邊緣檢測結果，在港口圖像數據集和海陸數據集上都取得了優秀的結果。Shamsolmoali等[14]提出RDU-Net(Redisual Dense UNet)，將標準卷積替換為殘差密集連接塊，增強網絡的特征復用，并在2個數據集上證明該方法更適合于海陸分割任務。Cui等[15]提出了SANet(Scale Adaptive Network)，提出自適應多尺度特征學習模塊來捕捉多尺度細節信息和上下文語義信息，并自適應融合不同尺度的特征圖，在GF-1號遙感數據集上實現了海陸準確分割。

閾值分割方法簡單、易于實現，但如何選取閾值具有較大的難度；邊緣檢測算子方法雖然對邊緣的提取效果很好，但易受噪聲影響，且易出現偽邊緣[2]；多分辨分析方法能夠獲得豐富的邊緣信息，但現有應用于海岸線提取中的小波缺乏方向性；面向對象方法能夠實現更高層次的圖像分割且能夠減少紋理特性的影響，但數據量較大時無法充分利用影像中隱含的信息[2]；語義分割網絡對邊緣高頻細節信息不敏感，邊緣檢測網絡不能識別地物語義信息，把地物內部邊緣誤分為邊界。因此，本文提出一種融合語義分割網絡和邊緣檢測網絡的深度卷積神經網絡，屬于一種新穎的端到端邊緣提取神經網絡，可用于對海岸線進行精準提取。

2 研究區域

連云港位于中國沿海中部，江蘇省東北部，處于北緯33°59′～35°07′、東經118°24′～119°48′。如圖1所示，連云港市海岸線北起蘇魯交界的繡針河口，南至灌河口，岸線總長221.17 km。連云港市資源類型豐富，北部以耕地為主，南部以鹽田為主，交通便利。連云港市海岸地貌類型典型，包括基巖海岸、砂質海岸和粉砂淤泥質海岸[16]。

Figure 1 Sketch map of Lianyungang coastline

連云港位于南北過渡和陸海過渡的交匯點，是國際通道新亞歐大陸橋(中國境內為隴海、蘭新鐵路)東端橋頭堡，是隴海鐵路、沿海鐵路2大國家干線鐵路的交匯點，也是中國南北、東西最長的2條高速公路(同三高速和連霍高速)的唯一交點。具有海運、陸運相結合的優勢，是國家規劃的42個綜合交通樞紐之一。

Figure 2 Overall structure of EWNet network

3 海岸線邊緣檢測網絡模型

3.1 網絡總體結構

遙感圖像海陸環境復雜，內陸存在各種尺度的地物且地物類型復雜多樣，海洋上常有漁船和筏式養殖區的存在，這些都給海岸線的提取帶來干擾。語義分割網絡提取海陸過程中可以識別海洋和陸地內的地物語義信息，但是會忽略海岸線邊緣信息；邊緣檢測網絡可以很好地識別邊緣細節信息，但不能識別地物語義信息，常常把海陸內部的邊緣誤分為邊界。

本文提出一種融合語義分割網絡和邊緣檢測網絡的深度卷積神經網絡模型EWNet(Edge-Ware Network)，其總體網絡結構如圖2所示。EWNet有2個分支流，分別為語義分割流和邊緣檢測流。在網絡訓練過程，語義分割流的各層語義特征正向傳播到邊緣檢測流，邊緣檢測流共享語義分割流的網絡參數并在反向傳播中更新語義分割流的參數。

3.2 語義分割流

語義分割流用來獲取地物語義信息。語義分割網絡越強大，提取的語義信息越豐富，因此本文采用U型結構的對稱編解碼器結構作為語義分割流的基礎網絡，并在此基礎上進行改進。如圖2上面的虛線框所示，本文使用改進的空洞空間卷積池化金字塔ASPP(Atrous Spatial Pyramid Pooling)模塊代替深層的雙卷積操作多尺度提取深層語義特征。在編碼器和解碼器對應層使用卷積注意力模塊CBAM(Convolutional Block Attention Module)自適應細化編碼器提取的特征。

3.2.1 改進的空洞空間卷積池化金字塔模塊

空洞空間卷積池化金字塔模塊包含膨脹率分別為6，12，18和24的4條并行的空洞卷積，但是由于膨脹率之間存在整數倍的關系，特征圖經過這樣的空洞空間卷積池化金字塔模塊會產生網格效應。針對遙感圖像海陸分割任務的特殊性，本文選用膨脹率分別為1，2，3和5質數分布的空洞卷積，既可以有效避免空洞空間卷積池化金字塔模塊產生的網格效應，又可以有效獲取遙感圖像中縱橫比復雜多樣的地物的空間語義信息。如圖3所示，本文采用拼接操作將4個并行的空洞卷積的輸出特征圖和經過1×1卷積后的輸入特征圖拼接在一起。最后使用1×1卷積對拼接后的特征圖進行降維，以此加快網絡訓練收斂速度，降低計算的開銷成本。

Figure 3 ASPP module diagram

3.2.2 卷積注意力模塊(CBAM)

CBAM是一個輕量級的通用模塊，它可以學習如何有效地強調或壓縮中間特征提取，且只增加微不足道的間接開銷。

1961年，我上初中。學校跟省報社挨著，從路邊的閱報欄經過，我常常停下來看副刊。看多了，竟有了莫名的沖動。有一次見到上面在討論戲曲改革，當晚做完作業，我寫了一篇《也談戲曲改革》，第二天交給班上的一個同學，他父親在報社工作。過了幾天，同學把稿子還給我，說報社的編輯看了，你談論“戲曲改革”還太早，不過看你文字還挺順的，可以繼續努力。

CBAM包括2個子模塊，如圖4所示，分別是通道注意力模塊和空間注意力模塊。輸入的特征圖F首先經過通道注意力模塊獲得權重向量MC，特征圖F與權重向量MC逐通道相乘得到帶有權重的特征圖FC；然后特征圖FC經過空間注意力模塊生成空間注意力權重圖MS，特征圖FC逐像素與權重圖MS相乘得到最終的特征圖FS。

Figure 4 CBAM module diagram

通道注意力模塊：將輸入特征圖F分別經過全局最大池化和全局均值池化，然后通過多層感知器MLP(MultiLayer Perceptron)得到權重向量。之后對MLP輸出的權重向量進行基于像素級的加和操作，再經過sigmoid激活操作，生成最終的通道注意力權重向量MC。

空間注意力模塊：以通道注意力模塊輸出的特征圖作為本模塊的輸入特征圖。首先，進行基于通道的全局最大池化和全局均值池化操作，將2個結果基于通道拼接起來。然后，經過卷積操作，卷積核大小為7×7，降維為1個通道。再經過sigmoid激活操作生成空間注意力權重圖MS。

3.3 邊緣檢測流

本文提出了一種結合語義分割流各層語義特征的邊緣檢測流。如圖2下面的虛線框所示，它與分割網絡共享權重，并將語義分割流每層雙卷積獲取的層次語義特征經過1×1卷積傳到邊緣檢測流。邊緣檢測流根據特征圖大小進行上采樣，確保恢復到與原始圖像同樣尺寸大小的邊緣特征圖。對每層上采樣后的特征圖均引入輔助損失函數，計算邊緣特征圖與真值圖的損失差異，對非邊緣部分進行懲罰，加強邊緣提取。輔助損失函數如式(1)所示：

Loss=-ylogPy+(1-y)log(1-Py)

(1)

其中，y取值為0或1，1為海岸線;Py對應預測為y的概率。本文使用sigmoid函數將網絡的輸出轉換為概率值。

為了確保提取海岸線的連續性，本文對語義分割流的輸出特征圖使用邊緣檢測線性濾波器(Sobel濾波器)進行卷積，并在水平和垂直方向分別進行卷積，獲得連續的海岸線邊緣特征圖。最后將各層提取的邊緣特征圖逐通道拼接，經過CBAM模塊自動學習海岸線語義信息，生成一個綜合的邊緣特征圖。通過反復的參數迭代訓練使得損失函數的值(即提取的海岸線與樣本真值的差異)盡可能地小，以達到確定模型參數,進而利用模型提取海岸線的目的。

4 實驗分析

4.1 實驗配置

實驗在配備16 GB顯存的NVIDIA Tesla P100 GPU和CentOS Linux 7.5操作系統的服務器上進行。所有模型都使用Kera框架[17]進行訓練和測試，使用TensorFlow作為后端引擎[18]。在訓練過程中，采用Adam優化器將損失降至最低，并將初始學習率設置為0.000 1，迭代次數設置為200輪，批次大小設置為4。

4.2 評價指標

為了評估不同模型的邊界結果，本文改進了FusionNet[13]所提出的邊界精確率(BP)和邊界召回率(BR)，如式(2)和式(3)所示：

(2)

(3)

在預測圖中，如果分割結果中的一個邊界點與其接近的真值圖邊界之間的距離小于1，則認為該邊界點是正確的。同理，在真值圖中，如果真值圖中的一個邊界點與其接近的預測圖邊界之間的距離小于1，則認為該邊界點被成功召回。邊界的F1系數定義如式(4)所示：

(4)

Figure 5 Qualitative results of test image 1

Figure 6 Qualitative results of test image 2

4.3 實驗對比

本文針對4幅不同海岸帶地區圖像，定性和定量地比較了傳統模型(NDWI(Normalized Difference Water Index)[19]和SVM(Support Vector Machine)[20]、非端到端邊緣提取神經網絡模型(UNet[21]和DeepUNet[11])及端到端邊緣提取網絡模型(SeNet[12]和FusionNet[13])的提取結果。因為傳統模型和非端到端邊緣提取神經網絡模型無法全自動提取海岸線，本文對其提取的海陸分割結果進行后處理邊緣檢測操作，使用最終提取的海岸線結果進行對比實驗。

測試圖像1如圖5所示，包含了大量基巖和人工建筑的海岸帶，森林密布的基巖光譜和海洋光譜相似。傳統模型中的NDWI相比SVM產生了較大范圍的誤分現象，而SVM將暗礁誤分為陸地。非端到端邊緣提取神經網絡模型也對部分地區產生誤分，UNet將港灣內的水池誤分為海洋，暗礁誤分為陸地，而DeepUNet將大面積海洋誤分為陸地。端到端邊緣提取神經網絡模型中SeNet和FusionNet都產生較嚴重的岸線“斷連”現象。EWNet可以比較好地識別基巖，得到了比較接近真值圖的海岸線提取結果。

表1給出了測試圖像1的定量結果。結果表明，EWNet的邊界精確率優于其他所有網絡模型的，EWNet的邊界召回率略低于SVM的，EWNet的F1系數分別比NDWI、SVM、UNet、DeepUNet、SeNet和FusionNet的高出0.147 3,0.059 3,0.102 8,0.175 9,0.180 5和0.178 5。

Table 1 Quantitative results of test image 1

如圖6所示，測試圖像2是一個帶有大量港口和防波堤的人工海岸帶。港口防波堤和海洋的光譜差異較大，傳統模型中的SVM產生了較大范圍的誤分現象，將大量顏色較深的集裝箱誤分為海洋，而NDWI僅將海上漁船誤分為陸地，其余地區則得到了比較優秀的邊緣結果圖。非端到端邊緣提取神經網絡模型也有部分地區產生了誤分，UNet也將集裝箱誤分為海洋，而DeepUNet將圍填海中的淤泥誤分為海洋，因此產生了錯誤的海岸邊界線。端到端邊緣提取神經網絡模型中的SeNet和FusionNet仍然存在較嚴重的海岸線“斷連”現象。EWNet可以較好地保留港口的細節信息，得到比較接近真值圖的海岸線提取結果。

Figure 7 Qualitative results of test image 3

表2給出了測試圖像2的定量結果。結果表明，EWNet的邊界精確率明顯優于其他所有網絡模型的，EWNet的邊界召回率略低于NDWI的，EWNet的F1系數分別比NDWI、SVM、UNet、DeepUNet、SeNet和FusionNet的高出0.040 1，0.374 9，0.111 4，0.146 5，0.115 1和0.251 3。

測試圖像3包含圍填海和防波堤的人工海岸帶。如圖7所示，圍填海內灘涂及內陸養殖區的光譜和海洋的光譜比較接近，傳統模型中的NDWI將部分內陸養殖區誤分為海洋，將海上養殖區誤分

Table 2 Quantitative results of test image 2

為陸地，而SVM將港口附近的水體誤分為海洋，NDWI和SVM都將淤泥識別為陸地。非端到端邊緣提取神經網絡模型UNet將圍填海內的大量淤泥誤分為海洋，而DeepUNet只有個別地區產生誤分，生成了良好的海岸線提取結果。端到端邊緣提取神經網絡模型中SeNet的“斷連”現象相比FusionNet的更加嚴重，大多數海岸線邊界都沒有識別出來。EWNet可以比較好地識別出圍填海和海岸線邊界，得到了比較接近真值圖的海岸線提取結果。

表3給出了測試圖像3的定量結果。

Table 3 Quantitative results of test image 3

結果表明，在邊界精確率和邊界召回率方面，EWNet都優于其他所有網絡模型，對于邊界F1系數,EWNet的分別比NDWI、SVM、UNet、DeepUNet、SeNet和FusionNet的高出0.483 3,0.330 9,0.394 6,0.079 6,0.453 8和0.309 5。

Figure 8 Qualitative results of test image 4

測試圖像4包含大量細長的河口和生物海岸帶。如圖8所示，測試圖像存在大量的養殖區和生物灘涂，其光譜特征都類似于海洋。傳統模型中的NDWI和SVM將大量養殖區和生物灘涂都誤分為海洋，NDWI將河口地區的內陸也誤分為海洋，得到的邊界提取結果非常糟糕。非端到端邊緣提取神經網絡模型UNet將細長的河流部分誤分為陸地，部分內陸水體誤分為海洋，而DeepUNet將河道誤分為陸地。端到端邊緣提取神經網絡模型中的SeNet和FusionNet對海岸線邊界基本識別準確，但仍然存在比較嚴重的“斷連”現象。EWNet可以較好地識別養殖區、河口及生物灘涂，得到比較接近真值圖的海岸線提取結果。

表4給出了測試圖像4的定量結果。結果表明，在邊界精確率和邊界召回率方面，EWNet均優于其他所有網絡模型，但其邊緣精確率只比SeNet的高0.94%。對于F1系數，EWNet的分別比NDWI、SVM、UNet、DeepUNet、SeNet和FusionNet的高出0.727 8,0.727 7,0.269 3,0.181 6,0.056 3和0.138 4。

Table 4 Quantitative results of test image 4

4.4 消融實驗

為了證明語義分割流中改進的CBAM模塊和ASPP模塊對海岸線邊界提取的有效性，本文進行了分割網絡模型中模塊的消融實驗，圖9為本節實驗的基礎網絡。

定量結果如表5所示。在基礎網絡上將跳躍連接的復制操作替換為CBAM模塊后，模型性能有略微提升，F1系數在測試圖像1～圖像4上，相比基礎網絡的分別提高了0.018 2，0.114 7，0.037 8和0.025 3。在基礎網絡編碼器部分將最底層的2層雙卷積層替換為改進的ASPP模塊，模型的效果與添加CBAM模塊的網絡的接近，在測試圖像1～圖像4上分別提高了0.020 3，0.027 9，0.058 8和0.012 0。同時將CBAM模塊與改進的ASPP模塊添加進基礎網絡后,即本文提出的EWNet網絡模型，相比基礎網絡，EWNet的提升效果比單一添加任何一種模塊都表現更好，在測試圖像1～圖像4上,分別提高了0.035 4，0.045 4，0.073 8和0.056 9。以上定量結果表明：在分割網絡中獲得的語義信息越豐富，越有利于海陸邊界的提取。

Table 5 Boundary F1 coefficients extracted from ablation experiments of segmentation network

Figure 9 Basic network of segmentation network for ablation experiment

為了證明邊緣檢測線性濾波器及輔助損失函數的有效性，本文也進行了邊緣檢測網絡的消融實驗。該消融實驗分為3組，分別是單獨添加邊緣檢測線性濾波器、在編碼器部分添加輔助損失函數和在解碼器部分添加輔助損失函數。為了方便理解，該消融實驗以圖10為基礎網絡，根據池化層或上采樣層分層，該網絡分為9層，1～4層為編碼器部分，6到9層為解碼器部分。

Figure 10 Basic network of edge detection network for ablation experiment

該消融實驗的定量結果如表6所示，基礎網絡在所有測試圖像上的F1系數都比較差，在編解碼器部分添加輔助損失函數以及添加邊緣檢測線性濾波器后，F1系數有不同幅度的提升，在解碼器部分添加輔助損失函數相比在編碼器部分添加輔助損失函數，在測試圖像1上提升效果基本一致，但是在測試圖像2～測試圖像4上提升更明顯。在編解碼器部分都添加輔助損失函數效果會比單獨在編碼器或解碼器部分添加輔助損失函數表現更優異。結果表明：輔助損失函數越多,越有利于海陸邊界的提取。

Table 6 Boundary F1 coefficients extracted from edge detection network ablation experiment

5 結束語

本文提出一種融合語義分割網絡和邊緣檢測網絡的深度卷積神經網絡模型(EWNet)，用于解決海岸線提取定位不準確問題。該網絡模型可以端到端地提取海岸線。通過加強語義分割網絡提取語義信息的能力，更加準確地定位岸線位置；通過對邊緣檢測網絡添加輔助損失函數和邊緣檢測線性濾波器確保提取海岸線的連續性。本文在一組包含不同類型海岸線的“高分一號”號遙感圖像上評估了EWNet，從定性和定量結果中可以看出EWNet優于其他網絡模型。

該網絡模型可以推廣至其他區域的各種復雜類型海岸線精準定位工作，并進一步用于海岸帶動態管理規劃，未來將在海岸線精準定位的基礎上，精準預測海岸線類型及其各類型的海岸線長度。