多尺度特征融合的多源異構遙感數據水體提取

魏之皓，賈克斌，賈曉未

(1.北京工業大學 信息學部，北京 100124；2.先進信息網絡北京實驗室，北京 100124；3.計算智能與智能系統北京市重點實驗室，北京 100124；4.匹茲堡大學 計算機科學學院，美國 賓夕法尼亞州 匹茲堡 15112)

0 引言

地表水體提取是自然遙感領域重要的研究方向之一[1]。其中，對于水體區域進行準確提取是監測不同歷史時間點的河流流域變化的關鍵實現步驟和重要數據基礎。作為自然生態循環中重要的組成部分，自然河流具有跨區域流動的特點，因此開展大范圍水體區域高精度提取研究對于自然河流的整體性變化監測具有重要意義[2]。

傳統的水體提取主要依靠人工實地考察為主，雖然河流的水體區域識別結果準確，但是人工成本極高，且河流區域考察任務的準備和考察周期長，無法滿足日益增長的大范圍、多頻次、常態化的水體區域提取的實際需求[3]。隨著空間探測技術的發展，基于遙感衛星的對地觀測遙感數據為大范圍水體提取提供了新的數據基礎，同時也對現有的遙感數據分析方法提出了極大的挑戰。

大范圍水體提取對應的遙感數據涉及多種遙感衛星所采集的全球不同地域、不同季節的河流水體影像，如圖1所示。通過對圖1中展示的河流水體遙感光譜信息的偽彩色圖像可視化結果進行分析可知，河流因其所處地域地理環境和季節的不同，其河流流域的水體區域及其周圍地表環境的光譜信息會出現極大的差異。同時，復雜的自然氣候也會使得遙感數據中包含大量云霧及陰影干擾，即遙感數據整體上呈現出了異構性的特點。另一方面，當前遙感數據源極為多樣，其在光譜維度、時間維度、空間維度的分辨率均各不相同，整體上呈現出了多源性的特點[4]。綜上所述，當前遙感數據的多源性和異構性對于大范圍水體提取研究提出了極大挑戰。

在遙感數據異構性的研究方面，遙感影像早期主要采用人工解譯模式，通過經驗豐富的技術人員對遙感影像中的水體區域進行人工標注。該過程需要對技術人員進行早期專業培訓，且人工遙感圖像解譯過程十分耗時[5]，無法適應基于多源異構遙感影像數據的大范圍水體提取的客觀需求。為此，Mcfeeters[6]提出了一種基于經驗閾值的歸一化水指數(normalized difference water index，NDWI)標注方法，通過對河流水體在遙感影像的不同光譜帶上的數值特征進行經驗閾值設定，采用線性運算的方法實現了一種半自動的河流提取。該方法相比于早期的人工解譯方法，減少了人工標注的時間成本。然而，由于不同地區的水體成分存在差異，其遙感影像的表征也各不相同，因此識別范圍極為有限，且易受到陰影及云霧遮擋的影響，存在識別結果魯棒性低的問題。

在機器學習領域，Farid等[7]將支持向量機、決策樹等模型引入到了遙感影像解譯過程中。相比于傳統的經驗閾值方法，機器學習模型的判決邏輯更具魯棒性，影像內容識別的穩定性得到了提升。但是由于該類方法是基于單一像素點進行內容識別，未考慮遙感影像中的各個像素點間的相關性，信息的利用率較低，識別性能仍存在極大提升空間。

隨著近年來人工神經網絡技術的不斷發展，以深度學習模型為代表的標注模型在眾多領域得到了研究與應用[8]。在遙感影像解譯領域，基于多層神經網絡結構的分類解譯模型因其具有感受野機制，可以將遙感影像中相鄰像素間的相關性引入到內容識別過程中，有效提高了遙感影像解譯的識別精度[9]。如Isikdogan等[10]提出了一種適合于雨雪密集地區的高光譜圖像分別全卷積網絡模型，進一步提升了影像解譯的準確率。但是由于該類方法所研究的遙感影像數據對象多為人工篩選后的少云霧、陰影的場景，因而在實際應用中，模型易受到大范圍遙感場景的特定對象目標提取任務中云霧、陰影等復雜噪聲的干擾，進而影響復雜云霧背景下的目標提取準確度。

在遙感數據多源性的研究方面，目前主流的遙感數據源呈現出影像波段覆蓋面廣、數據獲取途徑多樣且開放度高的特點。其中，不同波段集合的遙感影像數據具有各自的成像優勢[11-13]。進一步對圖1所包含的哨兵一號合成孔徑雷達影像(synthetic aperture radar，SAR)和哨兵二號多光譜影像(multi-spectral imaging，MSI)對于同一段河流的水體區域的可視化結果進行分析可知，哨兵二號影像能夠獲取高精度河流水體區域影像，但是影像中心部分因云霧陰影的遮擋而無法辨認河流的水體區域邊緣。而哨兵一號遙感影像因其成像機理原因，河流區域中心位置邊緣保留完整，但是影像整體分辨率精度較低。因此，不同類型的遙感影像可以滿足不同類型的遙感監測需求。Li等[14]提出了一種基于合成孔徑雷達影像的遙感去云模型，利用合成孔徑雷達影像不易受到云霧影響的特點，對目標影像中的云霧進行去除。Tan等[15]提出了一種基于兩種遙感影像的分類神經網絡模型，通過對兩類遙感影像數據間的同一目標像素相關性進行分析，提升遙感影像中城鎮區域識別的準確率。以上研究中，研究目標普遍為單源遙感影像去云，及無云霧遮擋的遙感影像目標識別，而針對云霧、陰影等存在成像干擾的自然河流流域的多源遙感影像高精度水體提取的研究方向上仍有極大的提升空間。同時，如何針對不同類型的多源遙感數據的異構性特點，對多源異構遙感影像數據進行有效融合，完成大范圍水體區域的精確提取仍面臨巨大挑戰[16]。

圖1 同一河流流域的水體區域在不同時間點所對應的多源異構遙感數據的可視化圖像

對現有利用多源異構遙感數據進行大范圍水體區域提取方法分析可知，現有研究算法不足之處在于：大范圍水體區域提取的研究領域，同時構建具備多源遙感影像數據信息和高精度水體區域分布真值信息的大規模遙感數據庫方面仍存在數據基礎的空白；包含云霧、陰影干擾的多源異構遙感數據缺乏有效的多尺度融合手段；沒有深入挖掘水體遙感影像數據中深層次的高維特征。本文從以上三個角度出發，構建了一個基于哨兵一號合成孔徑雷達遙感數據和哨兵二號多光譜遙感數據的大規模多源異構遙感數據庫，為大范圍水體區域提取的研究提供了包含全球不同地區水體的遙感數據作為數據基礎。隨后，提出了一種基于多源異構遙感影像數據融合的水體提取深度學習模型，利用合成孔徑雷達成像不易受到云霧遮擋的成像特點及多光譜影像在波段覆蓋度廣的優勢，由合成孔徑雷達影像提供水體區域的邊緣輪廓信息，并由多光譜影像提供水體區域的細部特征信息，完成遙感數據的多尺度特征融合。進一步，針對異構遙感影像在數據結構上復雜的特點，基于數據深層次特征的提取過程，提出了一種面向深層特征提取的高維卷積單元結構，對遙感影像進行高維特征提取。經過對比現有水體提取方法中具有代表性的NDWI方法、機器學習領域的經典算法支持向量機(support vector machine，SVM)以及深度學習領域的主流圖像分割U-Net網絡[17]、PSPNet網絡[18]，驗證本文所提出方法在水體提取過程的多源異構遙感數據融合和深層特征提取方面的性能。

1 研究方法

本文的研究技術路線如圖2所示。

圖2 研究技術路線

首先，本文構建了一個面向大面積區域水體提取的大規模多源異構遙感數據庫；隨后，提出了一種多源異構遙感數據融合模型，并通過所設計的高維卷積單元實現異構遙感數據的深層特征提取；最后，采用主觀和客觀評價方法對本文所提出方法的水體提取效果進行性能評估。

1.1 大規模多源異構遙感數據庫構建

為開展大范圍水體區域識別研究任務，本文建立了一個大規模多源異構遙感數據數據庫，研究對象涉及全球不同大洲的自然河流的水體區域，數據類型包括了合成孔徑雷達遙感數據和多光譜遙感數據，兩種遙感數據的信息如表1所示。

表1 哨兵一號及哨兵二號遙感數據參數信息

為保證衛星數據的輪廓信息完整和數據內容一致性，本文選取了哨兵一號衛星合成孔徑雷達數據中的1號波段進行數據庫構建。同時，選擇了哨兵二號衛星多光譜遙感數據中分辨率高于20 m的2、3、4、5、7、8、8A、11、12共9個波段進行數據庫構建。

其中，多光譜遙感影像來自Global RSIR數據集[19]，該數據集包括了15 000幅96像素×96像素的全球水體樣本，并包含了2 700幅人工標注的樣本。該類樣本的偽彩色可視化圖像及真值如圖3所示。

圖3 多光譜遙感影像樣本及真值

合成孔徑雷達影像來自哨兵一號遙感衛星數據源。為滿足不同水體區域在同一時間點同時具備多光譜遙感影像和合成孔徑雷達影像的實驗數據條件，本文構建了一個與Global RSIR數據集相匹配的大規模合成孔徑雷達遙感數據集。首先對合成孔徑雷達影像采集地點進行了感興趣區域篩選過程，選擇了與多光譜遙感影像所對應的水體區域相匹配的共12 000幅96像素×96像素的水體區域影像，并采用Labelme標注軟件對其中1 800幅河流水體區域影像進行基于手工的水體區域標注，形成遙感樣本對應的真值樣本，該類樣本及真值如圖4所示。

1.2 多尺度特征融合的多源異構數據融合模型

多源異構遙感數據源所涉及的遙感數據種類多樣，不同遙感數據源在遙感影像空間分辨率、時間分辨率、光譜分辨率等特性上各不相同。傳統的多源遙感數據融合模型一般將不同的遙感數據分別采用包括基于歸一化指數閾值方法、機器學習方法和神經網絡方法等不同類型方法進行單獨分析[20]，隨后在最終的分割輸出部分進行數據融合，即其多源遙感數據的數據融合過程主要體現在對于分割結果的融合部分中。本文針對不同空間分辨率、光譜分辨率的多源異構遙感數據源的融合識別過程，設計了一種基于多尺度卷積神經網絡的多源異構遙感數據融合的水體提取模型，利用所設計的多尺度卷積神經網絡模型，對不同類型的多源異構遙感數據進行多尺度的數據融合。相比于傳統方法只在輸出部分對結果進行融合的策略，本文所提出的方法的融合策略更為多元化，該方法的模型如圖5所示。該網絡主要包含以下關鍵結構。

1)多源數據輸入層。為實現兩種多源異構遙感數據的數據融合過程，該模型設計了雙數據輸入通道，包括了低空間分辨率遙感數據輸入A和高空間分辨率遙感數據輸入B共兩個輸入通道。

2)多尺度特征提取層。針對高、低分辨率的多源遙感數據各自的異構性特點，分別對模型中兩個輸入通道A和B對應的特征提取層進行了基于多尺度的特征結構提取。其中，為輸入A通道連接了模型中的池化層數較淺的兩層影像特征提取網絡模塊，與低空間分辨率的遙感影像數據相匹配；為輸入B通道連接了模型中的池化層數較深的三層影像特征提取網絡模塊，與高空間分辨率遙感影像數據相匹配。該影像特征提取網絡模塊為多尺度全卷積網絡，對輸入影像進行了基于池化的逐級下采樣，在不同分辨率尺度級別對影像進行特征提取。隨后，利用上采樣過程，將不同分辨率尺度的影像特征進行拼接整合，得到當前輸入類型的影像多尺度特征。

以本文所使用的哨兵一號合成孔徑雷達遙感影像數據和哨兵二號多光譜遙感影像數據兩種多源異構遙感數據源為例，對圖5所示模型的具體過程進行說明。針對空間分辨率較低的哨兵一號合成孔徑雷達遙感影像數據和空間分辨率較高的哨兵二號多光譜遙感影像數據的分辨率特點，按照空間分辨率與模型輸入的關系，分別將合成孔徑雷達遙感影像數據作為輸入A的數據源、多光譜遙感影像數據作為輸入B的數據源。隨后，在經由影像特征提取網絡模塊分別獲取到輸入A和輸入B的影像多尺度特征后，基于圖像融合增強原理，采用矩陣乘法實現兩種類型影像輸入的多尺度特征融合過程。最后，采用基于Sigmoid激活函數的多層全卷積結構實現最終的水體區域的分割過程，輸出水體提取結果。模型的損失函數采用了交叉熵損失函數，該損失函數通過概率分布計算實現模型訓練的梯度下降過程。

圖5 多尺度特征融合的多源異構數據融合模型

1.3 高維卷積單元特征提取模型

針對大范圍水體提取過程中的傳統網絡模型的深層數據特征提取魯棒性低的問題，提出了一種高維卷積單元特征提取模型，如圖6所示，該模型與圖5所示模型的高維卷積單元相對應。該模型主要包含以下模塊。

圖6 高維卷積單元特征提取模型

1)改進殘差網絡模塊。為解決異構遙感影像數據訓練過程中模型不易收斂的問題，基于殘差網絡(residual network)原理對神經網絡層進行了改進設計，增加了兩層特征維度分別為N和1的全卷積網絡層，旨在提升該單位在高維特征描述過程的表達能力。

2)參數泛化模塊。針對深度學習模型的有監督訓練過程中易出現的過擬合導致低泛化性能的問題，在該單元結構前端設置了Dropout結構，利用該結構在訓練過程中將該層神經元參數按照百分比隨機置0的機制，降低深度學習模型可能的過擬合問題[21]，提升模型整體的泛化性能。

2 實驗與分析

實驗基于本文構建的面向大范圍水體提取的多源異構遙感影像數據庫，對所提出的面向多源異構遙感數據融合的水體提取模型進行性能測試，同時對比了現有主流的水體提取算法。

實驗硬件環境為Intel-i7主板和GTX2080顯卡，軟件環境為Windows10操作系統和Python2.7語言環境。

在各算法的訓練及測試過程中，首先隨機將數據集按照7∶3的比例進行分割，隨后選擇其中70%的數據進行算法模型訓練，剩余30%進行算法模型測試。最后，分別從客觀評價和主觀評價兩個方面的指標進行實驗結果分析。

在客觀評價方面，分別計算并對比了本文算法及現有算法在對于同一時相的水體區域進行水體區域提取的定量準確度，具體包括了準確率P、召回率R，以及F1值共三項指標。本文對比算法的參數設置如表2所示。按照上述指標計算過程及算法參數設置，各算法的水體區域提取性能如表3所示。

表2 本文及對比算法的模型參數設置

表3 本文及對比算法的水體提取性能

由表3可知，NDWI算法因其經驗閾值的局限性，無法適應不同地域水體遙感光譜的變化差異，因此在大范圍水體提取任務上的準確率較低。SVM方法的性能較NDWI有所提升，但準確率仍處于較低水平。U-Net及PSPNet在大范圍水體提取任務的性能上較前兩者有明顯提升，其主要原因是深度學習模型所具有的感受野特征能夠更好地對不同區域的水體復雜遙感影像進行判別。本文算法在水體提取的性能上，相比其他算法具有更好的準確率和召回率表現。同時，通過對比無高維卷積單元算法和本文算法可知，本文算法的高維卷積單元對于遙感影像的深層特征進行著重提取，進一步提升了模型在大范圍水體提取任務上的深層特征提取能力。

為進一步說明本文算法的性能，對本文算法及對比算法中識別性能較優的U-Net算法進行了基于人眼主觀評價的水體提取結果對比分析，如圖7所示。其中，圖7展示了測試數據集中四種云霧及陰影對于水體區域部分遮擋的典型場景，并分別對各場景的合成孔徑雷達影像、多光譜遙感影像、水體區域識別真值、U-Net算法以及本文算法的水體提取結果進行了圖像展示和對比。分析圖6的對比結果可知，因對比算法中性能較好的U-Net模型為多光譜遙感影像的單輸入模型結構，對于云霧及陰影遮擋區域的水體無法完整提取，而本文算法的多源異構遙感影像輸入結構能夠利用合成孔徑雷達遙感影像進行整體水體區域輪廓的提取，并基于多光譜遙感影像進行水體區域細節的識別，同時本文提出的高維卷積單元進一步提升了對于影像中水體區域的特征描述，因此本文算法在大范圍水體提取任務上的性能更優。

圖7 本文算法及對比算法識別性能的人眼主觀評價過程

3 結束語

本文提出了一種基于多源異構遙感數據的大范圍水體提取方法。基于所構建的多尺度特征融合的多源異構數據融合模型，由合成孔徑雷達影像提供水體區域的邊緣輪廓信息，并由多光譜影像提供水體區域的細部特征信息，同時結合所提出的高維卷積單元進行深層特征提取，實現基于多源異構遙感影像融合的大范圍水體提取。對比實驗表明，本文算法在包含全球不同地區水體影像的大規模多源異構遙感數據庫中的水體提取準確率達到了90.12%，相比于現有水體提取算法，本文算法對于大范圍水體提取的準確率提高了3.73%以上，證明了其在大范圍水體提取任務上的魯棒性。在面向多源異構遙感數據的水體提取領域，各類遙感數據在時間分辨率等方面均各不相同，針對不同類型的多源異構遙感數據，下一步考慮在網絡結構設計方面進一步進行有針對性的組件設計，以適應更多種類的多源異構遙感數據組合，提升模型在不同類型遙感數據水體提取任務上的適用性。