Sentinel-2/MSI深度學習超分辨率重建及河湖水質遙感反演

王世瑞,沈芳,魏小島

(1.華東師范大學 河口海岸學國家重點實驗室,上海 200062;2.上海勘測設計研究院有限公司,上海 200050;3.中國長江三峽集團有限公司 長江生態環境工程研究中心,北京 100038)

0 引言

在人類活動和氣候變化的持續影響下,許多內陸水體正面臨水質惡化的問題[1]。水質監測對控制水污染的延伸和維持水環境健康至關重要,是水環境管理的主要方法[2]。與傳統的水質監測方法相比,衛星遙感技術不但具有周期性觀測、效率高和成本低等優點,能夠滿足大范圍水質同步監測需求,而且可以揭示常規措施難以發現的污染物遷移分布特征[3]。

Sentinel-2/MSI衛星數據由于獲取免費且空間分辨率高,被廣泛應用于遙感水質監測[4-5]。但該衛星多光譜波段的空間分辨率并不一致,包括10 m、20 m和60 m。通常,使用全波段數據時會將Sentinel-2/MSI的空間分辨率重采樣至10 m。但傳統的空間域重采樣算法,如最近鄰、雙線性或雙三次插值(bicubic)等,未利用光譜域信息,難以有效降低波段中混合像元的數量[6]。近年來,針對Sentinel-2影像結合光譜域和空間域的插值算法逐漸得到發展。傳統算法方面,SupReMe(super-resolution for multispectral multiresolution estimation)算法通過對Sentinel-2高分辨率波段紋理信息進行編碼并傳遞給低分辨率波段作為規則器,同時在光譜維上求解一個凸優化問題,以實現影像的超分辨重建[7]。深度學習算法方面,Lanaras等[8]基于波段融合思想,利用殘差神經網絡學習低/高分辨率圖像間的紋理映射關系,融合空間及光譜信息對全局進行回歸訓練,實現Sentinel-2/MSI L1C大氣頂層反射率影像的超分辨重建,并將此算法命名為Dsen2。Dsen2不僅能降低空間異質性,而且能出色的保留光譜特征。然而Dsen2神經網絡模型結構單一,仍有一定改進空間,比如通過注意力機制對模型中的重要特征賦予權值,能夠使信息提取過程更為有效,起到優化模型的作用[9]。

水質遙感監測通過探究水體的反射率、散射系數和吸收系數等光學特性與對應實測水質參數之間的關系,建立水質遙感反演模型,從而獲得整個水域水質參數的空間分布情況和濃度變化趨勢[10]。反映水質的參數主要有葉綠素、總磷、總氮、濁度、氨氮和高錳酸鹽指數(CODMn)等。這些參數與水生態環境息息相關,其值不在正常范圍時,水生動植物的生活環境會受到影響[11]。估算水質參數含量的遙感方法較多,主要有經驗方法[12]、半解析方法[13]、機器學習方法和深度學習方法。近年來,由于機器學習和深度學習具有更高的預測精度,已被廣泛應用于水質遙感監測領域[14-15],前者集成度較高,難以有所創新,后者更復雜,應用潛力更高,有望實現更智能的水質監測。

本研究在Dsen2深度學習模型的基礎上,結合卷積注意模塊(convolutional block attention module,CBAM)進行遷移學習,對低分辨率波段(>10 m)進行超分辨率重建;研究超分辨率算法在水質參數定量反演中的應用成效,分析影像重建前后對水質參數的敏感性;構建多種回歸模型,對比影像重建前后水質參數的反演精度,最后選取最優模型進行制圖。本研究成果可為精細化水質遙感監測提供方法借鑒與數據支撐。

1 研究區與數據

1.1 研究區域

上海市緊鄰長江口,平均海拔2.19 m,屬于亞熱帶季風氣候,四季分明;水系眾多,河網密布,存在約14 000條河流;最大內陸河為黃浦江,長82.5 km,發源于淀山湖,上游以農業區為主,下游則以城鎮區為主,最后匯入長江。上海市除眾多河流外,且有許多湖泊、水庫及水塘等。

1.2 數據及預處理

1)水質數據。內陸水體的水質參數以總氮、總磷、氨氮、CODMn和濁度為例,其數據來源于國家科技基礎條件平臺—國家地球系統科學數據中心(https://www.geodata.cn/[2022-03-01])及青悅數據(https://www.epmap.org/[2022-03-01])。監測站點主要分布于上海黃埔江(表1),監測時間從2020年11月至2021年11月。去除離散異常值后,分別獲得330個總氮、238個總磷、252個氨氮、274個CODMn和351個濁度數據。

2)遙感數據及預處理。Sentinel-2/MSI是極軌雙星,有A、B兩顆衛星,聯合重訪周期為5 d,搭載13個光譜波段的多光譜成像儀。根據水質數據采集的時間和站點匹配衛星數據,水質采樣與Sentinel-2/MSI衛星過境時間差應小于4 h,據此共匹配并下載103景Sentinel-2/MSI的L1C產品(https://scihub.copernicus.eu/dhus/#/home[2022-03-01])。L1C產品需大氣校正以消除大氣作用,獲取地表真實的反射率信息。眾多學者使用Sentinel-2影像時,對比了不同大氣校正算法如6S、Sen2Cor、Acolite,考慮水體、建筑物、植被等區域因素,Sen2cor均表現出不錯的精度[16-17]。因此本文使用SNAP軟件(http://step.esa.int/main/download/snap-download/)中的Sen2Cor算法對L1C影像進行大氣校正,將大氣表觀反射率轉換成地表反射率,以輸出L2A產品。

假設實測水質參數對應影像周圍50 m×50 m的水體反射率具有函數映射關系,因此建立以監測站點為中心,邊長為50 m的正方形,并提取每個實測水質參數對應影像的反射率值。使用改進的歸一化水體指數[18]提取水體,相比于歸一化水體指數,該指數可消除建筑物的影響。

在提取水體后,由于原始天頂反射率數據的問題,大氣校正后,影像地表反射率數據仍存在異常值,本研究采用表觀可見波長(apparent visible wavelength,AVW)[19]指數來去除。AVW指數利用加權調和平均的方法對可見光光譜反射率進行計算,其值與每個波段反射率的權重有關,能反映光譜形狀,在一定程度上也可反映水色類型。計算AVW值,其中正常水體反射率計算的AVW值占比更大,取其眾數位置上的反射率以去除異常值。AVW的計算如式(1)所示。

(1)

式中:R為各波段反射率值;λi為第i個波段的波長。

2 研究方法

2.1 基于遷移學習的超分辨率重建模型

本研究采用Dsen2算法提升Sentinel-2/MSI空間分辨率,探究超分辨技術對水質遙感監測的影響程度。該方法假設具有不同地面采樣距離(ground sampling distance,GSD)的波段之間的量度關系在相關標度范圍內是自相似的[20],即尺度不變性,意味著分辨率20 m→10 m和40 m→20 m、60 m→10 m和360 m→60 m之間的映射基本一致,在一定比例范圍內,該方法可將Sentinel-2/MSI所有低分辨率波段提升至10 m。本研究假設Dsen2算法邏輯可應用于Sentinel-2 L2A產品。因此,采用基于模型的遷移學習方法賦予預訓練權值,提升訓練效率。在此基礎上,引入CBAM進行全局注意,CBAM模塊會將輸入特征依次進行一維壓縮和二維壓縮,分別對通道和空間推算注意力圖,然后將注意力圖與輸入特征圖相乘,傳輸重要特征信息,以進行自適應特征選擇[21],從而優化深度學習模型。新模型命名為哨兵2殘差卷積注意(Sentinel-2/MSI resblock convolutional attention,S2RESCA)模型。

為了簡化符號,以s倍超分辨率重建模型為例,首先對原始影像進行高斯模糊處理,模擬其調制傳遞函數,通過對s×s窗口取平均來下采樣,獲取低分辨率真實影像。當s=6時,將具有相同分辨率的波段分為3組:A=(B2,B3,B4,B8)(GSD=60 m),B=(B5,B6,B7,B8A,B11,B12)(GSD=120 m),C=(B1,B9)(GSD=360 m)。在進行訓練時,C上采樣的高頻信息來源于A、B、C耦合的多尺度特征。假設A中高分辨率波段的空間維度為W×H,可表示為式(2)。

(2)

式中:Ca∈R2×W×H,為生成的空間分辨率為60 m的超分辨圖像。

如圖1所示,模型結構的主要組成部分是卷積層(Conv)、非線性激活函數(ReLU)、殘差神經網絡模塊(Resblock)以及CBAM。B、C分別為通過Bicubic上采樣得到Yb、Yc。模型訓練數據為[A,Yb,Yc](GSD=60 m),其空間分辨率一致;令原始影像波段為標簽數據Cx(GSD=60 m)。

圖1 深度學習超分辨率重建算法過程

將Yc與經過網絡提取的高頻特征信息通過跳越連接進行融合,即可得到超分辨率重建影像,如式(3)所示。

Ca=Yc+R(Cx,Yc)

(3)

式中:R(Cx,Yc)為低/高分辨率之間的非線性映射,本質上是高分辨率影像具有的高頻信息,空間維度為2×W×H,模型輸出Ca(GSD=60 m)即為“超分辨率重建影像”,其與C(GSD=360 m)對應,可與Cx作比較,以評估模型的性能。當s=2時,B上采樣的信息來自A和B,其原理及配置均與6倍神經網絡一致。

采用均方根誤差(RMSE)以及信號與重構誤差比(signal to reconstruction error ratio,SRE)評估超分辨率重建模型的效果。RMSE越小,SRE越大,說明模型重建結果越接近真實圖像,模型精度越高。

2.2 水質參數反演模型

1) 統計回歸模型。利用指數、冪指數、線性及多項式等方法(表2)對水質參數(總氮、總磷、濁度、氨氮及高錳酸鹽指數)建立統計回歸模型,其自變量為波段或波段組合(A-B、A+B、A/B、(A-B)/(A+B),A與B表示不同的隨機波段)。

表2 統計回歸模型

2)深度神經網絡模型。具有光學敏感信號的水色參數有懸浮物濃度、浮游植物色素濃度、有色溶解有機物(CDOM)等。CODMn的光學信號呈現弱敏感特征,總氮、總磷及氨氮屬于非光敏信號水質參數,盡管其與水色參數可能存在共變關系,但是常規的單、多元線性回歸模型難以構建衛星數據與水質參數數據之間的量化關系。相較而言,機器學習或深度學習算法能更好地表達衛星數據與水質參數之間潛在的復雜關系,以犧牲解釋性為代價,構建精度更高的反演模型,具有更好的預測性。Peterson等[22]研究發現逐級衰減深度神經網絡模型(pDNN)在水質定量反演中具有相當不錯的穩健性,其模型增加了第二層神經元數量以擴大特征搜索范圍,并開始逐級遞減。為此,本研究通過Tensorflow和Keras構建了一個具有多個隱藏層的pDNN模型,相比于淺層神經網絡,可提取更深層次的特征。該模型包含6個全連接層,神經元數量依次為[12,48,32,16,8,1],輸入層的數據為與水質參數相關性較高的光譜特征,輸出層為水質參數濃度。調用線性激活函數(ReLU)來傳遞權重,優化器為均方根傳遞(RMSprop)算法,損失函數為均方根誤差,學習率Lr的初始值為10-3,設置為自適應調整,在訓練批次中損失10次不變時,按式(4)自動降低學習率,防止陷入局部最優。模型通過絕對系數(R2)、RMSE和對稱平均絕對百分比誤差(symmetric mean absolute percentage error,sMAPE)進行評價。

Lrnew=Lr×factor

(4)

式中:Lrnew為新的學習率;factor為衰減系數,一般取0.1。

具體研究方法主要包括3個部分:超分辨重建方法對比、水質遙感反演回歸模型對比、水質參數濃度預測和制圖分析,流程如圖2所示。

圖2 基于Sentinel-2/MSI超分辨率重建及水質遙感反演研究的流程

3 結果與分析

3.1 超分辨重建方法與質量評價

1)超分辨重建方法的定量評價。當s=6時,利用10景影像訓練S2RESCA及Dsen2模型,根據最高分辨率波段對每一景影像隨機采取500個影像塊,尺寸為192像素×192像素,共獲取2 000個影像塊,90%用于訓練,剩余10%用作驗證。當s=2時,影像塊由A和B組成,尺寸為32像素×32像素,其余均一致。Dsen2和S2RESCA均基于遷移學習訓練2 250次,訓練批次為16,初始學習率為10-4,損失在10次不變時,當前學習率會乘以衰減系數0.1來自動減小。采用平均絕對誤差(MAE)作為L1損失函數,有助于生成高頻紋理信息,增強空間細節;采用梯度下降優化算法Nadam作為優化器,有助于增加穩定性和學習效率,采用均方根誤差(MSE)測量損失。實驗在GTX1660s進行,Python Tensorflow2.0編程實現。

在S2RESCA及Dsen2模型訓練完成之后,按式(2),定量評價4種影像重建方法在20 m和60 m波段上的結果。結果如表3所示,加粗字體為本研究提出的方法。其中S2RESCA訓練過程的損失變化情況如圖3所示,隨著迭代次數的增加,訓練與驗證損失同步下降。

圖3 S2RESCA模型訓練過程MSE損失變化情況

表3 4種方法重建影像后各波段的RMSE、SRE結果

相比于原始Dsen2神經網絡模型,S2RESCA模型在各波段上均有較好的表現,B1和B9(60 m)質量提升明顯,RMSE整體降低15.3%,SRE提升1.16%;其余波段(20 m)RMSE整體降低5.1%,SRE無明顯差別,表明S2RESCA模型重建影像在數值上更接近真實值。SupReMe重建影像各波段的RMSE均比Bicubic低,其整體的SRE僅比Dsen2低3.6%,重建效果也不錯。圖4(c)～圖4(f)顯示了4種算法應用于同一原始影像生成空間分辨率為10 m的影像結果。對于寬度在120～240 m范圍的河流,空間分辨率為60 m的B1和B9波段(圖4(b)),僅2～4個像素覆蓋。當水域寬度小于10個像素時,則該區域影像像元易受鄰近效應的影響。相比于圖4(b)、圖4(c),圖4(d)、圖4(e)、圖4(f)池塘或河流邊緣更為清晰,紋理細節明顯增強。綜合考慮RMSE、SRE及清晰度,4種方法的重建精度是S2RESCA>Dsen2>SupReMe>Bicubic,S2RESCA方法重建的影像更接近真實情況。故本研究采用S2RESCA方法對Sentinel-2/MSI進行超分辨率重建,并研究對水質反演精度的影響。

圖4 4種算法對60 m波段重建到10 m的合成顯示圖結果

2) S2RESCA超分辨率重建影像的質量評價。采用變異系數(coefficient of variation,CV)分析影像重建前后水域與近岸像元的空間異質性,CV為數據標準差與數據平均數的比的百分值,可檢測像元的離散程度,是一個無量綱的值,可消除測量尺度和量綱的影響[23]。以水域為例,根據真彩色影像裁剪河岸邊緣內較為均一的水體區域(圖5),研究發現,遠離岸邊的水體,其超分辨率重建影像與原始影像各波段的CV變化基本一致(區域1、區域3),表明影像重建前、后空間異質性變化基本一致,鄰近效應可忽略不計;而近岸水體(區域2、區域4),重建影像各波段的CV均小于原始影像,且分辨率越低的波段(B1、B9),CV降低更為明顯,表明空間異質性明顯降低。整體而言,原始影像超分辨率重建后,其20 m波段CV降低7.6%,60 m波段CV降低31.6%。

圖5 影像重建前后各波段變異系數對比結果

3.2 水質反演及評價

1)水質參數特征波段。濁度的敏感波段一般在可見光范圍內,因此需要去掉780 nm后的波段,其他參數則需去掉B11、B12遠紅外波段,剩余波段通過遍歷兩波段組合,計算影像重建前后每組最優波段組合與不同實測水質參數的相關系數絕對值,繪制二者對應波段組合的相關系數差值矩陣熱力圖來進行敏感性分析(圖6),并去除差值小于等于0的區域。各實測水質參數的樣本數量與對應的每組特征波段數量均為80個。如圖6所示,濁度無明顯變化,氨氮、CODMn、總氮和總磷的相關性分別在含有B1與B8、B7與B8、B1與B8A和B1的波段組合中明顯增強;最高提升的相關系數分別為0.086、0.082、0.169和0.089。差值矩陣表明,相關系數明顯升高的波段組合與參數的敏感性更高。濁度、氨氮、CODMn、總氮和總磷與原始影像相關系數最高分別為0.668、0.725、0.368、0.687及0.639,與重建影像相關系數最高分別為0.668、0.725、0.467、0.726及0.707。重建影像與各參數的最高相關系數均高于或等于原始影像,并達到顯著水平(p<0.05)。根據相關系數降序做特征選擇(表4),選取前10個特征波段,氨氮、CODMn、總氮、總磷的特征波段中主要含有的波段分別為B4與B8、B7與B8、B1、B1,與圖8中相關系數明顯升高的特征波段相比,二者均有共同波段(B8、B7與B8、B1、B1),表明應用深度學習超分辨算法可提高影像與不同參數的相關性,且基本上使其最佳特征波段的相關系數得到顯著提高。

圖6 超分辨影像與原始影像之間各水質參數與兩波段組合或波段的相關系數差值矩陣

表4 各水質參數前10個特征波段

2)水質遙感反演模型及評價。分別構建單元線性、多元線性及DNN回歸模型對濁度、CODMn、總氮、總磷及氨氮參數進行遙感反演。單元回歸模型自變量為表4各參數首個相關性最高的特征波段。多元回歸模型和DNN模型自變量為表4中所有特征波段,其中DNN模型訓練5 000次。每種參數的實測樣本以及對應的特征波段均為160個,打亂順序后,60%用于構建模型,40%用于驗證,計算實測值與預測值的R2、RMSE及sMAPE。

3種模型的結果表明(表5),基于超分辨率影像構建的水質反演模型精度均高于原始影像。相比于原始影像,3種模型基于超分辨率影像反演的濁度、CODMn、總氮、總磷及氨氮,平均RMSE分別降低了2.31%、11.03%、8.09%、13.33%及4.25%,平均sMAPE分別降低了7.03%、4.88%、11.85%、8.41%及1.38%。3種模型中,DNN模型精度最高,在水質遙感監測中具有較大優勢,最差的是單元統計回歸模型。基于超分辨影像,DNN模型反演水質參數實測值與預測值的散點分布情況如圖7所示,各參數的分布較為均勻,模型未出現過飽和現象,具有良好的穩定性。

圖7 水質參數DNN模型實測值與預測值的擬合結果

表5 3種模型對影像重建前后的水質遙感反演精度評價結果

3.3 水質參數制圖與分析

為了檢驗DNN模型的推廣適用性,使用2021年2月7日位于上海市的一景Sentinel-2/MSI影像進行水質參數反演制圖,主要區域包含黃浦江、蘭香湖、淀山湖。采用地表水環境質量標準(GB 3838—2002、GHZB1—1999)將水質分為5類,并進行評價。

黃浦江結果顯示,黃浦江水體的濁度、CODMn、總氮、總磷及氨氮的反演制圖(圖8(b)～圖8(f))的大部分水體處于健康狀態,整體較為清潔干凈,與上海市水資源公報的結果一致。如圖8(c)所示,CODMn的濃度均在Ⅱ類水質范圍內,屬于健康范圍。總磷的水質級別從Ⅰ級到Ⅳ級不等,值得注意的是,磷主要來源于人類產生的含磷城市污水或者含磷化肥,從圖8(e)可以看出,城鎮區域的總磷含量明顯高于郊區,表明生活污水的排放會影響城鎮區域河段的總磷含量。圖8(d)總氮濃度與總磷濃度分布相似,圖8(f)氨氮的水質級別從Ⅰ級到Ⅲ級不等,處于健康水平。

圖8 水質參數濃度空間分布

圖8(g)～圖8(k)分別為濁度、CODMn、總氮、總磷及氨氮,帶有數字的圈表示水質分類級別。淀山湖與蘭香湖結果顯示,淀山湖(圖8(a)的標識1)河口的濁度較大(圖8(g)),這主要是由于上游河口的流水攜帶了大量的泥沙,水向外延伸時泥沙逐漸沉淀,濁度下降,呈扇形分布。蘭香湖(圖8(a)的標識2)各項水質參數(圖8(g)～圖8(k))均達到Ⅰ類水質或Ⅱ類水質的標準。根據資料顯示,蘭香湖是一個人工生態湖泊,常處于清澈的狀態,水質普遍較好,在此類較小型的水體反演制圖結果與實測資料基本一致。其他水質參數在此也有類似的分布紋理,與濁度有一定的關聯性。

4 結束語

本文提出了一種基于遷移學習結合注意力機制CBAM模塊的超分辨重建模型S2RESCA,通過降尺度方法,使用SRE與RMSE指標對比了其他算法,該模型可對Sentinel-2/MSI地表反射率產品實現精度更高的超分辨率重建。所有重建波段與原始波段的RMSE均為最低,SRE均為最高,明顯提高了河湖的清晰度和空間細節。此外,本文評價了超分辨率重建影像的質量及進行水質遙感反演的精度,得出以下結論。

1)影像通過S2RESCA模型重建后,近岸水體像元空間異質性明顯降低。特別是B1和B9波段CV降低31.6%,其余波段CV降低7.6%。

2)水質參數特征波段分析結果表明,濁度無明顯變化,CODMn、總氮、總磷和氨氮相關性最高的特征波段分別是含有B7與B8、B1、B1、B8的波段組合。影像超分辨率重建后,水質參數相關系數提升明顯的均為相關性最高的特征波段,即為敏感性波段,分別提升0.082、0.169、0.089和0.086。

3)水質參數遙感反演模型精度對比結果表明,對于濁度、CODMn、總氮、總磷和氨氮的超分辨率影像反演,各模型預測精度均有提升,其中DNN模型對各水質參數的反演精度更高,R2分別為0.85、0.74、0.67、0.76和0.78。通過對上海市流域水系的水質參數濃度制圖分析,黃浦江、蘭香湖及淀山湖水質參數濃度分布與水環境的實際情況基本一致,驗證了DNN模型在不同水域均可進行有效的水質評價。

本研究成果可實現時空連續的高分辨率(10 m)水質參數濃度制圖,為地表水環境管理決策提供有用的監測工具。相比水色參數SPM、Chla及CDOM,低光學信號水質參數遙感反演影響因素更為復雜。盡管本文研究了深度學習超分辨率算法及水質參數模型的影響,但水體顏色、水體類型及水色參數等與其之間的共變關系仍有待研究。