基于U-Net的湖北省露天礦山土地?fù)p毀信息提取應(yīng)用

何 睿, 王 潤*, 徐 航, 劉 帥, 李彧磊, 張 碩, 陳 琨, 蔡 宇, 陳夢源

(1.資源與生態(tài)環(huán)境地質(zhì)湖北省重點實驗室,湖北 武漢 430034; 2.湖北省地質(zhì)環(huán)境總站,湖北 武漢 430034)

湖北省礦產(chǎn)資源豐富,開采方式以露天開采為主,對礦區(qū)及其毗鄰區(qū)域造成了地貌景觀破壞和土地資源損毀等危害。近年來,為準(zhǔn)確掌握全省礦山地質(zhì)環(huán)境現(xiàn)狀及其變化情況,為政府部門合理制訂礦山生態(tài)修復(fù)治理措施提供依據(jù),湖北省對重點礦集區(qū)開展了持續(xù)性的遙感監(jiān)測工作。但由于礦集區(qū)面積大、礦山數(shù)量多,使得遙感監(jiān)測數(shù)據(jù)處理工作量較大,有必要研究高效快速的遙感信息提取方法,提升露天礦山土地?fù)p毀信息的提取效率。

遙感技術(shù)自20世紀(jì)70年代開始應(yīng)用以來,其時間分辨率和空間分辨率得到持續(xù)提升,已成為礦山地質(zhì)環(huán)境調(diào)查監(jiān)測的重要手段[1-5]。近些年,深度學(xué)習(xí)方法由于具有比傳統(tǒng)方法更高的分類識別精度[6],在多種地質(zhì)工作場景得到有效應(yīng)用,其中卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)是目前常用的深度學(xué)習(xí)方法,該方法可提取局部關(guān)聯(lián)性特征以提高對大量變化數(shù)據(jù)的適應(yīng)能力,針對高分辨率遙感影像開展地物分類工作可獲得較高的準(zhǔn)確率[7-9]。以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ),眾多研究人員不斷對U-Net等模型進(jìn)行優(yōu)化,進(jìn)一步提升了其學(xué)習(xí)效率[10-12]。將國產(chǎn)高分辨率衛(wèi)星數(shù)據(jù)與包括U-Net模型在內(nèi)的深度學(xué)習(xí)方法相結(jié)合,已有效應(yīng)用于礦山露天開采區(qū)的識別,對于尾礦庫的空間變化監(jiān)測也有一定成效[13-18]。

目前在綠色礦山建設(shè)、礦山地質(zhì)環(huán)境修復(fù)治理等工作中,還是主要利用高分辨率遙感數(shù)據(jù)結(jié)合無人機(jī)進(jìn)行現(xiàn)場調(diào)查,并對治理效果進(jìn)行監(jiān)測[19-23],如果將深度學(xué)習(xí)方法應(yīng)用于這些工作場景,可能會進(jìn)一步提高相關(guān)信息提取的準(zhǔn)確度和效率。本文以湖北省露天礦山為研究對象,以高分二號(GF-2)衛(wèi)星影像為數(shù)據(jù)源,結(jié)合研究區(qū)以往遙感解譯成果,利用U-Net模型開展區(qū)內(nèi)露天礦山土地?fù)p毀信息提取的應(yīng)用研究,以驗證U-Net模型進(jìn)行該項工作的可行性,并提升湖北省對礦山地質(zhì)環(huán)境現(xiàn)狀及其變化情況的掌握程度。

1 研究區(qū)概況及數(shù)據(jù)源

1.1 自然地理概況

本次選擇的研究區(qū)為湖北省內(nèi)3個重點礦集區(qū)(圖1),均位于江漢平原及周邊山區(qū)的過渡區(qū)域,總面積約1 212 km2,其中荊門石膏礦區(qū)(圖1-b)位于荊山山脈與江漢平原的過渡地帶;荊襄磷礦區(qū)(圖1-c)位于漢江中游、大洪山南麓、鄂北山區(qū)向江漢平原的過渡地帶;松宜煤礦區(qū)(圖1-d)位于鄂西北山區(qū)東緣向江漢平原的過渡地帶。

圖1 研究區(qū)分布圖Fig.1 Location map of the study area

1.2 礦山土地?fù)p毀概況

研究區(qū)各礦山主要開采煤、磷、石膏、巖鹽、灰?guī)r、頁巖、石材、石料等礦產(chǎn)。根據(jù)2021年礦山遙感解譯資料,遙感解譯圖斑分為3類:露天采場、中轉(zhuǎn)場地、固體廢棄物堆場,圖斑總面積為2 450.90 hm2,具體如表1所示。

表1 研究區(qū)礦山土地?fù)p毀情況Table 1 Land damage situation of mines in the study area

1.3 數(shù)據(jù)源

本次研究所用數(shù)據(jù)源為高分二號衛(wèi)星影像數(shù)據(jù),該衛(wèi)星搭載了1臺1 m分辨率全色相機(jī)(光譜范圍0.45～0.90 μm)和1臺4 m分辨率多光譜相機(jī)(光譜范圍0.45～0.52、0.52～0.59、0.63～0.69、0.77～0.89 μm),可實現(xiàn)亞米級的空間分辨率,成像效果整體清晰、辨識度高。為覆蓋研究區(qū)范圍,共使用11景2021年度影像數(shù)據(jù)。將高分二號衛(wèi)星影像數(shù)據(jù)作為訓(xùn)練樣本集影像片基礎(chǔ),結(jié)合2021年礦山遙感解譯圖斑,可制作U-Net模型所需的數(shù)據(jù)訓(xùn)練集。

2 工作方法和流程

工作流程包括解譯標(biāo)志建立、數(shù)據(jù)訓(xùn)練集創(chuàng)建、模型選擇與訓(xùn)練、信息提取結(jié)果對比驗證等4部分,總體技術(shù)流程如圖2所示。

圖2 總體技術(shù)流程Fig.2 Overall technical flow chart

2.1 解譯標(biāo)志建立

根據(jù)研究區(qū)2021年礦山遙感解譯資料,露天采場是最主要的露天礦山土地?fù)p毀表現(xiàn)形式,其影像邊界較清晰,開采區(qū)域多呈淺色,可見階梯狀開采面(圖3)。

圖3 露天采場遙感影像Fig.3 Example of open-pit mining area

2.2 數(shù)據(jù)訓(xùn)練集創(chuàng)建

為開展基于U-Net模型的土地?fù)p毀信息提取工作,需要準(zhǔn)備數(shù)據(jù)訓(xùn)練集并對其進(jìn)行標(biāo)注,利用ArcGIS Pro軟件的深度學(xué)習(xí)模塊可實現(xiàn)數(shù)據(jù)訓(xùn)練集的導(dǎo)出。數(shù)據(jù)訓(xùn)練集主要由影像數(shù)據(jù)和矢量數(shù)據(jù)(shp)構(gòu)成,將矢量數(shù)據(jù)疊加在影像數(shù)據(jù)上進(jìn)行分類標(biāo)記,完成后導(dǎo)出即可獲得數(shù)據(jù)訓(xùn)練集。以研究區(qū)281個露天采場解譯圖斑的矢量數(shù)據(jù)為基礎(chǔ),結(jié)合高分二號衛(wèi)星影像數(shù)據(jù),生成相應(yīng)的影像片,并對影像片進(jìn)行不同角度的旋轉(zhuǎn)以創(chuàng)建其他影像片,從多個角度捕獲相同的訓(xùn)練樣本(圖4),實現(xiàn)樣本數(shù)據(jù)增強(qiáng)。不同旋轉(zhuǎn)角度下所創(chuàng)建的數(shù)據(jù)訓(xùn)練集的樣本量是不同的(表2)。

表2 不同數(shù)據(jù)訓(xùn)練集樣本量Table 2 Sample capacity of different data training sets

圖4 不同旋轉(zhuǎn)角度的訓(xùn)練樣本Fig.4 Training sample with different rotation angles

2.3 模型選擇與訓(xùn)練

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)方法中常用的一種模型,其優(yōu)勢在于將多維數(shù)據(jù)樣本圖像作為模型輸入層時,不需要對樣本數(shù)據(jù)進(jìn)行特別復(fù)雜的處理,避免了進(jìn)行圖像信息學(xué)習(xí)時所需的復(fù)雜的圖像特征提取過程和圖像數(shù)據(jù)重建過程。對于礦山遙感影像的圖斑識別,主要利用影像光譜信息來進(jìn)行,選擇用于像素分類的U-Net模型進(jìn)行模型訓(xùn)練。

U-Net模型網(wǎng)絡(luò)結(jié)構(gòu)包括編碼部分和解碼部分(圖5)。在編碼部分,每次下采樣之前使用2個卷積核為3×3的卷積層進(jìn)行特征提取,卷積之后使用ReLU激活函數(shù),使用大小為2×2的最大池化操作減少特征維度,以增大感受野。每經(jīng)過1次下采樣,圖像尺寸縮小1/2,維度增大1倍。通過這種重復(fù)的操作可以充分提取圖像的高層特征并過濾掉不需要的信息。在解碼部分,使用反卷積進(jìn)行上采樣,上采樣之后同樣使用2個卷積核為3×3的卷積層,逐步恢復(fù)圖像的細(xì)節(jié)信息,并最終恢復(fù)特征圖至輸入圖像的尺寸。每經(jīng)過1次上采樣,圖像尺寸增大1倍,維度縮小1/2。編碼部分和解碼部分對應(yīng)階段之間使用跳躍連接結(jié)構(gòu),復(fù)用低層次特征信息,以更好地還原圖像細(xì)節(jié)信息。

圖5 U-Net模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 The network structure of U-Net

在選擇U-Net模型的基礎(chǔ)上,需要進(jìn)一步選擇模型所使用的骨干模型,即卷積層和池化層的排列組合方式。本次研究使用ResNet作為骨干模型(圖6)。ResNet是一種主要針對傳統(tǒng)堆疊網(wǎng)絡(luò)缺點進(jìn)行改進(jìn)的骨干模型,即提出殘差結(jié)構(gòu)用以優(yōu)化網(wǎng)絡(luò),解決深度網(wǎng)絡(luò)化下的退化問題[24-26]。ResNet通過堆疊非線性層用以擬合殘差,同時提出恒等快捷連接用于執(zhí)行恒等映射,并將其輸出添加到堆疊層的輸出,恒等快捷連接既不會增加額外的參數(shù),也不會提高計算復(fù)雜度。假設(shè)原先的網(wǎng)絡(luò)輸入為x,網(wǎng)絡(luò)輸出為H(x),ResNet令H(x)=F(x)+x,則殘差網(wǎng)絡(luò)可以通過對殘差F(x)=H(x)-x進(jìn)行學(xué)習(xí),其學(xué)習(xí)效率會高于直接學(xué)習(xí)H(x)的效率。ResNet主要有5種不同大小的網(wǎng)絡(luò),即ResNet18、ResNet34、ResNet50、ResNet101和ResNet152,各ResNet網(wǎng)絡(luò)之間的不同主要在于中間卷積部分的block參數(shù)和個數(shù)存在差異。

圖6 ResNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 The network structure of ResNet

設(shè)置數(shù)據(jù)訓(xùn)練集、模型、骨干模型等參數(shù)后,可以進(jìn)行模型訓(xùn)練。為保證模型訓(xùn)練效果,將最大新紀(jì)元數(shù)量設(shè)置為20,即數(shù)據(jù)訓(xùn)練集將通過神經(jīng)網(wǎng)絡(luò)向前和向后傳遞20次。完成參數(shù)設(shè)置后,選擇1個重點礦集區(qū)來建立露天采場土地?fù)p毀信息提取的數(shù)據(jù)訓(xùn)練集,分別使用U-Net模型和金字塔場景來開展信息提取實驗,并在此基礎(chǔ)上選擇效率更高的骨干模型及參數(shù)來開展整個研究區(qū)的露天礦山土地?fù)p毀信息提取工作。

2.4 信息提取結(jié)果對比驗證

需要對不同骨干模型及參數(shù)開展精度評價,包括模型的訓(xùn)練損失與驗證損失對比、精度評價參考值對比,其中精度評價參考值選取精確度(precision,P)、召回率(recall,R)和F1值。精確度表示模型預(yù)測的像素總數(shù)中,正確預(yù)測的真實像素數(shù)量占預(yù)測的真實像素數(shù)量的比例;召回率表示模型預(yù)測的像素總數(shù)中,正確預(yù)測的真實像素數(shù)量占實際的真實像素數(shù)量的比例;F1值表示精確度與召回率的調(diào)和平均數(shù),其取值范圍為[0,1]。F1值計算公式如下:

在理想狀態(tài)下,應(yīng)考慮精確度和召回率均為高值,但實際情況中兩者互相制約,追求精確度高,則召回率就低;追求召回率高,則精確率通常較低。而引入F1值可以平衡精確度和召回率的影響,較為全面地評價模型精度,F1值越大表示模型效果越好。

在模型精度評價的基礎(chǔ)上,利用所選擇的骨干模型及相應(yīng)的參數(shù),對3個重點礦集區(qū)分別開展露天礦山土地?fù)p毀信息提取,將信息提取結(jié)果與高分辨率遙感影像進(jìn)行對比驗證。

3 模型精度評價與信息提取

3.1 模型精度評價

利用荊門石膏礦區(qū)79個露天采場圖斑制作旋轉(zhuǎn)角度分別為0°、60°、30°的數(shù)據(jù)訓(xùn)練集,在U-Net模型中依次將骨干模型設(shè)置為ResNet18、ResNet34、ResNet50、ResNet101和ResNet152,經(jīng)深度學(xué)習(xí)后獲得對應(yīng)的訓(xùn)練模型及其影像預(yù)測結(jié)果。

當(dāng)訓(xùn)練樣本旋轉(zhuǎn)角度為0°時,不同骨干模型的訓(xùn)練損失與驗證損失圖如圖7所示,對應(yīng)的影像識別驗證對比圖如圖8所示。當(dāng)骨干模型設(shè)置為ResNet18、ResNet34時,隨著訓(xùn)練批次的增加,驗證損失曲線盡管存在一定波動,但趨勢趨于平穩(wěn);當(dāng)骨干模型設(shè)置為ResNet50時,訓(xùn)練批次有所增加,驗證損失曲線隨之趨于平滑;當(dāng)骨干模型設(shè)置為ResNet101和ResNet152時,訓(xùn)練批次大量增加,但驗證損失曲線出現(xiàn)大幅度波動。

圖7 訓(xùn)練樣本旋轉(zhuǎn)角度為0°時不同骨干模型的訓(xùn)練損失與驗證損失圖Fig.7 Training loss and validation loss graph for different ResNet models with training sample rotation angle of 0°

圖8 訓(xùn)練樣本旋轉(zhuǎn)角度為0°時不同骨干模型的影像識別驗證對比圖Fig.8 Verification comparison chart for different ResNet models with training sample rotation angle of 0°

當(dāng)訓(xùn)練樣本旋轉(zhuǎn)角度為60°時,不同骨干模型的訓(xùn)練損失與驗證損失圖、影像識別驗證對比圖分別如圖9、圖10所示。當(dāng)骨干模型設(shè)置為ResNet18、ResNet34時,隨著訓(xùn)練批次的增加,驗證損失曲線在早期存在一定波動,在后期趨于平穩(wěn);當(dāng)骨干模型設(shè)置為ResNet50時,訓(xùn)練批次有所增加,驗證損失曲線隨之趨于平滑,但后期出現(xiàn)波動;當(dāng)骨干模型設(shè)置為ResNet101時,驗證損失曲線隨著訓(xùn)練批次的增加發(fā)生大幅波動;當(dāng)骨干模型設(shè)置為ResNet152時,驗證損失曲線隨著訓(xùn)練批次的增加,在前期趨于平緩,在后期出現(xiàn)高峰值波動。

圖9 訓(xùn)練樣本旋轉(zhuǎn)角度為60°時不同骨干模型的訓(xùn)練損失與驗證損失圖Fig.9 Training loss and validation loss graph for different ResNet models with training sample rotation angle of 60°

圖10 訓(xùn)練樣本旋轉(zhuǎn)角度為60°時不同骨干模型的影像識別驗證對比圖Fig.10 Verification comparison chart for different ResNet models with training sample rotation angle of 60°

當(dāng)訓(xùn)練樣本旋轉(zhuǎn)角度為30°時,不同骨干模型的訓(xùn)練損失與驗證損失圖、影像識別驗證對比圖分別如圖11、圖12所示。當(dāng)骨干模型設(shè)置為ResNet18、ResNet34時,隨著訓(xùn)練批次的增加,驗證損失曲線盡管存在一定波動,但整體趨于平穩(wěn);當(dāng)骨干模型設(shè)置為ResNet50時,訓(xùn)練批次有所增加,驗證損失曲線隨之趨于平滑;當(dāng)骨干模型設(shè)置為ResNet101時,驗證損失曲線隨著訓(xùn)練批次的增加,在后期出現(xiàn)大幅度波動;當(dāng)骨干模型設(shè)置為ResNet152時,驗證損失曲線隨著訓(xùn)練批次的增加持續(xù)出現(xiàn)波動。

圖11 訓(xùn)練樣本旋轉(zhuǎn)角度為30°時不同骨干模型的訓(xùn)練損失與驗證損失圖Fig.11 Training loss and validation loss graph for different ResNet models with training sample rotation angle of 30°

圖12 訓(xùn)練樣本旋轉(zhuǎn)角度為30°時不同骨干模型的影像識別驗證對比圖Fig.12 Verification comparison chart for different ResNet models with training sample rotation angle of 30°

由圖7、圖9和圖11可知,在訓(xùn)練樣本數(shù)量不同的情況下,當(dāng)骨干模型設(shè)置為ResNet18和ResNet34時,其訓(xùn)練損失曲線和驗證損失曲線的變化趨勢在整體上更為接近,說明在此骨干模型下的預(yù)測效果更好。同時,將不同旋轉(zhuǎn)角度的訓(xùn)練樣本集對應(yīng)的各骨干模型的精確度、召回率和F1值進(jìn)行統(tǒng)計,如表3-表5和圖13-圖15所示,可知ResNet18、ResNet34的精確度、召回率和F1值均高于其他骨干模型。

表3 各骨干模型精確度統(tǒng)計表Table 3 Statistical table of precision for different ResNet models

表4 各骨干模型召回率統(tǒng)計表Table 4 Statistical table of recall for different ResNet models

表5 各骨干模型F1值統(tǒng)計表Table 5 Statistical table of F1 for different ResNet models

圖13 各骨干模型精確度變化曲線Fig.13 The change curve of precision for different ResNet models

圖14 各骨干模型召回率變化曲線Fig.14 The change curve of recall for different ResNet models

圖15 各骨干模型F1值變化曲線Fig.15 The change curve of F1 for different ResNet models

綜上所述,以不同樣本量(即不同旋轉(zhuǎn)角度)的訓(xùn)練樣本集進(jìn)行深度學(xué)習(xí)訓(xùn)練時,當(dāng)骨干模型設(shè)置為ResNet34時,其精確度、召回率和F1值均達(dá)到最大值;當(dāng)骨干模型設(shè)置為ResNet18時,其精確度、召回率和F1值均略低于ResNet34;同時隨著訓(xùn)練樣本量的增加(即旋轉(zhuǎn)角度由0°變?yōu)?0°,再變?yōu)?0°),ResNet18、ResNet34所對應(yīng)的各精度評價參考值也隨之提高,表明訓(xùn)練樣本量的增加有利于提高模型精度。

因此,本文研究在U-Net模型中將骨干模型設(shè)置為ResNet34,將訓(xùn)練樣本旋轉(zhuǎn)角度設(shè)置為30°。

3.2 信息提取結(jié)果

利用U-Net模型對3個重點礦集區(qū)開展露天礦山土地?fù)p毀信息提取,結(jié)果如圖16-圖18中黃色區(qū)域所示,另外在圖上標(biāo)注了人機(jī)交互解譯結(jié)果(紅線范圍)并進(jìn)行對比。對于荊門石膏礦區(qū),信息提取的面積為14.06 km2,人機(jī)交互解譯的面積為7.61 km2,兩者重合部分的面積為6.74 km2,由此來看信息提取結(jié)果的識別率達(dá)到了88.6%;對于荊襄磷礦區(qū),信息提取的面積為9.78 km2,人機(jī)交互解譯的面積為7.43 km2,兩者重合部分的面積為4.97 km2,信息提取結(jié)果的識別率達(dá)到了66.9%;對于松宜煤礦區(qū),信息提取的面積為6.41 km2,人機(jī)交互解譯的面積為4.92 km2,兩者重合部分的面積為4.42 km2,信息提取結(jié)果的識別率達(dá)到了89.8%(表6)。合計來看,研究區(qū)信息提取面積為30.25 km2,人機(jī)交互解譯面積為19.96 km2,兩者重合部分面積為16.13 km2,信息提取結(jié)果的識別率達(dá)到了80.8%。

表6 信息提取結(jié)果統(tǒng)計表Table 6 Statistics table of information extraction

圖17 荊襄磷礦區(qū)信息提取結(jié)果Fig.17 Information extraction results of Jingxiang phosphate mining area

圖18 松宜煤礦區(qū)信息提取結(jié)果Fig.18 Information extraction results of Songyi coal mining area

3.3 信息提取結(jié)果對比驗證

將U-Net模型信息提取結(jié)果與高分辨率遙感影像進(jìn)行對比驗證(圖19),對于開采面積較大、露天開采面影像特征明顯的礦山,U-Net模型對其土地?fù)p毀信息提取的效果較好,提取結(jié)果的邊界清晰,能夠?qū)β短觳蓤黾捌渲苓呂撮_采區(qū)域進(jìn)行有效地區(qū)分,同時能對礦山之間的道路進(jìn)行較好地篩除。由于礦集區(qū)面積較大,不僅涵蓋了礦山區(qū)域,還包含城鎮(zhèn)等區(qū)域,利用U-Net模型進(jìn)行信息提取過程中不可避免地對包括城鎮(zhèn)在內(nèi)的其他區(qū)域進(jìn)行信息提取,會將城鎮(zhèn)區(qū)域的裸露空地、工業(yè)場地等錯判為礦山損毀土地。

圖19 信息提取結(jié)果與遙感影像的對比Fig.19 Comparison of information extraction results with remote sensing images

4 結(jié)論

(1) 本文的應(yīng)用研究表明利用U-Net模型結(jié)合高分二號衛(wèi)星影像數(shù)據(jù),可以對湖北省重點礦集區(qū)的露天礦山土地?fù)p毀信息進(jìn)行有效提取,在以往人機(jī)交互解譯的基礎(chǔ)上提高了信息提取效率。在此基礎(chǔ)上,可進(jìn)一步改進(jìn)模型以應(yīng)用于周期性的礦山土地?fù)p毀監(jiān)測、礦山生態(tài)恢復(fù)治理效果監(jiān)測等工作。

(2) U-Net模型各骨干模型的信息提取效果差異較大,骨干模型層數(shù)過深時會發(fā)生過擬合現(xiàn)象,降低信息提取結(jié)果的精度;當(dāng)骨干模型設(shè)置為ResNet34時,其信息提取效果相對更好。同時,在計算機(jī)硬件條件允許的情況下,數(shù)據(jù)樣本集中樣本量越大,模型學(xué)習(xí)的效果越佳,信息提取的效果越好。

(3) 由于本次研究選取的礦集區(qū)面積大、涵蓋的地物類型多,基于U-Net模型進(jìn)行露天礦山土地?fù)p毀信息提取時,一些影像特征與其相似的地物也會被提取出來,如城鎮(zhèn)區(qū)域的裸露土地、建設(shè)用地、工業(yè)場地等,從而對信息提取結(jié)果造成干擾。在未來研究中,可以通過建立更準(zhǔn)確的解譯標(biāo)志、增加訓(xùn)練樣本集數(shù)據(jù)量、更新礦山范圍信息、優(yōu)化模型結(jié)構(gòu)和參數(shù)等,提升信息提取結(jié)果的精度。