基于數(shù)據(jù)融合的無(wú)人機(jī)影像碎屑巖巖性識(shí)別

閆彥芳, 邵燕林*, 王慶, 曾齊紅, 趙坤鵬

(1.長(zhǎng)江大學(xué)地球科學(xué)學(xué)院, 武漢 430100; 2.中國(guó)石油勘探開發(fā)研究院, 北京 100083)

地質(zhì)露頭作為地下巖層的觀察窗口,通常以突出的地形特征出現(xiàn)在人們視野中。地質(zhì)學(xué)家們可從地質(zhì)露頭上提取地層、巖性、儲(chǔ)層發(fā)育的特征參數(shù)[1-2],用于指導(dǎo)石油勘探,用于油藏精細(xì)刻畫與三維地質(zhì)建模等工作中[3-4]。地質(zhì)露頭的重要性催生了數(shù)字露頭技術(shù)的發(fā)展[5],數(shù)字露頭模型(digital outcrop model,DOM)的建立使得很多地質(zhì)研究從野外走進(jìn)實(shí)驗(yàn)室。DOM是多種地質(zhì)特征綜合解譯、測(cè)量、巖性分類的重要工具,利用無(wú)人機(jī)(unmanned aerial vehicle,UAV)獲取的三維露頭數(shù)據(jù)突破傳統(tǒng)衛(wèi)星遙感影像云層遮擋、重放周期過(guò)長(zhǎng)的局限,既可以記錄多重時(shí)間數(shù)據(jù),同時(shí)能夠從多個(gè)空間尺度收集數(shù)據(jù),在地質(zhì)領(lǐng)域發(fā)揮著重要作用[6]。

目前,無(wú)人機(jī)影像廣泛應(yīng)用于圖像分類[7-8]、影像分割[9-10]以及目標(biāo)檢測(cè)[11-12]中,但前人研究多集中在單一RGB(red,green,blue)影像應(yīng)用。趙桂玲等[13]采用改進(jìn)后的蟻群算法,從光譜特征方面進(jìn)行森林分類。段濤[14]僅針對(duì)無(wú)人機(jī)獲取的影像數(shù)據(jù)實(shí)現(xiàn)滑坡地質(zhì)災(zāi)害識(shí)別。余宏明等[15]對(duì)無(wú)人機(jī)獲取的正射影像、高程數(shù)據(jù)與三維模型數(shù)據(jù)分別結(jié)合滑坡相關(guān)物理力學(xué)進(jìn)行滑坡區(qū)域解譯。上述研究均未充分考慮深度信息與影像數(shù)據(jù)的融合。鑒于此,在RGB影像基礎(chǔ)上,加入由無(wú)人機(jī)影像得到的數(shù)字地表模型(digital surface model,DSM),將研究區(qū)范圍內(nèi)地表以外的地形特征融入RGB影像中,得到地物更多的細(xì)節(jié)信息,放大地物類間差異性,進(jìn)而提高識(shí)別精度[16]。同時(shí),在巖性識(shí)別方面,中外學(xué)者多著眼于遙感衛(wèi)星影像[17-18]或者室內(nèi)高清RGB影像[19-21],很少利用無(wú)人機(jī)獲得影像進(jìn)行研究,而且用于野外露頭剖面巖性提取的研究尚鮮見報(bào)道。為了得到更精確的巖性識(shí)別結(jié)果,以RGB影像與DSM數(shù)據(jù)為數(shù)據(jù)基礎(chǔ),采用多種數(shù)據(jù)融合方式,利用深度學(xué)習(xí)語(yǔ)義分割模型對(duì)野外露頭進(jìn)行識(shí)別,對(duì)比分析碎屑巖巖性識(shí)別精度,以期提供更為高效的野外露頭巖性識(shí)別方法。

1 研究區(qū)及數(shù)據(jù)

研究區(qū)位于準(zhǔn)噶爾盆地南緣(44°N、85°E～88°E),露頭巖相以碎屑巖為主,露頭多見中層狀砂巖,中部有約0.6 m礫巖,多為棕色礫巖,沉積特征多見交錯(cuò)層理、平行層理發(fā)育,泥巖與砂巖互層,砂巖多見小型交錯(cuò)紋理、砂紋層理。

2021年10月,利用大疆無(wú)人機(jī)(型號(hào)為M300RTK)完成數(shù)據(jù)采集,飛行高度50 m,搭載大疆ZenmuseP1全畫幅相機(jī)(具有全畫幅傳感器,影像分辨率達(dá)4.5×107像素,同時(shí)三軸云臺(tái)智能擺動(dòng)拍攝)實(shí)現(xiàn)影像的采集。通過(guò)不同數(shù)據(jù)融合方式獲得的影像,經(jīng)過(guò)隨機(jī)裁剪建立不同的碎屑巖影像融合結(jié)果樣本集,每種融合影像樣本集數(shù)量為11 000張,其中訓(xùn)練集與測(cè)試集按照10∶1進(jìn)行劃分,樣本大小為256像素×256像素。實(shí)驗(yàn)選擇的測(cè)試影像大小7 268像素×8 280像素(圖1),影像分辨率為0.01 m,影像包含泥巖、砂巖與礫巖。

2 研究方法

2.1 數(shù)據(jù)融合方法

2.1.1 通道疊加

通道疊加作為通道變換的一種,主要是針對(duì)多個(gè)影像進(jìn)行的疊加操作,對(duì)不同影像間的各個(gè)通道分別進(jìn)行變換,彼此之間互不相關(guān)。RGB-Depth深度圖像在目標(biāo)檢測(cè)[22]、三維重建以及目標(biāo)跟蹤等方面獲得了較好的應(yīng)用,其中DSM類似于灰度圖像,其每個(gè)像素值表示傳感器與地面物體的實(shí)際距離,表示地物相對(duì)于地表的起伏狀態(tài)。現(xiàn)將無(wú)人機(jī)獲得的正射影像和地表模型影像進(jìn)行通道疊加操作,獲得具有四通道的RGB-DSM圖像,進(jìn)而加入語(yǔ)義分割模型中,用于碎屑巖露頭巖性識(shí)別。

2.1.2 IHS圖像融合

IHS(intensity,hue,saturation)變換是圖像融合技術(shù)發(fā)展最早、現(xiàn)已成熟的空間色彩變化算法。相對(duì)RGB的紅(red)、綠(green)、藍(lán)(blue)3個(gè)通道,IHS有強(qiáng)度、色調(diào)和飽和度3個(gè)通道[23]。依據(jù)IHS融合原理,將DSM影像與正射影像進(jìn)行融合,具體步驟如下。

步驟1將正射影像進(jìn)行重采樣,使其分辨率與DSM影像一致,同時(shí)將正射影像的R、G、B波段轉(zhuǎn)換為I、H、S分量。

步驟2將DSM影像與上一步得到的I分量進(jìn)行直方圖匹配,得到與I分量灰度分布相似的影像,并將其作為新亮度分量替換原來(lái)的I分量。

步驟3用新的I分量與S、H分量進(jìn)行逆變換,還原到RGB影像空間,得到包含高程信息的融合后影像。

2.1.3 小波融合

小波變換在空間和時(shí)間上都具備表征局部特征的能力,具有多分辨率分析的特點(diǎn)[24],已廣泛運(yùn)用于圖像融合。基于小波變換的圖像融合將DSM影像與經(jīng)色彩空間變換后的正射影像分別進(jìn)行小波分解,得到一系列不同的頻段且能夠反映圖像局部特征的子圖像,用不同的融合規(guī)則進(jìn)行子圖像融合,最后通過(guò)小波逆變換得到融合后的圖像(圖2),主要步驟如下。

圖2 小波融合流程圖Fig.2 Flow chart of wavelet fusion

步驟1影像配準(zhǔn)與正射影像色彩空間的轉(zhuǎn)變。

步驟2對(duì)轉(zhuǎn)變后的正射影像和DSM影像分別進(jìn)行小波分解(采用haar小波),得到高頻分量和低頻分量。

步驟3對(duì)高頻分量采用系數(shù)絕對(duì)值取大法(max)規(guī)則融合,對(duì)低頻分量采用加權(quán)平均值(mean)規(guī)則進(jìn)行融合。

步驟4對(duì)融合后得到的小波金字塔進(jìn)行小波逆變換。

步驟5得到的重構(gòu)影像即為融合后圖像。

2.1.4 RGB-D多模態(tài)融合

多模態(tài)融合綜合兩個(gè)或多個(gè)模態(tài)信息進(jìn)行預(yù)測(cè),在預(yù)測(cè)過(guò)程中將單個(gè)模態(tài)不能包含的信息,通過(guò)融合來(lái)自兩個(gè)或多個(gè)模態(tài)的信息,實(shí)現(xiàn)信息補(bǔ)充,拓寬輸入影像所包含信息的覆蓋范圍,進(jìn)而提升預(yù)測(cè)結(jié)果的精度,提高模型的魯棒性[25]。通過(guò)RGB-D跨模態(tài)融合方式,加入自注意力機(jī)制通過(guò)RGB影像與DSM影像通道關(guān)系間的相互依賴性,并自適應(yīng)校準(zhǔn)通道特征,得到最具判別性的特征,從而輸入網(wǎng)絡(luò)中進(jìn)行碎屑巖巖性識(shí)別,意圖提升識(shí)別精度。

2.2 語(yǔ)義分割模型

由于野外露頭較復(fù)雜,噪聲較多導(dǎo)致識(shí)別難度大,同時(shí)基于無(wú)人機(jī)影像多模態(tài)的特性,選用DeepLabv3+作為主干網(wǎng)絡(luò)。DeepLabv3+在增加感受野的基礎(chǔ)上能夠還原邊界信息,其在DeepLabv3的基礎(chǔ)上增加上采樣的解碼器模塊,同時(shí)融合空洞卷積和金字塔模塊,將多尺度特征與空間信息結(jié)合,更多保留了物體的邊界信息[26],獲得更清晰的分割從而提高識(shí)別精度。DeepLabv3+整體結(jié)構(gòu)主要是encoder-decoder架構(gòu)的,如圖3所示。

Encoder模塊用于逐步減少特征圖并提取更高語(yǔ)義信息;Decoder模塊用于逐步恢復(fù)影像的空間信息,提高影像的邊緣檢測(cè)精度

2.3 檢驗(yàn)指標(biāo)

使用平均交并比mIOU、總體精度OA、像素精度PA以及Kappa系數(shù)Kappa作為識(shí)別精度的評(píng)價(jià)指標(biāo)[27],用來(lái)檢驗(yàn)巖性識(shí)別結(jié)果的準(zhǔn)確度,其計(jì)算公式分別為

(1)

(2)

(3)

(4)

式中:k為標(biāo)簽標(biāo)記的種類,k=5;mIOU為所有類別交集和并集之比的平均值;pii為目標(biāo)為i類被預(yù)測(cè)為i類的像素?cái)?shù)量;pij為目標(biāo)為i類被預(yù)測(cè)為j類的像素?cái)?shù)量;pji為目標(biāo)為j類預(yù)測(cè)為i類的像素?cái)?shù)量;TP為真正例;FN為假反例;FP為假正例;TN為真反例;PA為預(yù)測(cè)類別正確的像素?cái)?shù)占總像素?cái)?shù)的比例;po為預(yù)測(cè)的準(zhǔn)確率;pe為偶然一致性,其值越高,Kappa越低。

3 結(jié)果分析

實(shí)驗(yàn)采用Win 10系統(tǒng),CPU為i7-10750H,顯卡GTX 1650 Ti,在Anaconda中搭建Pytorch虛擬環(huán)境,進(jìn)行巖性識(shí)別。實(shí)驗(yàn)訓(xùn)練數(shù)據(jù)初始學(xué)習(xí)率為0.000 1,由于計(jì)算機(jī)算力有限,batch_size大小設(shè)置為2,patch_size設(shè)置為256像素×256像素,類別數(shù)為5。

3.1 整體識(shí)別對(duì)比

從總體識(shí)別效果(圖4)可以看出,測(cè)試影像基于多模態(tài)融合方式的識(shí)別效果最好,最接近人工解譯結(jié)果(經(jīng)過(guò)專業(yè)地質(zhì)人員指導(dǎo));經(jīng)過(guò)IHS融合后的影像識(shí)別效果最差,只對(duì)礫巖有所識(shí)別。幾種融合影像對(duì)泥巖的識(shí)別多與浮土、砂巖誤分,這與泥巖顆粒直徑僅0.01 mm相關(guān),容易導(dǎo)致錯(cuò)分;在礫巖的識(shí)別上,幾種影像都過(guò)多識(shí)別,最接近人工解譯的、錯(cuò)分最少的是多模態(tài)融合影像;幾種影像對(duì)砂巖識(shí)別效果都不佳,識(shí)別最好的多模態(tài)融合影像也沒有辦法保證砂巖在空間上的連續(xù)性,這與泥巖、砂巖在紋理、顏色上表現(xiàn)相似有關(guān)。

圖4 幾種影像巖性識(shí)別對(duì)比Fig.4 Comparison of lithology identification from several images

從識(shí)別精度評(píng)價(jià)指標(biāo)(表1)可以看出,以RGB-D多模態(tài)融合方式總體識(shí)別精度最高,將DSM影像作為深度特征加入RGB影像識(shí)別過(guò)程中,通過(guò)通道間學(xué)習(xí)獲得高級(jí)特征與低級(jí)特征,在注意力機(jī)制的自動(dòng)學(xué)習(xí)下,最終獲得含有深度信息的特征,信息利用率高,最終識(shí)別精度也較高。其次是RGB-DSM通道疊加識(shí)別精度較高,在目標(biāo)邊界的分割的同時(shí),加入地質(zhì)特征高程信息,從而獲取具有判別性的特征,因此識(shí)別精度也較高。經(jīng)過(guò)IHS融合之后的識(shí)別效果最差,雖然經(jīng)IHS融合獲得的影像空間分辨率高且計(jì)算簡(jiǎn)單,但色彩畸變嚴(yán)重,光譜失真[28],而巖石紋理與光譜信息對(duì)識(shí)別具有極大的影響,因此其總體識(shí)別精度不高。結(jié)合IHS-小波融合后的影像,巖性識(shí)別總體精度達(dá)74.04%,但在砂巖、泥巖的識(shí)別效果好于單一RGB影像,在一定程度上也保證了巖性在空間上的連續(xù)性,其缺點(diǎn)在于融合后影像雖保證了光譜響應(yīng)范圍的一致性,但融合影像的空間分辨率有所下降,出現(xiàn)錯(cuò)分、漏分現(xiàn)象,識(shí)別效果遠(yuǎn)不如RGB-D多模態(tài)融合影像識(shí)別結(jié)果。因此,總體來(lái)看,基于RGB-D多模態(tài)融合影像的巖性識(shí)別效果最好。

表1 幾種影像巖性識(shí)別精度

3.2 不同巖性識(shí)別精度分析

為得到幾種影像融合方法對(duì)巖性識(shí)別的效果,進(jìn)一步通過(guò)混淆矩陣對(duì)4種融合影像進(jìn)行分析。由表2可知,RGB-D多模態(tài)融合巖性識(shí)別Kappa系數(shù)達(dá)76.17%,RGB-DSM通道疊加影像與單一RGB影像Kappa系數(shù)相近,大致都在50%,高于IHS、IHS-小波融合影像融合方式。其中對(duì)于不同巖性的識(shí)別效果如下。

表2 不同巖性識(shí)別結(jié)果混淆矩陣

(1)泥巖的識(shí)別。單一RGB影像較4種融合影像識(shí)別精度都高,這與其保持了原有的空間分辨率和光譜信息有一定關(guān)系;RGB-D多模態(tài)融合在泥巖識(shí)別上僅低于單一RGB影像1.88%,仍對(duì)泥巖有較好的識(shí)別;IHS影像與IHS-小波融合影像在一定程度上對(duì)影像光譜信息和空間分辨率有損失,進(jìn)而影響識(shí)別效果;而基于通道融合影像在一定程度上不能高效的利用RGB影像和深度影像的信息,導(dǎo)致識(shí)別效果差。

(2)砂巖的識(shí)別。RGB-D多模態(tài)融合識(shí)別精度為50.03%,高于其他幾種影像;其他幾種影像中,IHS-小波融合后的影像識(shí)別精度最高,但也僅為9.26%,其他幾種影像對(duì)砂巖識(shí)別效果差,更甚對(duì)砂巖沒有識(shí)別,主要原因在于砂巖和泥巖在色彩、紋理方面表現(xiàn)較為接近,識(shí)別難度大。

(3)礫巖的識(shí)別。4種融合影像的識(shí)別精度都較高,識(shí)別精度最高的是單一RGB影像,可能是有由于融合影像或多或少引入少量噪聲,從而降低了礫巖的識(shí)別精度。綜上,基于RGB-D多模態(tài)融合的影像在碎屑巖總體識(shí)別上能夠提升巖性識(shí)別精度,具有一定的應(yīng)用性。

4 結(jié)論

利用無(wú)人機(jī)采集野外露頭數(shù)據(jù)獲取的RGB影像和DSM影像,結(jié)合4種不同的影像融合方法,利用DeepLabv3+模型對(duì)4種影像碎屑巖巖性識(shí)別結(jié)果進(jìn)行對(duì)比分析,得到以下結(jié)論。

(1)利用數(shù)據(jù)融合對(duì)無(wú)人機(jī)影像進(jìn)行碎屑巖巖性識(shí)別,其中整體識(shí)別效果最好的是多模態(tài)融合影像,高于其他幾種融合數(shù)據(jù)識(shí)別效果,大幅避免了因影像融合而導(dǎo)致噪聲增加的問(wèn)題,總體識(shí)別精度達(dá)到91.05%,高于單一RGB影像識(shí)別精度將近17%。

(2)DSM影像作為深度信息與RGB影像采用多模態(tài)影像通道學(xué)習(xí)的方式可以大幅提高高差較大的碎屑巖巖性識(shí)別精度。

(3)針對(duì)野外露頭的復(fù)雜性,露頭巖性識(shí)別比較困難,利用多模態(tài)融合影像進(jìn)行碎屑巖巖性識(shí)別雖然表現(xiàn)更佳,但對(duì)于影像上相似度較高的巖性區(qū)分度還是不高,如泥巖和砂巖識(shí)別效果較差,因此后續(xù)擬采用加入地質(zhì)約束線的方式,通過(guò)自動(dòng)追蹤地質(zhì)界線,對(duì)碎屑巖巖性進(jìn)行空間約束以及層狀刻畫,進(jìn)而提升碎屑巖露頭不同巖性的識(shí)別精度,為巖性快速識(shí)別提供新思路。