基于改進(jìn)Mask R-CNN的露天礦邊坡裂隙智能檢測算法

景 瑩,阮順領(lǐng),盧才武,劉丹洋,顧清華

(西安建筑科技大學(xué) a.管理學(xué)院;b.資源工程學(xué)院;c.西安市智慧工業(yè)感知計(jì)算與決策重點(diǎn)實(shí)驗(yàn)室, 西安 710055)

礦山高陡邊坡滑坡經(jīng)常威脅到人們的生命財(cái)產(chǎn)安全,造成環(huán)境和資源的破壞,是制約礦山安全生產(chǎn)的核心問題[1],滑坡災(zāi)害作為一種嚴(yán)重的地質(zhì)災(zāi)害,其發(fā)生的原因往往是未及時(shí)進(jìn)行科學(xué)的邊坡病害檢測。其中裂隙是最主要、最明顯的邊坡病害表征之一,對露天礦邊坡穩(wěn)定具有重要影響,因此,選擇科學(xué)合理的方法對露天礦邊坡裂隙進(jìn)行準(zhǔn)確、實(shí)時(shí)的檢測,對邊坡進(jìn)行及時(shí)有效的管控,對于保證礦山安全生產(chǎn),提高礦山經(jīng)濟(jì)效益,具有重要的理論意義和實(shí)際意義。

隨著圖像處理、深度學(xué)習(xí)和機(jī)器視覺技術(shù)的發(fā)展,基于圖像的無損檢測技術(shù)已成為國內(nèi)外裂隙檢測的研究熱點(diǎn)。近年來,為了從圖像中準(zhǔn)確、快速地提取裂隙,國內(nèi)外學(xué)者對此進(jìn)行了廣泛而深入的研究,取得了一定的研究成果。劉曉瑞等[2]提出了一種利用兩種不同閾值分割方法對圖像進(jìn)行二值化處理的裂隙快速檢測方法;Li等[3]構(gòu)造了最大化兩個(gè)類別之間差異的目標(biāo)函數(shù),提出了一種基于鄰域差異直方圖的圖像閾值分割裂隙算法,準(zhǔn)確地提取出了裂隙。這類基于閾值分割的裂隙檢測算法計(jì)算簡單,便于應(yīng)用,但是易受到噪聲影響,適用于特征較明顯的目標(biāo),對于復(fù)雜環(huán)境下的邊坡裂隙圖像很難取得穩(wěn)定的識別效果。張娟等[4]指出了傳統(tǒng)基于灰度進(jìn)行邊緣提取的裂隙檢測算法的不足,提出了采用相位編組法進(jìn)行裂隙提取,有利于檢測具有弱對比度的細(xì)小裂隙;王華等[5]提出了利用分形維數(shù)分割裂隙的方法,與利用Sobel算子的方法相比,得到的裂隙較為連續(xù)、清晰;這類基于邊緣檢測和形態(tài)學(xué)特征的裂隙識別算法能夠很好地檢測邊緣,對于裂隙檢測具有重要的借鑒價(jià)值。Amhaz等[6]提出了一種基于二維圖像,同時(shí)考慮光度計(jì)特征和路面圖像幾何特征的裂隙檢測算法;Nguyen等[7]提出了一種綜合考慮圖像亮度和連通性的裂隙檢測方法,該方法不需要進(jìn)行裂隙紋理學(xué)習(xí),可以進(jìn)行默認(rèn)檢測,簡稱為FFA(free-form anisotropy)算法;在裂隙檢測方面,除了上述這些傳統(tǒng)主流裂隙檢測算法外,還有很多其他方法[8-14]。

雖然上述方法對于常見的特征明顯的裂隙圖像具有較好的識別效果,但是露天礦邊坡裂隙圖像具有較多復(fù)雜的特征,如背景紋理復(fù)雜,噪聲多樣,裂紋分布不規(guī)律,表面形態(tài)極不規(guī)則和接觸方式具有復(fù)雜性等,所以傳統(tǒng)的裂隙檢測算法在露天礦邊坡裂隙圖像上檢測效果不甚理想,不能很好地進(jìn)行裂隙檢測。隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)理論的不斷發(fā)展[15],基于有監(jiān)督學(xué)習(xí)的裂隙識別算法成為近年來研究的熱點(diǎn),在深度學(xué)習(xí)中,數(shù)據(jù)的特征是通過訓(xùn)練過程自動學(xué)習(xí)得到的,不需要通過預(yù)定義的特征提取階段,只需要提供足夠多的數(shù)據(jù),就可以訓(xùn)練出更加通用健壯的檢測模型。其中,卷積神經(jīng)網(wǎng)絡(luò)(CNN)作為在圖像識別,語音識別以及文字識別等領(lǐng)域都具有廣泛應(yīng)用的經(jīng)典深度學(xué)習(xí)網(wǎng)絡(luò),在裂隙檢測方面也具有突出的優(yōu)勢。通過對裂隙檢測的相關(guān)文獻(xiàn)進(jìn)行收集整理發(fā)現(xiàn),目前還未有針對復(fù)雜背景下的露天礦邊坡裂隙進(jìn)行檢測的模型,但是針對橋梁、路面以及建筑混凝土等一般結(jié)構(gòu)進(jìn)行裂隙檢測的方法主要有以下3種:圖像分析檢測方法、機(jī)器學(xué)習(xí)檢測方法以及深度學(xué)習(xí)檢測方法。對這3種方法進(jìn)行對比分析的結(jié)果如表1所示,從中可以發(fā)現(xiàn),基于圖像分析的方法較簡單,具有最少的計(jì)算復(fù)雜度和內(nèi)存需求,而基于深度學(xué)習(xí)的方法無論是在內(nèi)存需求還是操作成本方面都是最昂貴的,計(jì)算復(fù)雜度也最高。盡管基于圖像分析的方法的計(jì)算效率很高且成本較低,但是針對邊坡裂隙這類具有背景紋理復(fù)雜,噪聲多樣,裂紋分布不規(guī)律,表面形態(tài)極不規(guī)則和接觸方式復(fù)雜的圖像,其檢測效果非常不準(zhǔn)確,如圖1(c)(d)所示。相對地,基于深度學(xué)習(xí)的方法卻具有最好的識別準(zhǔn)確性、算法魯棒性以及泛化能力,這些特性都是計(jì)算嚴(yán)格的識別方法所期待的。雖然基于機(jī)器學(xué)習(xí)的方法同時(shí)具有較低的計(jì)算成本、較高的計(jì)算效率以及和深度學(xué)習(xí)方法相當(dāng)?shù)臋z測準(zhǔn)確性和算法魯棒性,但是,這些性能都需要在具體特征定義的前提下才能實(shí)現(xiàn)。這一點(diǎn)并不適合露天礦邊坡裂隙圖像,因?yàn)槠渫ǔ２痪哂腥魏慰梢杂脕韰^(qū)分裂隙面元和背景面元的幾何特征和紋理特征等信息。然而,深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)具有非常強(qiáng)大的特征提取能力和目標(biāo)識別能力,如圖1(e)～(f)所示。

表1 裂隙檢測主要方法優(yōu)缺點(diǎn)對比結(jié)果

圖1 邊坡裂隙檢測效果對比Fig. 1 Effects of slope fracture detection

通過圖1所示的露天礦邊坡裂隙檢測對比圖可以發(fā)現(xiàn),選擇將集目標(biāo)識別與語義分割為一體的Mask R-CNN深度學(xué)習(xí)框架作為露天礦邊坡裂隙檢測模型構(gòu)建的基礎(chǔ)時(shí),具有較高的準(zhǔn)確率和檢測效率。但是,直接運(yùn)用骨干網(wǎng)絡(luò)為ResNet50的Mask R-CNN模型對露天礦邊坡裂隙進(jìn)行檢測時(shí),仍存在誤檢以及裂隙邊緣不清晰的情況。所以,筆者提出了一種基于改進(jìn)Mask R-CNN的露天礦邊坡裂隙智能檢測算法,用于檢測邊坡裂隙并進(jìn)行裂隙分割、定位。該算法首先采用基于滑動窗口算法的圖像預(yù)處理對采集的邊坡圖像進(jìn)行數(shù)據(jù)增強(qiáng),然后利用基于SVM構(gòu)建的分類模型對邊坡裂隙面元和邊坡背景面元進(jìn)行分類識別,最后針對露天礦邊坡裂隙面元,提出了一種基于改進(jìn)Mask R-CNN的檢測模型,實(shí)現(xiàn)對露天礦邊坡裂隙的目標(biāo)檢測及裂隙分割。該模型可以在數(shù)據(jù)量有限的情況下完成對露天礦邊坡裂隙圖像的分類,目標(biāo)識別以及裂隙分割三大任務(wù),如圖2所示。經(jīng)過大量對比實(shí)驗(yàn)證明,與傳統(tǒng)裂隙檢測算法相比,該算法對于露天礦邊坡裂隙具有更好的識別效果和更高的泛化能力,以及更加精準(zhǔn)地分割邊緣。

圖2 露天礦邊坡裂隙Fig. 2 Open-pit mine slope fractures

1 Mask R-CNN網(wǎng)絡(luò)模型分析

露天礦邊坡裂隙圖像中的裂隙和背景之間區(qū)分往往不明顯,且背景紋理和裂隙表面形態(tài)復(fù)雜,而Mask R-CNN能夠自主學(xué)習(xí)得到可描述裂隙和背景之間差別的特征,實(shí)現(xiàn)像素級語義分割,可以有效地檢測出圖像中的裂隙對象,并同時(shí)為每個(gè)對象生成高質(zhì)量的分割掩膜,Mask R-CNN的網(wǎng)絡(luò)流程如圖3所示。

圖3 Mask R-CNN網(wǎng)絡(luò)流程圖[16]Fig. 3 Mask R-CNN network flowchart[16]

Mask R-CNN的構(gòu)建在概念上十分簡單,在Faster R-CNN[17]針對每個(gè)對象所輸出的類別標(biāo)簽以及邊界框的基礎(chǔ)上,增加第3個(gè)輸出分支,即對象掩碼,是一種實(shí)現(xiàn)目標(biāo)檢測和語義分割集成為一體的深度神經(jīng)網(wǎng)絡(luò)框架,其骨干網(wǎng)絡(luò)架構(gòu)如圖4所示。為了清晰起見,可將其分為兩部分:1)用于對整個(gè)圖像進(jìn)行特征提取的卷積骨干結(jié)構(gòu);2)用于邊界框識別(分類和回歸)的頭網(wǎng)絡(luò)和分別應(yīng)用于每個(gè)ROI(region of interest)的掩碼預(yù)測網(wǎng)絡(luò)。到目前為止,許多國內(nèi)外學(xué)者已經(jīng)設(shè)計(jì)出了一些性能優(yōu)異的CNN框架,例如,AlexNet[18]、VGG[19]、ResNet[20]和DenseNet[21]等。在檢測不同的目標(biāo)時(shí),這些CNN框架所具有的精確度和性能都有所不同,骨干結(jié)構(gòu)網(wǎng)絡(luò)的性能決定了后續(xù)網(wǎng)絡(luò)在目標(biāo)檢測和實(shí)例分割任務(wù)方面的性能,Mask R-CNN常采用ResNet作為其骨干網(wǎng)絡(luò)框架,但是目前還沒有實(shí)驗(yàn)證明其中最適合用于露天礦邊坡裂隙檢測的卷積骨干架構(gòu)網(wǎng)絡(luò)是哪個(gè)。

圖4 Mask R-CNN骨干網(wǎng)絡(luò)架構(gòu)圖[16]Fig. 4 Mask R-CNN Backbone network architecture

Mask R-CNN是一個(gè)兩階段的實(shí)例分割網(wǎng)絡(luò)模型,在第1個(gè)階段利用區(qū)域建議網(wǎng)絡(luò)(region proposal networks, RPN)來完成在圖像上的滑動掃描,尋找出存在目標(biāo)的ROI區(qū)域,然后在第2個(gè)階段并行地對RPN找到的每個(gè)ROI預(yù)測其分類和定位,并輸出其對應(yīng)的二進(jìn)制掩碼。在模型訓(xùn)練的過程中,骨干特征提取網(wǎng)絡(luò)提取到的P2、P3、P4、P5、P6作為RPN網(wǎng)絡(luò)的有效特征層,RPN網(wǎng)絡(luò)通過分類器預(yù)先檢查哪個(gè)ROI位置包含目標(biāo),然后通過回歸器來相應(yīng)地調(diào)整先驗(yàn)框的位置,最終為檢測到的類別和區(qū)域生成相應(yīng)的建議框。Mask R-CNN為每個(gè)取樣得到的ROI定義了一個(gè)多任務(wù)的損失函數(shù)如式(1)所示。

L=Lcls+Lbox+Lmask,

(1)

式中:Lcls為分類網(wǎng)絡(luò)的損失值,Lbox為建議框網(wǎng)絡(luò)的損失值,Lmask為掩碼分支網(wǎng)絡(luò)的平均二進(jìn)制交叉熵?fù)p失值。

然后,在MaskR-CNN中引入了特征金字塔網(wǎng)絡(luò)(featurepyramidnetwork,FPN)[22],即取出在主干特征提取網(wǎng)絡(luò)中壓縮了2,3,4,5次的特征層C2、C3、C4、C5來構(gòu)造FPN,實(shí)現(xiàn)了特征信息的多尺度融合,這使得網(wǎng)絡(luò)不僅能夠有效利用低特征層進(jìn)行高分辨率特征的精確定位,還能夠使掩碼分支對高特征層的低分辨率特征進(jìn)行分割。FPN使用具有橫向連接的自頂向下體系結(jié)構(gòu),從單尺度輸入構(gòu)建網(wǎng)絡(luò)內(nèi)特征金字塔。MaskR-CNN采用ResNet-FPN的骨干結(jié)構(gòu)網(wǎng)絡(luò)進(jìn)行特征提取能在檢測精度和速度上都有所提高[16]。

2 露天礦邊坡裂隙檢測模型

2.1 邊坡裂隙檢測網(wǎng)絡(luò)優(yōu)化模型

通過對露天礦邊坡裂隙特征的分析,結(jié)合MaskR-CNN網(wǎng)絡(luò)模型的特點(diǎn)提出一種邊坡裂隙智能檢測模型,如圖5所示。該模型包含以下3個(gè)步驟:1)基于滑動窗口算法對邊坡圖像進(jìn)行數(shù)據(jù)增強(qiáng)等預(yù)處理操作,并利用基于SVM構(gòu)建的邊坡圖像數(shù)據(jù)分類模型對數(shù)據(jù)集進(jìn)行預(yù)分類;2)基于ResNet構(gòu)建邊坡裂隙多尺度特征提取網(wǎng)絡(luò);3)基于空洞空間卷積池化金字塔構(gòu)建邊坡裂隙分割模型,以解決圖1中所提到的檢測存在誤檢、漏檢以及邊緣粗糙、不精細(xì)的問題。

圖5 用于檢測露天礦邊坡裂隙的改進(jìn)的Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)Fig. 5 Improved Mask R-CNN network structure for detecting cracks in open-pit mine slopes

2.2 邊坡裂隙多尺度特征提取

針對裂隙檢測優(yōu)化模型在下采樣的過程中會出現(xiàn)局部細(xì)節(jié)信息丟失問題,采用在掩碼分支引入空洞空間卷積池化金字塔的方法對模型進(jìn)行優(yōu)化。

在邊坡裂隙檢測模型的骨干卷積神經(jīng)網(wǎng)絡(luò)中,由于特征金字塔網(wǎng)絡(luò)底層特征和高層特征的融合路徑較長,在提取特征信息時(shí),底層特征信息在前向傳播的過程中損失嚴(yán)重,進(jìn)而影響后續(xù)的分類、邊界框回歸以及掩膜生成,從而導(dǎo)致了部分邊坡裂隙出現(xiàn)漏檢以及分割精度不高的情況。為解決這一問題,在提取特征時(shí)保留特征金字塔的底層特征信息,在MaskR-CNN中引入空洞空間卷積池化金字塔(atrousspatialpyramidpooling,ASPP)模塊,來增強(qiáng)特征信息的感受野。采用采樣率分別為1,6,12,18的空洞卷積對頂部特征映射圖進(jìn)行并行空洞卷積操作,可以在不損失分辨率的情況下增大有效特征層特征中心的感受野。感受野是每個(gè)有效特征層輸出特征圖上的像素點(diǎn)在輸入圖像上的映射區(qū)域,其計(jì)算公式如式(2)所示。

式中:jl為第l層特征圖上相鄰元素間的像素距離,sl為第l層的步幅大小,kl為第l層的卷積核大小,rl為第l層的感受野邊長,cl為第l層特征圖的感受野中心坐標(biāo)。骨干卷積網(wǎng)絡(luò)對輸入圖像進(jìn)行了4次下采樣后,輸入空洞卷積層的特征圖變?yōu)?2×32×2 048,經(jīng)過3次卷積核為3×3的空洞卷積操作后,特征圖中心特征點(diǎn)的感受野依次為13×13,25×25,37×37。利用并行的空洞卷積組成特征金字塔能夠?qū)⒍喑叨鹊倪吰铝严短卣魅诤?使特征層中保留更多的邊坡裂隙特征信息。

2.3 邊坡裂隙目標(biāo)分割

在Mask R-CNN中得到分辨率28×28的掩碼之后,會將其直接插值回原像素的尺寸,這種操作會直接導(dǎo)致回插的掩碼邊緣像素十分不準(zhǔn)確。為了解決在Mask R-CNN中邊緣不夠精細(xì)的問題,考慮到掩碼邊緣的像素點(diǎn)一般為預(yù)測不準(zhǔn)確的像素點(diǎn),結(jié)合Kirillov等[23]提出的PointRend中先對這些不準(zhǔn)確的點(diǎn)進(jìn)行單獨(dú)處理,再對其他部分的像素點(diǎn)采用直接插值的方法,對Mask R-CNN的掩碼預(yù)測分支進(jìn)行了進(jìn)一步的改進(jìn)。

在模型訓(xùn)練階段和測試階段設(shè)置了靈活地、自適應(yīng)的選點(diǎn)策略,然后為每一個(gè)采樣點(diǎn)重建特征向量,預(yù)測其分類,為掩碼重新分割標(biāo)簽,優(yōu)化了分割采樣方法,實(shí)現(xiàn)了分類分割迭代上采樣,通過一步步的循環(huán)迭代生成滿足像素精度要求的分割掩碼,避免了對像素點(diǎn)逐一計(jì)算所造成的算力過大的問題。

在測試階段的每次迭代中,先使用雙線性插值對其先前預(yù)測的裂隙分割結(jié)果進(jìn)行一次上采樣操作,然后在這個(gè)更密集的網(wǎng)絡(luò)上進(jìn)行裂隙邊緣點(diǎn)的確定,具體過程如圖6所示。

圖6 PointRend模塊[23]Fig. 6 PointRend module[23]

在訓(xùn)練階段使用基于隨機(jī)采樣的非迭代策略,為裂隙掩碼像素點(diǎn)逐點(diǎn)設(shè)定不確定性度量,選取多個(gè)最不確定的點(diǎn)作為一次采樣點(diǎn),這種靈活的選點(diǎn)策略能夠避免在高分辨率的輸出中出現(xiàn)過量的計(jì)算,造成算力的浪費(fèi)。接下來,在對被選擇出來的點(diǎn)進(jìn)行特征提取時(shí),通過在選定的點(diǎn)上組合細(xì)粒度特征和粗略的預(yù)測概率來重新構(gòu)造逐點(diǎn)特征,為采樣點(diǎn)提供更精細(xì)的分割細(xì)節(jié)以及更多的全局背景信息。最后,利用一個(gè)輕量型的多層感知機(jī)作為預(yù)測頭網(wǎng)絡(luò)來進(jìn)行新的掩碼預(yù)測,直至掩碼精度達(dá)到像素要求,為邊坡裂隙生成分辨率更高的新的掩碼。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)準(zhǔn)備

圖7 邊坡整體面貌Fig. 7 Overall appearance of slope

在裂隙檢測實(shí)驗(yàn)中,需要大量的、帶有數(shù)據(jù)標(biāo)注及類別標(biāo)簽的邊坡裂隙圖像分別作為檢測模型的訓(xùn)練集、驗(yàn)證集和測試集。但是,到目前為止,國內(nèi)外還沒有公開的帶有數(shù)據(jù)標(biāo)注和類別標(biāo)簽的、用于深度學(xué)習(xí)的露天礦邊坡裂隙圖像數(shù)據(jù)集。因此利用人工采集以及大疆無人機(jī)巡檢的方式在某大型露天礦山現(xiàn)場進(jìn)行了邊坡巖體裂隙圖像的采集,共采集到礦山現(xiàn)場邊坡圖像500張。某大型露天礦區(qū)總面積為2.51 km2,走向長1 420 m,傾向延伸1 120 m,厚度80～150 m,平均厚度125 m。目前開采境界長2 350 m,寬1 385 m,開采標(biāo)高1 600～1 072 m,允許最大邊坡高度528 m,生產(chǎn)臺階高12 m,最終并段為24 m,設(shè)計(jì)最終境界臺階為22個(gè),邊坡整體面貌如圖7所示。

目前所采集到的500張露天礦邊坡裂隙圖像不能完全滿足深度學(xué)習(xí)模型的訓(xùn)練、驗(yàn)證以及測試的需要,而若僅靠人工采集數(shù)據(jù)的方式,也將是一個(gè)具有挑戰(zhàn)性的任務(wù)。因此在采集來的500張露天礦邊坡裂隙圖像的基礎(chǔ)上,提出了一種基于滑動窗口算法的露天礦邊坡裂隙圖像數(shù)據(jù)集擴(kuò)增方法,其具體流程如圖8所示,該方法能將數(shù)據(jù)集的容量擴(kuò)大4倍以上。

圖8 基于滑動窗口算法的數(shù)據(jù)集擴(kuò)增流程圖Fig. 8 Flowchart of data set amplification based on the sliding window algorithm

首先,對在某大型露天礦山現(xiàn)場利用人工采集來的500張邊坡裂隙圖像(Crackimg1,Crackimg2,Crackimg3,…,Crackimg500)進(jìn)行歸一化處理,得到像素尺寸大小為3 000×2 560,分辨率為75×75的露天礦邊坡裂隙數(shù)據(jù)集(crackimg1,crackimg2,crackimg3,…,crackimg500)。

然后,采用1 024×1 024的固定大小窗口在歸一化后的邊坡裂隙圖像(crackimg1,crackimg2,crackimg3,…,crackimg500)上進(jìn)行步長為512的重疊滑動,并將每一次滑動后窗口覆蓋下的圖像區(qū)域作為一個(gè)邊坡圖像面元(img1,img2,img3,…)。其中,把包含裂隙的邊坡圖像面元稱為邊坡裂隙面元,把不包含裂隙的邊坡圖像面元稱為邊坡背景面元。

最后,采用基于支持向量機(jī)(SVM)的圖像二分類算法對擴(kuò)增后的邊坡圖像面元進(jìn)行分類,選出其中的邊坡裂隙面元,經(jīng)過人工篩查后,對邊坡裂隙圖像數(shù)據(jù)集進(jìn)行水平、垂直翻轉(zhuǎn)或者隨機(jī)旋轉(zhuǎn)等操作,進(jìn)一步對數(shù)據(jù)集進(jìn)行擴(kuò)增。最終獲得了包含2 052張圖像的露天礦邊坡裂隙圖像數(shù)據(jù)集,將整個(gè)數(shù)據(jù)集劃分為兩個(gè)集合,其中訓(xùn)練集和驗(yàn)證集為一個(gè)集合共包含圖像1 900張,用于模型訓(xùn)練;測試集包含剩下的152張圖像,用于對模型的訓(xùn)練效果進(jìn)行測試。

深度學(xué)習(xí)模型的訓(xùn)練、驗(yàn)證以及測試都需要大量的、帶有標(biāo)注標(biāo)簽的數(shù)據(jù)集,所以對數(shù)據(jù)集進(jìn)行精確的標(biāo)注也極其重要,本文中對人工擴(kuò)增后的邊坡裂隙圖像數(shù)據(jù)集進(jìn)行了精確標(biāo)注。由于邊坡裂隙圖像形狀及結(jié)構(gòu)毫無規(guī)律,所以這個(gè)標(biāo)注的過程也是十分艱巨的,為邊坡圖像中的裂隙分配了紅色,其余部分分配了黑色,標(biāo)注好的圖像示例如圖9所示。

圖9 數(shù)據(jù)集標(biāo)注示例Fig. 9 Example of data set annotation

算法的程序是使用Python語言基于深度學(xué)習(xí)的主流框架TensorFlow、Keras和計(jì)算機(jī)視覺開源庫OpenCV編寫的,實(shí)驗(yàn)環(huán)境為Intel(R)Core(TM)i7-9700 CPU,主頻為3.00 GHz,GPU為NVIDIA GeForce GTX 1660Super,顯存為6G。

3.2 檢測性能分析

數(shù)據(jù)集的規(guī)模大小和質(zhì)量以及骨干架構(gòu)網(wǎng)絡(luò)對于檢測邊坡裂隙的適應(yīng)性都制約著裂隙檢測模型的檢測性能,本實(shí)驗(yàn)首先找出了最適合用于檢測邊坡裂隙的骨干架構(gòu)網(wǎng)絡(luò),然后驗(yàn)證了數(shù)據(jù)增強(qiáng)對于檢測性能所產(chǎn)生的影響。

首先,第1組實(shí)驗(yàn)用于測試不同的骨干架構(gòu)網(wǎng)絡(luò)對露天礦邊坡裂隙檢測性能的影響。本組實(shí)驗(yàn)包含了3個(gè)小實(shí)驗(yàn),實(shí)驗(yàn)1,使用ResNet50-RPN-FPN進(jìn)行模型構(gòu)建,訓(xùn)練集經(jīng)過50代訓(xùn)練后,選取最終擬合的權(quán)重對測試集進(jìn)行測試;實(shí)驗(yàn)2,使用ResNet101-RPN-FPN構(gòu)建模型,并對模型設(shè)置與實(shí)驗(yàn)1相同的初始化參數(shù),并使用相同的訓(xùn)練集和測試集進(jìn)行實(shí)驗(yàn);實(shí)驗(yàn)3,使用ResNet152-RPN-FPN構(gòu)建模型,其余設(shè)置均與實(shí)驗(yàn)1、實(shí)驗(yàn)2相同。第1組實(shí)驗(yàn)的3個(gè)小實(shí)驗(yàn)的loss值及valloss值的變化情況如圖10所示。

圖10 模型backbone的loss圖Fig. 10 The loss diagrams of the model backbone

由圖10(a)可知,當(dāng)采用ResNet50為檢測模型的骨干架構(gòu)網(wǎng)絡(luò)時(shí),模型訓(xùn)練到第17代就會出現(xiàn)loss值消失的情況,模型不能得到完全的訓(xùn)練,從而不能獲得較好的檢測效果;由圖(b)(c)可知,當(dāng)采用ResNet101和ResNet152作為檢測模型的骨干架構(gòu)網(wǎng)絡(luò)時(shí),模型訓(xùn)練到第40代時(shí)已逐步收斂,loss值和valloss值變化趨于平緩,模型得到較好的訓(xùn)練效果。然后,為驗(yàn)證針對邊坡裂隙檢測模型所提出的基于滑動窗口算法的數(shù)據(jù)增強(qiáng)對于檢測精度的影響,設(shè)計(jì)了1組對比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表2所示。

表2 數(shù)據(jù)增強(qiáng)對露天礦邊坡裂隙檢測模型精度的影響

在圖像分割中通常使用許多標(biāo)準(zhǔn)來衡量算法的精度,選取了PA(pixel accuracy,像素精度)、MPA(mean pixel accuracy,均像素精度)、MIoU(mean intersection over union,均交并比)以及FWIoU(frequency weighted intersection over union,頻權(quán)交并比)4個(gè)評價(jià)指標(biāo)。其中PA是最簡單的度量,是檢測出的標(biāo)記正確的像素占總像素的比例;MPA是PA的一種簡單提升,計(jì)算每個(gè)類內(nèi)被正確分類像素?cái)?shù)的比例,然后求所有類的平均;MIoU是語義分割的標(biāo)準(zhǔn)度量,對真實(shí)值(ground truth)和預(yù)測值(predicted segmentation)兩個(gè)集合的交集和并集的比值進(jìn)行計(jì)算;FWIoU是MIoU的一種提升,該方法根據(jù)每個(gè)類出現(xiàn)的頻率為其設(shè)置權(quán)重;其公式如式(3)所示。

式中:IPA表示像素精度,IMPA表示均像素精度,IMIoU表示均交并比,IFWIoU表示頻權(quán)交并比,k為不包含背景的類別數(shù),pii表示被正確分類的像素?cái)?shù)量,pij表示本屬于類i但被預(yù)測為類j的像素?cái)?shù)量,pji表示為本屬于類j但被預(yù)測為類i的像素?cái)?shù)量。根據(jù)表2中的數(shù)據(jù)對比,可以發(fā)現(xiàn),無論Mask R-CNN的骨干網(wǎng)絡(luò)架構(gòu)采用ResNet101還是ResNet152,采用基于滑動窗口算法的數(shù)據(jù)增強(qiáng)都對檢測精度有一定的正向影響,對采用數(shù)據(jù)增強(qiáng)前后的ResNet101和ResNet152在PA、MPA、MIoU以及FWIoU4個(gè)評價(jià)指標(biāo)上進(jìn)行數(shù)據(jù)對比,可以發(fā)現(xiàn),以ResNet101作為骨干網(wǎng)絡(luò)結(jié)構(gòu)的裂隙檢測模型的評價(jià)指標(biāo)值也相對較高,數(shù)據(jù)集擴(kuò)增對于ResNet101的檢測精度提高程度較為明顯。

3.3 檢測效果分析

通過對模型檢測性能的實(shí)驗(yàn)結(jié)果分析,ResNet101和ResNet152在邊坡裂隙檢測中模型性能接近,需進(jìn)一步對其檢測效果進(jìn)行直觀實(shí)驗(yàn)評價(jià),部分實(shí)驗(yàn)結(jié)果如圖11所示。

圖11 不同骨干網(wǎng)絡(luò)架構(gòu)下邊坡裂隙檢測效果對比Fig. 11 Slope fracture detection results under different backbone network architectures

根據(jù)圖11中分別采用ResNet152和ResNet101作為骨干網(wǎng)絡(luò)架構(gòu)的露天礦邊坡裂隙檢測效果對比,可以發(fā)現(xiàn),直接采用Mask R-CNN進(jìn)行露天礦邊坡裂隙檢測,在目標(biāo)檢測分支可以對裂隙進(jìn)行較好的目標(biāo)識別,但是在掩碼分支分割的裂隙掩碼精度較低,邊緣不清晰,頭尾兩端較難分割得到。對比圖11的第1行和第4行的(b)和(d)可以發(fā)現(xiàn),利用ResNet101分割出的裂隙掩碼比利用ResNet152的效果所呈現(xiàn)的連續(xù)性較好,邊緣分割較精細(xì),但仍存在分割所得的裂隙較寬,與實(shí)際裂隙吻合效果較差等缺點(diǎn)。綜合上述檢測性能實(shí)驗(yàn)結(jié)果分析中圖像增強(qiáng)在ResNet101上所展現(xiàn)出的更好的適應(yīng)性,可以判斷,ResNet101更適合作為裂隙檢測模型的骨干架構(gòu)網(wǎng)絡(luò)。

然后,為了進(jìn)一步驗(yàn)證本文算法檢測效果在檢測精度上的提升,對圖12中的第2列圖像和第4列圖像進(jìn)行對比可知,本文中所構(gòu)建的ASPP-PointRend-Mask R-CNN露天礦邊坡裂隙檢測模型在裂隙檢測及分割方面的視覺效果更為精細(xì),裂隙檢測結(jié)果更為準(zhǔn)確,分割出的邊緣與真實(shí)的裂隙邊緣吻合度較高,提取出的裂隙在原圖上的定位效果也較為準(zhǔn)確。

圖12 本文裂隙檢測算法與傳統(tǒng)Mask R-CNN對于露天礦邊坡裂隙檢測的效果對比Fig. 12 Comparison of the effects of the proposed fracture detection algorithm with the traditional Mask R-CNN for open pit slope fracture detection

通過以上實(shí)驗(yàn)效果及量化分析結(jié)果的對比,可以看出相比于主流裂隙檢測算法,該檢測算法具有更好的適應(yīng)性和更精細(xì)的裂隙邊緣分割效果。在包含152張露天礦邊坡裂隙圖像的測試集上進(jìn)行了測試,并對其測試結(jié)果進(jìn)行4個(gè)方面評價(jià)指標(biāo)值的計(jì)算,表3為檢測評價(jià)結(jié)果,可以發(fā)現(xiàn),本文算法在像素精度和均交并比方面的評價(jià)指標(biāo)結(jié)果都有0.02以上的提升,檢測效果更為精細(xì)。

表3 本文算法與原算法檢測結(jié)果評價(jià)對比結(jié)果

4 結(jié)論與展望

提出了一種基于改進(jìn)Mask R-CNN的露天礦邊坡裂隙智能檢測算法,討論了針對露天礦邊坡裂隙圖像的基于滑動窗口算法的數(shù)據(jù)增強(qiáng),并詳細(xì)地介紹了該算法在Mask R-CNN上針對掩膜分支的改進(jìn)點(diǎn),同時(shí)對Mask R-CNN中最適合用于露天礦邊坡裂隙檢測的骨干架構(gòu)網(wǎng)絡(luò)進(jìn)行了實(shí)驗(yàn)分析,并對該算法的改進(jìn)效果進(jìn)行了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,和傳統(tǒng)的裂隙檢測算法及Mask R-CNN相比,所提出的露天礦邊坡裂隙智能檢測模型具有更好的識別效果和更精準(zhǔn)的分割邊緣。

未來進(jìn)一步的研究重點(diǎn)是:在不斷提高算法的識別能力和裂隙分割結(jié)果的同時(shí),提高算法的泛化能力,以及對所檢測出的邊坡裂隙進(jìn)行進(jìn)一步的統(tǒng)計(jì)分析,度量其屬性信息,以便算法在實(shí)際的應(yīng)用過程中,表現(xiàn)出更好的性能,并為進(jìn)一步的邊坡穩(wěn)定性監(jiān)測提供數(shù)據(jù)信息,有效預(yù)防露天礦邊坡發(fā)生滑坡災(zāi)害。