基于改進Faster RCNN的巖石熱紅外圖像張剪裂紋檢測

黃曉紅 盧 曄 張潤東 董詩琪

(1.華北理工大學人工智能學院,河北 唐山 062310;2.河北省工業智能感知重點實驗室,河北 唐山 062310;3.華北理工大學管理學院,河北 唐山 062310)

巖石的破裂模式會對巖石破壞形態產生影響,張性破壞和剪性破壞的破壞形式具有明顯區別[1],故對巖石張剪裂隙進行檢測對于礦山災害防治具有重要意義。熱紅外圖像監測一直是巖石破裂過程研究的重要方法之一[2-7]。吳立新等[8]試驗研究了巖石壓剪破裂過程的熱紅外輻射成像規律,發現壓剪作用越強,破裂過程中紅外輻射升溫現象越明顯。陳國慶等[9]研究了節理巖橋在單軸加載過程中的紅外熱像圖變化特征,得出巖石在加載破裂過程中存在兩種紅外異常破裂前兆,并根據熱像圖變化預測了裂紋擴展趨勢。謝玉晟[10]對煤巖的張剪破壞演化過程中的紅外輻射特征進行了分析,結果表明:剪切破壞形式的煤巖試樣破壞前紅外輻射溫度整體呈升高趨勢,熱像圖沿破裂帶呈高溫條帶特征;張拉破壞形式的試樣紅外輻射溫度整體呈下降趨勢,熱像圖沿破裂帶呈低溫條帶特征。劉善軍等[11]對不同巖性巖石破裂前后的紅外異常輻射進行了研究,認為巖石破裂熱紅外異常是熱彈效應和摩擦熱效應綜合作用的結果,且巖石熱像在破裂前存在異常前兆。李鐵峰[12]采集了巖石破裂過程中的熱紅外圖像,并使用改進的Faster RCNN對巖石的張剪裂紋進行了檢測定位,檢測精度達到了88.81%。

總體來說,現有研究對于張拉破裂和剪切破裂的破裂模式區分不足,隨著深度學習的加速發展,基于卷積神經網絡的圖像和視頻目標檢測算法不斷更新[13-15],基于深度學習的張剪裂紋識別會成為巖石破裂失穩研究的熱點。本研究在Faster RCNN 網絡的基礎上優化了特征提取和檢測框回歸算法,提出一種新的巖石熱紅外圖像張剪裂紋檢測方法,并通過巖石破裂試驗采集巖石破裂過程中的張性裂紋和剪性裂紋熱紅外圖像構建數據集,訓練并驗證模型的準確性,在犧牲少量推理速度的情況下,大幅度提高了巖石張剪裂紋檢測的準確率。

1 試驗數據

本研究通過開展花崗巖單軸壓縮試驗收集巖石破裂過程中的紅外熱像圖,建立巖石紅外裂隙數據集。

1.1 巖石破裂試驗

花崗巖單軸壓縮試驗環境為TAW-3000 型常規三軸壓力機和Infra Tec Image IR 8300 紅外熱像儀。將花崗巖試件加工成大小為50 mm×50 mm×100 mm(長×寬×高)的長方體,將試件受力面兩端打磨至不平整度在0.05 mm 范圍內,共制備了14 塊試件,分別編號為GUD-1～GUD-14。試驗控制方式采用軸向等位移加載,先將試件預加載至2 kN,再以0.15 mm/min 的速率加載至試件破壞。使用紅外熱像儀記錄花崗巖試件表面的紅外輻射溫度變化,且在試驗過程中禁止人員走動,以減少環境因素干擾。

1.2 數據集構建

本研究花崗巖熱像異常表現為:在花崗巖破裂前沿破裂帶出現熱紅外輻射高溫或低溫異常條帶,高溫異常預示剪性破裂,低溫異常則預示張性破裂[11]。

從在巖石破裂試驗中獲取的巖石裂隙紅外熱像圖中篩選出267 幅差異較明顯的圖像,圖像格式均為jpg 格式。為了保證訓練過程中樣本相對均衡,在張裂與剪裂目標數量相差較小的前提下,從篩選出的267 幅巖石裂隙熱像圖中隨機抽取227 幅圖像,其中張性裂隙162 幅,剪性裂隙65 幅。使用角度旋轉、尺度變換、裁剪等數據增廣方法進行預處理,獲得3 632 幅照片用作訓練集。將剩余的40 幅圖像同樣做數據增廣至200 幅,用作測試集。使用LabelImg軟件對巖石裂隙進行標記,制作巖石紅外裂隙的PASCAL VOC 格式數據集。數據集中典型樣本如圖1所示。

圖1 典型的張剪裂紋圖像Fig.1 Typical tension-shear crack images

2 基于改進Faster RCNN的巖石熱紅外圖像張剪裂紋檢測

2.1 Faster RCNN 模型檢測原理

Faster RCNN[16]網絡模型結構如圖2所示,采用ResNet50[17]為Faster RCNN 網絡的特征提取網絡,使用特征金字塔(Feature Pyramid Networks,FPN)[18]進行多尺度特征融合。首先將圖片輸入主干網絡進行特征提取,通過FPN 生成多尺度特征圖,然后用區域建議網絡(Region Proposal Network,RPN)生成相對較精確的建議框,將建議框映射到每一個尺度的特征圖上,利用ROI Align 將每個建議框所對應的特征圖統一為固定尺寸,送入后續網絡進行分類和回歸,最終獲得檢測框的類別并實現精準定位。

圖2 Faster RCNN 模型架構Fig.2 Structure of Faster RCNN model

2.2 改進的Faster RCNN 模型

在目標檢測算法中,目標分類和檢測框回歸的操作都是在主干網絡提取的特征圖的基礎上完成的,因此提取的圖像特征的質量會直接影響最終的檢測精度,另外,回歸的檢測框質量也會對檢測精度造成很大影響。綜上,本研究從特征提取角度和檢測框回歸角度對模型進行改進,引入注意力引導的上下文特征金字塔網絡結構和級聯檢測結構,來提高巖石張剪裂紋檢測的準確率,改進后的Faster RCNN 模型結構如圖3所示。

圖3 改進的Faster RCNN 模型架構Fig.3 Structure of improved Faster RCNN model

2.2.1 采用注意力引導的上下文特征金字塔網絡

巖石裂紋具有形態多樣、大小不一等特點,識別難度高。圖像在輸入特征提取網絡后會生成低維度到高維度幾個不同維度的特征圖,不同維度特征圖包含不同的特征信息。FPN 網絡可以將不同維度的特征圖進行融合再用于后續的分類和回歸操作,加強卷積神經網絡的特征表達能力。但是,FPN 方法依然存在一些不足:在輸入圖像分辨率過高的情況下,感受野不能很好地覆蓋整幅圖像,無法獲取有效的語義信息,難以充分利用目標周圍的環境信息;對于大尺度目標的檢測效果不十分理想,經過多次下采樣后特征圖分辨率降低,雖然感受野會變大,但是細節特征會丟失,多尺度感受野獲取的語義信息利用率低。為此,本研究引入了注意力引導的上下文特征金字塔網絡(Attention-guided Context Feature Pyramid Network,ACFPN)[19],該結構能融合來自不同尺寸的感受野特征,在增大感受野的同時能夠充分利用物體的上下文語義信息,獲得更高的準確率。

ACFPN 的網絡結構如圖4所示。該網絡主要由兩部分組成:一部分是上下文提取模塊(Context Extraction Module,CEM),其作用是從各個不同大小的感受野中獲取上下文信息,但是為了避免大量且繁雜的上下文關系對定位和識別任務造成誤導,又加入了另外一個部分即注意力引導模塊(Attention-guided Module,AM),該模塊可以通過注意力機制來顯著增強對象周圍的有用信息。AM 模塊包含兩個子模塊:上下文注意模塊(Context Attention Module,CxAM)和內容注意模塊(Content Attention Module,CnAM)。前者用于捕獲各子區域間的語義信息,后者用于定位精確位置信息,將經過兩模塊細化后的特征與輸入特征進行融合能得到更全面的特征表示,從而獲得更好的檢測結果。

圖4 ACFPN 結構Fig.4 Structure of ACFPN

2.2.2 引入級聯檢測結構

情人節我玩失蹤，對葉靄玲是一個致命打擊。她一頓疾風驟雨般的審問，讓我不得不承認，我是在白麗筠那里。我甚至向她坦白我與白麗筠發生了實質性的兩性關系。我覺得我所做的一切都是順理成章的，沒有一點兒牽強，因而也是美好的，用不著慚愧。

交并比(Intersection over Union,IOU)是用來評估預測框與目標框接近程度的一個指標,IOU值越大,表示預測框越接近真實框。IOU可取的最小值為0,表示預測框與真實框沒有相交,可取的最大值為1,表示預測框與真實框重合。

在Faster RCNN 模型的分類回歸階段,會設置一個IOU閾值來界定正負樣本,若閾值設置過小,正樣本中也會包含大量背景信息,容易造成誤檢;若閾值設置過大,則會造成正樣本數量過少。當輸入的建議框與真實框的IOU值與設置的閾值接近時,模型的檢測效果達到最佳[20]。為進一步提高檢測框的檢出率和準確率,避免漏檢和檢測框偏離真實框的情況,在Faster RCNN+ACFPN 網絡結構的基礎上引入了級聯(Cascade)檢測結構。Cascade 結構的特點是級聯多個不同的IOU閾值的檢測器[21],將前一個檢測器的輸出用作后一個檢測器的輸入,IOU逐步上升,由于每一級結構輸出時的IOU普遍大于輸入時的IOU,因此檢測效果也會逐步提升。

2.3 整體思路

基于改進Faster RCNN的巖石熱紅外圖像張剪裂紋檢測流程如下:

(1)進行花崗巖單軸壓縮破壞試驗,獲取巖石破裂的熱紅外圖像,從獲取的巖石破裂圖像中挑選出差異明顯的張性裂紋圖像和剪性裂紋圖像并標注成數據集。

(2)使用自制的巖石紅外裂隙數據集對改進的Faster RCNN 模型進行訓練。首先將ResNet50 輸出的多層特征經過ACFPN 融合成包含上下文信息的多級特征金字塔,送入RPN 網絡生成建議框;然后將建議框映射到每一個尺度的特征圖上,經過ROI Align統一尺寸后,送入檢測器進行分類和回歸,多級檢測器級聯并逐步提高檢測器的IOU閾值得到最終的檢測結果。進行消融試驗驗證模型改進的有效性。

(3)使用訓練后的模型對巖石破裂實例進行檢測,證明模型的有效性。

3 試驗設計與結果分析

3.1 試驗設計

本研究使用百度飛槳深度學習平臺作為試驗平臺,核心框架采用PaddlePaddle 1.8。訓練過程中的模型優化策略使用動量法(Momentum),將動量系數設置為0.9,初始學習率設置為0.002 5,迭代次數為20 400,衰減系數為0.1。當迭代次數分別為13 600、18 000 時,將學習率調整為原來的0.1 倍,每隔1 000次進行一次模型評估。

本研究采用平均精度均值(mean Average Precision,mAP)和每秒傳輸幀數(Frames Per Seconds,FPS)作為巖石裂紋目標檢測方法評估指標。mAP為指數據中全部類的Precision-Recall 曲線下面積的平均值。精確度P、召回率R的計算公式為

式中,TP為分類器判斷為正樣本且實際為正樣本的數量;FP為分類器判斷為正樣本但實際為負樣本的數量;FN為分類器判斷為負樣本但實際為正樣本的數量。

3.2 試驗結果

本研究使用的基礎Faster RCNN 網絡模型與文獻[12]中模型相同,使用自制的巖石熱紅外圖像裂紋數據集訓練模型,基礎Faster RCNN 模型在測試集的mAP為88.81%,檢測速度為26.71 fps。使用ACFPN和Cascade 作為改進策略對基線網絡模型進行改進后,在相同的數據集上,對巖石熱紅外圖像的張剪裂紋檢測精度分別提升了1.34%和3.96%,消融試驗結果見表1。最終模型在自制數據集的測試集上檢測精度達到了94.11%,檢測速度為19.27 fps,模型mAP收斂情況如圖5所示。與基礎模型相比,改進后的模型檢測精度提升明顯,證明了方法的有效性。

表1 消融試驗結果Table 1 Results of ablation experiment

圖5 Faster RCNN+ACFPN+Cascade 模型mAP 值變化Fig.5 mAP values changes of Faster RCNN+ACFPN+Cascade model

使用改進后的Faster RCNN 模型對巖石熱紅外圖像張剪裂紋進行了檢測,結果如圖6所示。

圖6 張剪裂紋檢測效果Fig.6 Detection effects of tension-shear crack

3.3 實例檢測分析

巖石在受力加載過程中的破壞形態是多樣的,往往不是單一的張拉破裂或者剪切破裂,多為張拉破裂和剪切破裂混合的復合破裂模式。由于復合破裂模式破壞過程過于復雜,本研究暫不討論。以發生典型張性破裂的GUD-5 試件為例,該試件的破壞形式為一條軸向主裂紋將試件分割成兩部分。

GUD-5 試件加載過程的AIRT 變化曲線如圖7所示。由圖7 可知:在試件加載初期巖石試件表面整體溫度先短暫上升后平穩變化,在158 s 后轉為下降趨勢,加載進行至335 s 時,溫度出現突降,在第464 s時,試件表面平均溫度出現第二次突降。總體而言,發生張拉破裂的巖石表面溫度呈下降趨勢。

圖7 GUD-5 試件AIRT—時間曲線Fig.7 AIRT-time curves of sample GUD-5

根據試件AIRT 曲線變化情況選取0、338、341、379、447、473 s為代表性時間節點將裂紋的物理變化與裂紋的熱紅外圖像以及本研究模型對裂紋的檢測結果進行對比分析,結果如圖8所示。圖8(a)為試件單軸壓縮過程中的可見光照片,圖8(b)為該試件與圖(a)對應時間點的熱紅外圖像,圖8(c)為使用本研究模型對圖(b)的檢測結果。在加載初期,巖石試件的紅外熱像圖無異常變化,在第338 s 時,試件中間開始出現低溫異常輻射現象,而后低溫異常逐步延伸成形,341 s 時,試件中央出現明顯的低溫條帶,與試件AIRT 曲線上出現的第一次溫度驟降時間段相符,試件表面出現肉眼可見的裂紋。加載至379 s時,熱像圖能直觀展現裂隙形狀,且與巖石物理裂隙形狀相同,隨著加載進行,巖石裂隙不斷加深、加寬,紅外熱像圖也呈現對應的變化,464 s 出現第二次溫度驟降后,試件破裂面積明顯增大,直至完全破裂。

圖8 GUD-5 試件破裂過程及檢測結果Fig.8 Fracture process and detection effects of GUD-5 sample

使用本研究模型將GUD-5 試件加載破裂過程中的典型圖像進行了檢測,結果表明:

(1)在裂隙發展初期,裂隙未成形時,本研究模型檢測能力低下,338 s 時,產生了將巖石表面反射光點檢測為剪性裂紋的誤檢現象。

(2)裂隙成形后,應用本研究模型能準確檢測出巖石破裂位置,精確度較高,且隨著加載進行,巖石裂隙不斷擴大,模型仍能準確檢測出巖石破裂位置。

(3)本研究模型能夠在巖石破裂前期及時發現巖石表面裂隙,標記巖石破裂位置,精度高、速度快,為巖石破裂空間預警提供了新思路。

4 結論

(1)在Faster RCNN 模型的基礎上,利用ACFPN網絡和級聯檢測網絡優化了模型特征表示和檢測框回歸準確度,在自建的巖石紅外裂隙數據集上獲得了更高的檢測精確度。

(2)所提模型可以識別出巖石表面的溫度異常區域,根據熱像圖上的異常溫度變化特征預測巖石的破裂模式和破裂區域。將本研究巖石破裂試驗獲取的花崗巖破裂過程中的熱紅外圖像數據使用所建模型進行檢測,結果顯示:花崗巖在單軸壓縮試驗中試件整體多發生張性破裂,剪性破裂多發生在巖石局部位置,檢測結果可以為巖石破裂預警提供參考。

(3)在巖石裂紋出現早期,裂紋特征不明顯,使用所建模型的檢測效果不理想,有待進一步優化。