摘 要: 針對爆破場景下,光照變化、袋裝炸藥緊密堆積以及袋與袋粘連導致邊界模糊等問題,提出一種基于改進Mask R-CNN 的堆積式袋裝炸藥識別方法。該文在Mask R-CNN 的基礎上采用空洞卷積代替普通卷積,引入“擴張率”參數,使得袋裝炸藥的邊緣特征得到充分保留。利用Faster R-CNN 網絡模型、FCN 網絡模型、Mask R-CNN 網絡模型和改進Mask R-CNN 網絡模型對相同的數據集進行檢測,對比袋裝炸藥邊緣分割的效果。實驗結果表明:該文提出基于改進Mask R-CNN 的堆積式袋裝炸藥識別方法對袋裝炸藥邊緣信息保存較為完整,平均準確率達到90.42%,平均速度達到0.67 s/piece,為袋裝炸藥裝卸搬運實現更高程度的自動化提供有力的技術支撐。
關鍵詞: 實例分割; Mask R-CNN; 堆積式袋裝炸藥; 神經網絡
中圖分類號: TB9; TP391.4; TP183 文獻標志碼: A 文章編號: 1674–5124(2024)10–0081–06
0 引 言
目前,炸藥搬運主要是采用人工搬運,而炸藥是一種能在短時間內發生爆炸的物質,爆炸時會伴隨著高溫火焰,可能點燃周邊可燃物,也會生成高溫高壓的氣體,形成空氣沖擊波,給周圍人員帶來損害,例如硝酸銨[1],在受熱、接觸高溫表面、火花、明火或與可燃物質等接觸時,會發生猛烈反應,生成刺激性和有毒煙霧,因受熱和操作不當等原因,國內外多次發生硝酸銨爆炸事故,帶來的危害巨大。采用袋裝炸藥卸運自動化裝備,不僅能夠減少人工勞動力,降低裝卸搬運成本,提高整體的效率,也能防止搬運炸藥對搬運工人帶來的危害,是目前我國對袋裝爆炸物裝卸搬運的主要發展方向[2]。
圖1 為袋裝炸藥裝卸搬運智能設備,由自走式底盤、六自由度機械臂、機械手爪、CCD 攝像機以及工控機組成。其中,CCD 攝像機安裝在機械臂末端的機械手爪上,通過視覺系統[3-5] 的識別與定位引導機械臂進行袋裝炸藥的抓取與碼垛。在機器視覺系統中,能否對復雜環境下緊密堆積的袋裝炸藥進行有效精準的分割,直接影響后期圖像特征的提取以及機械臂自動抓取任務的成敗。
針對袋裝物體的分割,學者嘗試使用傳統圖像分割方法進行分割。文獻[6] 利用傳統的圖像分割方法對袋裝物體進行了分割,能夠將圖像完整分割開來。但傳統的方法在環境復雜的情況下進行圖像分割時,容易受到環境的干擾,使得分割的結果不太穩定。
隨著深度學習[7] 的發展,基于深度學習的圖像分割和識別在精度和實時性上都優于傳統的方法。文獻[8] 將目標檢測算法應用于抓取試驗中,實驗結果表明,基于深度學習的機器人抓取系統目標識別精度高。但目標檢測只能檢測到目標的大致位置,無法精準確定目標的邊界。文獻[9] 提出一種雙注意力特征增強模塊,構建編碼器多尺度殘差結構增加網絡深度,避免下采樣造成的關鍵點信息丟失,對物體邊緣特征具有良好的區分性。但當同一類目標存在部分重疊或者邊界相近的情況時,語義分割會錯誤的將多個同一類的實例,分割為一個目標。
由此可見,采用目標檢測或語義分割方法作為復雜場景下堆積式袋裝炸藥的圖像處理方法均存在著一定的缺陷,而實例分割集成了目標檢測和語義分割的優勢。Mask R-CNN 是一種自上而下的兩階段實例分割方法[10],將輸入圖像中的目標檢測出來,并給出每個目標的具體類別和同一類別中每個目標之間的關系,即先檢測出圖像中實例所在區域,再對候選區域進行像素級別分割。不僅具備目標檢測中定位不同目標的特點,也具備語義分割中像素層面上的分類。例如,文獻[11] 將主干特征提取網絡由Resnet101 網絡替換為輕量化Mobilenetv3 網絡,降低模型的參數數量并提升檢測的速度;文獻[12]通過在Mask R-CNN 算法的Resnet50 特征提取網絡中增加卷積塊注意力模塊,使模型更加關注車位相關的語義信息。
雖然Mask R-CNN 算法能夠對不同的實例之間進行分割,但由于真實場景下存在光照不均、緊密堆積和粘連的問題,使得袋裝炸藥邊緣產生反光、模糊和重疊的情況,導致使用基礎Mask R-CNN 算法進行分割時,會無法提取到真正的袋子邊緣信息特征。故本文針對自然光照場景下緊密堆積袋裝炸藥圖像分割問題,本文提出了一種基于改進Mask RCNN的堆積式袋裝炸藥識別方法,使用空洞卷積[13]代替普通卷積來對擴大感受野,不僅可以保留分辨率,有效地分割袋裝炸藥,還通過引入的擴張率來獲得目標物體的多尺度信息,避免了類似于袋子邊界的結構,如褶皺和污損,對檢測精度的影響。通過深度相機采集圖像制作數據集并進行試驗。結果表明,改進的Mask R-CNN 能夠滿足復雜場景下對袋裝炸藥分割的需求,為緊密堆積粘連的袋裝炸藥實現智能化搬運提供技術參考。