基于仿生機器人的狹小空間裂紋檢測技術

摘 要：飛機裂紋的檢查貫穿飛機的整個生命周期，若不及時發現可能會帶來嚴重的后果，尤其是飛機盒段等狹小空間部位，人不可達，微小裂紋難以快速檢查，給飛機服役、地面強度及疲勞試驗等帶來重大安全隱患。本文研究了可自由進入狹小空間的仿生機器人平臺，涉及仿生機器人機構、運動行為及步態規劃、環境感知和避障等。開展了大量圖像文本的數字增強、圖像預處理、基于深度學習的圖像裂紋算法等研究，在具有狹小空間特征的飛機盒段樣件上開展了試驗驗證，通過盒段內部預設裂紋，有效地集成圖像采集模塊和仿生機器人平臺，并結合圖像采集環境調試，機器人路徑規劃、裂紋算法優化研究等，成功實現了對狹小空間內部的裂紋長度和位置的識別，為后續開展飛機裂紋全覆蓋快速檢查和維修策略提供技術支撐。

關鍵詞：狹小空間； 仿生機器人； 圖像處理； 深度機器學習； 裂紋識別

中圖分類號：V224 文獻標識碼：A DOI：10.19452/j.issn1007-5453.2024.07.011

飛行器服役過程中，其結構處于復雜交變載荷的作用下，經過長期運轉之后，結構可能會在表面產生微觀裂紋，并逐漸擴展到臨界尺寸，然后導致低應力的脆斷，這種破壞叫作疲勞破壞。疲勞裂紋作為機械結構破壞形式的一種，占失效總數的 50%～90%。由于疲勞破壞發生前，結構的塑性變形并不明顯，極難發現，因此疲勞裂紋具備潛藏性與突發性，當疲勞破壞發生時，輕則導致停機整修，影響飛行器的服役，重則引發重大事故，造成機毀人亡的災難性后果。同樣，在飛機地面強度及疲勞試驗中，如果不及時快速檢查結構的微小裂紋萌生情況，可能s129dqThUJYokT8uSVGy0g==會發生結構提前破壞，影響試驗安全，難以保障試驗進度，浪費經費。因此開展對飛機結構全覆蓋的裂紋快速檢查至關重要。

當前飛機的裂紋檢查過程主要是對飛機表面進行目視及超聲無損檢查，對進氣道、中央盒段內部等狹小空間單靠傳統的檢查手段難以快速發現。如新型飛機進氣道需要在每一起降做目視檢測，空間狹小，且需長時間等待發動機冷卻，檢測人員很難進入；各類飛機中的盒段內部狀態的檢測，目前多依賴于身材瘦小的專業人員著防護服進入油箱內檢測，對人員體型和素質要求較高，甚至有一些新型飛機的關鍵狹小空間，人不可達，很難進行探測，存在安全隱患。怎樣實現飛機狹小空間內部裂紋的快速檢查是迫切需要解決的一個問題。

本文提出研制適用于狹小空間行走的仿生機器人代替人進入狹小空間進行圖像采集。在仿生機器人研究方面，國外發展起步較早，可以適應不同的地面環境以及障礙物情況[1-5]，如2017年波士頓動力研制的液壓機器人Spot mini具有更加靈活的運動能力，并在許多實際工業場景中開始推廣應用；2019年美國MOOG公司合作開發了模塊化緊湊型液壓關節驅動單元，推出了最新一代基于ISA搭建的模塊化液壓四足機器人HyQReal，它實現了完全能量自給以及更高的堅固可靠性和關節輸出能力。國內仿生機器人具備成熟的理論體系和試驗研究[6-10]，如浙江大學研發的“赤兔”四足機器人，采用大功率轉矩電機來驅動腿部關節；2020年，南京航空航天設計的四足機器人，對足端脫附力進行優化，實現足端層面的運動穩定，并設計了一種使用爬壁機器人的豎直表面全向移動的自主避障；小米在2021年推出的仿生四足機器人產品CyberDog，不僅擁有仿生的運動步態，還擁有仿生的視覺和聽覺交互體驗，可以聽從指令，識別主人甚至自動跟隨主人運動。但是現有的仿生機器人一般適用在比較寬闊的環境，如平坦的室內試驗場景和寬闊的山地場景等，都是基于機器人和接觸平面的平面約束，對于機器人的空間約束較少。針對狹小的檢測環境，環境的約束需要機器人具備更加豐富的傳感器來識別環境信息，并根據環境約束選擇合適的運動形態[11]，涉及機器人結構設計、步態規劃和穩定運動控制、自主導航和定點停頓等關鍵技術，以便更好地開展高質量的圖像采集和裂紋識別研究。

在圖像裂紋識別方面，利用計算機算法實現對圖像中裂紋的自動識別與分析[12-13]，如針對玻璃裂紋設計的一種基于數字圖像處理技術的檢測算法，通過對裂紋圖像平滑處理后進行閾值分割，實現對裂紋特征的提取；利用濾波器的方向特性與人類視覺原理相結合的方法，檢測到沿不同方向排列的裂紋等。計算機算法相比于人工檢測的方式，更加快速、準確和可靠，相比于紅外、超聲等無損檢測技術則具有成本低、易實現、適用性強等優點。目前圖像裂紋識別主要有圖像處理和機器學習兩種。基于卷積神經網絡（CNN）的深度機器學習方法是當前最有發展潛力的裂紋識別方法之一，由此衍生出來的區域-卷積神經網絡（R-CNN）[14]算法通過預先提出候選框，并在后續處理中進行線性回歸獲取目標的邊界框，實現對目標的定位，因此具備了確定裂紋位置的能力，后續經多次改進，產生了快速區域-卷積神經網絡（Faster R- CNN）和掩膜區域-卷積神經網絡（Mask R-CNN）等性能更佳的檢測算法，在識別精度、速度等方面有了很大提高[15-16]。該算法是一種在有效檢測目標的同時輸出高質量的實例分割算法，在實例分割、目標檢測、姿態識別三個任務方面都取得了目前最好的效果。本文采用基于Mask R-CNN的方法開展圖像裂紋識別技術研究，同時采用數據增強等方法改善模型的魯棒性和泛化能力。

1 狹小空間裂紋識別總體方案

選用某型中央翼盒狹小空間，開展適用于狹小空間的仿生機器人平臺研究、適用于狹小空間的圖像采集和裂紋識別技術研究。首先開展仿生機器人平臺研發，將中央翼盒結構、材料、環境、可靠性等作為設計邊界，設計仿生機器人機構、腳掌、控制和傳感等硬件系統；利用雙目視覺傳感器和微型激光測距傳感器，設計環境識別算法，根據環境特征和狹小空間的先驗知識，規劃機器人路徑、步態和行為策略。其次開展裂紋圖像識別研究，采用深度機器學習方法，對拍攝和尋找的大量圖像進行濾波、灰度處理、數字增強等預處理，研究適用于微小裂紋檢測的Mask R-CNN裂紋識別算法，制定算法流程框架，進行多次模型訓練和優化迭代，得到裂紋長度。最后將基于仿生機器人平臺的裂紋識別技術在某型機翼中央翼盒艙道模型中開展試驗驗證。

2 適用于狹小空間的仿生機器人平臺研究

仿生機器人在艙段中的的路線規劃如圖1所示。狹小空間選用某型機翼油箱盒段密閉空間，環境空間較為狹小，地面狀況復雜，采用站立式機構并采用柔性仿生材料可更好地實現在任務環境中的穩定行走及避障越障，實現機器人平臺攜帶圖像采集器行走的任務。從A口處進入，沿著B、C、D、E行走并原路返回，運動形式包括直線運動、越障運動、定點停頓等。

適用于狹窄空間的仿生機器人平臺設計方案如圖2所示，作者團隊在已有壁虎狹窄空間行為研究的基礎上，對仿生機器人尺寸、結構進行了設計，采用能適應復雜結構環境的仿生機器人運動機構，足端采用柔性仿生材料來增強機器人地形適應能力和黏附穩定能力；根據仿生機器人的結構系統參數，采用機身動態平衡算法，配合上層感知系統完成步態規劃、穩定運動控制及避障越障；同時按照裂紋圖片采集的位置需求，開展自主導航及設定定點停頓位置和時間等研究，以便圖像采集器根據預設位置和拍攝角度采集狹小空間內部裂紋圖像，根據運動準確率和任務完成時間等性能指標，對仿生機器人進行多次迭代優化。

機器人運動機構設計如圖3所示，機器人整體具備12個主動自由度，以此建立D-H坐標，可得到機器人運動學模型。首先建立腿部各個連桿坐標系，進而推導各個連桿之間的變換矩陣，機器人的單腿正運動學方程由變換矩陣依次相乘得到，經過一系列的數學變換得到逆運動學方程。坐標系定義及實物參數確定：各旋轉關節坐標系的Z軸與關節旋轉軸重合，坐標系的X軸沿相鄰兩關節Z軸的公法線方向，坐標軸的Y軸遵從右手定則。

仿生機器人平臺采用了大量的傳感器，實現步態規劃和自主導航控制，其中感知模塊主要采用觸覺傳感器LDT0-028K，可以在機器人與環境發生輕微接觸時產生信號，并經過放大電路傳輸至感知信號處理板。激光單元采用傳感器VL53L0x可以準確快速測量機器人各關鍵位置與環境間的距離，可以達到20Hz的采集頻率以及10mm以內的測量誤差。足端力傳感器采用RP-C18.5-ST，能夠準確測得機器人足端所處的狀態信息，通過觸地信息分辨機器人的仿生腿在支撐相還是擺動狀態，提高機器人的環境適應性。IMU姿態傳感器913fdb3230c19787b729755cca5c094dc89664ed9a65c0ec3cd4c6b1c15fde84選擇的是九軸高精度角度傳感器JY901L。足端柔性仿生材料如圖4（a）所示，是一種自制的高溫硫化模壓成形的有機硅混煉膠，將其制作成半圓球形粘連在機器人足端底部，在保證機器人和地面的接觸面積的同時，大大降低了接觸沖擊對足端力傳感器的影響。仿生機器人平臺實物如圖4（b）所示。

3 裂紋識別算法研究

3.1 圖像預處理

一般情況下采集到的原始圖像受當時拍攝環境的影響會有各種缺陷，如噪聲，有些用肉眼無法分辨出來，如果不及時把這噪聲濾掉，將會影響到后續的裂紋識別。圖像預處理方面，首先采用濾波處理把圖像上的噪聲去除，得到平滑圖像，通過圖像增強得到梯度圖像，可以使圖像變得清晰。邊緣檢測是根據灰度級別的不同來識別出裂紋，得到邊界點圖像，利用再次濾波處理來去除邊緣檢測帶來的附加噪聲，再次圖像增強處理使圖像邊緣變得更清晰，方便后期進行閾值處理。二值化處理如圖5所示，使裂紋與背景進一步有效分離，保存形成可用于進行深度機器學習模型訓練和識別的圖像庫。

3.2 基于Mask R-CNN（Region-CNN）的裂紋識別算法

Mask R-CNN算法的網絡架構主要由基本骨架、區域候選網絡、對齊映射、邊界框檢測和掩膜分割組成。其中，基本骨架實現底層到高層的特征圖的融合，從而充分利用了提取到的各階段的特征。區域候選網絡在輸入圖像的特征圖上提出可能包含目標的候選區域，這些候選框被用作后續步驟的對齊映射，為后續的目標檢測和實例分割提供了基礎。邊界框檢測用于確定目標對象的位置和大小。

經過圖像預處理后，得到圖像庫，通過Mask R-CNN算法實現裂紋的有效識別。通過骨干網絡提取可能含有裂紋對象的特征圖，生成候選區域，在特征圖上使用區域候選網絡（RPN）提取候選區域。對候選區域進行感興趣區域對齊映射操作，將不同大小和比例的候選區域映射到固定大小的特征圖上，并提取出對應的特征。將提取的特征送入分類器和邊界框回歸器中，進行目標類別分類和邊界框調整。采用的全卷積網絡（FCN）可以通過有效的學習，對每像素任務進行密集預測，可以對圖片中的目標進行準確的分割，負責生成像素級別的掩碼，實現了對檢測到的對象進行精確的實例分割，為模型提供了對圖像中對象的精細理解和分割能力。

基于Mask R-CNN裂紋識別算法的流程框架如圖6所示。主要分模型訓練優化和結合測試及UI界面設計兩大模塊。前半模塊主要負責完成模型的訓練，其中數據準備和收集階段包含數據集準備、數據格式轉換、生成config配置文件、修改訓練圖片大小和學習率、模型訓練等，由于采用的是監督學習算法，對裂紋圖像進行人工標記并生成與之匹配的標簽文件，才能實現模型訓練。而數據增強策略主要采用圖像水平旋轉、改變亮度、平移和裁剪和混合4種有效的數據增強方法，擴充訓練樣本，增強模型的泛化能力和魯棒性能，減小過擬合發生的現象。經過訓練和優化的模型可以作為推斷器用于檢測和識別圖像中的裂紋。模型可以給出裂紋的位置、大小和類型等信息。本文設計了一套用戶界面（UI），用戶可通過該界面選擇被測圖像，經過模型的處理計算后顯示裂紋檢測結果，包括圖像中裂紋的位置和實際長度。

模型的訓練和優化采用MM Detection工具。該工具是基于Pytorch的目標檢測算法，包括經典的單階段和雙階段檢測器，以及一些圖像分割等任務的模型。在具體的訓練過程中，數據集的標注需要使用圖像標注工具進行人工標注。對裂紋的標注需要用鼠標將圖像中的裂紋精確框選出來，標注的精度直接關系到模型裂紋長度檢測的精度。標注完成后，標注信息會保存在相應的標注文件中，以供算法訓練和測試使用。不同的算法框架對標注數據的格式要求不同，通過轉換可以確保標注信息在不同框架之間的兼容性和一致性。

為保證裂紋長度測量具有一致性，本文將裂紋近似為一條線段，其長度統一定義為兩端點連線的長度。由于標注圖像中的裂紋時，裂紋的兩端點與矩形邊界框對角線上兩頂點重合，因此邊界框的對角線長度也可視為裂紋的長度。裂紋樣本的實際長度測量方式如圖7所示。裂紋檢測算法能夠將圖像中的裂紋標記出來，但還需進行尺度標定才能推斷出裂紋的實際長度。基于參考標尺測量法的原理進行尺度標定：在拍攝裂紋圖像時保證相機與目標表面的距離固定且相機的光軸垂直于該平面，則根據圖像成像原理可以將每個像素點代表的實際距離視為一致。對標尺測量獲得其像素點個數為a個，而標尺代表的距離為b，計算得b/a =0.077l，即為像素和實際距離的比例關系。使用所得的比例尺將裂紋區域的像素長度轉換為實際長度：裂紋識別矩形框區域對角線長度乘以建立的比例尺，可以得到實際的裂紋長度。

4 狹小空間裂紋識別試驗驗證

將仿生機器人平臺和圖像采集模塊在飛機機翼艙道結構中進行裂紋識別系統的測試與驗證。

對于艙段側壁裂紋圖片，裂紋識別算法能夠確定裂紋在圖像中的位置，但無法判斷裂紋在艙段中的位置，因此要實現對裂紋的精確定位，還需將圖片與其拍攝位置相關聯。機器人按照預設的路線對艙道進行檢查，檢查過程如圖8所示，分別在不同點位停靠并拍攝樣本圖像。由于裂紋長度測量過程中尺度標定的前提是相機光軸與目標平面垂直并且兩者的距離保持不變，需要利用距離傳感器控制機器人在每次拍攝時相機與側壁的距離均保持在200mm。

完成圖像拍攝和位置信息整合后，選出6張圖片用以測試算法的性能。圖像中包含的所有裂紋的實際長度已經過人工測量并記錄。軟件對圖像進行裂紋定位和長度測量，部分流程如圖9所示。經過測試，樣本圖像中裂紋的檢出率為100%；裂紋的實際長度分布在8～150mm范圍內，算法測量的誤差最大值為3.73mm，平均值為1.39mm。

5 結論及展望

通過對適用于狹小空間的仿生機器人平臺及圖像裂紋識別算法研究，實現了對裂紋長度和位置的快速檢測，構建了裂紋識別模型，評估了模型在不同數據集上的裂紋識別性能，具有較高的識別精度，使模型具備一定的泛化能力，并在典型盒段內部空間進行了試驗驗證，實現了對裂紋長度的快速識別和標注，為后續的嵌入式部署和界面開發等提供一種可行性的指導方案。

根據本文的研究進展，對后續的研究展望如下：（1）現有模型在某些特定場景下存在一定的局限性，如光照變化較大、裂紋形態復雜的情況。未來的工作方向將包括進一步改進模型的魯棒性，優化數據增強策略，并探索更適用于復雜場景的新型模型架構。（2）目前為采集圖像后統一輸入實現算法識別，下一步可考慮研究機器人邊走邊識別邊傳數據，實現實時的裂紋檢測，優化工作流程，提高算法效率。（3）裂紋識別技術在工業領域和安全檢測中具有重要應用價值。未來的研究方向可能包括深入挖掘跨領域合作的可能性，結合其他領域的技術手段，進一步提升裂紋識別技術的實用性和普適性。

參考文獻

[1]Wooden D， Malchano M， Blankespoor K， et al. Autonomous navigation for BigDog[C]. IEEE International Conference on Robotics & Automation. IEEE， 2010： 4736-4741.

[2]Hutter M， Gehring C， Bloesch M， et al. StarlETH： A compliant quadrupedal robot for fast， efficient， and versatile loco-motion[C]. Adaptive Mobile Robotics Conference， 2012： 483-490.

[3]Rebula J R， Neuhaus P D， Bonnlander B V， et al. A controller for the littledog quadruped walking on rough terrain[C]// Proceedings 2007 IEEE International Conference on Robotics and Automation. IEEE， 2007： 1467-1473.

[4]Biswal P， Mohanty P K. Development of quadruped walking robots： A review[J]. Ain Shams Engineering Journal， 2021， 12（2）： 2017-2031.

[5]Hutter M， Gehring C， Jud D， et al. Anymal-a highly mobile and dynamic quadrupedal robot[C]. 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. IEEE， 2016： 38-44.

[6]王鵬飛.四足機器人穩定行走規劃及控制技術研究[D]. 哈爾濱：哈爾濱工業大學， 2007. Wang Pengfei. Research on quadruped robot steadily walking planning and controlling technology[D]. Harbin： Harbin Institute of Technology， 2007.（in Chinese）

[7]王立鵬.液壓四足機器人驅動控制與步態規劃研究[D]. 北京：北京理工大學， 2014. Wang Lipeng. Research on actuator control and gait planning of hydraulic quadruped robots[D]. Beijing： Beijing Institute of Technology， 2014. （in Chinese）

[8]謝惠祥.四足機器人對角小跑步態虛擬模型直覺控制方法研究[D]. 長沙：國防科技大學， 2015. Xie Huixiang. Research on intuitive control method of virtual model for diagonal sprint gait of quadruped robot[D]. Changsha： National University of Defense Technology， 2015.（in Chinese）

[9]Wang Zhongyuan， Dai Zhendong， Yu Zhiwei， et al. Optimal attaching and detaching trajectory for bio-inspired climbing robot using dry adhesive[C]. 2014 IEEE/ASME International Conference on Advanced Intelligent Mechatronics.IEEE， 2014： 990-993.

[10]Zhang Houxiang， Zhang Jianwei， Zong Guanghua， et al. Sky cleaner 3： A real pneumatic climbing robot for glass-wall cleaning[J]. IEEE Robotics & Automation Magazine， 2006， 13（1）： 32-41.

[11]姜延歡，楊永軍，李新良，等.智能無人系統環境感知計量評價研究[J].航空科學技術，2020，31（12）：80-85.Jiang Yanhuan， Yang Yongjun， Li Xinliang， et al. Research on environmental perception metrology and evaluation technology of intelligent unmanned system[J]. Aeronautical Science & Technology，2020，31（12）： 80-85. （in Chinese）

[12]張文東，卓軼，董登科，等.一種裂紋識別方法的研究及試驗驗證[J].航空科學技術，2020，31（5）：81-88. Zhang Wendong， Zhuo Yi， Dong Dengke， et al. Research on the method of crack identification and experimental verification[J].Aeronautical Science & Technology，2020， 31（5）： 81-88. （in Chinese）

[13]于翀，宋昊.航空結構件孔邊裂紋監測技術研究綜述[J].航空科學技術，2021，32（12）：1-17. Yu Chong，Song Hao. Summary of research on hole edge crack monitoring of aviation structures[J]. Aeronautical Science & Technology， 2021， 32（12）： 1-17. （in Chinese）

[14]Girshick R， Donahue J， Darrell T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2014： 580-587.

[15]Ren Shaoqing， He Kaiming， Girshick R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（6）：1137-1149.

[16]He Kaiming， Gkioxari G， Dollár P， et al. Mask r-cnn[C]// Proceedings of the IEEE International Conference on Computer Vision， 2017： 2961-2969.

Narrow Space Crack Detection Technology Based on Bionic Robot

Wang Wenjuan1， Zhang Mengjie1， Liu Yuanbo1， Sun Jie1， Xue Jingfeng1， Duan Jinjun2， Liu Zhong3

1. Chinese Aeronautical Establishment，Beijing 100012，China

2. Nanjing University of Aeronautics and Astronautics， Nanjing 210016， China

3. Beijing University of Aeronautics and Astronautics， Beijing 100191， China

Abstract： The inspection of cracks runs tGgF+YvBKPMTddgoxGQygWfQpeBmMN/TwJ4ykIIwxuaw=hrough the entire life cycle of aircraft， and it may bring serious consequences with crack not found in time， especially in narrow space parts such as aircraft box segment， inaccessible to person， small cracks are difficult to be inspected quickly， which brings major safety risks to the aircraft service， ground strength and fatigue tests. A bionic robot platform that can freely enter a narrow space is studied， involving bionic robot mechanism， motion behavior and gait planning， environment perception and obstacle avoidance. Digital enhancement on a large number of images， image processing and image crack algorithm based on deep machine learning have been carried out. The sample of aircraft box segment with narrow space characteristics has been experimented. By means of presetting cracks inside the box segment， effectively integrating image acquisition module and the bionic robot platform， combining with the image acquisition environment regulation， robot path planning and crack algorithm optimization， the crack length and location in a narrow space is successfully detected， which provides technical support for the follow-up rapid inspection of full crack coverage of aircraft and maintenance strategy.

Key Words： narrow space； bionic robot； image processing； deep machine learning； crack detection