基于計算機視覺的螺栓缺陷智能檢測技術研究與應用

盧佳祁 姚志東 劉業森 王罡

摘要：隨著計算機視覺與機器學習技術的發展，自動化檢測技術在建筑工程檢測領域揮著重要的作用。采用無人設備進行圖像數據采集，然后用機器學習對圖像數據進行分析，成為當前智能檢測技術的通用方法。深度學習作為主要的機器學習方法，因其魯棒性較高而普遍應用在圖像分析中。本文首先通過顯著性檢測方法選取待檢測螺栓感興趣區域，再使用ResNet-18卷積神經網絡對感興趣區域進行螺栓缺陷的識別與分類。并以某鋼結構橋梁上的螺栓為例，利用該方法對無人機采集的螺栓外觀圖像進行了識別。結果表明，該方法可有效識別螺栓缺陷與類別，識別準確率高。

關鍵詞：計算機視覺;高強螺栓;深度學習;顯著性檢測;缺陷檢測

引言

鋼結構螺栓連接在加工制作和安裝方面具有明顯的優越性，在國內外鋼框架結構中被大量采用，尤其是橋梁等大型鋼結構設施的主要連接方式之一[1]。隨著我國鋼結構橋梁建設的高速發展，高強螺栓的應用越來越廣泛。但隨著橋梁的運行，螺栓聯接結構長期承受振動、沖擊和疲勞，導致螺栓出現松動甚至脫落，影響整個結構的安全。因此，螺栓狀態的實時檢測，具有重要的工程意義。當前螺栓外觀檢測方式，主要依靠人工現場以手持數碼相機或手持裂縫觀測儀人工操作為主。隨著技術的發展，也逐漸采用輔助機械伸展臂搭載攝像頭采集圖像進行人機交互分析的檢測手段[2]，但其深度、廣度及自動化水平普遍不高。隨著我國鋼結構橋梁施工工藝的發展，建筑規模逐年增大，結構上所使用的螺栓也隨之增加。如港珠澳大橋，全橋總長55公里，使用高強螺栓80多萬套，而且分布在橋體結構的各個角落，傳統的人工檢測方式已無法應對海量螺栓的外觀檢測，而且檢測過程中對安全性及時效性要求較高。因此，螺栓外觀檢測亟待需要采用智能化的檢測技術，與目標精確定位、圖像矯正、高精度識別等先進技術深入融合，提高檢測技術自動化水平。

近幾年，隨著無人機技術的發展，搭載攝像設備的無人機在地圖測繪、建筑安全檢測、資源調查、交通規劃等各領域都有重要的應用，該技術也可以同樣適用于鋼結構橋梁螺栓外觀檢測上，通過對無人機采集的螺栓影像數據的分析、識別、判斷，感知被檢測螺栓的狀態，進而做出應對措施。因此，對采集的圖像數據的分析、判斷和識別，是基于無人機的螺栓檢測中重要的技術。

深度學習是當前圖像識別的主流技術，該方法通過大量的圖像樣本，提取、學習圖像特征，并進行識別，從而判斷被檢測目標圖像樣本的類別和狀態[3]。

本文將深度學習算法引入到螺栓的智能檢測中。首先采用圖像顯著性檢測方法[4]檢測待識別的感興趣區域，在使用ResNet-18[5]卷積神經網絡判斷待檢測螺栓是否存在缺陷已經缺陷的類別，該方法可以對無人機傳輸回來的影像數據進行快速、有效的識別和判斷，從而對螺栓外觀狀態進行判定，輔助工作人員做出應對措施，經計算，識別準確率較高，可以滿足螺栓日常安全檢測需要。

1?方法和流程

首先通過無人機對螺栓樣本進行采集，并對采集回來的圖像樣本進行自動清洗、甄別、矯正和裁剪，并進行分類和標注，得到學習樣本庫。識別時，首先使用顯著性檢測法提取待識別螺栓的感興趣區域，并將感興趣區域圖像輸入到分類卷積神經網絡中進行分析判斷。具體的流程圖如圖1所示：

1.1?學習樣本集構建

本文選取某座鋼結構橋梁作為目標，利用無人機對橋梁上各部位的螺栓進行拍照，樣本采集。

圖像樣本經過以上算法處理后，再以被標識出來的螺栓為中心，將該圖像樣本自動裁剪成64×64分辨率大小的單一螺栓樣本，并對其類別逐一標注，作為訓練正樣本。

由于受采集對象限制，脫落、缺失、銹蝕的螺栓樣本數據嚴重缺失，為了保證樣本庫的多樣性，本文多渠道收集螺栓樣本，獲取了脫落、缺失、銹蝕的螺栓樣本圖片，經過同樣的數據處理方法，裁剪成64×64分辨率大小的單一螺栓樣本，并對其狀態逐一標注，作為訓練負樣本，并對采集到的樣本通過放大、縮小、顏色空間變換、旋轉、翻轉等操作，對數據進行擴充，以提高后續模型的泛化性能。

1.2?感興趣區域檢測

采用顯著性檢測法對螺栓待檢測感興趣區域進行提取，顯著性檢測算法與目標檢測算法不同，顯著性檢測算法，是無差別地檢測圖中有邊界且顯著的目標區域。這類模型旨在預測人眼的顯著目標觀察方式，顯著性檢測算法是很多計算機視覺任務的第一步，將顯著性區域作為感興趣區域，并針對這些顯著性區域進行進一步判斷和預測。顯著性檢測算法通常檢測速度較快，深度學習的圖像分類算法，可以只在顯著性區域上運行，以縮小檢測范圍，加快檢測速度，提高檢測精度。這里選擇文獻[15]的方法進行顯著性感興趣區域檢測，該算法先計算出一批的建議框，這些建議框為待檢測螺栓可能存在的區域，再通過非極大值抑制剔除多余的建議框。無論螺栓連接節點是否存在缺陷，都會在螺栓節點板上留下明顯痕跡，因此可以通過顯著性檢測法提取出來。實現該算法時可以通過調用OpenCV的saliency.ObjectnessBING_ create（）模塊實現。

1.3?螺栓缺陷分類模型

許多不同結構的知名卷積神經網絡可以用于特征提取，如AlexNet、MobileNets、GoogleNet。其中，ResNet-18的模型效率強且易于優化。ResNet-18有17個卷積層和8個跳躍連接，然后是一個全局平均池化層、一個全連接層和一個Sigmoid層。該網絡的輸入大小為64×64×3，使用ImageNet[6]進行預訓練，有利于提高模型的識別精度。

2?計算案例

本文以某鋼結構橋梁上的高強螺栓為例，通過無人機進行螺栓樣本采集，經過數據標準化處理，形成螺栓樣本庫，再利用本文介紹的方法，進行識別和判定。該鋼結構橋梁為某跨河鐵路橋，形式為鉚接鋼桁梁橋，采用具備定位復拍功能的大疆M300無人機進行圖像數據采集，采集到130張清晰的螺栓圖像。

將無人機所采集的原始圖像樣本進行數據標準化處理，前景突出，目標清晰，然后利用本文的感興趣區域提取法，可以自動識別出影像中螺栓的形狀和位置，并用紅框標識出來，如圖3所示。在此基礎上，自動處理成64×64分辨率的學習樣本，形成待檢測樣本。

但是在圖像的前處理過程中，對于部分圖像樣本在定位和識別時出現了誤差較大的情況，如圖4所示：（a）圖中，受圖像采集時光線的影響，拍攝的圖像樣本中，螺栓的影子明顯，對螺栓形狀的判斷造成了干擾;（b）圖中，拍攝角度是仰角拍攝，圖像采集設備沒有正對螺栓，導致螺栓影像發生變形和偏移，而且影像樣本背景復雜，不僅識別出了螺栓，還識別出圖背景中的相似的形狀。這些因素都導致了樣本圖片中，螺栓的誤標識。因此，在利用無人機進行圖像樣本采集時，需要對巡航路線、拍照時間、拍照角度等等提前規劃，采集高質量的螺栓樣本圖片，以減少圖像樣本中螺栓形狀的誤判，提高識別準確率。

學習樣本構建好以后，利用本文的識別方法，對無人機新采集的螺栓圖像樣本進行了識別，識別率如表1所示，識別結果如圖5、圖6所示。

如表1所示，本方法對于外觀正常的螺栓識別率較高達到了91.34%，對脫落螺栓和偏移螺栓的識別，準確率分別為82.16%和87.56%，而對于銹蝕螺栓的識別準確率較低，僅為78.14%。

圖7是對各外觀螺栓的正確的識別結果，圖8是誤識別的螺栓樣本。分析造成誤識別的主要原因是，螺栓的銹蝕負樣本非常少，對于新采集的表面銹蝕的螺栓樣本，因此，可通過多補充螺栓負樣本，擴充學習樣本庫，增加樣本庫的多樣性的方式，提高螺栓識別的準確性。樣本越豐富，越多樣化，模型越智能，識別的準確性越高。

3?結論

本文提出的識別方法，可以很好的完成識別的任務。而且本方法對新樣本識別速度快，在0.1s之內就可以完成新樣本的處理、裁剪及識別，對無人機嵌入系統的性能要求不高，可實時傳送識別結果，可作為螺栓外觀日常檢測方法。

圖像樣本的拍攝質量，直接影響最終的識別結果，無人機拍攝時的光照條件、拍攝角度、拍攝位置等因素都會影響圖像樣本中螺栓形狀的定位和判斷。因此，在利用無人機進行圖像樣本采集時，需要對巡航路線、拍照時間、拍照角度等提前規劃，采集高質量的螺栓樣本圖片，減少圖像樣本中螺栓形狀的誤判，提高螺栓樣本的識別率。

從識別結果可以看出，本算法對于樣本數量相對較多的螺栓，識別準確率較高，本文采集到的正常狀態的螺栓樣本數最多，因此其識別準確率最高。由于當前鋼結構橋梁的日常維護工作較好，脫落、偏移以及銹蝕的螺栓樣本較少，學習樣本庫中負樣本相對缺乏，其中銹蝕螺栓學習樣本個數最少，因此對其表面紋理識別的誤差較大，對于銹蝕等螺栓的識別準確率最低。可通過多方采集的方式，補充負樣本，充實、完善學習樣本庫，提高螺栓識別的準確率。

參考文獻

[1]陶曉燕，沈家華，史志強.我國鋼橋高強度螺栓連接的發展歷程及展望[J].鐵道建筑，2017，57（9）：1-4.

[2]鐘繼衛，王波，王翔，等.橋梁智能檢測技術研究與應用[J].橋梁建設，2019，49（S1）：1-6.

[3]Qi Yang et al.Deep convolutional neural networks for rice grain yield estimation at the ripening stage using UAV-based remotely sensed images[J].Field Crops Research，2019，235：142-153.

[4]Ming-Ming Cheng，Yun Liu，Wen-Yan Lin，Ziming Zhang，Paul L.Rosin，Philip H.S.Torr.BING：Binarized normed gradients for objectness estimation at 300fps[J].Computational Visual Media，2019，5（1）.

[5]He K，Zhang X，Ren S，et al.Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2016：770-778.

[6]J.Deng，W.Dong，R.Socher，L.Li，L.Kai，F.-F.Li，ImageNet：A large-scale hierarchical image database，in：2009 IEEE Conference on Computer Vision and Pattern Recognition，2009.

*深圳市科技計劃項目（JSGG20201102173802006）