特種設備高空結構件無人智能檢測技術研究

周前飛 丁樹慶 馮月貴 慶光蔚 胡靜波

（南京市特種設備安全監督檢驗研究院 南京 210000）

1 引言

隨著經濟社會的發展，特種設備逐漸向大型化、高速化、專業化的方向發展，例如振華重工22 000 t龍門吊、徐工2 600 t 超級移動起重機、中聯重科T1200-64W 超大型平頭塔式起重機、超大型過山車和摩天輪、長跨距客運索道、架空敷設壓力管道、超大型LNG 儲罐等，對于這些室外大型特種設備高空不易達部位的金屬結構及鋼絲繩、滑輪等零部件，傳統人工檢測方法存在檢測盲區、高空作業危險、勞動強度大、效率低等問題。目前，大型特種設備高空結構件無人智能檢測主要有地面高清攝像設備遠距離拍攝檢查、爬壁機器人或纜索機器人接觸或貼近檢測、無人機智能檢測3 類方法，其中無人機智能檢測具有非接觸、高精度、高效率和遠程可視化等特點，尤其適合超大型特種設備高空結構件遠程檢測，國內外很多檢驗機構、高校和使用單位，紛紛掀起了以無人機為載體的大型特種設備高空結構智能檢測技術研究與應用熱潮。

南京市特檢院在面向起重機的倒置式無人機檢測系統設計[1]，路徑規劃與自動巡檢[2]，裂紋[3]、腐蝕[4]和螺栓脫落[5]等缺陷識別方面有深入的研究。上海市特檢院Chen Qingcheng[6]設計了一種基于無人機的起重機軌跡規劃和三維建模的高效檢測方法，通過非結構化工作環境的三維建模過程實現無人機自主飛行、軌跡規劃、避障等智能檢測功能，更容易發現起重機鋼結構的焊接、裂紋等缺陷。浙江省特科院Tian Wei等人[7]搭建了基于無人機的熱管巡檢與安全管理系統平臺，實現了飛行控制、自動巡視、視頻推送直播等功能，能夠自動分析采集到的圖像數據，記錄并定位過熱現象。Maboudi 等人[8]利用無人機進行基于圖像的集裝箱起重機表面損傷檢測，使用Na ?ve 貝葉斯分類器對圖像進行分類，對銹蝕等關鍵缺陷進行識別，檢測召回率達到87%。Bobbe 等人[9]使用基于無人機的自主航空攝影測量來檢查軌道式龍門吊軌道，為了避免起重機遮擋軌道圖像對攝影測量過程的不良影響，設計了幾種智能無人機任務規劃策略，并在仿真環境中進行了測試，以最大限度地縮短飛行時間。

甘肅省特檢院敬東等人[10]利用無人機對大型起重機進行高清圖片和視頻的拍攝，通過紅外熱成像快速鎖定缺陷，搭載動剛度檢測儀獲取起重機工作時的振動頻率。福建省特檢院潘健鴻[11]、楊靜[12]采用搭載高清變焦攝像頭、激光測距儀、GPS 定位控制系統的無人機檢測方案，利用改進的八方向Sobel 算子處理裂縫圖像，通過邊緣分析提取出裂縫位置。浙江大學王鑫遠等人[13]根據無人機位置姿態信息進行坐標轉換，進行塔身垂直度檢測等。上海交通大學孫東曉等人[14]利用旋翼無人機搭載任務檢測設備，對大型起重機表面銹蝕與裂紋進行檢測。廣東省特檢院郭晉等人[15]通過無人機搭載可見光相機和紅外熱成像相機對特種設備和危化品儲存容器進行巡檢，不僅可實現全方位的目視檢查，還可有效發現溫度異常、介質泄漏、火災煙霧等問題。武漢市鍋檢所盧軍等人[16]提出利用無人機攜帶紅外檢測攝像頭對架空敷設的在役高溫和低溫壓力管道進行宏觀檢驗。天津市特檢院鄭桂紅等人[17]探討了電站鍋爐及垃圾焚燒鍋爐內部的無人機檢驗方案和方法，王金釗等人[18]探討了無人機檢測技術在起重機械、大型游樂設施檢驗檢測中的應用前景。

目前，很多檢驗檢測機構和高校開展了特種設備無人機智能檢測領域的研究和應用探索，但仍然存在很多技術難點亟待解決，例如室外強光、逆光、弱光、過曝、機身振動、鏡頭離焦等導致的圖像對比度差、“鬼影”、眩光、模糊、畸變和噪聲問題；由于無人機及圖像采集硬件制造方、圖像AI 識別系統開發方、檢驗檢測業務需求方在檢測系統軟硬件接口方面不統一，圖像多次壓縮傳輸引起清晰度降低、馬賽克問題；起重機、大型游樂設施等不同類型特種設備復雜結構件的檢測路徑智能規劃問題；類間差異小，背景復雜，偽缺陷干擾多，焊接紋理、雨痕、漆膜開裂等線狀物體在多種缺陷或者無缺陷情況都有出現；類內差異大，腐蝕、裂紋缺陷的大小、形狀、方向、位置多變，進而影響模型的學習能力，微裂紋、鋼絲繩斷絲等復雜背景小目標缺陷檢測難問題，裂紋、腐蝕、變形、破損、螺栓脫落、鋼絲繩損傷等多尺度復雜多樣缺陷檢測評價問題。因此，本文針對上述難點問題，開展特種設備高空結構件無人智能檢測系統設計、檢測路徑智能規劃與自主巡檢方法、多尺度復雜缺陷智能識別模型、全過程智慧巡檢管理軟件等關鍵技術研究，對進一步提高特種設備無人機巡檢工作質效具有重要意義。

2 無人智能檢測關鍵技術

2.1 上置/下置式無人機智能檢測系統設計

無人機智能檢測是通過無人機平臺搭載高清相機、紅外熱像儀、機載激光雷達等檢測設備，獲取結構件高分辨率可見光圖像、紅外圖像或三維點云模型，通過圖像處理算法對結構件表面裂紋、腐蝕、涂層劣化、螺栓脫落、破損、局部變形以及鋼絲繩斷絲、銹蝕、磨損、畸形等缺陷進行智能識別，見圖1，對結構整體變形、動剛度、電氣老化（異常發熱）進行自動檢測。

圖1 無人機圖像識別的主要缺陷類型

為了便于拍攝龍門吊主梁下蓋板和支腿上部、門座式起重機象鼻梁和人字架頂部、塔式起重機塔帽頂端和臂架端部、儲罐外立面、過山車框架及支撐結構、摩天輪拉索等人員不易到達的關鍵受力部位，將相機云臺設計為既可搭載在無人機本體上方[上置式，見圖2（a）]，又可搭載在無人機本體下方[下置式，見圖2（b）]，使云臺垂直方向俯仰角范圍達到±90°，既能向下俯視成像，又能向上仰視成像，能夠對大型特種設備各種關鍵部位進行多方位拍攝無視場死角，支持六向定位避障、飛行路徑規劃和自動巡檢功能，抗風能力達7 級，最大續航時間達55 min，起飛重量為7 kg，具備良好的適應性。

圖2 上置、下置式無人機智能檢測系統

無人機搭載由變焦主相機、廣角相機、激光測距儀組成的混合傳感器，其中變焦主相機圖像分辨率為2 000 萬像素，支持23 倍光學變焦（最大焦距為120 mm），通過光學無損放大與數碼放大結合，可對微裂紋、鋼絲繩斷絲等微小缺陷目標進行200 倍放大拍攝觀察，距離目標10 m 能分辨0.1 mm 微裂紋；搭載激光測距儀測量范圍為3 ～1 200 m，測量精度為±0.2 m，可實現裂紋尺寸等缺陷量化評價；搭載1 200 萬像素廣角相機，可實現第一視角飛行功能。

2.2 無人機檢測路徑智能規劃與自主巡檢方法

大型龍門吊、門座式起重機、塔式起重機、過山車、摩天輪、客運索道、壓力管道、儲罐等特種設備結構形式復雜多樣，對于箱型梁、工字梁、桁架結構、空心圓柱結構等形式的金屬結構，以及拉桿、鋼絲繩、管道等線狀圓形目標，無人機采用牛耕式全覆蓋巡檢路徑，如圖3 所示，與結構之間的安全距離為無人機結構尺寸的3 倍以上。

圖3 面向特種設備典型結構件的路徑規劃方案

根據規劃的巡檢路徑，有2 種巡檢航跡生成方法：第1 種是由人工操控無人機進行初步巡檢，采集并記錄若干航跡點的經緯度和高度數據，根據航跡點繪制生成航跡；第2 種是通過無人機搭載的激光雷達以待檢測設備為中心進行環掃，獲取設備三維點云模型，進行無人機巡檢場景模擬仿真，求解基于牛耕式全覆蓋巡檢路徑的巡檢點坐標和相機云臺拍攝參數，生成大型特種設備自主巡檢航跡。第2 種方法巡檢精細程度高，適用于儲罐等靜態設備巡檢，但對于起重機等動態作業設備，其三維點云模型的位置、角度每次作業后都不一樣，需頻繁通過三維建模仿真生成航跡，耗時長、效率低，因此適合采用人工操控無人機打點生成航跡進行自動巡檢，具有航跡生成速度快、便于實際操作的優點。

進行自主巡航時，按航跡自動飛行，飛行過程中可以控制飛行速度，可控制飛機懸停拍攝待檢測部位圖像，發現缺陷時可記錄拍攝點的經緯度和高度數據，下次飛行時根據起飛點和記錄的缺陷點位置生成航跡，自動飛到該缺陷部位進行進一步的拍攝和甄別。

對于三維建模巡檢場景仿真生成航跡方法，可以構建電池能耗成本和背光回避成本最低的目標函數，見式（1）和式（2），并通過改進A*混合算法對規劃路徑進行進一步優化。式中：

α1，α2—— 控 制 能 耗 和 背 光 成 本 的 參 數，α1+α2=1；

δi——懸停時的能量消耗；

δj——相鄰2 個航跡點之間的巡檢能量消耗；

χk——背光回避成本，表示太陽照射方向與相鄰2個航跡點形成的線段之間的夾角；

根據結構件三維點云模型，并輸入檢測過程中各視點坐標。采用改進的A*混合算法，通過設置啟發式函數求解相鄰2 個航跡點之間的最優飛行路徑，見式（3），最終輸出最優檢測路徑。

式中：

h(n)——任意2 個航跡點的能量消耗之和；

δs——起始航跡點s 的能量消耗；

i——當前的航跡點；

δt——目標懸停視點t 的能量消耗；

δ(s，i)，δ(i，t）——巡航狀態下的能量消耗。

2.3 基于改進YOLOv3 神經網絡的缺陷智能識別算法

通過無人機平臺搭載高清攝像機獲取結構件高分辨率可見光圖像，提出改進YOLOv3 深度神經網絡算法，實現結構件表面裂紋、腐蝕、涂層劣化、磨損、局部變形、螺栓脫落、破損以及鋼絲繩斷絲、銹蝕、磨損、畸形等缺陷智能識別。

針對上述多尺度復雜多樣缺陷的檢測問題，為提高模型檢測未知尺寸和形狀缺陷的能力，對YOLOv3深度卷積神經網絡算法進行改進，通過K-means 聚類方法實現anchor 聚類，生成錨框的尺寸，從而正確選擇錨框大小，具體步驟如下：

1）輸入所有目標邊界框的實際寬度和高度數據集T，見式（4）：

2）從T 中隨機選取9 個元素作為初始聚類中心，見式（5）：

3）計算T 中各元素到簇中心的交并比 （Intersection Over Union，簡稱IOU），見式（6）。

設 ji*＝ argmin IOUij, i ＝1, 2,…, n,則 （ Bwidthi,Bheighti）∈ cluster ji*。

4）計算新的聚類中心 ｛（clusterwidthj,clusterheightj）,j ＝ 1, 2,… , m｝，其中：

5） 如果新的聚類中心與原聚類中心相同， 則算法終止并輸出最終的聚類中心｛（clusterwidthj,clusterheightj） , j ＝1, 2,…, m｝， 否 則 返 回步驟3）。

然后，利用改進YOLOv3算法對點腐蝕、晶間腐蝕、縫隙腐蝕、全面腐蝕等不同形態和尺寸的缺陷進行檢測，并用腐蝕的最小外接矩形框標記缺陷位置，算法流程如圖4 所示，主要由4 個部分組成：Darknet-53網絡，YOLOv3-Scale1 網絡，YOLOv3-Scale2 網絡和YOLOv3-Scale3 網絡。

圖4 基于改進YOLOv3 深度神經網絡的腐蝕檢測算法流程

為了提高檢測速度，對YOLOv3 網絡進行了模型壓縮與優化提速。不同于原始YOLOv3 網絡需要檢測20 種類型的目標，本文只包含11 種類型缺陷目標檢測，所以減少網絡大小不會顯著降低檢測結果的準確性。為了減小網絡的規模，使用Darknet-19 網絡代替Darknet-53 網絡作為改進YOLOv3 網絡的骨干，刪除YOLOv3-Scale1、YOLOv3-Scale2、YOLOv3-Scale3 中的重復層，從而減少檢測時間。最后，為了充分利用從網絡中提取的特征，增加了2 個特征連接路徑，可以改善檢測精度，改進后的YOLOv3 網絡結構如圖5 所示。

圖5 YOLOv3 深度神經網絡模型壓縮與優化提速

在通過深度神經網絡算法檢測出裂紋缺陷及位置后，利用最大熵閾值分割、Canny 邊緣檢測、投影特征提取和骨架提取等方法，對裂紋寬度、長度、方向等相關參數進行量化識別及分析[3]。在利用缺陷分類網絡檢測出腐蝕缺陷及位置后，以腐蝕面積、形狀和腐蝕率識別為對象，提出腐蝕定量檢測與分級評估算法[4]，參考ASTM 標準進行腐蝕分級評估，并根據相關等級建議需要重新油漆的區域，降低腐蝕擴展和截面損失的概率。

2.4 無人機檢測流程與智慧巡檢軟件開發

開發了無人機智慧巡檢軟件，包括web 端的大型設備智慧巡檢管理平臺和遙控器端的平臺調飛App，調飛軟件通過4G/5G 網絡將無人機采集的圖像視頻流高保真傳輸到平臺，平臺調用部署在遠程服務器或便攜式工作站的缺陷檢測與識別算法，完成缺陷的智能檢測評價，自動出具檢測報告，作為起重機檢驗的輔助和安全評估的有效補充。無人機檢測流程如圖6 所示，包括檢測路徑規劃、在線檢測、缺陷復核、報告生成等步驟，具體步驟如下：

圖6 無人機檢測流程

1）開啟并連接無人機和巡檢平臺，在平臺新建檢測任務，根據待檢測設備的結構形式和重點檢測部位，參考2.2 節的路徑規劃方案，在巡檢管理平臺進行檢測路徑規劃；

2）將檢測路徑下發到無人機，無人機按路徑進行自動巡檢，操作無人機相機云臺采集待檢測部位圖像，并通過調飛軟件將圖像視頻流傳輸到平臺進行處理；

3）開啟平臺AI識別模塊，選擇要識別的缺陷類型，為裂紋、腐蝕、涂層劣化、螺栓脫落、破損、變形以及鋼絲繩斷絲、銹蝕、磨損、畸形等缺陷的一種、幾種或全部，調用改進YOLOv3 神經網絡算法對當前幀圖像是否存在缺陷進行定性檢測，如果檢測到有缺陷則用缺陷最小外接矩形框標記缺陷位置；

4）對于檢測到的裂紋、腐蝕缺陷，可以調用2.3節的裂紋尺寸識別、腐蝕評估分級算法進行量化評價；

5）檢測任務結束后，對檢測出的缺陷圖片進行人工復核，刪除誤檢的缺陷圖片，合并由于視頻信息冗余導致的重復檢測缺陷圖片，缺陷復核無誤后，點擊生成檢測報告；

6）對于存疑的缺陷，可以根據任務記錄的拍攝點GPS 位置和相機角度參數，生成航跡自動飛行到該拍攝點，進行不同角度拍攝、變焦放大、調節清晰度、調節亮度等，對缺陷進行辨別復核確認。

3 實驗結果及分析

3.1 缺陷智能檢測算法仿真實驗

實驗采用Tensorflow 作為深度學習框架，使用GPU 對訓練過程進行加速，其使用的硬件配置為Xeon E5-2620 v4 處理器、128 G 內存、NVIDIA GTX1080ti GPU；軟件環 境 為 Linux 系 統，python3.7，GPU 加速庫采用CUDA 9.0.176 和CUDNN 7.0.4。采用精度（Precision）、召回率 （Recall）、F1-Score 來評估缺陷檢測效果，見式（9）～式（11）。

式中：

TP——正確檢測標記的缺陷邊界框數量；

FP——將其他非缺陷區域誤檢為缺陷的數量；

FN——漏檢的缺陷數量；

Precision——正確檢測到的缺陷個數占所有被檢測到的缺陷個數的百分比；

Recall——正確檢測到的缺陷個數占實際所有缺陷個數的百分比；

F1-Score——精度和召回率之間的平衡點。

采用4 000 張起重機金屬結構圖片作為訓練集，并通過對獲取到的數據集采用翻轉、平移、角度旋轉等方式增強該數據集，還利用已有的帶鋼、磁瓦、鐵軌、橋梁等表面缺陷數據集進行模型訓練和遷移學習，采用1 000 張起重機金屬結構圖片作為測試集，部分圖像檢測結果見圖7，在圖像缺陷邊界框左上角用中文標記缺陷類型，例如裂痕、點蝕、面狀腐蝕、涂層劣化、螺栓脫落、破損、變形、斷絲、銹蝕、磨損、畸形等，后面的數字表示算法判定該區域為該類型缺陷的概率（0 ～1）。

圖7 部分測試圖像的缺陷檢測結果

從圖7 的檢測結果可以看出，改進YOLOv3 深度神經網絡檢測識別算法能夠準確檢測出圖像中各種不同尺度、顏色、形狀、紋理的復雜多樣缺陷，對微小的裂紋和斷絲、螺栓脫落、破損、變形、磨損、腐蝕、涂層劣化等均能很好地識別，并對缺陷區域進行精確定位，按式（9）～式（11）統計測試集的檢測結果，并與原始YOLOv3 算法檢測結果進行對比，見表1，可見改進后YOLOv3 算法的精度（查準率）和召回率（查全率）分別提高了4.04%、0.79%，檢測精度達到94.31%，召回率達到98.03%，是一種高精度、高效的缺陷檢測方法。

表1 與原始YOLOv3 算法的檢測精度對比

在相同的計算機硬件條件下，輸入同一段待檢測1 080p 視頻圖像，比較了Fast R-CNN、Faster R-CNN、SSD、原始YOLOv3 和改進YOLOv3 等不同方法的檢測速度，結果見表2。

表2 與其他深度學習算法的檢測速度對比

從表2 可以看出，改進YOLOv3 算法檢測速度最快，約為原始YOLOv3 算法的2.33 倍，達到了17.00 fps，通過在軟件中設置合適的取幀頻率，可以實現缺陷的在線實時檢測，這也證明了本文提出的改進YOLOv3 算法是正確和有效的。

3.2 大型設備智慧巡檢系統研發與應用

開發了大型設備智慧巡檢管理平臺，簡稱慧眼檢測，其主要界面見圖8，為用戶提供包括航線規劃、設備管理、在線檢測、離線檢測、系統管理等基礎功能的同時，亦支持云AI 與本地AI 兩種部署方式檢測和多場景數字化管理，具有在巡檢過程中對識別缺陷實時分級預警等特色功能，用戶通過大型設備AI 巡檢系統即可對巡檢場景進行全方位掌控，實現設備缺陷精確識別，快速處理生成檢測報告。

圖8 在線檢測AI 識別主界面

1）在線檢測。當無人機開始執行任務，用遙控器控制采集待檢測設備圖像，選擇識別缺陷類型，開啟AI 識別模塊，即可在平臺查看第一視角畫面（原始視頻）和AI 識別檢測頁面。現階段平臺支持AI 識別場景有涂層劣化、面狀腐蝕、點蝕、裂痕、螺栓脫落、局部變形、滑輪破損、鋼絲繩斷絲、鋼絲繩磨損、鋼絲繩銹蝕、鋼絲繩畸形，任務過程中根據用戶需求進行實時預警和顯示右側的預警信息（見圖8），直至任務結束。

巡檢任務結束后，進入時空大數據界面，包括歷史預警、歷史報告、飛行歷史3 個子模塊，見圖9。在執行巡檢任務中實時彈出的預警信息由歷史預警模塊收集，并進行告警等級分類，用戶可對巡檢任務的預警信息進行AI 類別篩選后的人工復查、批量刪除、圖片合并等操作，選擇確認后的缺陷圖片生成檢測報告。飛行歷史模塊可對AI 巡檢任務進行回溯，查看無人機編號及站點名稱等信息，對于巡檢路線以視頻流進行回放，巡檢數據一鍵復查。

圖9 在線檢測任務的歷史預警界面

2）離線檢測。離線檢測模塊包括離線任務、離線預警、離線報告3 個子模塊。在離線任務界面，平臺支持用戶手動上傳導入無人機拍攝的原始圖片和視頻進行離線檢測處理。檢測完畢后，用戶可以在離線預警界面查看檢測結果，進行人工復查、批量刪除、圖片合并等操作后，選擇確認后的缺陷圖片生成檢測報告。在離線報告界面，用戶可自行篩選報告類型后下載或在線查看AI 檢測報告。離線檢測界面見圖10。

圖10 離線檢測界面

檢測報告格式包括封面、結論概述和附錄3 部分，結論概述主要包括檢測的缺陷類型和檢出的各類型缺陷數量統計；附錄為本次檢測任務的所有缺陷圖片，在每張圖片上以不同顏色目標框標記缺陷類型、位置和數量。

利用自主研發的上置/下置式無人機智能檢測系統和智慧巡檢軟件，配合起重機定期檢驗和安全評估，在江西省特檢院、杭州市特檢院、南鋼、南京港、金陵船廠、南京大吉鐵塔等檢驗機構和生產企業開展無人機檢測技術應用，檢出人員不易發現的裂紋、破損等設備隱患多處，為企業日常維護保養和特種設備的安全管理提供了有力依據。

4 總結與展望

1）本文設計了上置/下置式無人機智能檢測系統，基于無人機可見光圖像對特種設備結構件表面缺陷識別技術進行了研究，通過無人機檢測路徑智能規劃、基于改進YOLOv3 神經網絡的缺陷智能識別模型研究和無人機智慧巡檢軟件開發，實現了結構件表面裂紋、腐蝕、涂層劣化、螺栓脫落、破損、局部變形以及鋼絲繩斷絲、銹蝕、磨損、畸形等典型缺陷智能識別和評價，快速出具檢測報告。

2）下一步可以通過無人機搭載高精度激光雷達，對設備主要受力構件進行三維建模，對結構整體變形檢測與有限元應力分析、模態分析進行研究，搭載紅外熱像儀獲取設備熱紅外圖像，對設備電氣部件老化、接觸不良（異常發熱）等故障檢測進行研究。目前無人機檢測技術應用對象主要為門式/門座式/塔式起重機和一些大型游樂設施設備（例如高空飛翔等），下一步可以向超大型過山車和摩天輪、長跨距客運索道、架空敷設壓力管道、超大型LNG 儲罐等特種設備擴展，結合這些設備的檢測項目和缺陷特征進行模型定制開發。

3）在特種設備無人機檢測領域，國內目前尚無相應的國家標準、行業標準和地方標準（含制修訂計劃），在巡檢系統、巡檢作業、數據處理等方面缺少統一的標準和規范，各檢驗檢測機構、使用單位的檢測儀器和設備、檢測方法和流程、檢測報告形式等都不統一，無人機檢測作業不規范、作業精準度和可重復性差，亟須制定統一標準規范，進一步提升特種設備無人機巡檢工作質效。

4）無人機智能檢測技術可以輔助特種設備檢驗檢測人員對大型設備高空不可達結構部位進行智能可視化檢測和安全狀態評估，提高檢測精度和效率，提升檢驗檢測服務能力；幫助廣大特種設備使用單位更科學有效地進行特種設備日常檢查和維護，快速有效檢出企業不易發現的設備隱患，有效預防并控制事故的發生，減少人員和設備財產的損失，對促進企業安全生產具有重要意義；促進機器人、人工智能技術與特種設備檢驗檢測行業的有效融合，提升特種設備安全和智能化水平，創新培育新業態，發展壯大新動能，推動特種設備行業高質量發展。