基于視覺掃描生成巡檢任務的機器人巡檢方法

孟浩，安福旺，吉力特

(內蒙古京能盛樂熱電有限公司，內蒙古呼和浩特 011518)

0 前言

智能巡檢機器人改變了電力、石化、交通、隧道、冶金、煤礦等領域的傳統(tǒng)運維與巡檢方式，已經在配電站、變電站、管廊、交隧、冶金焦爐、油氣化工、礦山地下變電所、巷道場景、廠用電氣、風電機艙等場景取得了廣泛的應用。

巡檢機器人在大型機械設備的運行現(xiàn)場，比如軌交車輛、礦用或者碼頭皮帶輸送機等得到了日益普及的應用，以保障機械設備的安全可靠運行。

科技部“關于加快場景創(chuàng)新以人工智能高水平應用促進經濟高質量發(fā)展的指導意見”，為巡檢機器人的深入、廣泛應用創(chuàng)造了廣闊的前景，不斷涌現(xiàn)的應用場景，將巡檢機器人由研究應用迅速轉入產業(yè)化、規(guī)模化，市場容量達到上千億規(guī)模，極大地提升各個行業(yè)的智能化、數(shù)智化水平。

與此同時，目前工業(yè)場景巡檢機器人的巡檢點設置是人員手動設置的。考慮到工業(yè)現(xiàn)場的復雜環(huán)境下，通常巡檢點的數(shù)量龐大，設置巡檢點的任務耗費大量人力和時間，且一旦巡檢點的設備改變，還得人工增加或刪除巡檢點。典型情況下，一臺巡檢機器人的巡檢點數(shù)量從幾十個到上百個。一個項目多臺機器人的巡檢點數(shù)量從上百個到上千個。手工方式設置巡檢點已經成為規(guī)模應用的一個瓶頸，降低了勞動效率，且也有違于自動巡檢機器人的初衷。

本文作者提出基于自動視覺掃描生成巡檢任務的機器人巡檢方法，利用機器人掃描環(huán)境的視頻流，將所有圖片送入到YOLOv4目標檢測網絡進行解析和篩選，并運用SIFT匹配方式去掉重復目標，可以自動生成復雜現(xiàn)場設備的巡檢點。在隧道電纜的機器人巡檢項目中應用，相比于人工設置方式，提高效率90%。

1 系統(tǒng)架構與方案

1.1 管廊巡檢機器人簡介

管廊巡檢機器人的核心部件主要由云臺模塊、主控模塊、通信模塊、避障和電源模塊組成。其中：

(1)云臺模塊主要包括可見光相機和紅外熱像儀；

(2)主控模塊主要是控制機器人的行走以及云臺的轉動；

(3)通信模塊主要完成機器人相關參數(shù)信息與遠程服務器之間的信號傳輸，根據(jù)現(xiàn)場的通信條件和要求，可以采用WiFi、4G、5G的方式；

(4)避障模塊包括機器人的前后安裝有超聲波雷達，具有前后運行方向檢測障礙物后停車的防碰撞保護功能；

(5)電源模塊通常采用磷酸鐵鋰電池。

電纜隧道巡檢機器人見圖1，可實現(xiàn)對地下管廊環(huán)境與設備的不間斷監(jiān)控及火災應急處置。機器人采用軌道移動方式，搭載高清攝像機及紅外熱成像儀，實現(xiàn)隧道實時監(jiān)控與測溫診斷；機器人集成有害氣體、煙霧、光照度、溫濕度等傳感器以及定位裝置和語音對講系統(tǒng)，實時監(jiān)測隧道環(huán)境信息，管理員通過監(jiān)控后臺實現(xiàn)對巡檢機器人的實時控制、數(shù)據(jù)接入、統(tǒng)計分析以及多維度展示。

圖1 電纜隧道巡檢機器人

此外，巡檢器人設有存儲器、處理器以及搭載有可見光攝像頭的云臺；存儲器存儲計算機程序；啟動巡檢機器人，使其進入設備探索狀態(tài)，巡檢機器人開啟儀表設備巡查模式，并開啟搭載有可見光攝像頭的云臺，同時，處理器執(zhí)行計算機程序以實現(xiàn)自動視覺掃描生成巡檢任務。

1.2 自動視覺掃描生成巡檢任務的架構

圖2是巡檢機器人自動視覺掃描生成巡檢任務的架構，也就是巡檢點的工作流程。

圖2 自動視覺掃描生成巡檢目標流程

說明如下：

(1)可見光視頻云臺針對當前待巡檢的行進道路方向，以180°廣角進行不間斷連續(xù)旋轉掃描，并在掃描過程中錄像保存視頻流；

(2)當視頻流傳回時進行等間隔抽幀采樣，設采樣間隔時間為t(例如t取0.5 s，設置的時間間隔t能夠保證視頻清晰以及兩圖儀表重疊率不過高)，并與當前時間進行同步記錄設為Tn，同時每隔時間t記錄機器人以及云臺當前的位置坐標，即機器人可根據(jù)抽幀圖像的當前時刻返回真實時刻的空間位置信息，因此可在該幀對應的時間記錄當前機器人位置坐標與云臺坐標集合，由此得出當前視頻幀圖像的時空坐標集：

Pn={xn，yn，zn，hn，θn，γn，Tn}

(1)

其中：xn、yn、zn表示機器人在整個場景中的位置坐標，取值范圍根據(jù)機器人地圖范圍而定；hn為云臺當前的上升高度，取值范圍為[0，hmax]，hmax表示云臺最大上升高度；θn表示當前云臺攝像頭攝影方向的水平旋轉角度，取值范圍為[0°，360°]，此處0°為云臺攝影正方向，即默認方向；γn表示云臺攝像頭的俯仰視角度，取值范圍為[-45°，45°]，此處0°表示水平方向，-45°為以地平面向下拍攝，45°為以地平面向上拍攝。

(3) 將每一視頻幀的圖像In與其時空坐標集Pn建立對應關系，然后在機器人掃描完整個區(qū)間后將所有圖像送入目標檢測網絡進行解析與篩選。目標檢測器如圖3所示[1-4]。

圖3 目標檢測器

目標檢測器包括24個卷積層和2個全連接層，其中卷積層使用1×1卷積來做通道縮減，然后緊跟3×3卷積，且卷積層和全連接層中均采用Leaky ReLU激活函數(shù)，最后一層采用線性激活函數(shù)。

圖像輸入YOLOv4目標檢測網絡[5-11](見圖4)后，首先調整為416×416，進入CNN卷積層，主干網絡采用CSPDarkNet53，其組成為CSPNet與DarkNet53，Darknet53共有5個大殘差塊，通過殘差網絡將輸入層與輸出層的結果相加；卷積后的池化層采用SPP實現(xiàn)，即空間金字塔池化，然后采用PANet進行實例分割，生成目標box，并通過YOLO head進行最后的特征拼接，輸出 box完成目標檢測與分割提取。通過CSPNet可增強CNN的學習能力，能夠在輕量化的同時保持準確性、降低計算瓶頸、降低內存成本。

圖4 YOLOv4目標檢測網絡

首先，詳細記錄下每張圖像中檢測到的儀表數(shù)量、種類以及它們的置信度。如果一張圖像中沒有檢測到儀表，將其排除。然后，如果一張圖像中儀表的數(shù)量少于預設的閾值，會進一步考察這些儀表的置信度。如果這些儀表的平均置信度低于另一個預設值，也會將這張圖像排除。對于剩下的圖像，會再次記錄其中儀表的數(shù)量、種類以及它們的平均置信度。這些未被排除的圖像將作為預選圖像，進行下一步的相似度判斷。這種流程旨在篩選出那些包含有效且可識別的儀表圖像，確保它們的數(shù)量和質量都滿足預設的要求。

(4)解析時記錄對應圖像中檢出儀表的個數(shù)N、類別數(shù)C、全部檢測目標的平均置信度B；若圖像中無儀表則刪除該圖像，當儀表數(shù)量存在但數(shù)量少于預設閾值，則繼續(xù)判斷這些目標檢測框的置信度，若太低則刪除；其余未刪除的圖像記錄有儀表上述3類數(shù)據(jù)，將未刪除的圖像作為預選圖像進入步驟(5)。

通過目標檢測網絡對原圖進行檢測，首先儀表個數(shù)N依據(jù)獲取檢出的目標長度獲得，類別數(shù)C則根據(jù)檢出類別進行去重累加，平均置信度B則通過計算所有檢出目標除以檢出數(shù)量來獲得。

(5)篩選后的圖像進行場景相似度判定，以圖像拍攝時的原始時間先后順序排列，并設置相似度比對梯度S，即每隔S張分為另一梯度，并在該S張圖像內進行相似度判定。在該梯度內以檢出儀表數(shù)N和平均置信度B依次為參考依據(jù)，選擇其值最高的圖像作為比對參考圖像，依次對下一張目標圖像進行SIFT[12]匹配，即將目標圖像與基準圖像進行SIFT匹配，若能夠匹配則認為這兩個圖像在該SIFT匹配下相似，然后將SIFT匹配相似且圖像中儀表類別數(shù)C均相同的圖像歸為新的一組，若匹配不上則歸為另一組，并進行該組內的判斷，直至對該梯度內的所有圖像進行迭代判定；在新的這一組圖像中，選擇檢出儀表數(shù)N、平均置信度B依次為參考，選擇值最高的圖像作為預置巡檢點圖像，將該梯度中其他圖像作為參考巡檢點；然后依次針對每一梯度進行同樣操作，若到最后分割不均，則剩余圖像單成一組，直至遍歷所有篩選后的圖像，生成預置巡檢任務表。

(6)管理員查看所有預選圖像與預置巡檢點圖像，并根據(jù)實際需求進行篩選、替換、增刪，并生成人工修正后的最后巡檢點集以及對應的巡檢任務，同時其他參考巡檢點信息依舊保存，需要時可以采用。

2 測試案例與測試結果

2.1 巡檢點自動獲取流程

(1) 啟動圖1所示的電纜巡檢機器人，并從前端控制機器人進入設備巡查模式，將其初始位置遙控至場景的起始點，并在地圖頁面規(guī)劃好固定線路。機器人開始沿規(guī)劃好的線路行進，并慢速勻速水平轉動搭載有可見光攝像機的云臺。自動旋轉的范圍為水平方向[-90°，90°]，即以兩側為主；垂直方向為[-45°，45°]，主要輔助巡查可能在某些低處或高處漏掉的設備。同時進行視頻錄制，錄制視頻時每0.5 s記錄一次機器人以及云臺的位置信息。

(2) 根據(jù)不同現(xiàn)場的儀表設備個數(shù)、場地大小，錄制視頻的時長可能不一致。此實施例中錄制時長為3 min，錄制完成后保存錄制的視頻流并獲取錄制的起始與結束時間。

(3) 以視頻起始的第一幀圖像作為抽幀的起始圖像，并以錄制起始時間為首幀圖像的時間坐標，之后以0.5 s為間隔進行抽幀。由于在錄制視頻時已經對每0.5 s間隔的位置信息進行記錄，因此抽幀后的圖像位置坐標即可認定為同等時間視頻中的位置信息，此時便可以對每一幀的圖像打上一個時空信息的標簽。

(4) 打上標簽后的每一幀圖像即與現(xiàn)場位置建立了動態(tài)的關聯(lián)，方便在后續(xù)篩選出巡檢點后直接獲得機器人與云臺的位置關系。現(xiàn)在將所有抽幀圖像依次送入儀表目標檢測網絡進行第一次篩選，若網絡未檢測到目標儀表則直接刪除該幀圖像，若存在目標儀表，在此實施例中作者嚴格控制儀表個數(shù)閾值，即認為只要存在儀表(N≥1)即為有效樣本，暫不判定置信度，實際使用時若儀表數(shù)量太多，可根據(jù)情況修改閾值，再進行置信度判定進行篩選。

(5) 通過第一次篩選去除了沒有目標儀表的無效幀，對剩余的圖像根據(jù)數(shù)量進行梯度劃分，默認梯度為7(可根據(jù)實際數(shù)量設置)。在該梯度內以檢出儀表數(shù)、平均置信度依次為參考依據(jù)，選擇其值最高的圖像作為比對參考圖像，依次對組內其他圖像進行判定迭代。若能夠進行匹配，則將其與參考圖像歸為新的一組，若匹配失敗則將比對圖像歸為新的一組，再重復以上操作迭代判斷新一組的相似度。

(6) 在新的一組圖像中以檢出儀表數(shù)、平均置信度依次為參考，選擇值最高的圖像作為預置巡檢點圖像，其余為參考巡檢點。如此操作遍歷所有第一次篩選后的圖像，完成所有圖像的預置巡檢點篩選并生成預置巡檢任務表。如圖5—7所示，為實施此方法所得巡檢任務列表、巡檢點集和巡檢點平面位置。

圖5 巡檢任務列表

圖6 巡檢點集示例

圖7 巡檢點平面位置

(7) 根據(jù)圖5所得列表，管理員可以查看所有的自動分組并調節(jié)圖像，或增刪、替換巡檢點，生成最終的巡檢任務。

2.2 測試案例

上述巡檢點自動獲取流程應用于案例1-4的4個工程項目，具體測試數(shù)據(jù)見表1。

表1 自動巡檢點/手工巡檢點測試數(shù)據(jù)

其中：機器人的巡檢速度按照現(xiàn)場的機器人機型不同、軌道鏈接不同以及用戶使用要求，可以通過機器人運行參數(shù)設置。

巡檢點的數(shù)量主要是根據(jù)機器人巡檢路徑上設備數(shù)量、環(huán)境檢測的要求來確定的。

人工配置巡檢點的速度與現(xiàn)場工程師的技術水平、熟練程度相關，但通常都是經過培訓的工程師，技能水平相差不太大。

自動配置巡檢點時間是指機器人通過視頻檢測自動解析出巡檢點的時間，需要人工來給這些自動配置的巡檢點按照現(xiàn)場的設備或者環(huán)境來命名。

2.3 測試結果分析

從上述測試案例的數(shù)據(jù)看，巡檢點數(shù)量越多，自動巡檢點算法的優(yōu)勢越明顯。上述案例中自動巡檢相比手工巡檢耗時效率提高平均值為90.54%。

3 結論

文中的主要工作總結如下：

(1)設計了YOLOv4目標檢測網絡(圖3)用于現(xiàn)場設備的檢測與分割提取。

(2)目標圖像與基準圖像進行SIFT匹配作為相似度判斷的依據(jù)，來消除重復的識別目標。

(3)對篩選后的圖像進行場景相似度判定，以圖像拍攝時的原始時間先后順序排列，并設置相似度比對梯度S，即每隔S張分為一梯度，并在該S張圖像內進行相似度判定。在該梯度內以檢出儀表數(shù)N和平均置信度B依次為參考依據(jù)，選擇其值最高的圖像作為比對參考圖像，依次對下一張目標圖像進行SIFT匹配，即將目標圖像與基準圖像進行SIFT匹配。若能夠匹配則認為這兩張圖像在該SIFT匹配下相似，然后將SIFT匹配相似且圖像中儀表類別數(shù)C均相同的圖像歸為新的一組，若匹配不上則歸為另一組，并進行該組內的判斷，直至該梯度內所有圖像完成迭代判定。

(4)結合目標檢測與圖像評估算法，在流程上一步到位解決了設備添加與巡檢點添加，且均為自動生成，同時可以采用其他備選點位，相對人工拍攝減少了大量時間。

該算法已經在隧道電纜的機器人巡檢項目中應用，相比于人工設置方式，即自動巡檢相比人工巡檢提高效率90%以上。