基于深度學(xué)習(xí)的機(jī)器人巡檢圖像目標(biāo)識(shí)別研究

史慶軍

關(guān)鍵詞：巡檢機(jī)器人；圖像識(shí)別；深度學(xué)習(xí)；目標(biāo)識(shí)別

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2023）14-0015-00

隨著我國(guó)經(jīng)濟(jì)水平的不斷提升，電力逐漸成為國(guó)家能源支柱產(chǎn)業(yè)，使得變電站得到了高速發(fā)展[1-2]。因?yàn)樽冸娬緝?nèi)電力設(shè)備均暴露在外界環(huán)境下，歷經(jīng)風(fēng)吹日曬后，極易出現(xiàn)電力故障，為了及時(shí)發(fā)現(xiàn)變電設(shè)備故障，保障其運(yùn)行安全，需要在變電站內(nèi)開(kāi)展巡檢作業(yè)[3-4]。傳統(tǒng)的巡檢方式主要為人工巡檢，難以高效完成標(biāo)準(zhǔn)化巡檢流程，易出現(xiàn)漏檢、誤檢現(xiàn)象，而且變電站內(nèi)部電壓等級(jí)較高，無(wú)法保障人工巡檢作業(yè)安全[5]。所以采用機(jī)器人巡檢方式取代人工巡檢是必然的，巡檢機(jī)器人可以實(shí)現(xiàn)全天候、全面性的無(wú)人變電站巡檢作業(yè)[6-7]。在機(jī)器人巡檢變電站的過(guò)程中，涉及眾多領(lǐng)域，尤其是巡檢圖像采集與識(shí)別是整個(gè)機(jī)器人巡檢作業(yè)中的關(guān)鍵，機(jī)器人自身攜帶記載設(shè)備用于記錄變電站內(nèi)電力設(shè)備的巡檢情況，進(jìn)一步識(shí)別巡檢圖像中目標(biāo)即可發(fā)現(xiàn)電力設(shè)備的缺陷以及故障隱患等。因此，機(jī)器人巡檢圖像目標(biāo)識(shí)別成為當(dāng)下我國(guó)電力領(lǐng)域中的一個(gè)重要研究課題。

1采集機(jī)器人巡檢圖像

在變電站日常巡檢中，人工巡檢可能會(huì)出現(xiàn)視覺(jué)疲勞、檢查不全面等問(wèn)題，所以本文針對(duì)機(jī)器人巡檢圖像識(shí)別[8]進(jìn)行深入研究。當(dāng)下，我國(guó)廣泛應(yīng)用的巡檢機(jī)器人由運(yùn)動(dòng)系統(tǒng)、定位模組、控制系統(tǒng)以及工業(yè)相機(jī)等設(shè)備組成，在巡檢過(guò)程中，機(jī)器人控制工業(yè)相機(jī)拍攝變電站內(nèi)各電力設(shè)備的圖像，然后經(jīng)過(guò)傳輸通道傳輸至圖像預(yù)處理模塊，最后對(duì)處理過(guò)的圖像進(jìn)行目標(biāo)識(shí)別即可實(shí)現(xiàn)變電站的巡檢。因此，機(jī)器人巡檢圖像的采集是整個(gè)變電站巡檢作業(yè)的基礎(chǔ)，如果采集的巡檢圖像質(zhì)量不符合要求，將會(huì)影響后續(xù)目標(biāo)識(shí)別的準(zhǔn)確性，所以選擇合適的工業(yè)相機(jī)對(duì)機(jī)器人巡檢圖像采集至關(guān)重要。在選擇工業(yè)相機(jī)時(shí)，主要考慮分辨率與幀率這兩個(gè)參數(shù)，其中工業(yè)相機(jī)的分辨率與精度之間存在直接關(guān)系，可以根據(jù)式（1）得：

式中，X₀表示工業(yè)相機(jī)單方向的分辨率；L 表示相機(jī)視野范圍；D 表示相機(jī)的設(shè)計(jì)精度。相機(jī)幀率就是每秒鐘內(nèi)相機(jī)拍攝圖像的數(shù)量，由曝光時(shí)間決定，如果同一曝光時(shí)間內(nèi)拍攝的圖像數(shù)量較小，就可能會(huì)出現(xiàn)丟幀狀況，那么機(jī)器人巡檢速度和相機(jī)曝光時(shí)間之間存在如下關(guān)系：

式中，t₀表示工業(yè)相機(jī)曝光時(shí)間；u₀表示相機(jī)拖影；v₀表示機(jī)器人移動(dòng)速度。通過(guò)以公式（1）求得最佳工業(yè)相機(jī)參數(shù)，從而選擇更適用于變電站巡檢的工業(yè)相機(jī)，采集到高質(zhì)量的機(jī)器人巡檢圖像。

2預(yù)處理巡檢圖像

本文研究所使用的圖像均為機(jī)器人攜帶工業(yè)相機(jī)巡檢變電站時(shí)拍攝而來(lái)，在采集巡檢圖像時(shí)，受室外環(huán)境、相機(jī)鏡頭誤差等因素的影響，導(dǎo)致圖像質(zhì)量不滿足目標(biāo)識(shí)別需求，所以在識(shí)別圖像目標(biāo)之前，需要進(jìn)行一定的預(yù)處理，保障圖像質(zhì)量。首先為了在確保機(jī)器人巡檢圖像數(shù)據(jù)完整度的前提下，簡(jiǎn)化圖像信息，文中對(duì)巡檢圖像做灰度化處理，進(jìn)而提升目標(biāo)識(shí)別的效率[9]。一般情況下，巡檢機(jī)器人采集的圖像為彩色圖像，主要由紅、藍(lán)、綠三種顏色構(gòu)成，這種圖像無(wú)法準(zhǔn)確表達(dá)出圖像中目標(biāo)特征，所以需要將彩色巡檢圖像轉(zhuǎn)變?yōu)榛叶葓D像，突出目標(biāo)特征，轉(zhuǎn)換公式如下所示：

式中，G （m，n）表示機(jī)器人巡檢圖像上第m行n列像素點(diǎn)的灰度值；blue （m，n）、red （m，n）、green （m，n）分別表示該像素點(diǎn)的藍(lán)色、紅色、綠色分量值。由此式可以看出，彩色機(jī)器人巡檢圖像的灰度處理，就是對(duì)原始圖像顏色做加權(quán)平均，從而轉(zhuǎn)換為灰度值，各顏色的權(quán)重值根據(jù)心理學(xué)而決定。對(duì)于機(jī)器人巡檢圖像而言，如果存在噪聲數(shù)據(jù)，將會(huì)導(dǎo)致圖像呈現(xiàn)出忽明忽暗的感覺(jué)，非常不清晰，所以接下來(lái)通過(guò)濾波操作來(lái)去除圖像噪聲。一般機(jī)器人巡檢圖像會(huì)存在椒鹽噪聲與高斯噪聲這兩種類型的噪聲數(shù)據(jù)，所以在實(shí)際的圖像預(yù)處理過(guò)程中，為達(dá)到最佳去噪效果，對(duì)于不同種類的噪聲，采用相對(duì)合適的濾波方法。如果機(jī)器人巡檢圖像中存在椒鹽噪聲，那么這些噪聲點(diǎn)的密度會(huì)在一定范圍內(nèi)，所以可以利用自適應(yīng)中值濾波法來(lái)預(yù)處理這類圖像，最大限度地保留圖像有效信息；如果機(jī)器人巡檢圖像上存在高斯噪聲，這類噪聲主要受光照條件影響所導(dǎo)致的，所以可以利用高斯濾波法來(lái)預(yù)處理這類圖像，處理效果更加明顯。

3基于深度學(xué)習(xí)識(shí)別圖像目標(biāo)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是近些年來(lái)迅速崛起的一種高效深度學(xué)習(xí)算法[10]，使用CNN來(lái)識(shí)別圖像，可以降低前期預(yù)處理的復(fù)雜度，所以本文主要構(gòu)建一個(gè)Faster R-CNN模型來(lái)識(shí)別機(jī)器人巡檢圖像目標(biāo)。在機(jī)器人日常巡檢中，巡檢圖像目標(biāo)的快速、精準(zhǔn)分類識(shí)別至關(guān)重要，F(xiàn)aster R-CNN模型可以對(duì)輸入的巡檢圖像進(jìn)行分割，尋找到可能出現(xiàn)目標(biāo)的候選區(qū)域，并且只對(duì)這些區(qū)域進(jìn)行分類識(shí)別，大大提升了識(shí)別效率。Faster R-CNN模型的主要結(jié)構(gòu)仍然是CNN，所以該模型依靠卷積層的運(yùn)算來(lái)提取圖像中目標(biāo)候選區(qū)域，表達(dá)式如下所示：

4實(shí)驗(yàn)分析

為驗(yàn)證本文設(shè)計(jì)機(jī)器人巡檢圖像目標(biāo)識(shí)別方法的性能，采集變電站內(nèi)電力設(shè)備蓋板碎裂、指示燈異常、輸電線路老化、桿塔絕緣子掉落這四類缺陷圖像，使用本文設(shè)計(jì)方法進(jìn)行識(shí)別，其中每個(gè)缺陷類別的圖像有240張，包括正常圖像共計(jì)1500個(gè)樣本。同時(shí)，選取基于YOLOv4算法的目標(biāo)識(shí)別方法、基于SIFT算法的目標(biāo)識(shí)別方法作為實(shí)驗(yàn)對(duì)照組，并對(duì)實(shí)驗(yàn)對(duì)比結(jié)果進(jìn)行分析。為了直觀表述這三種方法的識(shí)別效果，本章采用準(zhǔn)確率、召回率、F1分?jǐn)?shù)作為方法識(shí)別精度的評(píng)估指標(biāo)，并采用參數(shù)量、計(jì)算量作為方法識(shí)別效率的評(píng)估指標(biāo)，其中準(zhǔn)確率、召回率、F1分?jǐn)?shù)的計(jì)算公式如下所示：

式中，B₁表示目標(biāo)識(shí)別方法的準(zhǔn)確率指標(biāo)；B₂表示目標(biāo)識(shí)別方法的召回率指標(biāo)；B₃表示目標(biāo)識(shí)別方法的F1分?jǐn)?shù)指標(biāo)；A 表示全部樣本數(shù)量；α 表示識(shí)別正確的樣本數(shù)量；α₁表示正確識(shí)別缺陷樣本圖像的數(shù)量；α₂表示錯(cuò)誤識(shí)別正常樣本圖像的數(shù)量；α₃ 表示正確識(shí)別正常樣本圖像的數(shù)量。根據(jù)上式獲得這三種方法的識(shí)別精度評(píng)價(jià)結(jié)果如表1所示：

由表1可知，本文設(shè)計(jì)基于深度學(xué)習(xí)的目標(biāo)識(shí)別方法的準(zhǔn)確率達(dá)到95.21%、召回率達(dá)到94.07%、F1分?jǐn)?shù)達(dá)到95.11%，很好地兼顧了目標(biāo)識(shí)別的準(zhǔn)確率與召回率，較實(shí)驗(yàn)對(duì)照組提升了8%、7.64%、8.95%，5.12%、3.96%、5.54%，說(shuō)明本文設(shè)計(jì)方法具有良好的識(shí)別精度。下面根據(jù)上述三種識(shí)別方法所需參數(shù)量與計(jì)算量，繪制對(duì)比圖來(lái)判斷本文方法的識(shí)別效率。如圖1 所示。

由圖1可知，本文設(shè)計(jì)基于深度學(xué)習(xí)的目標(biāo)識(shí)別方法的參數(shù)量約為16.8M、計(jì)算量約為3.9GFlops，較實(shí)驗(yàn)對(duì)照組降低了2.7M、0.3GFlops，4.8M、0.9 GFlops，說(shuō)明本文設(shè)計(jì)方法有效減少計(jì)算損耗，具有良好的識(shí)別效率。綜合識(shí)別方法的識(shí)別精度與計(jì)算復(fù)雜度來(lái)看，基于深度學(xué)習(xí)的機(jī)器人巡檢圖像目標(biāo)識(shí)別方法性能優(yōu)越。

5結(jié)束語(yǔ)

為滿足我國(guó)電力系統(tǒng)高速發(fā)展的需求，機(jī)器人巡檢方式被廣泛應(yīng)用于各變電站內(nèi)，本文以機(jī)器人巡檢作業(yè)為研究導(dǎo)向，針對(duì)巡檢圖像目標(biāo)識(shí)別方法展開(kāi)相關(guān)研究。文中在獲取高質(zhì)量的機(jī)器人巡檢圖像基礎(chǔ)上，引入深度學(xué)習(xí)構(gòu)建一個(gè)目標(biāo)識(shí)別模型，對(duì)巡檢圖像進(jìn)行分類識(shí)別。通過(guò)實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法可以很好地應(yīng)用于機(jī)器人巡檢作業(yè)中，且具有良好的推廣價(jià)值。