深度學(xué)習(xí)在巡檢機(jī)器人導(dǎo)航中的研究綜述

陳纓 吳天寶 劉小江 馬小敏 羅磊

（1 國網(wǎng)四川綜合能源服務(wù)有限公司，四川 成都 610072；2 國網(wǎng)四川省電力公司電力科學(xué)研究院，四川 成都 610041）

一、引言

隨著電力無人巡檢的發(fā)展，變電站機(jī)器人巡檢成為可能[1]。眾所周知，變電站作為電力行業(yè)的一個(gè)重要組成部分，其巡檢十分重要[2]。在機(jī)器人技術(shù)還未成熟以前，一直采用人工巡檢的方式。這項(xiàng)工作內(nèi)容繁瑣、工作強(qiáng)度大、工作時(shí)間長，需要時(shí)刻保持高度認(rèn)真，并且耗費(fèi)了大量人力，因此機(jī)器人智能化巡檢已經(jīng)是不可逆的趨勢。2015 年5 月,國務(wù)院印發(fā)《中國制造2025》,明確提出“以加快新一代信息技術(shù)與制造業(yè)深度融合為主線,以推進(jìn)智能制造為主攻方向。”[3]。

2017 年7 月,國務(wù)院發(fā)布了《新一代人工智能發(fā)展規(guī)劃》,將人工智能定位為國家戰(zhàn)略,提出到2020 年“人工智能技術(shù)應(yīng)用成為改善民生的新途徑”,到2030 年“人工智能理論、技術(shù)與應(yīng)用總體達(dá)到世界領(lǐng)先水平?！盵4]。隨著機(jī)器人技術(shù)的發(fā)展與應(yīng)用，變電站無人巡檢已經(jīng)成為可能。進(jìn)一步地，隨著人工智能時(shí)代的到來，深度學(xué)習(xí)技術(shù)再次興起，讓變電站無人巡檢能夠成功落地。在2012 年ILSVRC（ImageNet 大規(guī)模圖像識別）競賽上AlexNet（以作者名字命名）首次提出了深度卷積神經(jīng)網(wǎng)絡(luò)模型（CNN），以top-5 準(zhǔn)確率84.6%的成績獲勝[5]。由此引發(fā)了第三波深度學(xué)習(xí)熱潮，而其應(yīng)用最廣的就是視覺。機(jī)器視覺通常可分為三大類，目標(biāo)識別、圖像分類、語義分割。語義分割在計(jì)算機(jī)視覺領(lǐng)域中占據(jù)十分重要的地位，它是從像素級去識別圖像，即標(biāo)注出圖像中每個(gè)像素中所屬的對象類別[6]。圖1.1 為語義分割的一個(gè)實(shí)例。

浙江大學(xué)楊象軍提出，巡檢機(jī)器人使用激光雷達(dá)來實(shí)現(xiàn)機(jī)器人的自護(hù)導(dǎo)航[7]。激光雷檢測精度較高，但對工作環(huán)境要求高，不適用于自然環(huán)境[8]。所以，當(dāng)巡檢機(jī)器人在復(fù)雜多變的自然環(huán)境之下時(shí)，由于其嚴(yán)重缺乏對環(huán)境的理解，無法預(yù)判，導(dǎo)致不能有效工作。

2014 年，加州大學(xué)伯克利分校 Long 等人提出全卷積網(wǎng)絡(luò)（FCN）[9]，這使得卷積神經(jīng)網(wǎng)絡(luò)在沒有全連接層的條件下仍可進(jìn)行密集的像素預(yù)測。該方法可以生成任意大小圖像的分割圖，且在速度上比圖像塊分類法要占優(yōu)勢。自FCN 之后，幾乎所有的語義分割領(lǐng)域方法都采用了該模型。2017 年，SegNet 問世[10]，該項(xiàng)目可以對圖像中存在的任意物體所在區(qū)域進(jìn)行分割，例如樹木，交通設(shè)施，行人等，并且已經(jīng)達(dá)到像素級別的精確度，該網(wǎng)絡(luò)模型如圖1.2 所示。針對 FCN 中沒有 context information，Zhao[12]等提出的 PSPNet 網(wǎng)絡(luò)嵌入了global context信息來提升分割效果。

西南交通大學(xué)劉明春，在2019 年提出RSRNet 網(wǎng)絡(luò)[13]。該網(wǎng)絡(luò)提升了巡檢機(jī)器人對變電站環(huán)境的理解能力，通過編碼網(wǎng)絡(luò)提取圖像特征，再由解碼網(wǎng)絡(luò)識別出圖像目標(biāo)信息該網(wǎng)絡(luò)可勝任變電站的簡單導(dǎo)航任務(wù)。

二、前沿問題探究

機(jī)器人移動(dòng)平臺導(dǎo)航方式可分為磁導(dǎo)航、慣性導(dǎo)航、路標(biāo)導(dǎo)航等[14]。

路標(biāo)導(dǎo)航指輸入信息給移動(dòng)機(jī)器人的內(nèi)部傳感器，并且具有辯別出特殊信息的能力，這種路標(biāo)的位置固定，可以是幾何形狀、字母、二維碼等。根據(jù)機(jī)器人所使用路標(biāo)的不同，也可分為人工路標(biāo)導(dǎo)航和自然路標(biāo)導(dǎo)航兩大類[15]。

人工路標(biāo)導(dǎo)航是事先在機(jī)器人巡檢路線做好標(biāo)記，但是對環(huán)境要求較嚴(yán)格，適用能力較差[16]。

自然路標(biāo)導(dǎo)航是機(jī)器人在自然環(huán)境之下，通過識別周圍環(huán)境的自然特征來實(shí)現(xiàn)自主導(dǎo)航。該方法利用地圖幾何特征，抽取Voronoi 圖交叉點(diǎn)作為顯著地點(diǎn)。優(yōu)勢在于普適性好，缺點(diǎn)在于算力需求大、魯棒性不強(qiáng)[17]。

（一）前沿問題

為了解決上述巡檢機(jī)器人導(dǎo)航方式中存在的不足，深度學(xué)習(xí)技術(shù)的引入已成為必然。

針對目前的變電站巡檢機(jī)器人道路場景識別的研究現(xiàn)狀和表2.1 中變電站網(wǎng)絡(luò)測試結(jié)果，目前存在問題有以下三點(diǎn)：

表2.1 變電站網(wǎng)絡(luò)測試結(jié)果

1.現(xiàn)有網(wǎng)絡(luò)中采用了多個(gè)卷積特征圖相融合方式，急需探索出網(wǎng)絡(luò)特征圖提取以及融合方式的內(nèi)在規(guī)律；

2.目前變電站巡檢機(jī)器人的道路場景識別中，網(wǎng)絡(luò)識別效率低下，技術(shù)并不成熟，需要設(shè)計(jì)出更為高效的網(wǎng)絡(luò)結(jié)構(gòu)，提升網(wǎng)絡(luò)的推理速度，使其能夠滿足于更多場景；

3.現(xiàn)有變電站巡檢機(jī)器人對場景理解程度較低，需要提高場景識別結(jié)果信息利用率，以提升機(jī)器人智能化水平。

（二）解決方案

針對前沿問題一，現(xiàn)有方法是利用多層次的聚合特征連接對圖像進(jìn)行測量。缺點(diǎn)是不能充分利用高層和低層特征的互補(bǔ)性[18]。可以將搜索具有相似語義信息的候選圖像集合作為查詢圖像定義為高層特征，缺點(diǎn)就是細(xì)粒度細(xì)節(jié)描述不足。因此，高層相似性和低層相似性之間的有效性會(huì)被削弱，只有當(dāng)區(qū)分開最近鄰居之間的細(xì)粒度差別時(shí)，語義相似。

目前最為有效方法是利用不同層次的CNN 特征的更多互補(bǔ)方面的優(yōu)勢[19]。當(dāng)查詢圖像間最近鄰相互之間的細(xì)粒度的相似性與相似的語義信息時(shí)，該方法試圖將低層相似性的有效性突出。即低層特征的作用被轉(zhuǎn)換為僅作用于細(xì)化高層特征的排序結(jié)果，如圖2.1 所示，高層特征在細(xì)節(jié)信息描述方面能力不足，而低層特征則分別來自背景混亂和語義歧義。該方法通過使用映射函數(shù)，并進(jìn)一步地將低層特征信息用作來測量具有相同語義的最近鄰圖像之間的細(xì)粒度相似性。在初步實(shí)驗(yàn)中，這種方法的效果比多層連接以及其他基于手工特征的方法更好。

針對前沿問題二，最新的研究是來自美國的一個(gè)人工智能實(shí)驗(yàn)室，他們提出了 IdleBlock 一種新的卷積模塊以及使用該模塊的混合組成（HC）方法[20]。作者在網(wǎng)絡(luò)的各個(gè)部分中采用多種類型的模塊進(jìn)行非單調(diào)組合。這種組合僅適用于ShuffleNetv1/v2 可以與Bottleneck 模塊混合（兩者均要求窄輸入寬輸出）。單調(diào)設(shè)計(jì)原則無法做到利用不同類型模塊的屬性[21]。相關(guān)實(shí)驗(yàn)表明這種簡潔的新方法在提升網(wǎng)絡(luò)效率方面成績顯著，在同等計(jì)算成本下取得了SOTA 表現(xiàn)，原理如圖2.2 所示。

針對前沿問題三，最新的研究成果是使用一個(gè)雙流CNN 結(jié)構(gòu)[22]。在這個(gè)結(jié)構(gòu)中，目標(biāo)形狀信息通過一個(gè)獨(dú)立分支來處理，該形狀流僅僅處理邊界相關(guān)的信息。這是由模型的門卷控積層（GCL）和局部監(jiān)督來強(qiáng)制實(shí)現(xiàn)的。實(shí)驗(yàn)證明，在更小的目標(biāo)上，該模型能夠?qū)崿F(xiàn)IOU 的顯著提升。實(shí)驗(yàn)結(jié)果如圖2.3。

在用 Cityscapes 基準(zhǔn)測試中，這個(gè)模型比 DeepLab-v3 高出 1.4%的mIOU，F(xiàn)-boundary 得分同樣比 DeepLab-v3 略高。更為驚喜的是在更小的目標(biāo)上，該模型能夠?qū)崿F(xiàn) 7% 的 IOU 提升[23]。

三、總結(jié)

在如今人工智能快速發(fā)展的熱潮下，以復(fù)雜著稱的新一代人工智能技術(shù)儼然成熟。同時(shí)在ROS 系統(tǒng)、Tensorflow 框架、Caffe 框架下，新一代人工智能技術(shù)落地變電站智能巡檢機(jī)器人顯然可行。筆者基于上述變電站復(fù)雜環(huán)境感知的前沿問題理解與前沿研究探索，得出一個(gè)該方向的發(fā)展思路。即將新一代人工智能技術(shù)應(yīng)用于變電站巡檢機(jī)器人導(dǎo)航系統(tǒng)的深度學(xué)習(xí)中。首先，采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）對輸入圖像的特征進(jìn)行提取，將提取到的圖像特征通過一個(gè)雙流 CNN 結(jié)構(gòu)進(jìn)行語義分割、通過卷積模塊IdleBlock 以及使用該模塊的混合組成（HC）進(jìn)行目標(biāo)識別和圖像分類。然后，通過反向傳播（BP）算法對構(gòu)建的網(wǎng)絡(luò)進(jìn)行優(yōu)化，使用ImageNet數(shù)據(jù)集對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。最后，反復(fù)評估優(yōu)化深度學(xué)習(xí)軟件的實(shí)際效果，以提高變電站巡檢機(jī)器人對環(huán)境理解的程度。