深度學(xué)習(xí)在巡檢機器人導(dǎo)航中的研究綜述

陳纓 吳天寶 劉小江 馬小敏 羅磊

（1 國網(wǎng)四川綜合能源服務(wù)有限公司，四川 成都 610072；2 國網(wǎng)四川省電力公司電力科學(xué)研究院，四川 成都 610041）

一、引言

隨著電力無人巡檢的發(fā)展，變電站機器人巡檢成為可能[1]。眾所周知，變電站作為電力行業(yè)的一個重要組成部分，其巡檢十分重要[2]。在機器人技術(shù)還未成熟以前，一直采用人工巡檢的方式。這項工作內(nèi)容繁瑣、工作強度大、工作時間長，需要時刻保持高度認真，并且耗費了大量人力，因此機器人智能化巡檢已經(jīng)是不可逆的趨勢。2015 年5 月,國務(wù)院印發(fā)《中國制造2025》,明確提出“以加快新一代信息技術(shù)與制造業(yè)深度融合為主線,以推進智能制造為主攻方向。”[3]。

2017 年7 月,國務(wù)院發(fā)布了《新一代人工智能發(fā)展規(guī)劃》,將人工智能定位為國家戰(zhàn)略,提出到2020 年“人工智能技術(shù)應(yīng)用成為改善民生的新途徑”,到2030 年“人工智能理論、技術(shù)與應(yīng)用總體達到世界領(lǐng)先水平。”[4]。隨著機器人技術(shù)的發(fā)展與應(yīng)用，變電站無人巡檢已經(jīng)成為可能。進一步地，隨著人工智能時代的到來，深度學(xué)習(xí)技術(shù)再次興起，讓變電站無人巡檢能夠成功落地。在2012 年ILSVRC（ImageNet 大規(guī)模圖像識別）競賽上AlexNet（以作者名字命名）首次提出了深度卷積神經(jīng)網(wǎng)絡(luò)模型（CNN），以top-5 準確率84.6%的成績獲勝[5]。由此引發(fā)了第三波深度學(xué)習(xí)熱潮，而其應(yīng)用最廣的就是視覺。機器視覺通常可分為三大類，目標識別、圖像分類、語義分割。語義分割在計算機視覺領(lǐng)域中占據(jù)十分重要的地位，它是從像素級去識別圖像，即標注出圖像中每個像素中所屬的對象類別[6]。圖1.1 為語義分割的一個實例。

浙江大學(xué)楊象軍提出，巡檢機器人使用激光雷達來實現(xiàn)機器人的自護導(dǎo)航[7]。激光雷檢測精度較高，但對工作環(huán)境要求高，不適用于自然環(huán)境[8]。所以，當(dāng)巡檢機器人在復(fù)雜多變的自然環(huán)境之下時，由于其嚴重缺乏對環(huán)境的理解，無法預(yù)判，導(dǎo)致不能有效工作。

2014 年，加州大學(xué)伯克利分校 Long 等人提出全卷積網(wǎng)絡(luò)（FCN）[9]，這使得卷積神經(jīng)網(wǎng)絡(luò)在沒有全連接層的條件下仍可進行密集的像素預(yù)測。該方法可以生成任意大小圖像的分割圖，且在速度上比圖像塊分類法要占優(yōu)勢。自FCN 之后，幾乎所有的語義分割領(lǐng)域方法都采用了該模型。2017 年，SegNet 問世[10]，該項目可以對圖像中存在的任意物體所在區(qū)域進行分割，例如樹木，交通設(shè)施，行人等，并且已經(jīng)達到像素級別的精確度，該網(wǎng)絡(luò)模型如圖1.2 所示。針對 FCN 中沒有 context information，Zhao[12]等提出的 PSPNet 網(wǎng)絡(luò)嵌入了global context信息來提升分割效果。

西南交通大學(xué)劉明春，在2019 年提出RSRNet 網(wǎng)絡(luò)[13]。該網(wǎng)絡(luò)提升了巡檢機器人對變電站環(huán)境的理解能力，通過編碼網(wǎng)絡(luò)提取圖像特征，再由解碼網(wǎng)絡(luò)識別出圖像目標信息該網(wǎng)絡(luò)可勝任變電站的簡單導(dǎo)航任務(wù)。

二、前沿問題探究

機器人移動平臺導(dǎo)航方式可分為磁導(dǎo)航、慣性導(dǎo)航、路標導(dǎo)航等[14]。

路標導(dǎo)航指輸入信息給移動機器人的內(nèi)部傳感器，并且具有辯別出特殊信息的能力，這種路標的位置固定，可以是幾何形狀、字母、二維碼等。根據(jù)機器人所使用路標的不同，也可分為人工路標導(dǎo)航和自然路標導(dǎo)航兩大類[15]。

人工路標導(dǎo)航是事先在機器人巡檢路線做好標記，但是對環(huán)境要求較嚴格，適用能力較差[16]。

自然路標導(dǎo)航是機器人在自然環(huán)境之下，通過識別周圍環(huán)境的自然特征來實現(xiàn)自主導(dǎo)航。該方法利用地圖幾何特征，抽取Voronoi 圖交叉點作為顯著地點。優(yōu)勢在于普適性好，缺點在于算力需求大、魯棒性不強[17]。

（一）前沿問題

為了解決上述巡檢機器人導(dǎo)航方式中存在的不足，深度學(xué)習(xí)技術(shù)的引入已成為必然。

針對目前的變電站巡檢機器人道路場景識別的研究現(xiàn)狀和表2.1 中變電站網(wǎng)絡(luò)測試結(jié)果，目前存在問題有以下三點：

表2.1 變電站網(wǎng)絡(luò)測試結(jié)果

1.現(xiàn)有網(wǎng)絡(luò)中采用了多個卷積特征圖相融合方式，急需探索出網(wǎng)絡(luò)特征圖提取以及融合方式的內(nèi)在規(guī)律；

2.目前變電站巡檢機器人的道路場景識別中，網(wǎng)絡(luò)識別效率低下，技術(shù)并不成熟，需要設(shè)計出更為高效的網(wǎng)絡(luò)結(jié)構(gòu)，提升網(wǎng)絡(luò)的推理速度，使其能夠滿足于更多場景；

3.現(xiàn)有變電站巡檢機器人對場景理解程度較低，需要提高場景識別結(jié)果信息利用率，以提升機器人智能化水平。

（二）解決方案

針對前沿問題一，現(xiàn)有方法是利用多層次的聚合特征連接對圖像進行測量。缺點是不能充分利用高層和低層特征的互補性[18]。可以將搜索具有相似語義信息的候選圖像集合作為查詢圖像定義為高層特征，缺點就是細粒度細節(jié)描述不足。因此，高層相似性和低層相似性之間的有效性會被削弱，只有當(dāng)區(qū)分開最近鄰居之間的細粒度差別時，語義相似。

目前最為有效方法是利用不同層次的CNN 特征的更多互補方面的優(yōu)勢[19]。當(dāng)查詢圖像間最近鄰相互之間的細粒度的相似性與相似的語義信息時，該方法試圖將低層相似性的有效性突出。即低層特征的作用被轉(zhuǎn)換為僅作用于細化高層特征的排序結(jié)果，如圖2.1 所示，高層特征在細節(jié)信息描述方面能力不足，而低層特征則分別來自背景混亂和語義歧義。該方法通過使用映射函數(shù)，并進一步地將低層特征信息用作來測量具有相同語義的最近鄰圖像之間的細粒度相似性。在初步實驗中，這種方法的效果比多層連接以及其他基于手工特征的方法更好。

針對前沿問題二，最新的研究是來自美國的一個人工智能實驗室，他們提出了 IdleBlock 一種新的卷積模塊以及使用該模塊的混合組成（HC）方法[20]。作者在網(wǎng)絡(luò)的各個部分中采用多種類型的模塊進行非單調(diào)組合。這種組合僅適用于ShuffleNetv1/v2 可以與Bottleneck 模塊混合（兩者均要求窄輸入寬輸出）。單調(diào)設(shè)計原則無法做到利用不同類型模塊的屬性[21]。相關(guān)實驗表明這種簡潔的新方法在提升網(wǎng)絡(luò)效率方面成績顯著，在同等計算成本下取得了SOTA 表現(xiàn)，原理如圖2.2 所示。

針對前沿問題三，最新的研究成果是使用一個雙流CNN 結(jié)構(gòu)[22]。在這個結(jié)構(gòu)中，目標形狀信息通過一個獨立分支來處理，該形狀流僅僅處理邊界相關(guān)的信息。這是由模型的門卷控積層（GCL）和局部監(jiān)督來強制實現(xiàn)的。實驗證明，在更小的目標上，該模型能夠?qū)崿F(xiàn)IOU 的顯著提升。實驗結(jié)果如圖2.3。

在用 Cityscapes 基準測試中，這個模型比 DeepLab-v3 高出 1.4%的mIOU，F(xiàn)-boundary 得分同樣比 DeepLab-v3 略高。更為驚喜的是在更小的目標上，該模型能夠?qū)崿F(xiàn) 7% 的 IOU 提升[23]。

三、總結(jié)

在如今人工智能快速發(fā)展的熱潮下，以復(fù)雜著稱的新一代人工智能技術(shù)儼然成熟。同時在ROS 系統(tǒng)、Tensorflow 框架、Caffe 框架下，新一代人工智能技術(shù)落地變電站智能巡檢機器人顯然可行。筆者基于上述變電站復(fù)雜環(huán)境感知的前沿問題理解與前沿研究探索，得出一個該方向的發(fā)展思路。即將新一代人工智能技術(shù)應(yīng)用于變電站巡檢機器人導(dǎo)航系統(tǒng)的深度學(xué)習(xí)中。首先，采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）對輸入圖像的特征進行提取，將提取到的圖像特征通過一個雙流 CNN 結(jié)構(gòu)進行語義分割、通過卷積模塊IdleBlock 以及使用該模塊的混合組成（HC）進行目標識別和圖像分類。然后，通過反向傳播（BP）算法對構(gòu)建的網(wǎng)絡(luò)進行優(yōu)化，使用ImageNet數(shù)據(jù)集對神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練。最后，反復(fù)評估優(yōu)化深度學(xué)習(xí)軟件的實際效果，以提高變電站巡檢機器人對環(huán)境理解的程度。