基于改進Unet的起重機攀爬機器人車道識別*

趙章焰 沈齊越

武漢理工大學交通與物流工程學院 武漢 430063

0 引言

起重機的工作強度大，工作環(huán)境惡劣，金屬結構表面易產(chǎn)生裂紋、生銹等老化現(xiàn)象，會引發(fā)一系列安全隱患。人工對起重機進行檢測分析和維護保養(yǎng)的效率低，成本高，且人工無法在起重機上的高處死角開展安全有效的工作。起重機攀爬機器人能攜帶各種探測設備，通過吸附在起重機的金屬結構表面，到達人力無法企及之處。通過機載攝像頭和圖像識別技術，識別攀爬路徑，是起重機攀爬機器人實現(xiàn)自主導航進而開展各項檢測工作的先決條件。起重機攀爬機器人的路徑本質上是識別起重機結構化的金屬表面，目前常見的路徑識別研究主要包括公路上各色車道線識別、酒店和倉庫內(nèi)AGV小車的路徑識別等。由于起重機攀爬機器人運行在一個具有復雜背景的三維空間內(nèi)，若使用直線段檢測和聚類算法，極易受背景區(qū)域中具有相同顏色特征的非路徑金屬影響[1]，使檢測結果會混合路徑邊緣與其他干擾直線段，算法魯棒性較差，難以達到使用要求。

本文改變了傳統(tǒng)以檢測路徑邊緣線作為車道線的思路[2]，選擇直接用圖像分割的方法，將攀爬機器人可行走的整體平面視作一個車道，搭建了一種結合MobileNet V2的改進Unet卷積網(wǎng)絡算法。

1 基于MobileNet V2改進的Unet卷積網(wǎng)絡

1.1 Unet

Unet是語義分割模型，它廣泛應用于醫(yī)學領域以及自動駕駛場景的分割[3]。Unet繼承了FCN的思想，但相對于FCN又有改變，Unet是完全對稱的。

Unet的網(wǎng)絡結構呈U字形，整體結構就是先編碼再解碼，回歸到跟原始圖像一樣大小的像素點的分類。如圖1所示，Unet先由左側的收縮路徑即編碼器，對圖像特征經(jīng)過4次卷積池化操作來提取特征，再將獲得的更深層的語義信息輸入到右側的擴張路徑即解碼器，在解碼器中將像素還原，從而得到與原圖相同尺寸的輸出結果。由于Unet網(wǎng)絡能夠連接低層特征的細節(jié)信息，所以它能有效彌補下采樣過程中造成的空間信息損失，這是其在圖像分割中具有優(yōu)越性能的原因。另外，Unet的編碼結構比較簡單，便于為不同應用場景的設計改進，且能在較少數(shù)據(jù)量的投入下實現(xiàn)收斂，計算速度很快。

圖1 Unet網(wǎng)絡結構

本文根據(jù)起重機攀爬機器人在識別車道時既要滿足識別準確率，又要滿足實時性的要求，在經(jīng)過實驗對比的情況下選用了Unet網(wǎng)絡。

1.2 Mobilenet V2

Mobilenet V1的主要思想是深度可分離卷積，而基本結構如圖2所示的Mobilenet V2在V1的基礎上做了以下改進[4]：

圖2 Mobilenet V2的基本結構體

1）加入了殘差結構，提出了倒殘差模塊，該模塊能解決梯度消失問題；

2）采用了Bottleneck，該模塊可在保持深度卷積的Channel數(shù)一致的情況下大大減少計算量和參數(shù)量，可使Mobilenet V2在CPU上也能運行；

3）將逐點卷積后面的Relu激活函數(shù)替換成線性函數(shù)，能解決Mobilenet V1在通道數(shù)較少的情況下造成大量節(jié)點變?yōu)?的現(xiàn)象。

1.3 M2-Unet神經(jīng)網(wǎng)絡

Unet被大量應用于醫(yī)學領域的圖像分割任務，它能快速、有效地將同類目標從背景中剝離出來[5]，但它并不是為工業(yè)領域專門設計的，若將其直接運用于機械設備的圖像分割任務會存在以下問題：

1）計算量較大，導致分割速度不能滿足實時性要求；

2）模型參數(shù)量大，這對計算設備的硬件有一定要求，致使成本提高。

鑒于此，本文將Unet與Mobilenet V2相結合，既能利用Unet將不同級別的特征信息連接起來，從輕量的數(shù)據(jù)集中訓練得到優(yōu)秀性能的優(yōu)點，又能結合Mobilenet V2有效解決訓練過程梯度消失問題的能力和減少模型參數(shù)量的優(yōu)勢[6]，從而做到在滿足起重機攀爬機器人道路識別的任務要求的同時實現(xiàn)網(wǎng)絡結構的輕量化。

2 實驗

2.1 數(shù)據(jù)采集

數(shù)據(jù)集是采用攀爬機器人在門式起重機上行走后錄制的視頻（見圖3），再用專業(yè)后期處理軟件AE將視頻的每一幀截取成一張圖片，總共獲取5 213張圖片，其中包含迎光、逆光、夜晚等多種使用場景的圖片。

圖3 攀爬機器人吸附于龍門起重機支腿上

2.2 數(shù)據(jù)預處理

在使用攀爬機器人機載攝像頭錄制視頻時，由于所用Caddx攝像頭沒有防抖功能，且起重機表面并不是完全平整的，導致一部分截取的圖片存在模糊現(xiàn)象，沒有標注和使用的價值，故對這類圖片進行篩選清理。總共剔除了3 234張無法標注的圖片，剩余1 979張有實驗價值的圖片。然后將其中的1 500張圖片劃歸為訓練集，其余479張圖片作為測試集。

2.3 數(shù)據(jù)標注

使用標注軟件Labelme，對訓練集的1 500張圖片進行手工標注，在標注時使用多邊形標注來盡量將攀爬機器人車道區(qū)域完全包含。將標注生成的Json文件制作成Masks標簽文件。圖片標注效果如圖4、圖5所示。

圖4 采集的原圖

圖5 使用Labelme制作的標注圖

2.4 訓練環(huán)境及模型參數(shù)設置

1）模型運行的硬件環(huán)境 CPU為Inter Core i5-9 400 F，RAM大小為16 GB。

2）軟件環(huán)境 Windows10、Pytorch1.6、Python3.7。

3）模型參數(shù)設置 網(wǎng)絡優(yōu)化器采用的是Adam優(yōu)化器，初始學習率LR設置為2×10-4，Batch_Size設置為16，Epoch設置為40。

模型使用的損失函數(shù)采用nn.BECLoss損失函數(shù)，在使用該損失函數(shù)時應在該層前面加上Sigmoid函數(shù)，計算公式為

3 實驗結果

3.1 訓練集和訓練結果

在卷積神經(jīng)網(wǎng)絡的訓練過程中，判斷模型擬合訓練程度好壞的關鍵在于，看模型的正確率即Accuracy的大小、損失函數(shù)隨Epoch的下降速度以及最終損失函數(shù)是否能接近于0[7]。

在實驗中不僅訓練了M2-Unet模型，同時對U-net和Segnet這2種現(xiàn)有的分割效果較好的卷積神經(jīng)網(wǎng)絡進行了對比實驗，實驗在同一個數(shù)據(jù)集下用相同的參數(shù)進行設置。訓練結果如圖6、圖7所示。

圖6中x軸的Epoch表示迭代次數(shù)，y軸的Acc表示訓練正確率；圖7中x軸的Epoch表示迭代次數(shù)，y軸的Loss表示損失函數(shù)值。由圖6、圖7可知， M2-Unet的正確率高于其余2種網(wǎng)絡，其損失值也低于其他2種網(wǎng)絡，同時它還能做到更快收斂，在經(jīng)過大約15次迭代后就能趨于穩(wěn)定。這說明M2-Unet網(wǎng)絡對起重機金屬結構表面數(shù)據(jù)集的擬合效果和性能很好。

圖6 模型訓練精度變化對比

圖7 模型訓練損失變化對比

3.2 測試集測試結果

為了定量評價3種網(wǎng)絡模型在起重機攀爬機器人車道識別任務中的分割效果，本文從準確度和運行時間2個方面進行對比評價。

在攀爬機器人車道識別任務中，運行時間是一個非常關鍵的指標[8]，表1列出了對479張測試圖片進行分割的單張平均用時。

表1 3種網(wǎng)絡運行時間對比 s

由表1可知，M2-Unet的運行速度最快，Segnet次之。由于實驗所用攀爬機器人最大爬行速度為0.05 m/s[9]，故M2-Unet的運行速度能滿足機器人爬行的實時性要求。

評價語義分割任務的準確度（Accuracy）主要有3個評價指標。假設在分割時共有n+1類（包括n個目標類和1個背景類），pii表示屬于i類并被正確預測為i類的像素點總數(shù)；pij表示本屬于i類卻被預測為j類的像素點總數(shù)；pji表示本屬于j類卻被預測為i類的像素點總數(shù)；pjj表示屬于j類并被正確預測為j類的像素點總數(shù)。由于本文的分割目標只有車道跟背景2類，故公式中的n=1。

1) 像素準確率（Pixel Accuracy，PA），即預測類別正確的像素數(shù)占總像素數(shù)的比例為

2) 類別平均像素準確率（Mean Pixel Accuracy，MPA），即計算每一類分類正確的像素點數(shù)和該類的所有像素數(shù)的比例，然后求平均值有

3)平均交并比（Mean Intersection over Union，MIoU）,即計算模型對每一類的預測的結果和真實值的交集與并集的比值，然后求平均值有

本文的測試結果均在測試集上進行。圖8預測原圖，圖9～圖11為M2-Unet、Unet以及Segnet對測試集的預測結果。

圖8 預測原圖

圖9 M2-Unet預測結果

圖10 Unet預測結果

圖11 Segnet預測結果

由圖8～圖11可知，M2-Unet的分割效果最好，而Unet因使用了編碼器-解碼器的結構，也能基本正確地分割出車道，但精度并沒有M2-Unet高。Segnet則多次出現(xiàn)將干擾金屬結構預測成了車道一部分的情況，精度無法滿足任務需求，可以看作檢測失敗。

本文對測試集的479張圖片均作了測試，然后統(tǒng)計了479次預測后的評價指標，求得其平均值并作了數(shù)據(jù)化，結果如表2所示。

表2 3種網(wǎng)絡圖像分割結果對比

如表2所示，這M2-Unet的3項指標均最高，尤其像素準確率達到了98%以上，而Segnet的準確率與其他2種網(wǎng)絡相比相差甚遠，說明將Mobilenet V2作為特征部分的改進Unet網(wǎng)絡比原生Unet網(wǎng)絡的分割效果更好，檢測準確率更高。

4 結束語

實現(xiàn)了基于M2-Unet的起重機攀爬機器人車道分割。使用M2-Unet將Mobilenet V2作為網(wǎng)絡的特征提取部分，經(jīng)過實驗證明了此模型對中小型樣本量的起重機金屬結構有很好的擬合效果。分割指標PA、MPA和MIoU的值均在0.96以上，且運行時間滿足應用的實時性要求，證明該網(wǎng)絡可滿足起重機攀爬機器人的車道檢測任務要求。