一種基于深度學(xué)習(xí)的地鐵消殺機(jī)器人

尹邦政，唐揚(yáng)波，單梓琪

（廣州鐵路職業(yè)技術(shù)學(xué)院，廣東 廣州 510080)

0 引言

當(dāng)前，公共場(chǎng)所的衛(wèi)生防控措施變得尤為重要，地鐵作為人流高度密集的城市大運(yùn)量公共交通工具，地鐵車(chē)廂常態(tài)化的消毒殺菌已成為運(yùn)營(yíng)管理工作的一部分。目前各地鐵公司基本都是采用人工方式進(jìn)行車(chē)廂消殺，或者配合使用紫外燈滅菌。人工方式消殺通過(guò)人工將消毒液噴灑到需要消殺的空間區(qū)域，這種方式費(fèi)時(shí)費(fèi)力，效率低，且存在消殺效果難以監(jiān)控的問(wèn)題，同時(shí)消殺人員還有被感染的風(fēng)險(xiǎn)隱患；紫外燈消殺需要持續(xù)相對(duì)較長(zhǎng)的時(shí)間，且容易對(duì)人體造成傷害，限制了其應(yīng)用場(chǎng)景?，F(xiàn)有的消殺機(jī)器人大多采用移動(dòng)底盤(pán)加噴霧消毒或者移動(dòng)底盤(pán)加紫外燈的方式消毒，這種消殺機(jī)器人存在消殺模式單一、適用場(chǎng)景有限、消殺不全面等問(wèn)題。

目前市面上的消殺機(jī)器人普遍只具備噴霧消殺的功能，只能對(duì)空間進(jìn)行無(wú)識(shí)別無(wú)差別化的空氣消殺[1]，而在實(shí)際環(huán)境中，對(duì)于公共場(chǎng)所中多人觸碰的物體比如門(mén)把手、電梯扶手、電梯按鈕、臺(tái)面、桌面、地鐵扶手、地鐵拉環(huán)等存在著病毒集中的風(fēng)險(xiǎn)，是傳染環(huán)節(jié)中非常關(guān)鍵的一環(huán)，普通的空氣噴霧消殺往往無(wú)法覆蓋這些物體，使消殺不徹底，給病毒傳播留下極大的隱患。因此，如何對(duì)地鐵車(chē)廂中對(duì)易感關(guān)鍵部位消殺才是消殺機(jī)器人的痛點(diǎn)所在，本論文提出了一套基于機(jī)器視覺(jué)的物體識(shí)別算法結(jié)合機(jī)器人以及機(jī)械臂的控制裝置，實(shí)現(xiàn)了對(duì)病菌集中物體的識(shí)別，通過(guò)控制機(jī)器人移動(dòng)以及機(jī)械臂的移動(dòng)，使消殺噴嘴靠近病菌物體表面并進(jìn)行近距離的噴霧消殺，實(shí)現(xiàn)精準(zhǔn)消殺功能。

目前，深度學(xué)習(xí)作為一種新興技術(shù)廣泛應(yīng)用于圖像分類(lèi)和目標(biāo)檢測(cè)[2]。近年來(lái)，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法被廣泛地應(yīng)用于各種自動(dòng)化應(yīng)用中[3]，如變電站智能機(jī)器人[4]、鐵路信號(hào)機(jī)房巡檢機(jī)器人[5]、采摘機(jī)器人[6]等。然而，目前的研究主要集中在移動(dòng)服務(wù)機(jī)器人在與消殺無(wú)關(guān)的識(shí)別和抓取上[7]。很少有研究討論過(guò)集成視覺(jué)模塊數(shù)據(jù)進(jìn)行運(yùn)動(dòng)規(guī)劃和操作用于地鐵應(yīng)用中。本論文研究的目的是開(kāi)發(fā)一種全自動(dòng)的消殺機(jī)器人，用于清潔和消殺地鐵扶手、拉環(huán)、座椅等多人接觸物體，以避免直接接觸細(xì)菌或病毒。為了實(shí)現(xiàn)這個(gè)目的，我們開(kāi)發(fā)了一個(gè)輕量級(jí)的深度學(xué)習(xí)框架，用于檢測(cè)特定物體，檢測(cè)模塊的輸出通過(guò)運(yùn)動(dòng)規(guī)劃和手臂操作算法來(lái)完成消殺任務(wù)。

1 消殺機(jī)器人組成

1.1 硬件組成

機(jī)器人硬件架構(gòu)主要由移動(dòng)底盤(pán)、霧化裝置、消殺裝置、紫外燈消殺裝置四大部分組成，如圖1所示。

圖1 消殺機(jī)器人結(jié)構(gòu)圖

1)移動(dòng)底盤(pán)，用于控制移動(dòng)機(jī)器人的環(huán)境數(shù)據(jù)采集、算法運(yùn)行、運(yùn)動(dòng)和消殺執(zhí)行。它由主機(jī)、4G 無(wú)線路由器、激光雷達(dá)、超聲波雷達(dá)、電機(jī)驅(qū)動(dòng)板、慣性測(cè)量單元、電機(jī)組件、電池及電源管理組件等組成。

機(jī)器人移動(dòng)底盤(pán)由差分輪式滾輪、電機(jī)驅(qū)動(dòng)、電池及電源管理組成；主控由上位機(jī)和下位機(jī)組成，上位機(jī)由x86控制器實(shí)現(xiàn)，是機(jī)器人平臺(tái)的核心，實(shí)現(xiàn)機(jī)器人的感知數(shù)據(jù)處理和運(yùn)行控制，導(dǎo)航、定位、避障的算法運(yùn)行等；傳感器包含里程計(jì)、陀螺儀、加速度計(jì)、超聲波傳感器、碰撞傳感器、紅外傳感器、激光雷達(dá)、高清攝像頭、深度攝像頭等組成，為機(jī)器人提供各種外部感知。

2)霧化裝置，用于放置預(yù)設(shè)濃度的待處理消毒液，并對(duì)待處理消毒液進(jìn)行霧化，得到待處理液滴，然后將待處理液滴噴射到周?chē)臻g環(huán)境中。霧化裝置由水箱、霧化器、噴頭組成，水箱規(guī)格為16L霧化器置于水箱中，220V 交流電源由底盤(pán)的電源管理組件提供，可以通過(guò)電源控制霧化器的開(kāi)和關(guān)；3個(gè)噴頭連接霧化器。

3)消殺裝置，用于當(dāng)噴霧消殺機(jī)器人識(shí)別到目標(biāo)物體，并利用移動(dòng)底盤(pán)控制噴霧消殺機(jī)器人移動(dòng)至預(yù)設(shè)位置時(shí)，調(diào)整機(jī)械臂的位置與方向，使得噴嘴朝向目標(biāo)物體，同時(shí)關(guān)聯(lián)噴霧裝置，以獲得待處理液滴，并結(jié)合移動(dòng)底盤(pán)的移動(dòng)、機(jī)械臂的旋轉(zhuǎn)和噴嘴對(duì)待處理液滴的噴射，完成對(duì)目標(biāo)物體的全方位噴霧消殺。目標(biāo)消殺裝置由六軸機(jī)械臂、噴嘴、噴管、霧化開(kāi)關(guān)、深度攝像頭和工控處理機(jī)組成。

工控處理機(jī)負(fù)責(zé)圖像信息的采集和處理、識(shí)別算法的運(yùn)行和機(jī)械臂控制，是整個(gè)機(jī)器人的核心處理器，它由Intel i7 CPU(16GB RAM,256GB SSD)、華碩h110i-plus主板和NVIDIA GPU(GTX16504G) 組成，運(yùn)行系統(tǒng)由Linux 16.04(Ubuntu) 和ROS Kinetic組成。

4)紫外燈消殺裝置，用于紫外線殺菌。由一條紫外線燈管組成，紫外線波長(zhǎng)為253.7nm，單支燈40W，1m處紫外線輻照強(qiáng)度150μW/cm2。

1.2 目標(biāo)物體識(shí)別

為了快速準(zhǔn)確地識(shí)別車(chē)廂中病毒集中物體，如座椅、立柱、扶手、吊環(huán)等乘客接觸區(qū)域或物體，需要通過(guò)攝像頭采集圖像信息，對(duì)圖像信息進(jìn)行分析處理，快速判斷該物體是否屬于識(shí)別物體。

作為機(jī)器視覺(jué)領(lǐng)域的核心問(wèn)題之一,目標(biāo)檢測(cè)和識(shí)別的任務(wù)是找出圖像中所有的目標(biāo)（物體），并確定它們的位置和大小。由于各類(lèi)物體有不同的外觀、形狀、姿態(tài)，加上成像時(shí)光照、遮擋等因素的干擾，目標(biāo)檢測(cè)一直是機(jī)器視覺(jué)領(lǐng)域最具有挑戰(zhàn)性的問(wèn)題。因此，從本質(zhì)上來(lái)說(shuō)，目標(biāo)檢測(cè)包含兩個(gè)主要任務(wù)：物體圖像的識(shí)別和物體在圖像中的定位。

物體識(shí)別分為兩個(gè)任務(wù)，一個(gè)是尋找場(chǎng)景中待訓(xùn)練物體，并且用矩形框標(biāo)注物體所在圖像的區(qū)域，另一個(gè)任務(wù)是識(shí)別標(biāo)注物體的類(lèi)別。該過(guò)程稱為物體檢測(cè)。由于YOLOv5代碼運(yùn)行速度快且無(wú)須很大運(yùn)行空間[8]，因此我們選擇采用基于YOLOv5 卷積神經(jīng)網(wǎng)絡(luò)完成圖像識(shí)別。

YOLOv5首先將整個(gè)圖像中物體特征均勻的劃分成大小為7×7 的卷積神經(jīng)網(wǎng)格，每個(gè)網(wǎng)格作為錨框分別產(chǎn)生多個(gè)輸入檢測(cè)框。然后將輸入特征映射到卷積神經(jīng)網(wǎng)絡(luò)中，得到相應(yīng)的特征區(qū)域圖后，將特征數(shù)據(jù)送回卷積網(wǎng)絡(luò)，然后采用全連接層，將每個(gè)特征區(qū)域的輸入特征值分別映射得到相同大小的物體特征區(qū)域圖，對(duì)每個(gè)輸入檢測(cè)框的特征類(lèi)別和每個(gè)檢測(cè)框的特征值進(jìn)行回歸。

1.3 目標(biāo)物體定位

在YOLOv5源碼中根據(jù)對(duì)象數(shù)組序號(hào)篩選出需要處理的對(duì)象，并把目標(biāo)坐標(biāo)對(duì)（目標(biāo)框左上角和右下角坐標(biāo)）發(fā)送到kinect_view 包（一個(gè)負(fù)責(zé)處理深度相機(jī)kinect2.0深度數(shù)據(jù)的ROS包）。在kinect_view 中通過(guò)ROS 的publish-subscriber 機(jī)制，接收Kinect_bridge包發(fā)布的RGB圖像與深度圖像以及描述信息，并把每個(gè)像素點(diǎn)結(jié)合深度信息轉(zhuǎn)化為點(diǎn)云數(shù)據(jù)。

根據(jù)YOLOv5 傳送的坐標(biāo)信息，在kinect_view 中計(jì)算出目標(biāo)對(duì)象與機(jī)器人的相對(duì)坐標(biāo)，并通過(guò)ROS的Actionclient-Actionserve 機(jī)制，把相對(duì)坐標(biāo)傳送到move_base包。

在move_base包中將目標(biāo)坐標(biāo)系先轉(zhuǎn)化為全局坐標(biāo)系，然后設(shè)置目標(biāo)點(diǎn)并喚醒路徑規(guī)劃線程，同時(shí)將坐標(biāo)信息goal 發(fā)布給可視化工具rviz，在設(shè)置完控制頻率、時(shí)間標(biāo)志位之后開(kāi)始檢測(cè)是否有搶占目標(biāo)。當(dāng)有新的目標(biāo)到來(lái)，則設(shè)置當(dāng)前狀態(tài)為PLANNING并執(zhí)行上述過(guò)程，轉(zhuǎn)化坐標(biāo)系、喚醒路徑規(guī)劃線程并發(fā)布目標(biāo)給rviz。若沒(méi)有搶占目標(biāo)則重置狀態(tài)、設(shè)置為搶占式任務(wù)。

在路徑線程被喚醒后，為了判斷機(jī)器人是否到達(dá)目標(biāo)點(diǎn)、通過(guò)tf接口獲取從里程計(jì)和激光數(shù)據(jù)得出的當(dāng)前位姿；在地圖數(shù)據(jù)超時(shí)，即觀測(cè)的傳感數(shù)據(jù)不夠新，則停止機(jī)器人。

1.4 精準(zhǔn)消殺

根據(jù)物品識(shí)別與定位系統(tǒng)求得的目標(biāo)物品的相對(duì)坐標(biāo)與環(huán)境圖像信息，分析抓取平臺(tái)的任務(wù)目標(biāo)，綜合環(huán)境數(shù)據(jù)，對(duì)機(jī)械臂的動(dòng)作進(jìn)行運(yùn)動(dòng)規(guī)劃，完成機(jī)械臂末端到目標(biāo)物體的靠近動(dòng)作。根據(jù)環(huán)境信息中的目標(biāo)點(diǎn)和機(jī)械臂與目標(biāo)點(diǎn)之間的障礙物位置關(guān)系進(jìn)行軌跡規(guī)劃，并結(jié)合地形數(shù)據(jù)明確當(dāng)前工作環(huán)境中機(jī)械臂的允許工作空間。根據(jù)目標(biāo)物品的位姿狀態(tài)選取合適的移動(dòng)方式，確保將機(jī)械臂末端安全地推伸到目標(biāo)物品前。通過(guò)中央信息處理模塊連接視覺(jué)傳感器等對(duì)抓取目標(biāo)過(guò)程進(jìn)行實(shí)時(shí)調(diào)控。在ROS 機(jī)器人操作系統(tǒng)上調(diào)取相關(guān)硬件設(shè)施，創(chuàng)建信息交互節(jié)點(diǎn)，設(shè)計(jì)路徑規(guī)劃算法，完成機(jī)械臂移動(dòng)平臺(tái)的搭建。根據(jù)識(shí)別物體的坐標(biāo)，機(jī)器人移動(dòng)到已識(shí)別物體的一定距離后，將機(jī)械臂末端移動(dòng)并靠近識(shí)別物體，開(kāi)啟噴霧功能，將消毒藥水準(zhǔn)確地噴灑到識(shí)別物體上，達(dá)精準(zhǔn)消殺目的。

2 試驗(yàn)測(cè)試

根據(jù)《動(dòng)車(chē)組、列車(chē)及工程車(chē)輛清洗消毒管理技術(shù)指引》，對(duì)地鐵車(chē)廂地板、扶手、座椅等物體的日常性消毒分為列車(chē)車(chē)廂空氣消毒、車(chē)廂內(nèi)部物表消毒和折返站列車(chē)折返后消毒三種。本作品滿足地鐵車(chē)廂的三種消殺要求，重點(diǎn)對(duì)車(chē)廂內(nèi)部物表消毒進(jìn)行了測(cè)試驗(yàn)證，選取了車(chē)廂內(nèi)部乘客接觸最多的扶手、吊環(huán)進(jìn)行了驗(yàn)證測(cè)試。

測(cè)試分為三個(gè)階段，如圖第一個(gè)階段為深度框架訓(xùn)練階段，首先要采集大量的待識(shí)別物體的照片，通過(guò)邊界框標(biāo)注后進(jìn)行CNN訓(xùn)練，訓(xùn)練后再進(jìn)行模型的測(cè)試，經(jīng)過(guò)反復(fù)的驗(yàn)證修改，使模型的識(shí)別率精度在90%以上；第二個(gè)階段為建圖和導(dǎo)航階段。在車(chē)廂進(jìn)行消殺前，移動(dòng)機(jī)器人需要在車(chē)廂進(jìn)行運(yùn)行，通過(guò)激光雷達(dá)數(shù)據(jù)進(jìn)行二維地圖的創(chuàng)建，創(chuàng)建完地圖后，機(jī)器人即可在創(chuàng)建的地圖中進(jìn)行導(dǎo)航運(yùn)行；第三個(gè)階段為識(shí)別和消殺階段。機(jī)器人在車(chē)廂中導(dǎo)航運(yùn)行，攝像頭實(shí)時(shí)采集運(yùn)行過(guò)程的圖像信息，采集的數(shù)據(jù)通過(guò)目標(biāo)識(shí)別算法進(jìn)行實(shí)時(shí)運(yùn)算處理，確定圖像信息中是否包含目標(biāo)物體特征，如果有則就獲取目標(biāo)物體的坐標(biāo)信息，通過(guò)控制機(jī)器人移動(dòng)和機(jī)械臂的移動(dòng)，使機(jī)械臂末端的噴嘴接近目標(biāo)物體，再控制噴嘴開(kāi)關(guān)進(jìn)行近距離的噴霧消殺，達(dá)到精準(zhǔn)消殺效果。

采用英特爾實(shí)感深度攝像機(jī)，在不同的角度和不同的光照條件下，以機(jī)器人的視角采集地鐵車(chē)廂中的吊環(huán)和扶手?jǐn)?shù)據(jù)集圖像。

在迭代次數(shù)較大條件下，使用Kaggle 數(shù)據(jù)集對(duì)YOLOv5進(jìn)行訓(xùn)練，本作品針對(duì)地鐵車(chē)廂中的扶手、吊環(huán)等物體進(jìn)行目標(biāo)識(shí)別，采集5 500+的測(cè)試集圖片數(shù)據(jù)用于訓(xùn)練，并且通過(guò)裁剪、旋轉(zhuǎn)、增加噪聲等方法對(duì)采集到的數(shù)據(jù)集進(jìn)行增強(qiáng)，最終獲取了20 704張數(shù)據(jù)樣本，其中包含扶手的樣本有10 505 張，包含吊環(huán)的樣本有10 199張，按照YOLO 算法所需的格式進(jìn)行人工數(shù)據(jù)標(biāo)注。

通過(guò)對(duì)原有數(shù)據(jù)集數(shù)據(jù)進(jìn)行此類(lèi)拓展即可得到大量新的訓(xùn)練數(shù)據(jù)，有效提升模型訓(xùn)練集大小，在原有訓(xùn)練集較小的條件下快速提升目標(biāo)檢測(cè)效果，通過(guò)測(cè)試，YOLOv5平均識(shí)別速度達(dá)到6ms，平均識(shí)別精度達(dá)95%，如圖2。

圖2 地鐵車(chē)廂把手識(shí)別測(cè)試

3 結(jié)束語(yǔ)

本文設(shè)計(jì)出一種利用視覺(jué)識(shí)別并實(shí)現(xiàn)被識(shí)別目標(biāo)物體自動(dòng)精準(zhǔn)消殺的移動(dòng)機(jī)器人。精準(zhǔn)消殺相比普通消殺機(jī)器人的空氣消殺，具有以下優(yōu)勢(shì)：第一，精準(zhǔn)消殺能夠以較小的消毒水藥量和較低的消毒水濃度實(shí)現(xiàn)對(duì)病菌集中物體的徹底消殺，消殺效果更好，消殺成本更低；第二，精準(zhǔn)消殺過(guò)程友好，不需要避開(kāi)人流，只對(duì)病菌集中物體表面進(jìn)行近距離的消殺；消殺后，空氣中和物體表面的殘留消毒藥水較少，對(duì)人的身體健康和環(huán)境影響??；視覺(jué)識(shí)別算法采用了基于CNN 的深度學(xué)習(xí)方法，生成了被識(shí)別物體的一組坐標(biāo)。利用這些坐標(biāo)，利用ROS系統(tǒng)生成機(jī)器人的操作空間，并制定機(jī)械臂的運(yùn)動(dòng)規(guī)劃。通過(guò)一系列的模擬和實(shí)驗(yàn)，通過(guò)離線和在線測(cè)試了該技術(shù)的準(zhǔn)確性。在這兩種情況下，計(jì)算出的檢測(cè)準(zhǔn)確率均在90%以上。在地鐵列車(chē)上成功地進(jìn)行了實(shí)時(shí)實(shí)驗(yàn)，驗(yàn)證了所提框架的有效性。通過(guò)該機(jī)器人的應(yīng)用，助力地鐵等人員密集場(chǎng)所的消毒清潔工作，切斷傳染源，保證出行衛(wèi)生安全。