基于二維碼掃描的IoT空間建模機器人

鄧開連，虞嘉豪，劉肖燕，王文龍，燕 帥

（東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海 201620）

0 引 言

隨著物聯(lián)網(wǎng)、機器人技術(shù)的發(fā)展[1-2]，掃地機器人、服務(wù)員機器人等室內(nèi)工作機器人的建模避障與導(dǎo)航是實現(xiàn)機器人正常工作的關(guān)鍵[3]。例如，Gmapping算法通過采集激光傳感器、坐標(biāo)變換和里程計數(shù)據(jù)構(gòu)建柵格地圖[4]，通過360°可旋轉(zhuǎn)平臺上的3D結(jié)構(gòu)光掃描法得到3D云點陣[5]；E. Lachat等提出將TLS（Terrestrial Laser Scanner）與KINECT V2傳感器相結(jié)合以提高建模的細節(jié)水平[6]；張肇軒等提出的基于模板替換的方法優(yōu)化了單視角卷積神經(jīng)網(wǎng)絡(luò)室內(nèi)場景建模信息缺失的問題[7]；許佩研究了一種非迭代的結(jié)構(gòu)光多視角自動拼接算法，降低了多視角融合建模的計算復(fù)雜度[8]。為了降低空間建模的成本，提高空間建模的精度，簡化空間建模的算法，設(shè)計了一種基于二維碼掃描進行室內(nèi)建模的方法。

二維碼識別以其易識別、信息量大、門檻低的特性在各個領(lǐng)域有了廣泛的應(yīng)用[9-11]。傳統(tǒng)機器人導(dǎo)航算法中，在室內(nèi)運行的機器人往往需要通過反復(fù)掃描、避障、計算等才可以得到室內(nèi)的運行地圖[12]。在此方法中，在一個完整的智能家居體系中，智能家具本身附有二維碼，并且二維碼儲存了物體的大小以及占用空間信息，當(dāng)機器人掃描到物體時僅需將物體正確地放置到室內(nèi)地圖中所對應(yīng)的位置即可實現(xiàn)快速建模。相比較傳統(tǒng)建模方法，把對于物體的建模工作提前完成，機器人無需裝備各種掃描裝置來為物體建立模型，僅需確定物體的位置與朝向就可以把事先建好的模型安放于機器人的導(dǎo)航地圖內(nèi)，實現(xiàn)建模。系統(tǒng)不僅降低了對于機器人終端的硬件需求，也提高了建模精度和識別準(zhǔn)確度。

1 系統(tǒng)設(shè)計

1.1 系統(tǒng)結(jié)構(gòu)

基于二維碼掃描的空間建模機器人系統(tǒng)組成主要包括：電源（使用12 V的航模電池和DC降壓模塊）、STM32單片機（STM32F103ZET6、SK60長距離激光測距模塊、一對短距ToF激光測距模塊ATK-VL53L0X、OpenMV-H7攝像頭模塊[13]）、舵機[14]（為OpenMV攝像頭模塊專用雙自由度舵機）、XD-37GB520電機（為12 V的直流電機，用于驅(qū)動機器人前進，以及NT35510LCD顯示屏模塊、L298N電機調(diào)速模塊[15-16]）。系統(tǒng)結(jié)構(gòu)框圖如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)

1.2 二維碼設(shè)計

實驗中所用物體的長寬以及特征信息儲存在二維碼中，二維碼中含有8位十進制數(shù)。目前，針對立方體的物體進行了實驗，第1～2位表示物體的特征碼，每一個物體都有一個單獨的特征碼，已經(jīng)被加入到模型中的物體的特征碼會被記錄，以防反復(fù)計算；第3～5位表示物體的長度，即與二維碼平面垂直方向的物體長度，單位為cm；第6～9位表示物體的寬度，即與二維碼平面平行的物體長度；二維碼的上方有一個紅色矩形指示條，用于指示OpenMV攝像頭找到二維碼的位置。

1.3 場地設(shè)計

實驗測試場地為一塊寬度2.4 m，長度4 m的空間，周圍用紙板樹立起圍墻，機器人的行進路線為一條直線，如圖2中線段所示。物體被擺放在道路兩側(cè)，在與機器人攝像頭等高位置處貼上二維碼貼紙。場地設(shè)計區(qū)域俯視圖如圖2所示。圖中1，2，3分別表示不同的物體，提前測量了長與寬，并且數(shù)據(jù)已經(jīng)錄到二維碼中。

圖2 場地設(shè)計區(qū)域俯視圖

1.4 機械結(jié)構(gòu)

系統(tǒng)整機結(jié)構(gòu)實物圖如圖3所示。機器人用XD-37GB520電機牽引一對履帶前進，以防打滑導(dǎo)致機器人偏離原先軌道。激光測距模塊指向機器人前進的方向，OpenMV攝像頭和一對平行的紅外激光測距模塊固定在舵機上方，舵機可以水平360°旋轉(zhuǎn)。

圖3 系統(tǒng)整機結(jié)構(gòu)實物

2 系統(tǒng)建模

2.1 系統(tǒng)控制

STM32F103單片機含有2個I2C接口[17]用于連接激光傳感器ATK-VL53L0X，PB6連接SCL，PB7連接SDA，它們連接攝像頭左側(cè)的激光傳感器。PB10連接SCL，PB11連接SDA，它們連接攝像頭右側(cè)的激光傳感器。UART1連接OpenMV的串口，UART2連接SK60激光傳感器，均采用異步全雙工通信。PB5和PB4分別連接定時器3的通道2和1，輸出PWM波[18]控制L298N對電機進行調(diào)速，以平衡電機的轉(zhuǎn)速差異，讓機器人能實現(xiàn)直線行駛。OpenMV攝像頭模塊輸出PWM波控制舵機。

2.2 建模原理

首先，機器人沿著直線緩慢前進，OpenMV攝像頭模塊控制舵機左右旋轉(zhuǎn)掃描紅色矩形標(biāo)識，當(dāng)紅色標(biāo)識的面積大于一定值，即攝像頭與二維碼足夠近時，控制舵機使紅色標(biāo)識位于畫面中間，開始識別二維碼。識別后，OpenMV攝像頭模塊將二維碼數(shù)據(jù)和此時的舵機角度β傳送給STM32主控芯片處理。角度測量原理示意圖如圖4所示，此時STM32主控芯片控制平行于相機的一對紅外測距模塊，測量二維碼和相機之間的距離得到兩者之間的距離X，由于2個激光測距模塊的距離A可以直接提前測量，則物體二維碼所在平面與攝像頭平面的夾角α為：

圖4 角度測量原理示意圖

然后，由舵機的角度β和機器人的位置綜合計算出物體的位置，并將相應(yīng)位置的顯示屏顯示呈現(xiàn)為紅色。之后繼續(xù)前進，重復(fù)上述過程直到機器人到達終點。最終可以從LCD顯示屏中直觀地看到掃描結(jié)果，如有后續(xù)開發(fā)需要，單片機也可以讀取對應(yīng)LCD RAM的RGB值，得到相應(yīng)的數(shù)據(jù)。

3 軟件算法

3.1 程序設(shè)計

系統(tǒng)程序主要分為STM32主控芯片部分和OpenMV攝像頭部分，其程序流程圖如圖5所示。主控部分采用C語言環(huán)境編寫，代碼在Keil 5環(huán)境下編譯，并使用ST-LINK調(diào)試下載，主要負責(zé)輸出PWM波、收發(fā)I2C數(shù)據(jù)、收發(fā)串口數(shù)據(jù)、算法處理和LCD顯示。攝像頭部分使用OpenMV IDE編程負責(zé)物體及二維碼識別、舵機控制、串口數(shù)據(jù)收發(fā)。

圖5 程序流程

OpenMV攝像頭模塊尋找紅色矩形的方法為：在攝像頭的畫面中建立直角坐標(biāo)系，原點位于畫面左下角的像素點，X軸水平方向向右，Y軸向上，每個像素點對應(yīng)一個直角坐標(biāo)系中的整數(shù)點。提取攝像頭中的每個像素點的RGB值，根據(jù)RGB值判定像素點為是否為紅色，通過紅色像素點橫坐標(biāo)平均值得出紅色矩形的中心橫坐標(biāo)如下：

式中：Xi為第i個紅色像素點的橫坐標(biāo)；k為紅色像素點的總個數(shù)。

該方法可以降低光線環(huán)境產(chǎn)生的噪點對判斷方位的影響。通過將Xc與屏幕的中心點相比較得到紅色矩形的偏移量，并結(jié)合PID算法調(diào)整舵機的方向，使得二維碼位于屏幕中央。

3.2 建模算法

以機器人前進的路線為Y軸正方向，機器人的起點為原點，機器人起點的右側(cè)為X軸正方向建立直角坐標(biāo)系，坐標(biāo)系以cm為單位，則機器人的起始位置為（120，0）。由激光測距模塊得到和最前方墻壁的距離為d，機器人經(jīng)過校準(zhǔn)以達到直線行駛，則機器人的實時位置可以表示為（120，240-d）。當(dāng)OpenMV掃描到二維碼時，會返回舵機的偏移角度β、物體的長度a、寬度b。此時機器人通過雙激光測距模塊測得距離再通過公式（1）得到角度α。β和α均為矢量。對于β，以機器人前進方向為0°，俯視圖上順時針方向為正；對于α，以2個激光測距模塊之間的連線為0°，俯視圖上以順時針方向為正。由于2個激光測距模塊的連線非常接近舵機的轉(zhuǎn)軸，激光測距模塊的凸出部分可忽略，因此得出實際物體相對Y軸正方向的偏移角度γ為：

由短距激光測距模塊得到的2個數(shù)據(jù)為X1，X2，那么物體到機器人的距離為：

則物體二維碼面的中點位置的坐標(biāo)可以表示為：

因此，物體上被掃描到二維碼的一面所對應(yīng)坐標(biāo)系中的直線為：

則和二維碼平行的一面所對應(yīng)的直線為：

因此，與這2條邊垂直的邊可以表示為：

L1，L2，L3，L4共同構(gòu)成了矩形，最終得到矩形4個點的坐標(biāo)表達式如下：

3.3 算法分析

建模算法主要包括被掃描物體的定位，以及在建模坐標(biāo)系中還原被掃描物體的兩個過程。物體的定位算法是涉及三角函數(shù)的簡單解析幾何運算，調(diào)用C語言中的math庫即可。由于物體的數(shù)據(jù)均被提前測量并錄入二維碼，因此建模的精度可以很高，并且在掃描并建立模型時，可以避免模型不完整的情況。但在實際應(yīng)用中，由于室內(nèi)的場景元素的復(fù)雜性和多樣性，使得提前測量的數(shù)據(jù)導(dǎo)入二維碼中的工作較為困難，而且若物體的形狀或大小可變則會使建模結(jié)果不可靠。

在掃描并建模一個物體的過程中，算法僅需執(zhí)行一次，無需迭代循環(huán)。建模方法定性對比見表1所列，由表1可知，與單視角卷積神經(jīng)網(wǎng)絡(luò)和Gmapping算法相比，二維碼掃描方法具有時間復(fù)雜度較低、對于單個物體建模精度高、傳感器簡單等優(yōu)點，但機器人本身的定位依賴于矩形的規(guī)則場地和激光傳感器精度，在復(fù)雜場景下定位性能較差，若是能夠與里程計等傳感器相結(jié)合可以提高定位精度。

表1 建模方法定性對比

4 實驗結(jié)果與分析

在多次實驗中，將3個長寬不同的矩形物體隨機擺放在行駛路線兩側(cè)，在機器人前進掃描后，都可以較好地還原實際的物體擺放圖，并將其顯示在LCD屏中，顯示結(jié)果如圖6所示。3個方塊即表示3個被掃描到的物體。掃描顯示結(jié)果與實際的誤差主要來源于：機器人簡化為質(zhì)點處理；云臺旋臂的空間被壓縮。

圖6 基于空間模型的掃描顯示圖

多次實驗結(jié)果統(tǒng)計顯示，掃描物體的成功率約為93%，但若兩個物體擺放過近時，成功率可能會降低，這是由于機器人誤以為相鄰的物體是同一個物體。

5 結(jié) 語

本文所提系統(tǒng)使用了二維碼識別的方法，并結(jié)合了簡單的解析幾何算法，解決了相對復(fù)雜的空間建模與掃描問題。在提前給物體建模并制成二維碼后，機器人僅需對二維碼進行識別，無需重新掃描構(gòu)建物體的模型。因此，系統(tǒng)具有建模速度快、運算要求低和識別成功率高等優(yōu)點。提前測量并錄入物體數(shù)據(jù)到二維碼中的方法提高了建模精度，但是同時也降低了系統(tǒng)的通用性。在實驗中，機器人很好地建立了空間俯視圖模型，但在復(fù)雜場景下的不規(guī)則物體識別與建模方面，系統(tǒng)效果還有待提高。系統(tǒng)給室內(nèi)機器人等物聯(lián)網(wǎng)設(shè)備的室內(nèi)導(dǎo)航與識別提供了一種新的思路，在低功耗、低成本室內(nèi)運行機器人領(lǐng)域和智能家居生態(tài)IoT體系內(nèi)有很好的應(yīng)用前景。物體的避障、抓取實驗未來可以繼續(xù)實施。此外，物體的二維碼是否可以更換為RFID標(biāo)簽來提高機器人的定位精度、建模，并與手臂的動力學(xué)模型相結(jié)合應(yīng)用到物體的抓取與移動中等都是未來研究的方向。