簡(jiǎn)單場(chǎng)景中基于計(jì)算機(jī)視覺(jué)的智能小車設(shè)計(jì)

張 萍

（廣東工貿(mào)職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)與信息工程系物聯(lián)網(wǎng)應(yīng)用專業(yè)，廣東 廣州 510510）

0 引 言

隨著科學(xué)技術(shù)的發(fā)展，人口出生率的下降，人力成本的上升，越來(lái)越多的企業(yè)開(kāi)始打造智能倉(cāng)庫(kù)，以降低成本、提高生產(chǎn)效率。倉(cāng)庫(kù)工作離不開(kāi)貨物運(yùn)輸，傳統(tǒng)倉(cāng)庫(kù)貨物運(yùn)輸是由司機(jī)駕駛叉車完成，隨著技術(shù)發(fā)展出現(xiàn)了使用磁導(dǎo)航、RFID、激光雷達(dá)等技術(shù)的自動(dòng)引導(dǎo)運(yùn)輸車AGV[1]。當(dāng)前，計(jì)算機(jī)視覺(jué)技術(shù)在自動(dòng)駕駛領(lǐng)域得到了應(yīng)用，但真實(shí)場(chǎng)景中仍面臨著檢測(cè)對(duì)象多樣、系統(tǒng)處于高速運(yùn)動(dòng)狀態(tài)、周邊場(chǎng)景復(fù)雜多變等極大挑戰(zhàn)，因此通常是作為輔助決策系統(tǒng)。倉(cāng)庫(kù)環(huán)境背景相對(duì)固定、單一，車程較短，車速相對(duì)緩慢，使用計(jì)算機(jī)視覺(jué)技術(shù)[2]實(shí)現(xiàn)自動(dòng)行駛能取得較好效果。本文模擬倉(cāng)庫(kù)環(huán)境，設(shè)計(jì)簡(jiǎn)單場(chǎng)景中基于計(jì)算機(jī)視覺(jué)的自動(dòng)行駛智能小車，對(duì)保持行進(jìn)路線、識(shí)別交通信號(hào)標(biāo)志、控制小車狀態(tài)等關(guān)鍵技術(shù)進(jìn)行研究驗(yàn)證。

1 倉(cāng)庫(kù)模擬

圖1 中模擬了倉(cāng)庫(kù)內(nèi)貨架和車輛的相對(duì)位置、行駛路線、交通標(biāo)志。在真實(shí)的倉(cāng)庫(kù)地面可以貼上有顏色的膠布作為圖中紅色的行駛路線，在路線有變化的位置貼上相應(yīng)的交通標(biāo)志作為行駛變向的提示。智能小車通過(guò)攝像頭采集圖像進(jìn)行分析，然后決策小車運(yùn)行狀態(tài)，實(shí)現(xiàn)自動(dòng)行駛。

圖1 倉(cāng)庫(kù)模擬圖

2 硬件框圖

智能小車硬件包括兩大模塊：計(jì)算機(jī)視覺(jué)處理模塊和主控，如圖2 所示。計(jì)算機(jī)視覺(jué)處理模塊采用英偉達(dá)JETSON NANO[3]產(chǎn)品，JETSON NANO 4G 采用4 核Cortex-A57架構(gòu)CPU，主頻為1.43 GHz，GPU 型號(hào)為128CUDA core Maxwel，AI 算力達(dá)到473 GFLOPS，支持H.264 和H.265協(xié)議硬解碼，體積小，功耗低，有多種外部接口，提供JetPackTM SDK 開(kāi)發(fā)包。主控采用STM32F103VET6 芯片，STM32F103VET6 是一個(gè)32 位高密性能微控制器單元，它融合了高性能的Cortex-M3 32 位RISC 內(nèi)核，運(yùn)行頻率為72 MHz，有3 個(gè)12 位模數(shù)轉(zhuǎn)換器、4 個(gè)通用16 位計(jì)時(shí)器、2 個(gè)PWM 計(jì)時(shí)器，多種外部通信接口。主控的主要外部模塊GPIO 資源分配說(shuō)明見(jiàn)表1 所列。

表1 主控的主要外部模塊GPIO 資源分配說(shuō)明

圖2 智能小車硬件框圖

計(jì)算機(jī)視覺(jué)模塊通過(guò)攝像頭采集圖像，通過(guò)圖像處理、深度學(xué)習(xí)等方法判斷小車當(dāng)前運(yùn)行路線，通過(guò)USB 接口發(fā)送相應(yīng)指令（直行、左移、右移、左轉(zhuǎn)、右轉(zhuǎn)等）給主控，主控通過(guò)電機(jī)調(diào)整小車當(dāng)前運(yùn)行狀態(tài)，通過(guò)編碼器反饋數(shù)據(jù)判斷當(dāng)前狀態(tài)是否調(diào)整成功并不斷修正狀態(tài)。

3 關(guān)鍵技術(shù)研究

倉(cāng)庫(kù)環(huán)境中，車輛行駛狀態(tài)可分為兩種：保持行進(jìn)路線、通過(guò)識(shí)別交通標(biāo)志轉(zhuǎn)向。用圖像處理的方法實(shí)現(xiàn)行進(jìn)路線保持，用深度學(xué)習(xí)的方法檢測(cè)交通標(biāo)志。

（1）保持行進(jìn)路線

模擬真實(shí)場(chǎng)景，在地面貼上有顏色的膠布作為行駛路線，如圖3 所示。

圖3 直行路線示例

從圖3 中可以看出，車道線與背景色有明顯差異，圖像有二值性特點(diǎn)。地面有污跡，圖片拍攝時(shí)底部有陰影，這些屬于噪音，會(huì)干擾判斷，應(yīng)盡量去除。攝像頭視野較廣，拍攝到的圖片需要進(jìn)一步選取感興趣區(qū)域（ROI）[4]，離攝像頭較近的區(qū)域應(yīng)重點(diǎn)關(guān)注，選取圖片中間三分之一處作為ROI，如圖3（b）所示。

利用OpenCV[5]開(kāi)發(fā)庫(kù)對(duì)圖片進(jìn)行處理，首先進(jìn)行二值化處理[5]，如圖4（a）所示；然后進(jìn)行雙邊濾波[5]，如圖4（b）所示；最后提取骨線[6]，如圖4（c）所示。比較圖4（a）、圖4（b）可以發(fā)現(xiàn)，雙邊濾波去除了部分噪音，但仍有噪音殘留。圖4（c）的骨線近似呈一條直線，取這條直線上的坐標(biāo)平均值，作為小車運(yùn)行的下一個(gè)目的地坐標(biāo)。如圖5 所示，水平方向x坐標(biāo)反映小車偏移情況，比較小車當(dāng)前坐標(biāo)（x1，y1）與下一個(gè)目的地坐標(biāo)（x2，y2），當(dāng)x2x1時(shí)，右偏，不斷調(diào)整小車運(yùn)行狀態(tài)，保持沿線直行。

圖4 圖像處理過(guò)程

圖5 小車偏移示意圖

（2）交通標(biāo)志識(shí)別

交通標(biāo)志識(shí)別系統(tǒng)主要由圖像（視頻）輸入、交通標(biāo)志檢測(cè)、交通標(biāo)志識(shí)別、識(shí)別結(jié)果輸出、原始圖像（視頻）數(shù)據(jù)庫(kù)和訓(xùn)練樣本數(shù)據(jù)庫(kù)等組成。通過(guò)攝像頭采集圖像（視頻），英偉達(dá)JETSON NANO 計(jì)算機(jī)視覺(jué)處理模塊實(shí)現(xiàn)數(shù)據(jù)訓(xùn)練以及交通標(biāo)志檢測(cè)、識(shí)別、結(jié)果輸出；然后將識(shí)別結(jié)果傳給主控，由主控調(diào)整小車運(yùn)行狀態(tài)。

國(guó)家交管部門規(guī)定，交通標(biāo)志分為警告標(biāo)志、禁令標(biāo)志、指示標(biāo)志、指路標(biāo)志、旅游標(biāo)志和其他標(biāo)志多種類型。倉(cāng)庫(kù)場(chǎng)景較為簡(jiǎn)單，只需對(duì)用到的部分交通標(biāo)志，比如左轉(zhuǎn)、右轉(zhuǎn)、直行、禁止等進(jìn)行訓(xùn)練，在子集中識(shí)別結(jié)果。

國(guó)內(nèi)有兩大常用交通標(biāo)志數(shù)據(jù)集，長(zhǎng)沙研究團(tuán)隊(duì)的 CCTSDB[7]（CSUST Chinese Traffic Sign Detection Benchmark）和清華與騰訊合作開(kāi)發(fā)的TT100k[7]（Tsinghua-Tencent 100k），但是它們采集的是高速行駛時(shí)復(fù)雜場(chǎng)景數(shù)據(jù)，倉(cāng)庫(kù)場(chǎng)景背景固定、單一，其數(shù)據(jù)不適用于訓(xùn)練。理想情況是采集部署這套系統(tǒng)的倉(cāng)庫(kù)實(shí)景圖片數(shù)據(jù)進(jìn)行訓(xùn)練，文中模擬時(shí)用的是在網(wǎng)上找到的trsd 數(shù)據(jù)集進(jìn)行訓(xùn)練，該數(shù)據(jù)集采集的圖像交通標(biāo)識(shí)在整個(gè)圖像中占比較大，達(dá)到40%～60%，背景較為單一，比較符合智能小車在倉(cāng)庫(kù)低速行駛時(shí)采集到的圖像特征。

訓(xùn)練采用YOLOv3-tiny[8]神經(jīng)網(wǎng)絡(luò)，在YOLOv3-tiny中共有24 層網(wǎng)絡(luò)，其中包含5 種不同的網(wǎng)絡(luò)層：卷積層convolutional（13 個(gè)）、池化層maxpool（6 個(gè)）、路由層route（2 個(gè)）、上采樣層upsample（1 個(gè)）、輸出層yolo（2 個(gè)）。YOLOv3-tiny 中，除了yolo 層之前的卷積層，每個(gè)卷積層之后都有BN 層，且每個(gè)卷積層之后都有激活函數(shù)LEAKY；共有兩個(gè)輸出層（yolo 層），分別為13×13 和26×26，每個(gè)網(wǎng)格可以預(yù)測(cè)3 個(gè)bounding box，共有80 個(gè)分類數(shù)。

訓(xùn)練時(shí)需對(duì)關(guān)鍵參數(shù)做調(diào)整，以訓(xùn)練左轉(zhuǎn)、右轉(zhuǎn)、直行3 種交通標(biāo)志為例，YOLOv3-tiny.cfg 中的batch 設(shè)為64，subdivisions 設(shè)為32，GPU 顯存大，該值可以為8。最大訓(xùn)練次數(shù)max_batches 設(shè)置為類別數(shù)乘以2 000，即3*2 000；steps改為max_batches的80%～90%；[yolo]層中的classes 修改為當(dāng)前訓(xùn)練的類別數(shù)3。2 個(gè)[yolo]結(jié)構(gòu)前面的[convolutional]層的通道數(shù)需要修改，計(jì)算公式為filters=3×（classes+5），若classes=3，則filters=24。從trsd 數(shù)據(jù)集中篩選出左轉(zhuǎn)、右轉(zhuǎn)、直行3種交通標(biāo)志的圖片形成新數(shù)據(jù)集，對(duì)新數(shù)據(jù)集進(jìn)行聚類，使錨框尺寸更符合數(shù)據(jù)集特征，并用得到的錨框尺寸更新yolov3-tiny.cfg中的anchors參數(shù)。對(duì)新數(shù)據(jù)集中樣本進(jìn)行9 ∶1 比例的劃分，形成訓(xùn)練集和測(cè)試集。為減少訓(xùn)練時(shí)間，使用預(yù)訓(xùn)練權(quán)重文件darknet53.conv.74 作為初始權(quán)重，訓(xùn)練結(jié)束得到新的權(quán)重文件yolov3-tiny_final.weights 用于交通標(biāo)志識(shí)別。交通標(biāo)志識(shí)別情況如圖6 所示。

圖6 交通標(biāo)志識(shí)別情況

識(shí)別的準(zhǔn)確率和精確率受多種因素影響，如用于訓(xùn)練的數(shù)據(jù)集和真實(shí)數(shù)據(jù)的匹配程度、樣本的多少、神經(jīng)網(wǎng)絡(luò)模型的選取、參數(shù)的調(diào)優(yōu)等。

（3）小車運(yùn)行狀態(tài)控制

計(jì)算機(jī)視覺(jué)模塊發(fā)出小車運(yùn)行指令（直行、左移、右移、左轉(zhuǎn)、右轉(zhuǎn)等）給主控，主控通過(guò)電機(jī)調(diào)整小車狀態(tài)。小車狀態(tài)控制算法與小車所采用的車輪類型有關(guān)系，本文以麥克納姆輪[9]為例，麥克納姆輪有多種安裝方式，選擇其中一種安裝方式進(jìn)行運(yùn)動(dòng)矢量分析，如圖7 所示。

圖7 麥克納姆輪小車運(yùn)動(dòng)矢量分析

麥克納姆輪輥?zhàn)虞S線與輪轂軸線呈一定角度（一般為45°），速度被分解為X方向、Y方向，如圖7 灰色箭頭所示。小車四個(gè)輪子以相同速度向前或向后運(yùn)動(dòng)，會(huì)導(dǎo)致某方向的速度被抵消，如圖7（a）所示，X方向速度被抵消，剩下Y方向向前速度，達(dá)到直行效果；圖7（b）Y方向速度被抵消，剩下X方向向右速度，達(dá)到右移效果；圖7（c）兩個(gè)后輪不動(dòng)，兩個(gè)前輪Y方向速度被抵消，剩下X方向向右速度，達(dá)到右轉(zhuǎn)效果，因此控制四個(gè)輪子的運(yùn)動(dòng)速度和方向，可實(shí)現(xiàn)小車的全方位移動(dòng)。

小車運(yùn)動(dòng)速度v可分解為水平方向速度vx和垂直方向速度vy以及旋轉(zhuǎn)速度ω。按逆運(yùn)動(dòng)學(xué)分析[10]上述速度轉(zhuǎn)換為四個(gè)輪子的運(yùn)行速度，公式如下：

式中：a為小車輪距的一半；b為小車軸距的一半；vA、vB、vC、vD分別代表四個(gè)輪子的速度。主控將vA、vB、vC、vD作為電機(jī)目標(biāo)速度，單位為m/s。編碼器采集到的是脈沖個(gè)數(shù)，需轉(zhuǎn)換為電機(jī)實(shí)際速度ve，單位為m/s，公式如下：

式中：pu代表編碼器所接定時(shí)器脈沖個(gè)數(shù)；f代表定時(shí)器中斷頻率；pe代表車輪周長(zhǎng)；ec代表電機(jī)輪子轉(zhuǎn)一圈對(duì)應(yīng)的編碼器脈沖個(gè)數(shù)，且有：

式中：pf代表編碼器倍頻數(shù)；lp代表編碼器精度（線數(shù)）；js代表電機(jī)減速比。得到電機(jī)目標(biāo)速度和實(shí)際速度后，采用簡(jiǎn)化的PID 算法[8]對(duì)小車進(jìn)行運(yùn)動(dòng)控制，公式如下：

式中：pwm 即為電機(jī)所接定時(shí)器CCR 值，控制輸出PWM波形，進(jìn)而控制電機(jī)轉(zhuǎn)速；Kp代表比例控制，Ki代表消除靜態(tài)誤差的積分控制，Kp、Ki是經(jīng)驗(yàn)參數(shù)，需要根據(jù)實(shí)際情況調(diào)整；e(k)表示當(dāng)前目標(biāo)速度與實(shí)際速度的差值；e(k-1)表示前一次目標(biāo)速度與實(shí)際速度的差值。小車運(yùn)動(dòng)控制PID 算法如圖8 所示。

圖8 小車運(yùn)動(dòng)控制PID 算法

4 結(jié) 語(yǔ)

本文設(shè)計(jì)的智能小車使用計(jì)算機(jī)視覺(jué)技術(shù)，不需要安裝輔助定位模塊，部署方便。但是圖像處理、深度學(xué)習(xí)計(jì)算量大，算力要求高，系統(tǒng)實(shí)時(shí)性需要優(yōu)化、提升。交通標(biāo)志識(shí)別的準(zhǔn)確率不理想，需要根據(jù)實(shí)際環(huán)境制作數(shù)據(jù)集進(jìn)行訓(xùn)練，并嘗試更多的模型、參數(shù)調(diào)優(yōu)，尋找最優(yōu)的方案。