基于ESP32及MQTT協(xié)議的視覺(jué)追蹤機(jī)器人設(shè)計(jì)

崔金濤,佟瑞棟

(1.朝陽(yáng)師范高等專(zhuān)科學(xué)校信息工程系,遼寧 朝陽(yáng) 122000;2.朝陽(yáng)市第六中學(xué)物理組,遼寧 朝陽(yáng) 122000)

機(jī)器人視覺(jué)是近年來(lái)機(jī)器人領(lǐng)域的研究熱點(diǎn)之一,通過(guò)視覺(jué)傳感器采集圖像、提取信息并對(duì)其進(jìn)行處理,再將處理后的結(jié)果用于機(jī)器人的決策和控制,從而提高機(jī)器人智能性、環(huán)境適應(yīng)性以及行為自主性[1].視覺(jué)追蹤是對(duì)移動(dòng)目標(biāo)進(jìn)行有效識(shí)別,并對(duì)其移動(dòng)屬性(如方向、運(yùn)動(dòng)軌跡、速度及加速度)進(jìn)行持續(xù)獲取,再對(duì)獲取的圖像序列進(jìn)行目標(biāo)提取和檢測(cè),從而通過(guò)深入的計(jì)算和分析達(dá)到對(duì)移動(dòng)目標(biāo)行為理解的目的[2].本文基于機(jī)器學(xué)習(xí)技術(shù),以恩智浦智能車(chē)為載體,開(kāi)發(fā)了基于ESP32平臺(tái)的視覺(jué)追蹤機(jī)器人,利用AI攝像頭對(duì)物體進(jìn)行識(shí)別和定位,并規(guī)劃運(yùn)動(dòng)路線,準(zhǔn)確實(shí)現(xiàn)對(duì)目標(biāo)物體的追蹤.此外,還可運(yùn)用ESP32搭載的WiFi模塊,基于MQTT協(xié)議并通過(guò)物聯(lián)網(wǎng)技術(shù)實(shí)現(xiàn)對(duì)智能車(chē)的遠(yuǎn)程控制.

1 硬件搭建

機(jī)器人本體主要由車(chē)身、前輪轉(zhuǎn)向系統(tǒng)、后輪驅(qū)動(dòng)系統(tǒng)、二自由度攝像頭云臺(tái)、主控系統(tǒng)、防撞保護(hù)系統(tǒng)及電源管理系統(tǒng)7部分構(gòu)成,如圖1所示.

1.1 車(chē)身

車(chē)身選用了恩智浦智能車(chē)A型車(chē)模,并對(duì)原車(chē)的立式舵機(jī)轉(zhuǎn)向機(jī)架進(jìn)行了改造.改造后的臥式舵機(jī)轉(zhuǎn)向機(jī)架相對(duì)于前者重心降低,舵機(jī)轉(zhuǎn)向臂與左右轉(zhuǎn)向半軸平行放置,有效轉(zhuǎn)向力變大,更利于轉(zhuǎn)向.

1.2 前輪轉(zhuǎn)向系統(tǒng)

智能車(chē)總重約2.3 kg,車(chē)體在轉(zhuǎn)向的過(guò)程中需要克服較大的地面摩擦力,這對(duì)轉(zhuǎn)向系統(tǒng)綜合性能是很大的考驗(yàn).改造后的臥式舵機(jī)轉(zhuǎn)向系統(tǒng)由舵機(jī)來(lái)操控.該機(jī)器人選用的是Futaba 9257舵機(jī),外形尺寸40.5 mm×21 mm×37.7 mm,可提供4.9 N·m(7.4 V)的強(qiáng)大扭力,性能優(yōu)異,耐用性很高.

前輪轉(zhuǎn)向舵機(jī)由16路PWM舵機(jī)驅(qū)動(dòng)器來(lái)驅(qū)動(dòng).該驅(qū)動(dòng)器搭載PCA9685芯片,通過(guò)I2C總線可同時(shí)控制16路舵機(jī),不僅如此,通過(guò)級(jí)聯(lián)的方式可驅(qū)動(dòng)更多的電機(jī).

1.3 后輪驅(qū)動(dòng)系統(tǒng)

智能車(chē)后輪由一個(gè)12 V直流電機(jī)來(lái)驅(qū)動(dòng),電機(jī)的正反轉(zhuǎn)決定機(jī)器人前進(jìn)或后退;電機(jī)驅(qū)動(dòng)器選用L298N大功率直流電機(jī)驅(qū)動(dòng)器,驅(qū)動(dòng)電壓范圍4.8～35 V,最高控制電流可達(dá)2 A.該驅(qū)動(dòng)器較傳統(tǒng)的L298N驅(qū)動(dòng)器結(jié)構(gòu)設(shè)計(jì)更加合理,散熱性能明顯提升,控制端口減少為4個(gè),控制方式更加簡(jiǎn)單.

1.4 二自由度攝像頭云臺(tái)

云臺(tái)是安裝、固定AI攝像頭的裝置,用于對(duì)目標(biāo)物體進(jìn)行大范圍掃描,進(jìn)而擴(kuò)大攝像頭的視野.本研究采用的是二自由度云臺(tái),如圖2所示,X軸和Y軸的旋轉(zhuǎn)分別通過(guò)兩個(gè)9 g數(shù)字舵機(jī)來(lái)實(shí)現(xiàn).

1.5 主控模塊

主控模塊采用基于ESP32的Micropython微型控制器,還包括板載藍(lán)牙、WiFi模塊、加速度儀、按鍵、聲光傳感器、OLED顯示屏,并且搭載20路數(shù)字I/O接口、5路模擬信號(hào)接口,支持I2C、UART及SPI通訊.

2 控制系統(tǒng)設(shè)計(jì)

2.1 AI攝像頭

識(shí)別物體是指在靜態(tài)背景下通過(guò)圖像處理算法得到較為精確的物體外觀信息,運(yùn)用該功能能夠識(shí)別出物體的形態(tài)并標(biāo)注出來(lái),而追蹤物體是指在識(shí)別物體的基礎(chǔ)上根據(jù)物體的外觀特征運(yùn)用算法對(duì)后面的圖像序列進(jìn)行追蹤,并且可以在后續(xù)的追蹤中進(jìn)行更深入的學(xué)習(xí),使追蹤越來(lái)越精確[3-4].如圖3所示,緩慢旋轉(zhuǎn)移動(dòng)中的物體,可以對(duì)其進(jìn)行多角度學(xué)習(xí).

AI攝像頭中的物體追蹤功能是利用傳感器內(nèi)置算法通過(guò)對(duì)物體的特征進(jìn)行學(xué)習(xí)而實(shí)現(xiàn)對(duì)物體在屏幕中位置的追蹤,該功能還可以將位置的坐標(biāo)值反饋給主控模塊.

2.2 二自由度云臺(tái)控制

二自由度云臺(tái)的兩個(gè)自由度是指水平(X軸)、垂直(Y軸)兩個(gè)方向的移動(dòng),分別對(duì)應(yīng)云臺(tái)上安裝的兩個(gè)舵機(jī)的移動(dòng)方向,主要通過(guò)控制水平或俯仰的角度使被追蹤物體的中心坐標(biāo)始終處于AI攝像頭的識(shí)別圖框內(nèi).

2.2.1 被追蹤目標(biāo)位置坐標(biāo)的確定

通過(guò)視覺(jué)傳感器Husky Lens對(duì)被追蹤目標(biāo)進(jìn)行識(shí)別并獲取其位置坐標(biāo)值,比較其相對(duì)于視覺(jué)傳感器屏幕中心的位置關(guān)系,即通過(guò)坐標(biāo)值判斷物體相對(duì)于傳感器的位置.

2.2.2 構(gòu)建位置坐標(biāo)與舵機(jī)轉(zhuǎn)角的映射關(guān)系

獲取目標(biāo)物體位置坐標(biāo)相對(duì)于傳感器屏幕中心的坐標(biāo)關(guān)系后,通過(guò)編寫(xiě)程序建立物體位置坐標(biāo)與舵機(jī)轉(zhuǎn)角的映射關(guān)系:當(dāng)X＜160時(shí),控制X軸舵機(jī)順時(shí)針旋轉(zhuǎn);當(dāng)X＞160時(shí),控制X軸舵機(jī)逆時(shí)針旋轉(zhuǎn);當(dāng)Y＜120時(shí),控制Y軸舵機(jī)逆時(shí)針旋轉(zhuǎn);當(dāng)Y＞120時(shí),控制Y軸舵機(jī)順時(shí)針旋轉(zhuǎn).具體控制流程如圖4所示.

2.3 追蹤算法

2.3.1 機(jī)器人運(yùn)動(dòng)路線決策

首先,初始化AI攝像頭,啟動(dòng)物體追蹤算法,獲取被追蹤目標(biāo)的位置坐標(biāo)及識(shí)別框的外形尺寸.其次,由識(shí)別框的X坐標(biāo)值相對(duì)于視覺(jué)傳感器屏幕中心坐標(biāo)的位置關(guān)系決定機(jī)器人左轉(zhuǎn)或右轉(zhuǎn),由識(shí)別框的高度或?qū)挾葲Q定機(jī)器人前進(jìn)或后退.

2.3.2 控制流程

如圖5所示,當(dāng)X＜70時(shí),智能車(chē)大幅度左轉(zhuǎn),并建立前輪轉(zhuǎn)向舵機(jī)轉(zhuǎn)角與目標(biāo)物體X坐標(biāo)之間的映射關(guān)系;同理,當(dāng)70＜X＜130時(shí),智能車(chē)小幅度左轉(zhuǎn);當(dāng)130＜X＜160時(shí),智能車(chē)保持直行,但當(dāng)車(chē)體識(shí)別框高度H＞80時(shí),后輪驅(qū)動(dòng)電機(jī)反轉(zhuǎn)使車(chē)身后退,反之,如果H＜50時(shí),智能車(chē)?yán)^續(xù)前進(jìn);當(dāng)160＜X＜190時(shí),智能車(chē)小幅度右轉(zhuǎn);當(dāng)190＜X＜250時(shí),智能車(chē)大幅度右轉(zhuǎn).

綜上,在對(duì)物體實(shí)施追蹤的過(guò)程中,AI攝像頭首先要完成對(duì)目標(biāo)物體的特征學(xué)習(xí),并確定其在攝像頭屏幕中的位置坐標(biāo).如果物體未出現(xiàn)在屏幕中,機(jī)器人會(huì)自動(dòng)調(diào)節(jié)X軸和Y軸,直至物體出現(xiàn)在屏幕中;隨后機(jī)器人將根據(jù)自身相對(duì)于物體的位置作出運(yùn)動(dòng)決策,在決策前必須確保物體大約處于Y軸的中間位置(110≤Y≤130),前必須確保然后根據(jù)在X軸的坐標(biāo)確定運(yùn)動(dòng)路線,否則將調(diào)用調(diào)節(jié)Y軸的程序.智能車(chē)整體控制邏輯流程如圖6所示.

3 遠(yuǎn)程控制

3.1 MQTT協(xié)議的通信模型

MQTT是一種基于發(fā)布(Publish)和訂閱(Subscribe)模式的“輕量級(jí)”通訊協(xié)議,該協(xié)議構(gòu)建于TCP/IP協(xié)議上,能以極少的代碼和有限的帶寬為連接遠(yuǎn)程設(shè)備提供實(shí)時(shí)可靠的消息服務(wù).在MQTT中,發(fā)布方和訂閱方并沒(méi)有直接地連接,而是需要一個(gè)中間方,稱(chēng)之為“Broker”,用來(lái)存儲(chǔ)和轉(zhuǎn)發(fā)消息.一次典型的MQTT消息通信流程如圖7所示[5]:

3.2 基于物聯(lián)網(wǎng)的遠(yuǎn)程控制

該智能車(chē)采用了MQTT協(xié)議在ESP32主控器和手機(jī)應(yīng)用端進(jìn)行雙向數(shù)據(jù)傳輸,從而實(shí)現(xiàn)以移動(dòng)設(shè)備作為上位機(jī)對(duì)機(jī)器人進(jìn)行遠(yuǎn)程控制[6].首先,在EasyIo T注冊(cè)賬號(hào)進(jìn)入物聯(lián)網(wǎng)平臺(tái),再在Workshop中新建設(shè)備,并命名為“ESP32”,如圖8所示.其次,運(yùn)用Python編程使主控器連接WiFi,從而創(chuàng)建下位機(jī)與物聯(lián)網(wǎng)之間的通訊,如圖9所示.最后,通過(guò)AppInventor軟件創(chuàng)建APP手機(jī)應(yīng)用,建立上位機(jī)與物聯(lián)網(wǎng)之間的通訊.

如圖10所示,在編程過(guò)程中必須確保“user Name”“password”與EasyIo T平臺(tái)數(shù)據(jù)一致.

4 結(jié)論

基于ESP32平臺(tái)和MQTT協(xié)議的具有遠(yuǎn)程控制功能的視覺(jué)追蹤機(jī)器人已成功設(shè)計(jì)并完成了樣機(jī)測(cè)試,如圖11所示.

該機(jī)器人搭載高性能ESP32控制器,運(yùn)用智能AI攝像頭模塊采集被追蹤目標(biāo)的圖像信息,并將圖像信息傳輸給主控制器.經(jīng)過(guò)分析處理,計(jì)算出運(yùn)動(dòng)目標(biāo)的相對(duì)位置,輸出控制信號(hào),引導(dǎo)機(jī)器人作出正確的運(yùn)動(dòng)決策,完成對(duì)目標(biāo)的實(shí)時(shí)追蹤.實(shí)驗(yàn)結(jié)果表明,該機(jī)器人響應(yīng)靈敏,控制精度高,能夠準(zhǔn)確、快速地完成預(yù)定任務(wù),為智能家居機(jī)器人和工業(yè)機(jī)器人的視覺(jué)追蹤提供了一種簡(jiǎn)便的解決方案,可以大大縮短研發(fā)周期和開(kāi)發(fā)成本,具有較高的實(shí)用價(jià)值.