基于機(jī)器視覺室內(nèi)定位的智能購物車設(shè)計(jì)

林杰 孫海升 唐啟承 周成 黃奕秋 洪遠(yuǎn)泉

摘 要：針對超市傳統(tǒng)購物車的缺陷，面向大型超市和無人售貨超市提出了基于機(jī)器視覺室內(nèi)定位的智能購物車設(shè)計(jì)。系統(tǒng)包含自動跟隨和智能導(dǎo)購兩種模式，利用視覺模塊識別跟蹤AprilTag標(biāo)簽，實(shí)現(xiàn)購物車的自動跟隨功能;融合物聯(lián)網(wǎng)技術(shù)和機(jī)器視覺室內(nèi)定位技術(shù)實(shí)現(xiàn)購物車的智能導(dǎo)購功能。兩種模式配合使用，給用戶購物帶來了極大便利，有效提升了用戶的消費(fèi)體驗(yàn)，具有較好的市場價值和實(shí)用價值。

關(guān)鍵詞：機(jī)器視覺;室內(nèi)定位;自動跟隨;智能導(dǎo)購;智能購物車;物聯(lián)網(wǎng)

中圖分類號：TP249 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2019）06-00-03

0 引 言

當(dāng)前，大多超市由于存在商品導(dǎo)購技術(shù)落后、購物車需要手推等問題，降低了用戶的購物體驗(yàn)。隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，線上交易營銷方式的沖擊導(dǎo)致實(shí)體銷售企業(yè)的發(fā)展更加艱難，迫切需要通過提供更好的購物環(huán)境來吸引消費(fèi)者。由于技術(shù)的限制，現(xiàn)有的智能購物車存在識別精度不高、復(fù)雜環(huán)境出錯率較大和成本較高等問題[1]，不能在市場中廣泛推廣應(yīng)用。因此，提供更加便捷智能的自動跟隨購物車代替人工導(dǎo)購模式，將成為現(xiàn)階段各大商店提高用戶消費(fèi)體驗(yàn)、吸引顧客愉快購物的重要技術(shù)手段。

本文針對目前實(shí)體超市行業(yè)存在的問題，設(shè)計(jì)了一種新型智能購物車。該購物車采用了成本較低、識別精度較高的室內(nèi)機(jī)器視覺識別技術(shù)，配合使用AprilTag標(biāo)志能在環(huán)境復(fù)雜的超市內(nèi)完成智能導(dǎo)購以及自動跟隨。方便用戶選用自動跟隨模式[2]后在解放雙手的同時帶給用戶和超市極大的便利，節(jié)約人力資源及時間成本，大大提高了實(shí)體銷售行業(yè)的競爭力。

1 系統(tǒng)總體結(jié)構(gòu)

如圖1所示，STM32作為各模塊通信的橋梁，是購物車系統(tǒng)的運(yùn)行中樞。WiFi模塊ESP8266[3]將購物車的數(shù)據(jù)上傳和下載到云端服務(wù)器，顧客手機(jī)的APP連接云端服務(wù)器后便可實(shí)現(xiàn)購物車與手機(jī)的通信。顯示器作為顧客與購物車交互的一種方式，在完成手機(jī)APP已有功能的同時，還能避免用戶暫時無法使用手機(jī)而無法啟動購物車的情況出現(xiàn)。視覺模塊OpenMV用于識別AprilTag標(biāo)志，獲得ID和3D數(shù)據(jù)完成室內(nèi)定位和跟隨[4]，電機(jī)驅(qū)動模塊用來控制減速電機(jī)完成車體運(yùn)動[5]。

2 功能與設(shè)計(jì)

本文所設(shè)計(jì)的購物車共有2個模式，分別為跟隨模式和導(dǎo)購模式。在跟隨模式下，顧客只需在背部佩帶AprilTag標(biāo)簽，購物車便能實(shí)時跟隨顧客，解放顧客的雙手。導(dǎo)購模式需要在超市地板上鋪設(shè)導(dǎo)航地圖，顧客通過手機(jī)APP選擇自己需要的商品，購物車引導(dǎo)顧客走到商品處，方便顧客尋找商品。兩種模式均通過識別AprilTag標(biāo)志讀取AprilTag的3D數(shù)據(jù)和ID。

2.1 跟隨模式設(shè)計(jì)

購物車的跟隨模式基于AprilTag的3D定位[6]技術(shù)實(shí)現(xiàn)。通過OpenMV[7]讀取AprilTag的3D數(shù)據(jù)定位顧客與購物車的空間位置。

如圖2所示，通過OpenMV尋找AprilTag函數(shù)就能得到AprilTag相對于OpenMV空間上的6個3D數(shù)據(jù)，分別是3個旋轉(zhuǎn)量Rx，Ry，Rz和3個坐標(biāo)Tx，Ty，Tz，用于用戶跟蹤。

跟隨模式流程如圖3所示，顧客通過手機(jī)或顯示器選擇跟隨模式，此時購物車啟動跟隨模式，并等待顧客輸入領(lǐng)取的AprilTagID。顧客輸入完畢后，購物車首先識別顧客背上的ApilTagID號是否為要跟隨的ID號，以避免跟錯。如果是，則讀取3D數(shù)據(jù)，使用Rx，Ry，Rz調(diào)整購物車轉(zhuǎn)向，使購物車朝向顧客;使用Tx，Ty，Tz調(diào)整顧客與購物車的距離，使顧客與購物車的相對位置保持不變，實(shí)現(xiàn)智能跟隨。將上述數(shù)據(jù)作為測量值與經(jīng)過試驗(yàn)測得的設(shè)定角度、距離值作為設(shè)定值代入PID算法[8]，經(jīng)PID算法使輸出值在遇到較大偏差時及時進(jìn)行調(diào)整，若偏差較小則根據(jù)累計(jì)誤差使跟隨變得更加平緩，將PID輸出值轉(zhuǎn)換成電機(jī)驅(qū)動數(shù)據(jù)，主控板根據(jù)電機(jī)驅(qū)動數(shù)據(jù)驅(qū)動電機(jī)，保持顧客與購物車的相對距離不變。

2.2 導(dǎo)購模式設(shè)計(jì)

購物車導(dǎo)購模式是基于循跡[9]以及識別AprilTag的ID實(shí)現(xiàn)的。

AprilTag與QRCode均通過在一個矩陣空間中的黑色和白色方塊進(jìn)行信息表示，但由于組成QRCode的像素比AprilTag多，所以QRCode可以存儲上百個字節(jié)的數(shù)據(jù)，一般用來存儲網(wǎng)站的地址數(shù)據(jù);AprilTag存儲的數(shù)據(jù)一般用于識別AprilTag的ID。也正是如此，識別AprilTag的準(zhǔn)確度和抗干擾能力要比QRCode高很多，AprilTag中的TAG36H10有2 319個ID，即使是大型超市，AprilTag也有能力進(jìn)行室內(nèi)定位標(biāo)記。圖4所示為10個AprilTag及其ID號。

導(dǎo)購模式需要在超市鋪設(shè)導(dǎo)航地圖。超市地圖如圖5所示。在超市地面上的每個轉(zhuǎn)彎口和每個貨架旁都放置一個AprilTag標(biāo)志，當(dāng)購物車行駛到某個AprilTag標(biāo)志時，讀取其ID，從而獲悉購物車所處位置，并根據(jù)路徑數(shù)組得到此處的AprilTag轉(zhuǎn)向指令。將相鄰兩個AprilTag標(biāo)志用黑線連接，給購物車循跡，引導(dǎo)購物車到下一個AprilTag標(biāo)志處。

當(dāng)顧客通過手機(jī)APP或顯示器選擇了導(dǎo)購模式并輸入想要買的商品后，購物車的主控板就能接收到商品信息。一個商品信息對應(yīng)一個路徑數(shù)組，路徑數(shù)組的每一個位對應(yīng)一個AprilTagID，每一位值指示到達(dá)對應(yīng)AprilTag時的轉(zhuǎn)向或停止指令。購物車在導(dǎo)購時，執(zhí)行黑線循跡程序，同時判斷是否檢測到AprilTag。當(dāng)檢測到AprilTag并獲得AprilTagID后，就從路徑數(shù)組中獲得對應(yīng)AprilTagID的轉(zhuǎn)向指令，根據(jù)轉(zhuǎn)向指令驅(qū)動電機(jī)轉(zhuǎn)向，如果轉(zhuǎn)向指令為左轉(zhuǎn)，則購物車左轉(zhuǎn);如果轉(zhuǎn)向指令為右轉(zhuǎn)，則購物車右轉(zhuǎn)。當(dāng)檢測到停止指令時，購物車便到達(dá)了指定地點(diǎn)并停止。至此，購物車就完成了一段路徑的行走。導(dǎo)購流程如圖6所示。

3 購物車軟件設(shè)計(jì)

購物車的交互方式如圖7所示，主要由兩種方式操控。一種是手機(jī)APP[10]控制，APP主界面如圖8所示;另一種是由購物車上的顯示器控制，顯示器界面如圖9所示。

顧客可以使用手機(jī)連接超市的WiFi，進(jìn)入APP后便能對購物車下達(dá)指令。也可以使用購物車上的顯示器，選擇顯示器上的其中一種模式來操控購物車。

3.1 手機(jī)APP設(shè)計(jì)

手機(jī)APP在Android Studio環(huán)境中開發(fā)，將云服務(wù)器和WiFi模塊作為中樞進(jìn)行數(shù)據(jù)的發(fā)送和接收，主要實(shí)現(xiàn)的功能包括跟隨模式或?qū)з從Ｊ竭x擇、商品搜索、商品瀏覽等。

（1）手機(jī)APP的主界面包括智能跟隨模式界面和智能導(dǎo)購模式界面，用戶只需根據(jù)需求或喜好點(diǎn)擊相應(yīng)的模式即可。若選擇智能導(dǎo)購模式，則界面會出現(xiàn)輸入框，用戶在輸入框中輸入想購買的商品并搜索，或點(diǎn)擊底部按鈕切換界面。

（2）無論選擇哪種模式，用戶都可以切換至商品界面，在該界面中，用戶可以在搜索框中輸入自己想了解或者購買的商品，也可以瀏覽該界面下的品。

3.2 顯示器界面設(shè)計(jì)

顯示器為智能購物車上的控制面板，用戶使用交互界面可方便快捷地操作購物車，對購物車提出對應(yīng)的任務(wù)要求。

（1）用戶只需點(diǎn)擊相應(yīng)圖標(biāo)即可選擇智能跟隨模式或智能導(dǎo)購模式。

（2）顯示器交互界面顯示當(dāng)前購物車所在區(qū)域、所購買商品總價以及商店的商品推送，以增強(qiáng)用戶的消費(fèi)體驗(yàn)。

4 結(jié) 語

隨著物聯(lián)網(wǎng)的迅速發(fā)展，萬物聯(lián)網(wǎng)是未來的必然趨勢，無人超市等新型超市的出現(xiàn)也說明了這一點(diǎn)。本文設(shè)計(jì)的集跟隨、導(dǎo)購于一身的智能購物車，最大程度解決了顧客尋找商品不便的問題，同時還解決了孕婦、老人等手腳不方便的顧客難以攜帶商品等問題。與其他智能購物車相比，本文設(shè)計(jì)的購物車在室內(nèi)定位方面擁有成本低、精度高、適用范圍廣等優(yōu)點(diǎn)。綜上所述，本購物車具有較高的實(shí)用價值以及較廣闊的市場前景。

參 考 文 獻(xiàn)

[1]何沃林.室內(nèi)場館無線定位智能管理系統(tǒng)的設(shè)計(jì)[J].物聯(lián)網(wǎng)技術(shù)，2017，7（12）：63-65.

[2]張偉，王橋，李莉，等.基于單片機(jī)的自動跟隨小車[J].物聯(lián)網(wǎng)技術(shù)，2018，8（6）：62-64.

[3]王愿祥，程悅琪，孫先松.基于WiFi的無線測控終端系統(tǒng)設(shè)計(jì)[J].物聯(lián)網(wǎng)技術(shù)，2018，8（9）：23-26.

[4]姚錫欽，林燁，陳蘇陽.基于AprilTag標(biāo)記定位的自動泊車系統(tǒng)實(shí)現(xiàn)[J].電子產(chǎn)品世界，2018，25（8）：39-42.

[5]王恒，李陳康.基于雙單片機(jī)的無刷直流電機(jī)調(diào)速系統(tǒng)的設(shè)計(jì)[J].物聯(lián)網(wǎng)技術(shù)，2015，5（12）：47-50.

[6]梅妍玭，傅榮.基于OpenMV的3D定位識別系統(tǒng)[J].新技術(shù)新工藝，2018（2）：50-52.

[7]梅妍玭，傅榮.基于OpenMV的小車定位系統(tǒng)研究[J].揚(yáng)州職業(yè)大學(xué)學(xué)報(bào)，2017，21（4）：46-48.

[8]林森，劉志東，呂慶軍.基于STM32的PID算法控制直流電機(jī)系統(tǒng)設(shè)計(jì)[J].產(chǎn)業(yè)與科技論壇，2017，16（2）：78-79.

[9]李帥男.基于STM32的循跡避障智能小車的設(shè)計(jì)[J].數(shù)字技術(shù)與應(yīng)用，2018，36（8）：163-164.

[10]張國防，白曉波，孫超.基于Android的APP開發(fā)平臺的搭建[J].通訊世界，2015（12）：68-69.