機(jī)器視覺在網(wǎng)球撿球機(jī)器人中的應(yīng)用研究

鄭植 席先鵬 王楠 蔣欣燎 夏山淋

摘? 要：機(jī)器視覺技術(shù)是近幾年逐漸發(fā)展起來的全新技術(shù)，原理主要通過計(jì)算機(jī)對(duì)人的視覺進(jìn)行模擬與識(shí)別，是智能制造和自動(dòng)控制領(lǐng)域較為關(guān)鍵的技術(shù)。網(wǎng)球作為一項(xiàng)時(shí)尚運(yùn)動(dòng)得到了越來越多的人喜愛，但球場(chǎng)快速撿球是一個(gè)難題。因此，研制一種智能化程度高，行進(jìn)能力靈活，操作簡(jiǎn)單的自動(dòng)撿球機(jī)器人有較好的市場(chǎng)需求，應(yīng)用機(jī)器視覺技術(shù)到該領(lǐng)域是一種新的嘗試與實(shí)踐。

關(guān)鍵詞：機(jī)器視覺;網(wǎng)球;機(jī)器人

中圖分類號(hào)：TP242? ? ? ? ?文獻(xiàn)標(biāo)志碼：A? ? ? ? ?文章編號(hào)：2095-2945（2019）16-0034-02

Abstract： Machine vision technology is a new technology gradually developed in recent years. The principle of machine vision is mainly through computer simulation and recognition of human vision， which is a key technology in the field of intelligent manufacturing and automatic control. Tennis， as a fashionable sport， has been loved by more and more people， but it is a difficult problem to pick up the ball quickly on the court. Therefore， the development of the automatic ball picking robotwith a high degree of intelligence， flexible travel ability and simple operation meets the market demand， the application of machine vision technology to this field is a new attempt and practice.

Keywords： machine vision; tennis; robot

1 概述

1.1 機(jī)器視覺簡(jiǎn)介

“機(jī)器視覺”是一種從圖像中自動(dòng)提取信息的方法，但與圖像處理技術(shù)不同的是，機(jī)器視覺的輸出結(jié)果是另一圖像。該領(lǐng)域包括大量硬軟結(jié)合技術(shù)、模擬電路集成系統(tǒng)和機(jī)械自動(dòng)化等專業(yè)知識(shí)。將機(jī)器視覺與現(xiàn)有智能控制技術(shù)相結(jié)合，可以滿足工業(yè)自動(dòng)化及其實(shí)際應(yīng)用領(lǐng)域要求，應(yīng)用它們來解決當(dāng)今世界的技術(shù)問題。

1.2 中國(guó)網(wǎng)球市場(chǎng)發(fā)展前景

網(wǎng)球是一種高品位、高投入的體育項(xiàng)目，它具有鍛煉思維反應(yīng)速度、運(yùn)動(dòng)量靈活等特點(diǎn)，是種較好的有氧運(yùn)動(dòng)，深受城市居民喜愛。據(jù)中國(guó)國(guó)家統(tǒng)計(jì)局2019年相關(guān)調(diào)研數(shù)據(jù)顯示，網(wǎng)球體育場(chǎng)館機(jī)構(gòu)數(shù)逐年增加，從事網(wǎng)球運(yùn)動(dòng)相關(guān)的職業(yè)人員數(shù)量也與日俱增。網(wǎng)球運(yùn)動(dòng)的快速發(fā)展造成了許多球場(chǎng)設(shè)備供不應(yīng)求的問題，特別是在網(wǎng)球撿球工作方面，需要大量的人力和財(cái)力。因此，研究網(wǎng)球撿球機(jī)器人具有較好的市場(chǎng)價(jià)值和現(xiàn)實(shí)意義。

2 基于機(jī)器視覺的網(wǎng)球撿球機(jī)器人的設(shè)計(jì)與開發(fā)

2.1 撿球機(jī)器人的總體設(shè)計(jì)思路

撿球機(jī)器人的主要模塊設(shè)計(jì)包含圖像處理模塊、檢測(cè)與避障模塊、動(dòng)力驅(qū)動(dòng)模塊、上位機(jī)操作系統(tǒng)模塊[2]。總體設(shè)計(jì)思路為：撿球機(jī)器人在網(wǎng)球場(chǎng)館內(nèi)通過圖像采集設(shè)備捕捉現(xiàn)場(chǎng)畫面，再將畫面數(shù)據(jù)輸入并存儲(chǔ)至圖像采集卡中，再由基于機(jī)器視覺的圖像處理系統(tǒng)快速進(jìn)行圖像畫質(zhì)消除噪聲處理，去霧處理、灰度變換算法增強(qiáng)畫質(zhì)等過程。經(jīng)過整個(gè)視覺圖像處理過后，現(xiàn)場(chǎng)畫面有較大改善，便于雙目標(biāo)定目標(biāo)（網(wǎng)球）的位置。判斷網(wǎng)球的位置信息之后，傳遞數(shù)據(jù)至主控MCU進(jìn)而控制撿球機(jī)器人沿著最優(yōu)路徑向目標(biāo)位置順序前進(jìn)并完成機(jī)械撿球功能。若上位機(jī)監(jiān)測(cè)系統(tǒng)通過多層融合傳感器技術(shù)的反饋信息顯示撿球機(jī)器人自身某種參數(shù)異常，則可通過上位機(jī)操作程序調(diào)整機(jī)器人相關(guān)參數(shù)實(shí)現(xiàn)撿球機(jī)器人的正常運(yùn)作。本文目的是研制一種智能化程度高，行進(jìn)能力靈活，操作簡(jiǎn)單的自動(dòng)撿球機(jī)器人。下面將簡(jiǎn)略介紹撿球機(jī)器人相關(guān)模塊功能。

2.2 圖像處理模塊設(shè)計(jì)

2.2.1 視覺系統(tǒng)組成

在本文基于機(jī)器視覺的網(wǎng)球撿球機(jī)器人所設(shè)計(jì)中，圖像處理模塊主要包括三個(gè)部分：前端進(jìn)行場(chǎng)景圖像采集的圖像采集傳輸系統(tǒng)、內(nèi)部對(duì)采集圖像進(jìn)行處理的圖像處理和分析系統(tǒng)以及最后再進(jìn)行結(jié)果輸出系統(tǒng)，其通過選型適合的元器件即可實(shí)現(xiàn)功能。

2.2.2 雙目視覺標(biāo)定過程

應(yīng)用雙目視覺攝像頭針對(duì)性地分析提取到的網(wǎng)球場(chǎng)網(wǎng)球的二維信息來進(jìn)行識(shí)別，在選型時(shí)要分析攝像機(jī)的內(nèi)部光學(xué)參數(shù)和各種復(fù)雜外部參數(shù)，便于雙目立體定位的網(wǎng)球位置。為了得到球場(chǎng)內(nèi)目標(biāo)物理尺寸，需要通過攝像機(jī)對(duì)其進(jìn)行測(cè)量。所以前期要應(yīng)用張正友標(biāo)定法，使用兩個(gè)攝像機(jī)拍攝多組黑白棋盤的圖片對(duì)機(jī)器人的雙目系統(tǒng)進(jìn)行標(biāo)定[3]。

2.2.3 算法處理簡(jiǎn)介

由于網(wǎng)球場(chǎng)館內(nèi)環(huán)境復(fù)雜，可能存在水霧或者粉塵，粉塵掩蓋視覺攝像頭、光照強(qiáng)度不穩(wěn)定等不確定因素會(huì)造成采集到的圖像質(zhì)量不高的情況。應(yīng)用去霧算法自動(dòng)處理圖像，可以快速得到更清晰的圖像，保證撿球機(jī)器人在粉塵較大情況下視覺系統(tǒng)正常運(yùn)行。光照強(qiáng)度過大或過小會(huì)造成圖像曝光過度或曝光不足的情況，應(yīng)用灰度變換算法可以有效改善圖像對(duì)比度大小，進(jìn)一步增強(qiáng)圖像質(zhì)量。

2.3 檢測(cè)與避障模塊

由于撿球機(jī)器人處于復(fù)雜的球場(chǎng)環(huán)境中，需要通過多層傳感器結(jié)合及時(shí)地了解自身周圍的可運(yùn)行狀況以及所受到的威脅。配置于撿球機(jī)器人的各種傳感器，時(shí)刻對(duì)避障模塊運(yùn)行中的環(huán)境參數(shù)進(jìn)行檢測(cè)，結(jié)合機(jī)器人各項(xiàng)物理參數(shù)，實(shí)現(xiàn)撿球機(jī)器人不經(jīng)過上位機(jī)操作自主避開障礙物的功能。

撿球機(jī)器人的實(shí)時(shí)檢測(cè)與避障模塊作為機(jī)器人行進(jìn)過程中的輔助功能設(shè)計(jì)能使機(jī)器人在運(yùn)動(dòng)過程中避免遇到障礙物而停止，保證網(wǎng)球自動(dòng)撿球機(jī)器人在網(wǎng)球場(chǎng)的環(huán)境下暢行。通過分析傳感器避障、超聲波避障、視覺避障三種技術(shù)優(yōu)勢(shì)和市場(chǎng)價(jià)格，選擇超聲波避障并且應(yīng)用多層次傳感器信息融合從而實(shí)現(xiàn)智能化快速運(yùn)動(dòng)[4]。

2.4 驅(qū)動(dòng)模塊設(shè)計(jì)

通過頂端中部的攝像頭采集網(wǎng)球場(chǎng)視頻圖像，通過USB數(shù)據(jù)線傳到圖像處理模塊，經(jīng)圖像處理模塊處理判斷是否有網(wǎng)球，再把判斷結(jié)果傳輸給主控MCU，如果檢測(cè)為網(wǎng)球則通過控制模塊進(jìn)行路徑優(yōu)化，根據(jù)所規(guī)劃最優(yōu)路線向網(wǎng)球地點(diǎn)行進(jìn)，在行進(jìn)過程中通過避障模塊實(shí)現(xiàn)靈活運(yùn)動(dòng)，到達(dá)網(wǎng)球地點(diǎn)時(shí)進(jìn)行撿球。

2.5 上位機(jī)模塊設(shè)計(jì)

上位機(jī)主控系統(tǒng)作為整個(gè)機(jī)器人的核心主控，除了監(jiān)測(cè)各個(gè)模塊的參數(shù)外，還承擔(dān)視覺系統(tǒng)的控制和輸出。由圖像采集系統(tǒng)輸出的數(shù)字圖像可以應(yīng)用Zigbee通信技術(shù)快速傳輸?shù)接?jì)算機(jī)端，并且通過操作計(jì)算機(jī)來執(zhí)行圖像處理功能和其他復(fù)雜操作[5]。

上位機(jī)主要完成的功能有：

（1）實(shí)現(xiàn)遠(yuǎn)程客戶端對(duì)機(jī)器人實(shí)時(shí)監(jiān)控功能。通過應(yīng)用撿球機(jī)器人的多層融合傳感器技術(shù)的反饋信息，時(shí)刻監(jiān)測(cè)網(wǎng)球場(chǎng)的環(huán)境信息及撿球機(jī)器人的性能指標(biāo)。

（2）根據(jù)撿球機(jī)器人多層傳感器的反饋信息，通過通信系統(tǒng)向撿球機(jī)器人發(fā)出控制指令，更正撿球機(jī)器人的相關(guān)參數(shù)，完成撿球機(jī)器人正常運(yùn)作。

（3）實(shí)現(xiàn)遠(yuǎn)程客戶端與撿球機(jī)器人端的交互功能，完成撿球機(jī)器人預(yù)設(shè)模式之間的轉(zhuǎn)換功能[6]。

3 具體實(shí)現(xiàn)撿球過程

通過相關(guān)設(shè)計(jì)與開發(fā)，以及機(jī)器視覺和其他相關(guān)技術(shù)的應(yīng)用，基于機(jī)器視覺技術(shù)的網(wǎng)球自動(dòng)撿球機(jī)器人便可以開發(fā)完成，以下是具體實(shí)現(xiàn)撿球測(cè)試的過程介紹：

（1）假設(shè)撿球機(jī)器人應(yīng)用視覺系統(tǒng)定位a點(diǎn)為網(wǎng)球，則撿球機(jī)器人沿著最優(yōu)路徑向它運(yùn)動(dòng)。

（2）當(dāng)靠近網(wǎng)球后，網(wǎng)球處在b位置時(shí)刻被撿球葉輪刮起，進(jìn)而傳送帶沿c位置運(yùn)送到d位置，網(wǎng)球再?gòu)膁位置自動(dòng)滾入集球箱。

（3）當(dāng)單個(gè)撿球過程完成后，撿球機(jī)器人沿著預(yù)設(shè)最優(yōu)路徑繼續(xù)運(yùn)動(dòng)至下一目標(biāo)網(wǎng)球位置，重復(fù)撿球過程。

（4）當(dāng)集球箱內(nèi)網(wǎng)球數(shù)量達(dá)到一定的預(yù)設(shè)值時(shí)，集成于集球箱內(nèi)的壓力傳感器能發(fā)出報(bào)警信息，提醒現(xiàn)場(chǎng)工作人員更換集球箱。

（5）若撿球機(jī)器人行進(jìn)至狹小角落，則通過機(jī)器視覺定位使用輔助撿球機(jī)械臂撿球。在整個(gè)撿球過程中，主控MCU通過視覺判斷球場(chǎng)網(wǎng)球數(shù)量進(jìn)而自動(dòng)控制速度，也可通過人工控制撿球機(jī)器人行進(jìn)速度。

4 結(jié)束語(yǔ)

本文把機(jī)器視覺技術(shù)應(yīng)用到網(wǎng)球自動(dòng)撿球機(jī)器人進(jìn)行實(shí)踐開發(fā)，通過系統(tǒng)的設(shè)計(jì)與開發(fā)，以及視覺相關(guān)算法的應(yīng)用實(shí)踐，并對(duì)具體撿球過程進(jìn)行了介紹。通過相關(guān)的前期實(shí)驗(yàn)和論證研究可以發(fā)現(xiàn)，本文所開發(fā)的機(jī)器人具有實(shí)現(xiàn)智能化程度高，行進(jìn)能力靈活，操作簡(jiǎn)單等特點(diǎn)。因此，把機(jī)器視覺相關(guān)技術(shù)應(yīng)用到該領(lǐng)域具有深遠(yuǎn)的研究意義和良好的市場(chǎng)應(yīng)用價(jià)值。

參考文獻(xiàn)：

[1]耿振節(jié).基于改進(jìn)蟻群算法的撿球機(jī)器人多目標(biāo)路徑規(guī)劃研究[D].蘭州理工大學(xué)，2015.

[2]陳奎，韋東，夏彬瀚，等.智能識(shí)別紅球及路徑規(guī)劃?rùn)C(jī)器人設(shè)計(jì)[J].價(jià)值工程，2016，35（6）：243-244.

[3]朱水娟.雙目系統(tǒng)攝像機(jī)自標(biāo)定技術(shù)研究[D].蘇州大學(xué)，2013.

[4]魯可，曹毅，李帥.基于多傳感器融合的機(jī)器人導(dǎo)航系統(tǒng)設(shè)計(jì)[J].科技信息，2009（18）：13-14.

[5]陳啟明.警用移動(dòng)靶控制系統(tǒng)與圖像評(píng)判系統(tǒng)設(shè)計(jì)[D].大連海事大學(xué)，2007.

[6]許東偉，劉建群，林淦.乒乓球撿球機(jī)器人的設(shè)計(jì)與實(shí)現(xiàn)[J].機(jī)床與液壓，2014，42（3）：16-19.