基于ARM的類人足球機(jī)器人視覺識別系統(tǒng)的設(shè)計(jì)

席文平，張健

（遼寧工業(yè)大學(xué)電氣工程學(xué)院，遼寧錦州121000）

基于ARM的類人足球機(jī)器人視覺識別系統(tǒng)的設(shè)計(jì)

席文平，張健

（遼寧工業(yè)大學(xué)電氣工程學(xué)院，遼寧錦州121000）

針對類人足球機(jī)器人在復(fù)雜賽場環(huán)境中對目標(biāo)色塊識別能力的不足，設(shè)計(jì)一種基于ARM的類人足球機(jī)器人視覺識別系統(tǒng)。軟硬件設(shè)計(jì)上，以搭載Linux系統(tǒng)的三星S3C6410作為主控圖像處理芯片，用飛思卡爾MC9S12XS128單片機(jī)作為舵機(jī)控制器，以羅技C270攝像頭作為視覺傳感器。分割識別算法上，采用YUV顏色空間下的閾值法與區(qū)域生長的混合分割算法對色塊信息進(jìn)行快速分割和識別。實(shí)驗(yàn)表明，該設(shè)計(jì)可準(zhǔn)確識別出較復(fù)雜環(huán)境中的目標(biāo)色塊并定位出中心坐標(biāo)。

類人足球機(jī)器人；ARM；單片機(jī)；混合分割；圖像識別

0 引言

類人足球機(jī)器人系統(tǒng)集計(jì)算機(jī)視覺、模式識別、智能控制、傳感器技術(shù)和無線通信等技術(shù)于一身，是典型的多智能體合作系統(tǒng)[1]。

類人足球機(jī)器人中的圖像分割、目標(biāo)識別、智能決策、步態(tài)規(guī)劃等技術(shù)是研究中的關(guān)鍵，其研究成果可以移植到家庭服務(wù)機(jī)器人等相關(guān)領(lǐng)域，轉(zhuǎn)變?yōu)榻?jīng)濟(jì)價(jià)值。目前，設(shè)計(jì)并訓(xùn)練類人足球機(jī)器人參與國際賽事，已經(jīng)成為模式識別和智能系統(tǒng)等研究領(lǐng)域中的熱點(diǎn)。

在整個(gè)類人足球機(jī)器人系統(tǒng)中，視覺子系統(tǒng)是機(jī)器人的眼睛，是感知和定位外界環(huán)境最重要的部分[2]。它將采集到的賽場實(shí)時(shí)圖像，依次經(jīng)過預(yù)處理、圖像分割和目標(biāo)識別等環(huán)節(jié)，最后將目標(biāo)信息準(zhǔn)確傳遞給決策系統(tǒng)做出及時(shí)響應(yīng)。在復(fù)雜的球場環(huán)境中，良好的機(jī)器人軟硬件系統(tǒng)平臺和高效的圖像處理算法是決定勝負(fù)的關(guān)鍵因素。

1 視覺子系統(tǒng)的軟硬件平臺

1.1 硬件整體設(shè)計(jì)

類人足球機(jī)器人視覺子系統(tǒng)的硬件部分主要包括圖像處理器、舵機(jī)控制器、圖像傳感器和數(shù)字舵機(jī)[3]。本文采用ARM11作圖像處理器，以16位單片機(jī)作舵機(jī)控制器，硬件設(shè)計(jì)如圖1所示。

圖1 類人足球機(jī)器人硬件設(shè)計(jì)框圖

圖像處理器選用飛凌公司的OK6410-A開發(fā)板，主控芯片為三星S3C6410，主頻最高可達(dá)667 MHz。

舵機(jī)控制器主控芯片為80 pin的MC9S12XS128單片機(jī)，引出TXD1、VCC和GND管腳，作為舵機(jī)控制接口。

舵機(jī)選用北京博創(chuàng)科技CDS5516數(shù)字舵機(jī)，扭矩為16 kgf·cm，角度分辨率為0.32°，采用Dynamixel協(xié)議，最多可串聯(lián)254個(gè)舵機(jī)。

攝像頭選用羅技C270，CMOS感光，300萬像素，拍攝速率15 f/s，分辨率640×480，使用USB2.0接口與開發(fā)板連接。

1.2 軟件環(huán)境搭建

嵌入式Linux系統(tǒng)平臺的搭建主要包括移植系統(tǒng)引導(dǎo)程序Bootloader，移植Linux系統(tǒng)內(nèi)核和移植文件系統(tǒng)[4-5]。

本設(shè)計(jì)中，Bootloader選用經(jīng)過編譯的U-boot1.1.6，嵌入式內(nèi)核選用經(jīng)過編譯的Linux 3.0.1，文件系統(tǒng)選用專為NandFlash設(shè)計(jì)的yaffs。搭建類人足球機(jī)器人軟件平臺的步驟為：

（1）安裝VMware 8.0.2虛擬機(jī)和Ubuntu 12.04操作系統(tǒng)；

（2）安裝VMware tools實(shí)現(xiàn)Ubuntu和宿主機(jī)之間共享文件；

（3）安裝arm-linux-gcc-4.3.2交叉編譯器；

（4）編譯U-boot、Linux內(nèi)核、yaffs文件系統(tǒng)，借助SD卡將編譯好的程序和映像燒寫到開發(fā)板的NandFlash中；

（5）移植OpenCV圖像處理庫。

2 圖像分割和目標(biāo)識別

2.1 顏色空間

對攝像頭采集到的圖像進(jìn)行預(yù)處理，需要選擇相應(yīng)的顏色空間。類人足球機(jī)器人比賽常用的顏色空間有RGB、YUV和HSV[6]。

YUV顏色空間中，亮度Y和色差UV相互獨(dú)立且存儲容量小，故選用YUV顏色空間。YUV和RGB是線性變換關(guān)系：

2.2 圖像分割算法

隨著比賽規(guī)則的逐步完善，類人足球機(jī)器人的比賽難度也在逐漸增大，例如取消了賽場中間的標(biāo)識柱且要求敵我雙方均采用黃色球門等[7-8]。此外，賽場上光線強(qiáng)弱的變化、球員對目標(biāo)的遮擋和賽場周圍多變的環(huán)境因素，都會造成類人足球機(jī)器人對目標(biāo)的誤判。鑒于此，本設(shè)計(jì)采用閾值法與區(qū)域生長的混合分割算法。

首先，采用最大類間方差法獲得最佳分割閾值。

假設(shè)圖像中灰度為i的像素總數(shù)為ni，灰度范圍[0，L-1]，則總像素?cái)?shù)為：

式中，pi為各灰度值出現(xiàn)的概率。

若采用像素閾值T將圖像分為兩部分，那么C0由灰度值在[0，T-1]的像素組成，C1由灰度在[T，L-1]的像素組成，則C0和C1各自出現(xiàn)的概率為：

式中，P0和P1分別為C0和C1出現(xiàn)的概率，μ0和μ1分別是區(qū)域C0和C1的平均灰度，μ為圖像平均灰度，σ2為區(qū)域C0和C1的總方差。當(dāng)σ2取最大值時(shí)，求取的T∈[0，L-1]就是最佳閾值。

其次，采用區(qū)域生長算法獲得感興趣的目標(biāo)色塊。其基本思想和實(shí)現(xiàn)步驟是：選取一組生長點(diǎn)作為種子，然后采用四鄰域或者八鄰域法將具備相似性質(zhì)的鄰近像素點(diǎn)合并，作為新的生長點(diǎn)，并重復(fù)該過程直到不能生長為止[9]。

2.3 目標(biāo)特征識別

在類人足球機(jī)器人比賽中，球門、球柱和場邊線在二維平面中進(jìn)行圖像處理的結(jié)果為長方形或者平行四邊形，足球的映射為圓形。通過這樣的先驗(yàn)知識進(jìn)行定性分析，可以有效排除相近色塊的干擾，獲取感興趣的目標(biāo)[10]。本設(shè)計(jì)對色塊的以下信息進(jìn)行描述：

（1）中心點(diǎn)：可用質(zhì)心法求取；

（2）形狀：利用邊界與中心點(diǎn)距離判定圓形區(qū)、Hough變換算法檢測長方形區(qū)。

3 實(shí)驗(yàn)與結(jié)果分析

以識別比賽用球?yàn)槔M(jìn)行實(shí)驗(yàn)。首先，離線采集足夠多包含目標(biāo)色塊的圖片，并手動分割出目標(biāo)，如圖2所示。

圖2 離線采集RGB圖并手動分割目標(biāo)

其次，將目標(biāo)色塊轉(zhuǎn)化為YUV格式，如圖3，建立分量直方圖，如圖4～6所示，觀測U分量灰度直方圖沒有明顯的峰值變化，不適合做二值化閾值分割；Y分量是亮度分量，閾值受外界光照條件影響浮動較大；故對V分量求最佳分割閾值。

圖3 球YUV圖

圖7 原圖和二值化分割圖

圖4 Y分量直方圖

圖5 U分量直方圖

圖6 V分量直方圖

最后，綜合不同光照不同角度下采集的離線樣本，確定直方圖中V分量的范圍是[0，64]，除以255轉(zhuǎn)化為double類型，即V∈[0，0.270 6]，用公式（2）～（10）計(jì)算出所有樣本的閾值分割范圍T∈[0.078 8，0.107 0]。

為驗(yàn)證該算法的分割效果，在線采集兩幅640×480像素的RGB圖像，轉(zhuǎn)為YUV格式，當(dāng)遍歷V分量像素點(diǎn)灰度值介于[0.078 8，0.107 0]之間時(shí)，將該點(diǎn)選為生長點(diǎn)，并按照四鄰域法進(jìn)行區(qū)域分割，二值化以后識別出圓形區(qū)并計(jì)算出中心點(diǎn)坐標(biāo)分別為（302，315）和（393，463），如圖7所示。

4 結(jié)論

實(shí)驗(yàn)表明，與傳統(tǒng)類人足球機(jī)器人視覺子系統(tǒng)所采用的單一圖像處理算法相比，本設(shè)計(jì)所采用的混合分割算法可以準(zhǔn)確地分割和識別出二值化以后的目標(biāo)色塊，并具備以下優(yōu)點(diǎn)：（1）最大類間方差法確定生長點(diǎn)以后，采用四鄰域算法分割圖像避免了遍歷所有像素，提高了分割速度；（2）根據(jù)特征快速識別目標(biāo)，排除相近色塊的干擾，保證了分割結(jié)果的準(zhǔn)確和完整；（3）定位出中心點(diǎn)坐標(biāo)，并將該坐標(biāo)值通過串口通信發(fā)送給舵機(jī)控制器，控制機(jī)器人頭部舵機(jī)對坐標(biāo)點(diǎn)的準(zhǔn)確實(shí)時(shí)追蹤。

[1]周冬波，鄧記才.具有顏色識別功能的類人機(jī)器人設(shè)計(jì)[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2013（4）：3-6.

[2]CHANG S H，HSIA C H.Self-Localization based on monocular vision for humanoid robot[J].Tamkang Journal of Science and Engineering，2011（14）：323-332.

[3]李海鵬.基于ARM的類人足球機(jī)器人視覺研究[D].秦皇島：燕山大學(xué)，2013.

[4]龔樹鋒，魏武.基于S3C2440的嵌入式單目視覺系統(tǒng)設(shè)計(jì)[J].信息技術(shù)，2009（10）：77-79，84.

[5]朱小遠(yuǎn)，謝龍漢.Linux嵌入式系統(tǒng)開發(fā)[M].北京：電子工業(yè)出版社，2012.

[6]陳旭娟.機(jī)器人圖像處理方法研究[J].現(xiàn)代商貿(mào)工業(yè)，2013（8）：197-198.

[7]李曉瑜，楊馬英.足球機(jī)器人視覺圖像分割算法[J].吉林大學(xué)學(xué)報(bào)（工學(xué)版），2013，43（S1）：260-264.

[8]王崢，孫增圻.基于RoboCup雙足類人機(jī)器人的顏色目標(biāo)識別算法[J].濟(jì)南大學(xué)學(xué)報(bào)（自然科學(xué)版），2007（21）：18-22.

[9]張錚，徐超，任淑霞，等.數(shù)字圖像處理與機(jī)器視覺[M].北京：人民郵電出版社，2014.

[10]胡麗花.基于視覺的類人足球機(jī)器人目標(biāo)定位算法設(shè)計(jì)[D].杭州：浙江理工大學(xué)，2011.

Design of vision recognition system of humanoid soccer robot based on ARM

Xi Wenping，Zhang Jian
（Electrical Engineering College，Liaoning University of Technology，Jinzhou 121000，China）

Aiming at the shortcomings of the target color recognition ability of the humanoid soccer robot in complex field environment，this paper designed a kind of humanoid soccer robot vision recognition system based on ARM.In terms of hardware and software design，Samsung S3C6410 with Linux is chosen as the main image processing chip，F(xiàn)reescale MC9S12XS128 microcontroller is applied as the servo controller，and Logitech C270 camera is used as the visual sensor.As for the image recognition algorithm，a mixed segmentation algorithm of the threshold combined with region growing algorithm in the YUV color space is used to segment and recognize the color information rapidly.After verification，this design can accurately identify the color swatch and locate the center coordinate in a complex environment.

humanoid soccer robot；ARM；MCU；mixed segmentation；image recognition

TP242.6+2

A

1674-7720（2015）09-0051-03

2015-01-05）

席文平（1989-），通信作者，男，在讀研究生，主要研究方向：機(jī)器視覺、圖像處理。E-mail：wenping19890524@163.com。

張健（1963-），男，教授，碩士生導(dǎo)師，主要研究方向：智能檢測技術(shù)與控制系統(tǒng)等領(lǐng)域。