基于顏色空間映射的自適應(yīng)足球機(jī)器人視覺系統(tǒng)*

段 勇，李 程，徐心和

(1．沈陽工業(yè)大學(xué)信息科學(xué)與工程學(xué)院，沈陽110870;2．東北大學(xué)信息科學(xué)與工程學(xué)院，沈陽110004)

機(jī)器人足球是一個(gè)集機(jī)器人技術(shù)、機(jī)械工程、圖像處理、模式識別、傳感器技術(shù)以及人工智能等多學(xué)科于一體的研究平臺［1－2］。基于該研究平臺，各種人工智能和機(jī)器人學(xué)等領(lǐng)域的研究成果可以得到檢驗(yàn)和比較，進(jìn)而促進(jìn)各學(xué)科的發(fā)展。足球機(jī)器人系統(tǒng)通過傳感器來采集外部環(huán)境信息，對其進(jìn)行實(shí)時(shí)的處理，然后根據(jù)所得到的結(jié)果進(jìn)行決策，最后執(zhí)行相應(yīng)的動作。由于視覺傳感器可以獲得豐富的環(huán)境信息，目前已成為移動機(jī)器人最重要的感知系統(tǒng)［3－4］。而在機(jī)器人足球比賽當(dāng)中無論是場地、球門、角柱等固定目標(biāo)，還是球，球員等可移動目標(biāo)都具有可區(qū)分的顏色特征，因此視覺系統(tǒng)成為足球機(jī)器人最重要的感知系統(tǒng)［5－7］。足球機(jī)器人視覺系統(tǒng)的主要任務(wù)是根據(jù)實(shí)時(shí)采集的圖像來檢測具有顏色特征的目標(biāo)并進(jìn)一步感知球場中各類目標(biāo)的空間信息，最后將結(jié)果提供給決策系統(tǒng)。目前，其基本做法是根據(jù)目標(biāo)的顏色特征預(yù)先在顏色空間中建立閾值多面體或顏色查找表，在用其來分割具有顏色特征的目標(biāo)。這種方法計(jì)算簡單，有較高的實(shí)時(shí)性，但其不足之處是受環(huán)境條件影響比較大。當(dāng)光照條件變化時(shí)，目標(biāo)表面顏色分別也會隨之變化。因此在一些情況下，基于固定顏色閾值的目標(biāo)檢測方法很難滿足機(jī)器人足球比賽中顏色目標(biāo)的識別要求。為了解決以上問題，一些學(xué)者采用基于目標(biāo)形狀的檢測方法來克服比賽場地受光照的影響［8－9］。然而，機(jī)器人足球比賽需要綜合考慮視覺系統(tǒng)的快速性和魯棒性，因此基于形狀的目標(biāo)分割方法很難滿足比賽實(shí)時(shí)性的要求。此外，由于比賽環(huán)境是動態(tài)變化的，往往會出現(xiàn)目標(biāo)被部分遮擋的情況，因此形狀檢測有時(shí)不能準(zhǔn)確檢測出目標(biāo)。

為了滿足機(jī)器人足球比賽對視覺系統(tǒng)的要求，提高視覺系統(tǒng)的實(shí)時(shí)性、準(zhǔn)確性和魯棒性，本文研究一種新的基于動態(tài)顏色閾值的目標(biāo)檢測方法。該算法首先將機(jī)器人視覺系統(tǒng)所采集圖像的YCbCr三維顏色空間變換到一維空間(稱其為顏色映射空間)，然后在一維顏色映射空間采用動態(tài)閾值方法來分割目標(biāo)。由于算法是基于一維閾值的分割方法，因此具有較高的實(shí)時(shí)性。同時(shí)，分割閾值可以根據(jù)待處理的圖像自適應(yīng)地確定，而不需要現(xiàn)場進(jìn)行顏色的采集，因此可以較好地克服光照條件對目標(biāo)顏色的影響。本文主要研究在移動機(jī)器人視覺導(dǎo)航和中型組足球機(jī)器人中常用的前向視覺系統(tǒng)，研究的目標(biāo)檢測方法也可以直接用于全景視覺系統(tǒng)，因此能夠在機(jī)器人足球比賽中得到廣泛的應(yīng)用。

1 自主足球機(jī)器人視覺系統(tǒng)結(jié)構(gòu)

足球機(jī)器人比賽是一項(xiàng)高速度的對抗比賽，對整個(gè)系統(tǒng)的實(shí)時(shí)性要求較高，因此我們設(shè)計(jì)一種分布式的結(jié)構(gòu)體系，采用PC104嵌入式系統(tǒng)作為機(jī)器人的主處理器，采用專門的DSP圖像處理系統(tǒng)作為機(jī)器人的視覺系統(tǒng)。其中圖像采集和底層處理由DSP圖像處理系統(tǒng)完成，然后DSP系統(tǒng)通過串口將處理結(jié)果發(fā)送給嵌入式計(jì)算機(jī)系統(tǒng)，嵌入式系統(tǒng)做進(jìn)一步處理得到目標(biāo)的空間位置信息以及機(jī)器人自定位信息，并通過Socket方式和總控決策系統(tǒng)交換信息。由于圖像的數(shù)字化轉(zhuǎn)換、存儲、分析和處理等功能都由DSP系統(tǒng)完成，只向主機(jī)傳送少量處理結(jié)果數(shù)據(jù)，這就大大減輕了主機(jī)的負(fù)擔(dān)，可以提高整個(gè)系統(tǒng)的實(shí)時(shí)處理速度。

本文所使用的自行開發(fā)研制的自主足球機(jī)器人采用嵌入式系統(tǒng)作為機(jī)器人的核心處理器，選擇研華PCM－3370作為硬件平臺，它符合PC104嵌入式總線結(jié)構(gòu)，同時(shí)具有開放型、模塊化、高可靠性等優(yōu)點(diǎn)。在軟件方面，采用微軟Windows CE．NET。由C6711DSP主處理板、IDK背板、Unican HV－2616彩色單目CCD攝像機(jī)構(gòu)成視覺硬件系統(tǒng)，DSP主板通過串口與嵌入式系統(tǒng)主板相連接進(jìn)行數(shù)據(jù)傳遞。

2 自適應(yīng)閾值圖像分割

基于顏色的圖像分割涉及顏色空間模型的選擇問題，常見的顏色空間模型有:RGB，HIS，YUV(YCbCr)，CMYK 等［10－11］。由于 YCbCr顏色模型符合CCIR601推薦彩色空間標(biāo)準(zhǔn)，易于實(shí)現(xiàn)壓縮，方便傳輸和處理，目前已被廣泛應(yīng)用到計(jì)算機(jī)視頻和圖像處理之中。YCbCr中Y描述亮度信息，CbCr表示色差，這使得象素特征對Y不是很敏感，而CbCr空間幾乎包括了所有顏色信息，因此YCbCr顏色模型非常適合于基于顏色的圖像分割［10，12］。足球機(jī)器人的比賽中包含的幾種典型目標(biāo)顏色，其中球?yàn)殚偌t色，角柱和球門為黃色或藍(lán)色，場地為綠色，這些顏色是機(jī)器人視覺系統(tǒng)進(jìn)行目標(biāo)檢測的特征。相對于RGB等顏色模型來說，YCbCr顏色模型的各分量的顏色空間中是連續(xù)的。通過實(shí)驗(yàn)分析這幾種顏色在YCbCr顏色空間種具有較好的聚類性質(zhì)，也就是說對于YCbCr格式的圖像通過選擇合適的閾值可以將不同顏色的目標(biāo)較好地分割出來。

2．1 顏色空間變換

由于受到光線變化等因素的影響，固定的顏色閾值很難完成分割任務(wù)，為了能夠更好地分割目標(biāo)，我們使用動態(tài)閾值分割方法。由于足球機(jī)器人比賽對圖像處理算法的實(shí)時(shí)性要求較高，因此這里不使用YCbCr的多維直方圖來選擇閾值多面體，而是將原始圖像中象素的YCbCr轉(zhuǎn)換成一維顏色映射空間中新的亮度值，然后根據(jù)顏色映射空間亮度值的一維直方圖來自適應(yīng)地選擇閾值。這樣做的好處是一方面可以提高算法的快速性，以滿足比賽的要求;另一方面映射的一維亮度直方圖能呈現(xiàn)較為明顯的波峰、波谷特征，易于使用閾值的方法來分割目標(biāo)。設(shè) A={(Y，Cb，Cr)|Y，Cb，Cr∈［0，255］}為原始輸入圖像象素的顏色矢量集合，vj=(Yj，Cbj，Crj)T，j=1，2，…，M表示集合中某一象素的顏色矢量，則顏色空間映射可以表示為:pj=f(vj)，其中pj為顏色映射空間中對應(yīng)的亮度值，f(·)為空間映射函數(shù)。

設(shè)空間映射函數(shù)如下所示:

使用顏色映射空間自適應(yīng)閾值分割的優(yōu)勢在于分割顏色目標(biāo)時(shí)，可以確定哪個(gè)波峰是需要分割的顏色目標(biāo)。而直接確定原始圖像的閾值方法，沒有辦法確定哪個(gè)波峰是需要分割的顏色目標(biāo)。

至此，可以得到每一個(gè)目標(biāo)顏色的距離中心矢量Ci，然后根據(jù)式(1)可以進(jìn)一步獲得視覺系統(tǒng)采集的每一幀圖像一維顏色映射亮度圖像。圖1和圖2分別表示原始彩色圖像和它的一維顏色映射圖像，圖2中橘紅色的球?yàn)橐指畹念伾繕?biāo)，可見映射圖像能夠較好地突出了顏色目標(biāo)。

圖1 原始圖像

圖2 一維顏色映射圖像

2．2 基于小波變換的直方圖預(yù)處理

在對一維顏色映射圖像進(jìn)行動態(tài)閾值分割之前，需要對它的直方圖作一些相應(yīng)的處理，其目的是更容易找到動態(tài)閾值，同時(shí)加快閾值搜索的速度。該操作包括兩個(gè)方面:一是使直方圖曲線變得更為平滑，這樣做可以避免曲線中出現(xiàn)過多的局部波峰和波谷，這顯然更利于找到全局的最優(yōu)閾值;另一方面減少直方圖的亮度維數(shù)，這相當(dāng)于減小閾值的搜索空間，可以提高計(jì)算動態(tài)閾值的速度和視覺處理的實(shí)時(shí)性。

如果將圖像的亮度看作自變量，則圖像的直方圖可以看作是亮度的函數(shù)，它可以用一維曲線來表示。因此我們使用一維小波變換技術(shù)來處理圖像的直方圖數(shù)據(jù)，它可以同時(shí)滿足平滑曲線和降低搜索維數(shù)的要求。此外，小波變換的計(jì)算過程可以看作是加權(quán)求和的過程，當(dāng)小波基函數(shù)緊支集時(shí)，它有很快的運(yùn)算速度。因此不會給視覺處理帶來額外的計(jì)算負(fù)擔(dān)。信號函數(shù)被小波變換后分別得到低頻系數(shù)和高頻系數(shù)，低頻系數(shù)為原信號的近似部分，高頻系統(tǒng)為細(xì)節(jié)部分。低頻系數(shù)和高頻系數(shù)的數(shù)量各為原信號的一半，兩者的數(shù)量和與原始維數(shù)相同。因此對直方圖曲線進(jìn)行小波變換，其低頻部分為原直方圖的平滑逼近。將它作為新的直方圖可以去除過多的微小波動，并可以降低一半的維數(shù)。進(jìn)一步對原直方圖進(jìn)行多級小波變換，它的各級低頻系數(shù)可以表示不同平滑程度的近似。圖3顯示了圖2的原始直方圖和各級小波變換直方圖，可見直方圖被逐級平滑，同時(shí)圖像亮度維數(shù)也成倍減少。小波變換級數(shù)低時(shí)，數(shù)據(jù)量大，處理數(shù)據(jù)較慢;小波變換級數(shù)高時(shí)，數(shù)據(jù)量少，但高頻細(xì)節(jié)損失過多，可能影響特征的檢測。因此在兩者之間進(jìn)行折中考慮，我們選擇對原始直方圖數(shù)據(jù)進(jìn)行2級小波變換。

圖3 顏色映射空間亮度及其小波變換直方圖

2．3 自適應(yīng)閾值分割

直方圖中的谷底可以作為圖像分割閾值［13］。通常直方圖含有多個(gè)波峰和波谷，通過前面的分析可知一維顏色映射圖像直方圖最左邊第一個(gè)波峰后的谷底就是所要找的閾值。下面討論動態(tài)閾值的搜索方法。首先定義波谷檢測算子如下［14］:

其中，j=0，…，N－1，H(·)為直方圖曲線函數(shù)，sL(i)為波谷檢測核函數(shù)，其定義為:

其中L為檢測核維數(shù)，k和λ為可調(diào)參數(shù)。所要檢測的波谷為檢測算子r(·)梯度下降方向的過零點(diǎn)，如圖4所示。圖中實(shí)線為圖3(c)中的二級小波變換直方圖曲線，圖中虛線表示檢測算子r(·)曲線，其中的圓點(diǎn)標(biāo)識了檢測到的谷底。但這個(gè)波谷值并不是最終的顏色分割閾值，因?yàn)樵擖c(diǎn)對應(yīng)的二級小波變換直方圖的亮度值，需要將其還原到原始圖像的亮度值。由于每次小波變換后亮度維數(shù)是原來的一半，所以將檢測到的二級小波變換直方圖的波谷值乘2即可得到原始圖像的閾值。圖5為使用動態(tài)閾值對圖2的一維顏色映射圖像的目標(biāo)分割結(jié)果，可見動態(tài)閾值可以較好地分割出目標(biāo)。

圖4 直方圖閾值檢測

圖5 動態(tài)閾值目標(biāo)分割結(jié)果

綜上所述，機(jī)器人視覺系統(tǒng)的動態(tài)閾值方法描述如下:①首先搜集不同光照條件下的目標(biāo)顏色采樣，然后根據(jù)式(2)得到目標(biāo)顏色的聚類中心。這個(gè)過程離線進(jìn)行，在足球機(jī)器人比賽或其他應(yīng)用場合中，直接利用目標(biāo)顏色的聚類中心，而不需要再作現(xiàn)場的準(zhǔn)備工作。②在機(jī)器人視覺系統(tǒng)工作時(shí)，將視覺系統(tǒng)采集的YCbCr格式的圖像數(shù)據(jù)轉(zhuǎn)換為一維顏色映射圖像。③對一維顏色映射圖像的直方圖曲線進(jìn)行小波變換得到平滑的直方圖。④通過研究的閾值檢測方法，動態(tài)地確定目標(biāo)顏色分割的閾值，并將它從小波變換直方圖還原到原始映射圖像直方圖，從而得到最終的動態(tài)閾值。⑤根據(jù)該閾值在映射圖像中搜索目標(biāo)，并得到目標(biāo)質(zhì)心等相關(guān)信息。

3 實(shí)驗(yàn)結(jié)果分析

根據(jù)以上研究的自適應(yīng)視覺處理方法進(jìn)行實(shí)驗(yàn)分析，實(shí)驗(yàn)使用自行開發(fā)的嵌入式智能移動機(jī)器人，實(shí)驗(yàn)環(huán)境為室內(nèi)機(jī)器人足球比賽場地，實(shí)驗(yàn)內(nèi)容是讓機(jī)器人跟蹤移動的橘紅色足球目標(biāo)，實(shí)驗(yàn)在不同光照條件下進(jìn)行。在實(shí)驗(yàn)中機(jī)器人視覺系統(tǒng)根據(jù)之前獲取的橘紅色球目標(biāo)顏色聚類中心，將原始圖像轉(zhuǎn)換為一維顏色映射圖像，然后動態(tài)搜索閾值，最后通過閾值分割球目標(biāo)并得到目標(biāo)的質(zhì)心坐標(biāo)。實(shí)驗(yàn)中如果在當(dāng)前采集的圖像中沒有檢測到目標(biāo)，可以通過轉(zhuǎn)到攝像機(jī)的云臺或自身旋轉(zhuǎn)來搜索目標(biāo)。圖6顯示了機(jī)器人對球目標(biāo)的跟蹤，說明機(jī)器人能夠檢測的目標(biāo)并對其進(jìn)行定位跟蹤。

圖6 移動機(jī)器人跟蹤球

為了測試算法的有效性，分別選擇不同光照條件下含球目標(biāo)的測試圖像，其中訓(xùn)練集內(nèi)圖像200幅，此外選擇訓(xùn)練集外圖像100，以研究算法的適應(yīng)性和魯棒性。使用本文的自適應(yīng)閾值分割方法分割球目標(biāo)，并計(jì)算分割目標(biāo)的質(zhì)心位置。然后分別手工選擇球的精確質(zhì)心位置，從而得到兩者質(zhì)心位置的像素距離誤差，實(shí)驗(yàn)結(jié)果如表1所示。

表1 測試結(jié)果及誤差

此外，基于以上視覺處理方法，對比賽中常見球門和角柱目標(biāo)進(jìn)行分割實(shí)驗(yàn)，由于這兩種目標(biāo)在環(huán)境中位置固定，且具有一定高度，因此識別難度比球目標(biāo)較低。實(shí)驗(yàn)中同樣選擇200組訓(xùn)練圖像和100組測試圖像，分別得到對角柱的分割中心平均誤差為4．3和6．8個(gè)像素，對球門分割中心平均誤差為3．8和6．4個(gè)像素。可見研究方法對比賽環(huán)境中其他顏色的目標(biāo)均有較好的分割結(jié)果。由于機(jī)器人和顏色目標(biāo)都具有較大的尺寸，而且在實(shí)際的足球機(jī)器人比賽中對目標(biāo)的位置精度并不要求十分精確，因此視覺處理結(jié)果可以滿足比賽對精度的要求。足球機(jī)器人的控制周期為40 ms，嵌入式分布視覺系統(tǒng)可在控制周期內(nèi)完成所有視覺處理，因此可以滿足系統(tǒng)對實(shí)時(shí)性的要求。

4 結(jié)論

視覺系統(tǒng)是足球機(jī)器人最主要的感知系統(tǒng)，因此視覺系統(tǒng)的信息處理能力是決定自主機(jī)器人智能程度的關(guān)鍵。本文采用分布式多處理器體系結(jié)構(gòu)，使整個(gè)系統(tǒng)更具開放性和實(shí)時(shí)性。在此基礎(chǔ)上提出了基于動態(tài)閾值的自適應(yīng)目標(biāo)分割算法，該算法對由于光照條件改變引起的顏色變化不敏感，因此不需要在比賽時(shí)現(xiàn)場采集目標(biāo)顏色。最后通過實(shí)驗(yàn)證明視覺系統(tǒng)具有較高的實(shí)時(shí)性、準(zhǔn)確性、穩(wěn)定性和可靠性，可以適應(yīng)機(jī)器人足球比賽要求。

［1］ Zabawi N H B，Omar K．Robot Soccer Vision:An Overview for New Learner［C］//Proc．of the 2011 International Conference on Pattern Analysis and Intelligent Robotics，2011，125－130．

［2］ Yong Duan，Qiang Liu，Xinhe Xu．Application of Reinforcement Learning in Robot Soccer［J］．Engineering Applications of Artificial Intelligence，2007，20(7):936－950．

［3］ 李雁斌，曹作良，劉常杰，等．基于粒子濾波的全方位視覺傳感器實(shí)現(xiàn)移動機(jī)器人導(dǎo)航［J］．傳感技術(shù)學(xué)報(bào)，2009，22(5):745－750．

［4］ 李林輝，趙一兵，張明恒，等．一種用于智能車環(huán)境探測的立體視覺傳感器［J］．傳感技術(shù)學(xué)報(bào)，2009，22(9):1247－1251．

［5］ Jonker P，Caarls J，Bokhove W．Fast and Accurate Robot Vision for Vision Based Motion［J］．Lecture Notes in Computer Science，2001，2019:149－158．

［6］ Jamzad M，Sadjad B S，Mirrokni V S，et al．A Fast Vision System for Middle Size Robots in RoboCup［J］．Lecture Notes in Computer Science，2002，2377:71－80．

［7］ Murilo F M，F(xiàn)lavio Tonidandel，Reinaldo A C．A Fast Model-based Vision System for A Robot Soccer Team［J］．Lecture Notes in Computer Science，2006，4293:704－714．

［8］ Coath G，Musumeci P．Adaptive Arc Fitting for Ball Detection in RoboCup［C］//Proc．of APRS Workshop on Digital Image Analysing，2003，63－68．

［9］ Claudia Gonner，Martin Rous，Karl-Friedrich Kraiss．Real-Time A-daptive Colour Segmentation for the RoboCup Middle Size League［J］．Lecture Notes in Artificial Intelligence，2004，3276:402－409．

［10］ Cheng H D，Jiang X H，Sun Y，et al．Color Image Segmentation:Advances and Prospects［J］．Pattern Recognition，2001，34(12):2259－2281．

［11］ Rafael C G，Richard E W，Steven L E．?dāng)?shù)字圖像處理(Matlab版)［M］．北京:電子工業(yè)出版社，2008．

［12］崔寶俠，喬繼斌．基于Cr，Cb色彩空間的森林火焰圖像分割方法［J］．沈陽工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版)，2009，31(1):89－92．

［13］崔寶俠，王宏，段勇．基于改進(jìn)的二維Otsu法及PSO的火災(zāi)圖像分割［J］．沈陽工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版)，2010，32(1):75－78．

［14］ Amoroso C，Ardizzone E，Morreale V，et al．A New Technique for Color Image Segmentation［C］//The IEEE International Conference on Image Analysis and Processing，1999，352－357．