一種魯棒的基于全景視覺的足球機器人目標識別方法

戚瑋瑋,欒 新,宋大雷,張 玲,于方杰

(中國海洋大學1.信息科學與工程學院;2.工程學院,山東青島266100)

一種魯棒的基于全景視覺的足球機器人目標識別方法

戚瑋瑋1,欒 新1,宋大雷2,張 玲2,于方杰1

(中國海洋大學1.信息科學與工程學院;2.工程學院,山東青島266100)

由于光照的變化和全景視覺的畸變,全自主足球機器人對目標識別不穩定且有效性差,為此提出了1種基于Gabor濾波器和支持向量機(SVM)的全自主足球機器人目標識別方法。首先根據顏色特征和面積、長寬比等簡單形狀特征提取候選目標,候選目標中包含實際的目標和與目標顏色相近且通過上述簡單形狀特征判斷仍無法消除的干擾。將候選目標與Gabor濾波器作卷積來提取特征向量,將特征向量輸入SVM進行分類,識別出實際的目標。在機器人MT-R的足球目標識別中對該方法進行了實驗,實驗表明該種方法具有較好的識別精度,且滿足足球機器人的實時性要求。

足球機器人;目標識別;Gabor濾波器;支持向量機

足球機器人是目前機器人研究領域的1個熱點課題。機器人足球比賽是1個具有標志性和挑戰性的課題,它試圖利用1個將各種理論、算法和Agent體系結構集成在一起的任務來促進機器人學和人工智能的研究發展。RoboCup(Robot World Cup)中型組機器人足球比賽環境是1個高度顏色編碼化的環境,目標都有特定的顏色,機器人通過對全景圖像進行彩色圖像分割來識別目標[1-3]。常用的彩色圖像分割方法有閾值法、基于區域的方法、基于邊緣的方法、聚類方法、神經網絡的方法[4]以及各種方法的組合等。但足球機器人比賽的實時性要求限制了復雜的彩色圖像分割方法的使用。足球機器人比賽中大多采用基于顏色閾值和基于區域的方法[5-7],采用顏色查找表,通過對像素的分類和區域連通實現圖像的分割。然而由于光照的影響及環境中其他標識物顏色的干擾,使得機器人在上述彩色圖像分割中容易把與目標顏色相近的物體識別為目標,還需要利用面積、周長、質心、外接矩形等簡單形狀信息對色塊進行選擇。但是,由于光照強度和方向變化的原因,圖像中只能分割出部分目標區域,目標形狀不完整;并且全景視覺系統的圖像存在畸變,使得在識別目標的過程中沒有通用且性能良好的基于輪廓或基于形狀的算法,憑借形狀信息仍然無法識別目標。因此,本文提出了1種基于Gabor濾波器和SVM的全自主足球機器人目標識別方法。首先根據顏色特征和面積、長寬比等簡單形狀特征提取候選目標,然后將候選目標與Gabor濾波器作卷積來提取特征向量,將特征向量輸入SVM進行分類,識別出實際的目標。實驗證明,該方法具有較好的識別的精度。

圖1 足球機器人目標識別原理Fig.1 Framework of target recognition for the soccer robot

1 識別原理

中型組足球機器人比賽環境是1個高度顏色編碼化的環境,目標都有特定的顏色,全自主足球機器人通過彩色圖像分割結合形狀特征來識別目標。對于因光照變化和全景攝像機的畸變導致通過顏色和簡單形狀信息仍然無法識別出目標的情況,將進一步通過Gabor濾波器提取特征,利用SVM分類器實現目標的識別。其原理框圖見圖1,候選目標提取采用三維顏色閾值方法對像素進行分類,并利用基于游程編碼的快速區域連通算法得到色塊區域,該方法保證了目標提取的快速性。對提取的色塊區域根據面積和長寬比閾值判斷,濾除部分干擾區域,將仍無法濾除的干擾和實際目標作為候選目標。機器學習時,采用離線的交互式顏色學習軟件,通過正樣本(包含目標的圖像)提取顏色閾值和形狀參數,通過正樣本和負樣本(包含干擾的圖像)進行SVM的訓練。實時目標識別時,將候選目標通過Gabor濾波器卷積提取特征向量,輸入訓練好的SVM分類器,識別出結果。

2 候選目標提取

在實時識別目標之前,機器人需要在離線的交互式顏色學習軟件中進行顏色學習。由于全自主比賽的場地比較大,光照強度和視角方向會隨著機器人場地位置的不同而發生變化,這對目標識別的穩定性影響很大。因此,采用了光照變化不敏感的YUV顏色空間;并讓機器人在不同的光照條件、不同的視角方向下對目標顏色進行多次的學習。顏色學習的輸出是目標的YUV顏色閾值集合,顏色閾值為(Ymin,Ymax),(Umin, Umax),(Vmin,Vmax)。根據YUV閾值集合對每個像素進行分類。如果采用比較的方法分類,機器人學習了N種顏色,至少要比較6×N次,這將占用大量的計算時間。采用參用3次“位與”[3]運算代替6×N次比較,節省了數據量和計算時間。將不屬于目標顏色的像素置0,使目標同背景分離。具有相同顏色的鄰接像素是屬于同一個區域的,因此需要對上一步像素分類的結果進行連通區域標記。為了提高提取候選目標的速度,采用快速游程連通性分析算法。首先對目標像素進行游程長度編碼,掃描一遍圖像,把每一行內具有相同類標號的像素生成1個游程。再次掃描一遍圖像,完成行間快速游程連通性分析和區域合并。該過程僅需對圖像掃描2遍,把行間像素的處理變為對游程的處理,有效地減少了運算量,提高了圖像的處理速度。

本算法的輸出是將識別的各種顏色的所有區域按照面積從大到小進行排列的鏈表,符合經驗面積和長寬比閾值的認為是目標,大于或小于一定面積和長寬比的區域可以當作噪聲處理,提高了識別的魯棒性。將通過面積和長寬比仍然不能區分的區域作為候選目標,進行下一步的Gabor特征提取。

3 Gabor特征提取

Gabor濾波器[8-9]可以看作1個高斯函數經過復指數調制得到,是通過尺度伸縮和角度的旋轉生成的一組復函數系。Gabor濾波器表現出理想的空間局部性和方向選擇性,而且Gabor基本函數具有與人類視覺基元相似的性質,已被廣泛應用于語音識別、圖像壓縮、紋理分析、圖像的分割和識別等方面[10-12]。二維Gabor濾波器基函數的一般形式是:

其中(x,y)是空間域象素位置坐標,ω是徑向中心頻率(尺度),θ是Gabor濾波器的方向,σ是Gaussian函數沿x軸和y軸的均方差。方差σ與頻率ω的關系可以表示為是倍頻程的帶寬[11],一般取1～1.5,在本文中取1。σ和ω反映了Gabor濾波器的多尺度特性。θ反映了Gabor濾波器的方向特性,通過設置這些參數就可以得到一組不同方向、不同尺度的濾波器組。

若ω選取m個值,即m個尺度,θ選取n個值,即n個方向則可以得到由m×n個濾波器組成的濾波器組。將圖像F(x,y)與該濾波器組進行卷積:

其中GR和GI分別為G(x,y)的實部和虛部,則一幅N×N的圖像F(x,y)與Gabor濾波器卷積后將得到m×n幅圖像Q(x,y)。對這m×n幅圖的特征進一步提取,計算其均值和方差,構成一個2mn維的特征向量,作為圖像的全局特征信息。

則可以得到候選目標的特征向量:

圖2是原圖像與ω=0.15π,0.3π,0.45π,θ=0.5π的Gabor濾波器組的卷積結果,當ω取值較小時獲得的是圖像的細節信息,當ω=π取值大時獲得的是全局信息,可以獲得不同尺度的全局信息。圖3是ω,不同θ角度方向的Gabor濾波器進行卷積后的結果,可以獲得不同方向上的圖像信息。

圖2 不同角頻率的Gabor濾波器卷積結果圖(θ=0.5π)Fig.2 Results of image convoluted with the Gabor filter with different angular frequency(θ=0.5π)

圖3 不同角度的Gabor濾波器卷積結果圖(ω=π)Fig.3 Results of image convoluted with the Gabor filter with different angle(ω=π)

4 基于SVM的目標識別

4.1 SVM原理

SVM[13-15]是基于統計學習理論框架下的一種通用機器學習方法,它集成了學習理論、核方法、泛化性理論及最優化方法等多項成果,不僅較好地克服了困擾很多學習算法的小樣本、過學習、高維數及局部極小等問題,且具有較強的泛化能力,能較好地解決小樣本兩類分類問題。

考慮1個2類訓練樣本集的分類問題,假定原始特征空間中的訓練數據

{(x1,y1),…,(xl,yl)},x∈Rn,y∈{-1,1},可被超平面+b=0,b∈R線性分為2類,超平面必定滿足yi(+b)≥1,i=1,2,…,l,<＊,＊>表示矢量內積。SVM所求的最優超平面要使得分類間隔最大,這等價于求解二次規劃問題:

引入Lagrange算子α,i≥0,可得到上述問題的唯一解, a＊=[α＊,,]T,滿足:

當原始特征空間中的訓練數據線性不可分時,引入松弛變量ξi(≥0)和懲罰因子C(≥0):

折衷考慮最少錯分樣本和最大分類間隔,得到廣義最優超平面。其中,懲罰參數C作為綜合這2個目標的權重。求解廣義最優超平面的對偶問題與線性可分情況幾乎完全相同,只是約束條件變為0≤αi≤C,最優決策函數的形式與式(7)一樣。

對于一般非線性問題,則可通過定義適當的核函數實現非線性變換,將輸入空間映射到1個高維特征空間,然后在特征空間求解最優線性分類面。引入核函數后,以上的內積可用核函數代替。此時,SVM的決策函數為:

不同的內積核函數導致不同的SVM算法,目前采用的內積核函數主要有線性核函數K(x,xi)=(x·xi)、多項式核函數K(x,xi)=(s(x·xi)+c)d、徑向基核函數K(x,xi)=exp(-γ‖x-xi‖2)和Sigmoid核函數K (x,xi)=tanh(s(x·xi)+c),其中s、c、d和γ為核函數的參數。

4.2 目標識別

把通過顏色和簡單形狀特征提取的候選目標圖像與Gabor濾波器進行卷積,提取特征向量,將特征向量輸入分類性能優良的SVM分類器,對候選目標進行分類,實現目標的識別。方法的實現過程為:

(1)在交互式顏色學習軟件中,利用顏色和面積長寬比簡單形狀信息進行初步識別,截取無法通過顏色和簡單形狀信息識別的目標圖像和干擾圖像作為候選目標圖像。定義目標圖像為SVM訓練的正類樣本,干擾圖像為負類樣本。

(2)將提取的候選目標圖像與Gabor濾波器做卷積,提取樣本的特征向量,并標記好樣本的類別。

(3)將標記好的樣本對SVM進行訓練,利用實驗測試和交叉驗證確定最優SVM模型及模型參數,得到最優分割決策函數。用決策函數對樣本分類,根據分類正確率,確定Gabor濾波器的參數。

(4)機器人進行實時目標識別時,首先根據顏色和簡單形狀特征提取候選目標圖像,然后利用設計好的Gabor濾波器和已訓練好的SVM分割決策函數對候選目標圖像進行處理,由決策函數的輸出值確定候選目標所屬類別,正類標記為1,負類標記為-1,從而濾除干擾,識別出目標。

(5)計算出目標區域的質心,獲得目標的像素位置,識別出目標,進行下一步的目標定位。

5 實驗結果

5.1 樣本數據的采集

實驗平臺是RoboCup中型組MT-R型自主足球機器人。攝像機采用安防監控彩色攝像機Watec WAT-250D,輸出NTSC制式的視頻信號,通過組合雙曲面反射鏡,構成全景視覺系統。視頻采集卡為Osprey-200,圖像采集頻率30幀/s,分辨率為640×480。機器人的中央處理器是Intel Pentium(R)4 CPU 3.00 Hz,操作系統是Windows XP。

在交互式顏色學習軟件中選擇顏色閾值和面積、長寬比形狀閾值,對圖像進行預識別,將仍然無法識別的目標和干擾物體在原圖像中截取出來作為候選目標樣本。球在全景圖像中的面積比較小,截取32×32大小的圖像即可滿足要求。采用上述方法,采集足球與干擾物體在不同光照下、不同位置的全景圖片800幅,截取出目標和干擾圖像各600幅,目標圖像作為正樣本,干擾圖像作為負樣本。按照2∶1的比例劃分為訓練樣本和測試樣本。圖4給出了在全景圖像中選擇樣本示意圖。

圖4 樣本選擇Fig.4 Sample selecting

5.2 SVM及Gabor濾波器的參數確定

SVM類型的選擇和核函數的選擇非常重要,它設計的好壞直接影響到分類效果。樣本線性不可分,因此采用線性不可分SVM,即C-SVM訓練,選取不同核函數的分類測試結果見表1。表1數據表明,采用徑向基核函數取得分類正確率效果最好,Sigmoid函數對負樣本的分類正確率比較高,但對正樣本分類正確率較低,線性核函數和多項式核函數的分類正確率相對徑向基核函數都比較低。因此,本文在利用SVM進行相近目標識別中將選擇高斯徑向基函數作為核函數。采用網格搜索和n折交叉驗證的方法來找到最優的C和γ。采用10折交叉驗證,網格搜索按指數級進行。通過訓練集的訓練得到,C=236,γ=0.023。

表1 不同的核函數的SVM分類比較結果Table 1 Result comparison of SVM with different kernel function/%

Gabor濾波器,需確定其頻率參數ω和旋轉角度θ。參數確定的方法一般采取試驗方法和參數優化設計的方法,盡管目前Gabor濾波器組的優化算法具有良好的性能,但是仍然存在很多不足。因此,現在的主流方法是基于一定的約束條件,通過實驗進行Gabor濾波器的參數選擇。本文通過試驗的方法,利用徑向基核函數SVM來進行分類,根據識別的正確率來確定參數,取,共8個濾波器。

5.3 識別結果

為比較C-SVM分類器的有效性,分別選用最小距離分類器、BP神經網絡(采用2層結構)來對樣本進行分類檢驗。3種分類方法的分類結果見表2。從實驗測試結果中可以看出,最小距離分類器識別率最低。由于SVM對小樣本問題具有較好的學習與泛化能力,與BP神經網絡相比具有較高的識別正確率。比較SVM對正負樣本的識別正確率,可以看出SVM對負樣本的檢測率相對較低,但也達到88.5%。

為更好地驗證SVM分類器的魯棒性與實用性,采用在線識別方式對足球目標進行識別。機器人的采樣頻率是20幀/s。首先,固定機器人和球的位置,則球的位置坐標已知,變換光照,統計機器人視覺系統識別的目標的位置;保持光照不變,固定球在機器人的正前方的位置,讓機器人以0.02 m/s的速度,沿直線向足球運動,保持球的橫坐標不變,統計機器人視覺系統識別的目標的位置,統計識別正確率。識別結果圖如圖5所示,圖5(a)是只依靠顏色特征,識別出了3個顏色相似的目標,分別為足球,顏色相近的箱子和鉗子,圖中紅色方框標出。圖5(b)通過簡單形狀特征濾除了箱子,但鉗子和球仍然無法區分開,圖5(c)通過提取Gabor特征利用SVM分類識別濾除了鉗子,識別出了目標。

表2 不同分類方法的分類比較結果Table 2 Result comparison of different classification methods/%

圖5 實時識別結果圖Fig.5 Real-time recognition results

表3比較了基于目標的顏色特征、顏色+簡單形狀特征和顏色+簡單形狀特征+Gabor特征3種識別方法的識別正確率和處理速度。只基于顏色特征的處理速度最快可以達到30幀/s,但識別率很低,從圖5(a)中也可以看出,不容易識別出顏色相近的目標。基于顏色+簡單形狀特征能夠濾除一部分與目標顏色相近的目標,識別率大大提高,速度也能滿足機器人比賽的實時性要求,但仍存在把干擾識別成目標的情況。基于顏色+簡單形狀+Gabor特征,利用SVM分類的方法識別率達到92.5%,識別效果最好,但處理速度最慢,為20幀/s,但仍然能滿足機器人比賽的實時性要求。實際比賽時,場地環境相對實驗室環境更簡單,通過顏色+簡單形狀已經能夠去除大多數干擾目標,提取的候選目標個數較少,速度會更快。

表3 不同特征的實時識別結果和處理速度比較Table 3 Recognition result and processing time comparison of different features

6 結語

本文提出1種魯棒的基于全景視覺的足球機器人目標識別方法。首先通過顏色和簡單形狀特征提取出候選目標圖像。將候選目標圖像與Gabor濾波器作卷積來提取子圖像的特征,把得到特征向量輸入SVM中分類,從而識別出實際的目標。實驗表明,該種方法穩定有效,且滿足機器人足球的實時性要求。

[1] Neves A J R,Corrente G,Pinho A J.An omnidirectional visionsystem for soccer robots[C].//Proceedings of the EPIA 2007. Lecture Notes in Artificial Intelligence(vol.4874).Berlin,Germany:Springer-Verlag,2007,499-507.

[2] Sridharan Mohan,Stone Peter.Color learning and illumination variance on mobile robots:a survey[J].Robotics and Autono-mous System,2009,75(1):1-38.

[3] Bruce J,Balch T,Veloso M.Fast and inexpensive color image segmentation for interactive robots[C].//Proceedings of International Conference on Intelligent Robot and Systems.Piscataway, NJ,USA:IEEE,2000,2061-2066.

[4] Cheng H D,Jiang X H,Sun Y,et al.Color Image segmentation: advances and prospects[J].Pattern Recognition,2001,34:2259-2281.

[5] 盧惠民,王祥科,劉斐,等.基于全向視覺和前向視覺的足球機器人目標識別[J].中國圖象圖形學報,2006,11(11):1686-1689.

[6] 楊鵬,高晶,劉作軍,等.基于全景與前向視覺的足球機器人定位方法研究[J].控制與決策,2008,23(1):75-78.

[7] Luan X,Qi W W,Song D L,et al.Illumination invariant color model for object recognition in robot soccer[C].//Advances inSwarm Intelligence.Lecture Notes in Computer Science,Germany:Springer,2010.(6146/2010):680-687.

[8] Gabor D.Theory of communication[J].Journal of IEE,1946,3 (93):429-457.

[9] Daugman J G.Two dimensional spectral analysis of cortical receptive field profiles[J].Vision Research,1980,20:847-85.

[10] Liu Chengjun,Wechsler H.Gabor feature based classification using the enhanced fisher linear discriminant model for face recognition[J].IEEE Trans on Image Processing,2002,11(4):467-476.

[11] Lee T S.Image representation using 2D gabor wavelets[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996,18(10):959-971.

[12] Jain A,Ratha N,Lakshmanan S.Object detection using gabor filters[J].Pattern Recognition,1997,30(2):295-309.

[13] Boser B E,Guyon IM,Vapnik V N.A training algorithmfor optimal margin classifiers[C].//Proc of the 5th Annual Workshop on Computational LearningTheory.USA:Pittsburgh, 1992,144-152.

[14] Cortes C,Vapnik V N.Support vector networks[J].Machine Learning,1995,20(3):273-297.

[15] Vapnik V N.The nature of statistical learning theory[M].New York,USA:Springer Verlag,1995:50-143.

[16] Duda R O,Hart P E,Stork D G.Pattern classification[M]. 2nd.New York,USA:JohnW iley Sons,2001,22:1062-1079.

[17] CristianiniN,Schawe-Taylor J.An introduction to support vector machines[M].Cambridge,UK:Cambridge University Press, 2000:132-150.

[18] Tao Qing,Wu Gaowei,Wang Jue.A general soft method for learning SVM classifiers with L1-Norm penalty[J].Pattern Recognition,2008,41(3):939-948.

Abstract: It is a difficult problem for autonomous soccer robot to recognize similar color targets because of the illumination changes and the omni-directional vision distortion.A robust method of objects recognition for autonomous soccer robot based on Gabor filters and support vector machine is proposed.Firstly, candidate targets are extracted based on color threshold and simple shape features.Then,images containing candidate targets are convoluted with the Gabor filter,from which the feature vector is extracted. The target recognition is performed by the support vector machine.Experiments have been carried out on the soccer robot M-TR for the ball recognition.Experimental results prove the high target recognition accuracy and real-time performance of the proposed method.

Key words: soccer robot;target recognition;Gabor filter;support vector machine

責任編輯 陳呈超

Robust Method of Target Recognition for Soccer Robot Based on Omni-Directional Vision

QI Wei-Wei1,LUAN Xin1,SONG Da-Lei2,ZHANG Ling2,YU Fang-Jie1
(Ocean University of China 1.College of Information Science and Engineering;2.College of Engineering,Qingdao 266100,China)

TP242.6+2

A

1672-5174(2011)06-109-06

2010-11-05;

2011-03-20

戚瑋瑋(1982-),女,博士。E-mail:weiwei_qiqi@163.com