不穩定光照條件下多機器人的視覺系統設計

賀 祥, 袁 健, 許華虎, 何永義, 王亞紅

(1.上海大學計算機工程與科學學院,上海 200072;2.上海大學機電工程與自動化學院,上海 200072)

不穩定光照條件下多機器人的視覺系統設計

賀 祥1, 袁 健1, 許華虎1, 何永義2, 王亞紅1

(1.上海大學計算機工程與科學學院,上海 200072;2.上海大學機電工程與自動化學院,上海 200072)

視覺系統是機器人系統感知外界環境的主要傳感器.為了提高系統在不穩定光照條件下的識別準確率和定位精度,提出新的色標設計和根據當前顏色閾值可信度來確定顏色閾值的方法,同時采用數字圖像形態學的理論對識別結果進行優化.最后,在“家庭生活支援多機器人系統”中得到了驗證.

機器視覺;閾值;圖像形態學;視覺子系統

Abstract:A robot collects environment information mainly by its vision system. In order to improve recognition accuracy and positioning precision under variable lighting conditions,this paper describes a new pattern design and p roposes a method to adjust the color threshold according to the credibility of current color threshold.Imagemorphology isused to optimize the recognition results.The vision system is tested in the project Family Life SupportMulti-Robot Systems.

Key words:machine vision;threshold;imagemorphology;vision system

隨著計算機技術和自動化控制技術的發展,越來越多不同種類的智能機器人在工廠和生活中出現.機器人的視覺系統作為智能機器人系統中一個重要的子系統,也越來越受到人們的重視.機器人的視覺系統主要涉及圖像處理、模式識別和視覺跟蹤等領域[1],其主要任務為獲取實時圖像,分析圖像確定機器人的坐標和位姿,為控制模塊提供數據.本工作主要研究和設計了多個服務機器人的視覺系統.由于服務機器人具有活動范圍廣和環境光照不穩定的特點,系統實現過程中存在以下難點:①環境光照條件不穩定;②處理的數據量大;③待識別目標多;④圖像存在嚴重畸變.

針對以上問題,國內外研究者先后提出了多種解決方法.2003年,在足球機器人比賽中,美國 CMU大學 CMUDragon隊提出蝶形色標方案[2],在定位精度與識別目標數量上有明顯優勢.清華大學王栓等[3]提出基于差分圖像的多目標跟蹤方法,通過對前后兩幀圖像進行差分計算,減少了處理的數據量.2003年,Cornell大學提出利用黑白方格棋盤的頂點差分進行畸變矯正[4],提高了定位的精度.為了解決視覺系統圖像分割顏色閾值不確定性的問題,先后有人提出顏色查找表[5]、基于邊緣檢測和 HSI閾值地圖的顏色分割[6]等方法.以上方法在足球機器人視覺系統中得到了廣泛的應用,并取得了一定成效.本研究針對多服務機器人活動范圍廣、環境光照不穩定等情況,提出新的色標設計,自動調整顏色閾值,同時引入數字圖像形態學方法對識別結果進行優化.最后,通過多服務機器人項目驗證了本研究方法的正確性和可靠性.

1 機器人視覺子系統

視覺系統是機器人系統感知外界環境的主要傳感器,它由攝像機、圖像采集卡、圖像處理程序、計算機和網絡通信設備組成[7].視覺系統的工作流程如圖1所示.

圖1 機器人視覺系統流程圖Fig.1 Flowchar t of robot v ision system

(1)獲取圖像,一般采用 CCD攝像機作為獲取圖像的設備;

(2)初始化圖像分割 HSI閾值和攝像頭內部參數;

(3)根據 HSI閾值分割圖像,對目標進行識別;

(4)利用數字圖像形態學方法,對識別結果進行優化;

(5)根據識別結果計算機器人的坐標與位姿,并將數據傳遞到機器人的控制模塊.

2 顏色閾值的設定

基于彩色圖像分割的方法識別目標時,要選擇合適的顏色空間,常見的顏色空間有 RGB,YUV,HSI(HSV),CMY等,顏色空間的選擇直接影響圖像分割效果.RGB是常見的顏色空間,一般 CCD攝像機輸出用 RGB顏色空間表示,若選擇 RGB顏色空間,則無須轉換.但在實際應用中,由于 RGB顏色空間受光源的種類、光照的強度等因素影響,同一顏色屬性的物體測出的 RGB值分布很分散,3個分量互相關聯變化,很難確定識別 RGB的閾值范圍,容易把并非指定顏色的物體包括進去,或漏掉應該識別的部分物體.HSI顏色空間是接近人眼感知的色彩空間[8],其中 H為色調,I為亮度,S為飽和度.色調屬性 H能比較準確地反映顏色種類,對外界光照條件的變化敏感程度低,對同一顏色屬性物體,H具有比較穩定和較窄的數值變化范圍,可以選為主識別參數.但是當 RGB值較小,即亮度 I較小時,H值不確定,所以亮度 I與飽和度 S也很重要.本研究選擇HSI顏色空間來對目標進行分割,HSI顏色空間模型如圖2所示,RGB到 HSI的轉換公式[9]為

圖2 HSI顏色空間Fig.2 Color space of HSI

在分割圖像之前,先確定每種顏色的閾值范圍,如紅色的 H值大概在[0,0.5]的區間.但由于環境光源不穩定的影響,相同紅色色標在相同環境中不能完全識別,從而影響識別結果.本研究針對環境光照不穩定和光線分布不均勻兩種情況,分別提出了利用四色塊和閾值可信度自動調整閾值方法.針對環境光照不穩定的情況,本研究提出利用四色塊 (紅、黃、綠、藍)通過 Otsu閾值法[10]與 K-L變換[11]來自動調整顏色空間閾值的方法.

系統初始顏色空間閾值設定是通過計算四色塊中 4種顏色的 HSI值得到的.當環境的光源改變時,只需計算四色塊 (紅、黃、綠、藍)的 HSI值,就可以自動調整顏色閾值進行圖像分割處理.其計算過程如下:

(1)將色塊中 4種顏色的 RGB值轉換成HSI值.

(2)利用 Otsu閾值法選擇合適的閾值.無論是單閾值還是多閾值都是針對一維特征圖像而言.在HSI顏色空間模型中,H分量表示色調信息,能反映顏色種類且受光照的影響小,因此可先針對 H分量對四色塊使用 Otsu閾值選擇法,選擇合適的閾值,將四色塊分割成 4個連通區域.

(3)分別對 4個連通域進行局部 Otsu閾值計算.在 HSI顏色空間模型中,I分量受光照影響大,可直接使用Otsu閾值選擇法.色度分量為二維特征,其中 H為色調特征,S為飽和度特征,H和 S特征構成極坐標系.根據人眼視覺特性,色調和飽和度構成顏色信息,所以將二者結合考慮.在運用 Otsu閾值法之前先進行 K-L特征變換.在 HSI顏色空間中,當I一定時,顏色特征就限定在 H和 S極坐標平面內,其中 0≤H≤2π,0≤S≤1.設 a,b為給定 I分量的直角坐標系,則極坐標到直角坐標轉換公式為 a=S×cos H,b=S×sin H.若將所有像素的色度特征看作是二維隨機向量 X(a,b)的樣本點,CX為樣本協方差矩陣,令 ei和λi(i=1,2)分別為 CX相同正交特征向量和對應的特征值,并且滿足條件λ1≥λ2.記T=[e1-e2]T,T是正交矩陣,則有

以 T為變換矩陣對隨機向量 X作變換,即 Y=(Y1,Y2)T是新的隨機向量,保留分量 Y1并記為色度 C.

(4)分別對 I和 C做直方圖,使用 Otsu多閾值法[11]計算 I和 C的閾值.以 I分量直方圖為例,要對分量直方圖局部使用Otsu法確定分割閾值,首先要將直方圖分段,這里先對直方圖中的極大值作判斷.由于圖像中可能含有的復雜情況,直方圖中會存在偽極大值點干擾.比較簡單的方法是,若兩個極大值之間的極小值大于門限,則將兩個極大值合并,取較大者作為極大值.然后,根據直方圖中的極大值將直方圖分成若干局部區域.這樣,在每個局部內就可以使用 Otsu法得到一個局部閾值.

(5)根據步驟 (4)得到的閾值對 4個連通域進行局部分割.仍然以 I分量直方圖為例,對兩個閾值之間的像素進行合并,較為簡單的方法是取兩個相鄰閾值的中點.若像素 I值在兩個相鄰閾值之間,則保留此像素點,否則去掉此像素點.在重建的圖像中,像素 I值在兩閾值之間的像素連通在一起就可自動分割到同一區域.

(6)經步驟 (5)處理,去掉了步驟 (2)受光照等因素影響的干擾區域,使連通區域更緊湊.然后,分別利用概率論的知識統計 4個區域中的 H,S,I值,得到最佳的紅、黃、綠、藍分割 HSI閾值.表 1為兩種光照情況下的 HSI閾值統計.圖3為本研究中兩種不同的光照條件.

表 1 自動確定的閾值Table 1 Threshold determ ined automatically

圖3 兩種光照條件對比圖Fig.3 Compar ison of two lighting cond itions

針對光線分布不均勻的情況,本研究提出利用識別結果建立閾值可信度的方法.如果處理過程中獲得了目標標識的全部信息,則稱這種信息為完整信息,此時閾值的可信度也相對高一些;反之,如果丟失或無法得到目標標識的信息,則稱為碎片信息,閾值可信度就低一些.根據可信度的大小判斷閾值是否可用和閾值的變化程度.根據當前識別結果的完整性來確定當前閾值的可信度α,如果當前的識別結果是完整信息,則α為 100;如果當前的識別結果是碎片信息,則有α=α×λ,其中λ=識別目標像素數 ÷待識別目標像素數.

可信度有上下限即接受閾值可信度的范圍,本研究的閾值可信度范圍是[80,102].當閾值可信度不在系統規定的范圍內時,系統會根據系統初始化的閾值可信度與 HSI閾值對應表自動選取新的閾值.采用可信度后,可以盡可能地利用碎片信息,實時地調整顏色 HSI閾值的大小,從而保證了識別結果的連續性和正確性,提高了系統識別的效率和精度.圖4為通過自動閾值調整識別的目標結果.

圖4 采用閾值可信度系統識別目標結果Fig.4 Results of identifying the target w ith threshold of the cred ibility of the system

通過大量的實驗結果表明,針對光源不穩定和光線不均勻的情況,采用閾值色塊和閾值可信度的方法,可以大大提高識別效率和精度,如表 2所示.

表 2 采用新措施對識別率的提高Table 2 Recogn ition rate by new measures %

3 色標的設計

色標是視覺系統識別的對象.在光照條件不穩定的情況下,色標設計的好壞直接關系到視覺系統是否具有快速、準確、抗干擾性強的特點.在機器人足球比賽中,美國 CMUDragon隊提出了蝶形色標設計模式,該模式具有以下優點:①非對稱色標模式,可以提供更多編碼;②定位精度高,利用 3點確定一個圓,而 4個點的三三組合可以確定構造 4個圓,4個圓的圓心位置相加求平均值,確定機器人的中心位置,減少誤差和提高精度.這種設計方案在實際應用過程中,由于光照條件不穩定的影響,時常會發生色標丟失的情況.按照這種設計,當丟失一個色標時就無法準確定位機器人,機器人的編碼也會發生混淆.本研究從蝶形設計思想出發,針對目標機器人是服務機器人體積大的特點,提出了將 3個同色圓作為色標定位的方法.圓形色標具有旋轉不變性,圖像畸變不會造成圓形重心發生偏移的優點.

3個同色圓是指利用 3個相同顏色的圓來對機器人進行定位,其中 2個大圓,1個小圓,如圖5所示.設小圓的坐標為 (X,Y),即機器人的位置坐標,兩個大圓的坐標分別為A(X1,Y1),B(X2,Y2),則AB與 X軸正向的夾角即為機器人的方向角 (規定 X軸正向順時針方向為正).

圖5 3個圓標識作為識別目標Fig.5 Three c irclesmark ing the target as a m ean s of identif ication

3個同色圓定標的方法計算量小,可提高視覺子系統的實時性.另外,可利用三邊的和來判斷識別目標的正確性.例如,規定三邊的和不大于1 000 mm時,若識別結果三點的距離和為 1 500 mm,則認為本次識別失敗,從而可以根據閾值的可信度來調整閾值.

4 利用腐蝕與膨脹對識別結果優化

利用攝像頭采集圖像時,不可避免地產生各種噪聲,因此識別出的結果失真率較高,影響定位精度.針對該問題,本研究提出利用圖像的形態學腐蝕與膨脹運算[12]對識別出的結果進行優化,從而達到提高識別結果完整性的目的.形態學研究圖像幾何結構的基本思想是利用一個結構元素與數字圖像進行運算,通過運算使數字圖像更加平滑.腐蝕和膨脹是最基本的形態學運算,它們互為對偶運算.

定義 1(腐蝕) A是數字圖像,B為結構元素,B對A的腐蝕結果由將結構元素B平移 X且包含在圖像 A內的所有點 X組成,記作 A⊙B.

定義 2(膨脹) A是數字圖像,B為結構元素,B對 A膨脹的結果是由圖像A平移 b(b屬于結構元素 B)的所有點組成,記作 A⊕ B.

先腐蝕再膨脹,具有平滑的功能,能清除圖像某些微小連接、邊緣毛邊和孤立點;先膨脹再腐蝕,具有過濾的功能,使數字圖像更加連通.圖6為數字圖像A與 B先腐蝕后膨脹的過程.

圖6 腐蝕再膨脹過程圖Fig.6 Fur ther expansion of the corrosion process

本研究采用先腐蝕后膨脹的方法,對識別結果進行優化,使圖像更加平滑.將優化前后的數字圖像進行對比,發現優化后的目標圖像真值分布更加緊密,使識別結果與目標更加接近;同時去掉了干擾目標的真值,使得識別結果更精確.圖7為通過圖像形態學運算對識別目標進行優化的結果 (未優化則存在干擾項).

圖7 識別結果對照圖Fig.7 Comparative char t of the recogn ition results

5 系統的實現

本研究分析了影響機器人視覺系統的實時性、準確性等因素,提出了改進方法,并通過國家科技部863項目“家庭生活支援多機器人系統”中的視覺子系統驗證了改進方法的有效性.服務機器人視覺主要由三目視覺和頂部視覺兩部分組成,本研究主要是關于頂部視覺的研究和開發.

服務機器人采用的頂部視覺系統由頂部 CCD攝像頭 (見圖8)、IEEE1394卡和圖像處理計算機三部分組成,其中頂部攝像機采樣為 15幀/s,CCD的像素為1 280×960,攝像機輸出為 IEEE 1394接口.

圖8 頂部攝像機Fig.8 Top camera

作為輸入設備之一的 IEEE 1394 PCI卡是一個開放的主控制接口 (open host controller interface,OHCI).頂部攝像機和 IEEE 1394卡一起工作,采用IEEE 1394b協議,在全速狀態可達到 800 Mbit/s的傳輸速率,保證大批量數據的高速傳輸.圖像處理計算機則為機器人的主控計算機,IEEE 1394卡也安裝在主控計算機上.目前,本研究設計出的多機器人視覺系統可以同時識別 4臺機器人,處理速度為 200 ms/次,精度在 2 cm左右,在不穩定的光照條件下的識別率為 95%.圖9為多機器人視覺系統的界面和識別紅色目標的結果.

圖9 視覺系統界面與識別結果Fig.9 Vision system and recogn ition result

6 結 束 語

本研究針對不穩定光照條件,提出利用 Otsu閾值法和閾值可信度自動調整閾值來分割圖像,設計了三圓色標機器人定位方法,并應用圖像形態學方法對識別結果進行了優化.通過這些方法極大地提高了在不穩定光照條件下的識別率和定位精度,并在項目中得到了驗證,取得了良好的效果.本研究的多機器視覺系統運行穩定,能夠實時、準確地獲得每個機器人的位置與姿態,一定程度上克服了不穩定的光照條件對視覺的影響.今后的工作主要在圖像處理速度、處理算法上進行改進與提高,使系統實時性更高,提高系統的定位精度.

[1] 劉京誠,廖智勇,朱木建,等.一種基于服務機器人的視覺系統設計[J].重慶大學學報,2006,29(11):33-35.

[2] BRUCE J,VELOSO M.Fast and accurate vision based pattern detection and identification[C]∥Proceedingsof the 2003 IEEE International Conference on Robotics and Automation.2003:1277-1282.

[3] 王栓,艾海舟.基于差分圖象的多運動目標的檢測與跟蹤[J].計算機圖象圖形學報,2000,4(6):173-175.

[4] LOOM IS J G,PALMER JD.Performance development of a realtime vision system [D]. Ithaca: Cornell University,2003:220-223.

[5] KIM B G,SHIM J I,PARK D J.Fast image segmentation based on multi-resolution analysis and warelets[J].Pattern Recongnition Letters,2003,24(16):2995-3006.

[6] 謝元澄,劉國棟.機器人足球比賽全局視覺系統的研究與開發[D].無錫:江南大學,2005.

[7] 李琛,孫燾,馮林,等.足球機器人視覺系統的光照適應性設計[J].計算機應用,2007(B12):77-79.

[8] 陳鳳東,洪炳镕,朱瑩.基于 HSI顏色空間的多機器人識別研究 [J].哈爾濱工業大學學報,2004,36(7):928-930.

[9] 韓曉微.彩色圖像處理關鍵技術研究 [D].沈陽:東北大學,2006:40-53.

[10] 章毓晉.圖像處理 [M].北京:清華大學出版社,2006:56-40.

[11] 李峰.一種基于 K-L變換和 Ostu閾值選擇的彩色圖像分割算法[J].計算機應用,2007(B12):93-95.

[12] 賈永紅.數字圖像處理 [M].武漢:武漢大學出版社,2003:65-83.

(編輯:趙 宇 )

Design of Vision System for M ulti-Robots under Varying L ighting Cond ition

HE Xiang1, YUAN Jian1, XU Hua-hu1, HE Yong-yi2, WANG Ya-hong1
(1.School of Computer Engineering and Science,Shanghai University,Shanghai 200072,China;2.School of Mechatronics Engineering and Automation,ShanghaiUniversity,Shanghai200072,China)

TP 24

A

1007-2861(2010)03-0306-06

10.3969/j.issn.1007-2861.2010.03.018

2009-02-23

國家高技術研究發展計劃(863計劃)資助項目(2007AA041604)

許華虎 (1966～),男,教授,博士,研究方向為多媒體技術.E-mail:huahuxu@163.com