一種高速視覺實時定位與跟蹤系統的研制

一種高速視覺實時定位與跟蹤系統的研制

鄭西點1,袁浩巍1,杜正陽2,陳忠1,張文強2

1. 上海電氣集團股份有限公司 中央研究院，上海 200070

2. 復旦大學計算機科學技術學院，上海 200433

摘要：針對機器視覺系統不斷提高的速度與實時性需求，研制了一種可利用高速視覺反饋，實時定位與跟蹤快速運動目標的高速視覺系統。系統基于工業PC機，選用CMOS高速相機和帶Camera link與PCIe接口的高速圖像采集卡，實現了幀頻為1000幀/s的圖像采集(圖像分辨率： 816×600像素)與傳輸。系統集成的高效圖像處理算法完成對目標的特征提取和坐標計算，處理周期小于1ms。在實驗室條件下，高速視覺系統實現了對轉動圓盤上的圓形目標、運動乒乓球(速度： 3m/s)的實時定位與跟蹤。實驗數據表明，在物距1.5m情況下，高速視覺系統的定位精度小于10mm。研制的高速視覺系統充分滿足了高速性、實時性和精確性的應用需求。

關鍵詞：高速視覺; 實時; 定位與跟蹤; CMOS高速相機; 圖像處理算法

CMOS high-speed Camera; Image Processing Algorithm

隨著軍事、航天、工業生產和科研領域的發展，對機器視覺系統的速度與實時性的需求也不斷提高，研究高速實時的基于視覺反饋的目標識別與定位跟蹤系統變得更加急切和重要。機器視覺系統獲取高速實時的視覺反饋信息，必須基于一個高速的圖像采集處理系統，高速圖像采集處理系統一般是指采樣率在100MSPS(MSPS： Million Samples Per Second，即每秒模數轉換器的采點數)以上的圖像采集系統。從分辨率和采集幀頻兩個指標看，目前的高速工業相機產品多已能滿足采樣率要求，留待高速實時視覺系統解決的瓶頸問題是： 如何將海量圖像數據實時地傳輸到處理單元以及如何設計高效算法來提升圖像數據的處理速度。

日本東京大學Ishikawa實驗室在2000年推出了處理周期為1ms的CPV(Column Parallel Vision)視覺系統。該視覺系統包含一個128×128像素PD(Photo Detector)陣列，在每個PD后都與一個PE(Processing Elements)直接相連，以提高圖像數據到處理單元的傳輸速度。CPV系統采用簡單高效的圖像處理算法，確保在1ms內就能提取出跟蹤目標的圖像特征信息；但CPV系統架構特殊，單張照片128×128像素的分辨率限制了視覺覆蓋的范圍。立命館大學的Shimizu3]等人介紹了一種CMOS+FPGA視覺系統，對256×256像素的圖像實現了1000fps的高速采集與處理。系統在FPGA芯片上移植了復雜的圖像處理算法，在相同的頻率下，完成了對圖像特征信息的獲取。復雜的算法帶來的弊端是，處理單張圖像所有像素所需時間長，限制了采集圖像的分辨率。

為提高高速視覺系統的采樣頻率和滿足實時性需求，上海電氣機器人研究室在2014年開發了一套高速視覺實時定位與跟蹤系統，采集幀頻為1000fps，圖像分辨率為816×600像素(單像素8bit)。系統集成了CMOS高速工業相機和高速圖像采集卡，通過高速傳輸協議實現了海量圖像數據的高速實時傳輸，并設計了高效的圖像處理算法，將圖像數據處理周期控制在1ms以內，并保證了定位與跟蹤的精度。

1系統的硬件架構

高速視覺實時定位與跟蹤系統包含了帶CMOS高速工業相機、高速圖像采集卡、PC機以及連接線纜。高速工業相機的CMOS圖像傳感器以1000Hz的頻率將捕捉到的圖像序列通過Camera link高速傳輸接口傳送到高速圖像采集卡，再通過PCI-E將數據傳輸給PC機進行下一步處理。

1.1　CMOS高速工業相機

系統選用德國Optronis公司的CL600×2面陣CMOS高速工業相機作為圖像采集單元。CL600×2(如圖1所示)采用大像元設計，靈敏度高，拍攝高速運動時圖像沒有模糊。圖像輸出為彩色Bayer模式，在全分辨率(1280×1024像素)下幀頻為500幀/s。

圖1　CL600×2面陣高速工業相機

CL600×2的傳輸接口為Camera link Full接口，按Camera link通訊協議標準傳輸數據。Camera link是專為計算機視覺應用設計的串行通訊協議標準，根據使用芯片數量分為Base/Medium/Full三種配置方式。最快的Camera link Full方式使用了3塊Camera link芯片和兩根電纜，傳輸速率高達5.44Gbit/s，即每個時鐘周期可同時發送8個像素點8bit的Bayer圖像數據信息(芯片運行頻率為85MHz)。此外，Camera link傳輸接口還帶有離散控制差分信號和異步串行通信信號的通道，方便了上位機對相機的控制和通信設置。

1.2　高速圖像采集卡

為支持CL600×2高速工業相機大數據量的圖像采集和傳輸，系統選用了Silicon Software公司的AD4-CL多通道高速圖像采集卡，如圖2所示。AD4-CL采集卡采用DMA方式傳輸，持續傳輸速率可達850MB/s。在相機側，它支持Camera link(Full模式)接口，而在PC側是基于PCIe總線的，通過主板上的PCIe×4插槽即可將圖像數據傳輸到PC中。

圖2　AD4-CL高速圖像采集卡

AD4-CL圖像采集卡上還集成了一系列圖像預處理的功能，如降噪、光補償等。AD4-CL圖像采集卡實現的主要功能如下： ① 高速工業相機的參數配置，如圖片分辨率、曝光時間等；② 相機采集圖像數據的緩存與讀取；③ 圖像數據的格式轉化。

2系統的算法設計

由于每幀圖像的處理時間被限制在1ms內，相應的圖像處理算法就必須追求高效性，下面按圖像預處理和定位與跟蹤算法兩方面來進行介紹。

2.1　圖像預處理算法

預處理算法的輸入是Bayer格式的原始圖像數據。在Bayer格式圖像4]中，單一像素點的顏色只有RGB中的一種顏色值(R： 紅色，G： 綠色，B： 藍色)，單幀圖像各個像素的顏色排列如圖3所示。Bayer格式無法直接用于定位與跟蹤算法中，故要進行格式轉換。本系統主要采用形狀特征，對顏色要求不高，且灰度便于計算，時間效率高，故選擇轉成灰度圖像進行后續處理。預處理算法分為Bayer轉RGB以及RGB轉灰度兩部分。

圖3　Bayer圖像

Bayer轉RGB過程需要恢復單個像素另外兩種缺失的顏色值，Bayer圖像轉RGB圖像的恢復算法主要有最鄰近插值法、線性插值法、線性自適應插值、三階多項式插值法、三次樣條曲線插值法等。經過對算法效率的權衡，系統選用的是最鄰近插值法5]。

單像素由RGB格式轉灰度格式過程可由下式計算得到：

Gray=0.299R+0.587G+0.114B

(1)

式中：Gray為像素的灰度值。

2.2　定位與跟蹤算法

在本項目設計的驗證平臺上，需要定位與跟蹤的目標為快速運動的圓形目標，故定位與跟蹤算法使用了基于圓擬合的方法實現對運動目標的快速定位與跟蹤。

(1) 對每幀圖像可以根據上一幀圖像中目標的定位結果以及預計的目標最大運動速度，得出目標圓心所在的范圍，然后對圖像進行開窗處理ROI(Region Of Interest)操作，對于第一幀圖像，則需在全圖范圍內對目標進行搜索定位。

(2) 在ROI范圍內枚舉目標的位置以及半徑，每一組圓心位置及半徑可以確定一個圓，將坐標集合計為：

C={p1,p2,…,pN}

(2)

(3) 對圓周上像素的梯度值進行統計，得到各組圓的圓心半徑的權值：

(3)

式中：diri表示圓周上第i個點應該取什么方向的梯度；d(pi,diri)表示取pi像素點的diri方向的梯度。

(4) 選擇權值最大一組的圓心坐標和半徑作為最終的定位與跟蹤結果。

其中第(2)步采用查表法以提高時間效率；第(3)步對d(pi,diri)開方是為了減小噪聲的影響。

基于圓擬合的定位與跟蹤算法得到的是相對于圖像坐標系{OfXfYfZf}的圓心坐標，后續的坐標系轉換算法將求出目標在世界坐標系{OwXwYwZw}中的坐標，圖4中定義的坐標系統如下。

(1) 世界坐標系{OwXwYwZw}： 客觀世界的絕對坐標。

(2) 相機坐標系{OcXcYcZc}： 以小孔相機模型的聚焦中心為原點，以相機光軸為Zc軸建立三維直角坐標系，Xc、Yc與圖像坐標系的Xf、Yf平行。

(3) 圖像坐標系{OfXfYfZf}： 固定在圖像上的以像素為單位的平面直角坐標系，其原點位于圖像左上角，Xf、Yf軸分別為行、列方向。

(4) 云臺末端坐標系{OeXfYfZf}： 云臺是搭載相機完成回轉和俯仰轉動的裝置，云臺末端坐標系與相機坐標系之間存在平移和轉換的矩陣，需通過對相機進行手眼標定后得到。

相對于云臺末端還有固定于云臺基座的云臺基坐標系，因設置其與世界坐標系重合，故不贅述。

圖4　坐標系統定義

所以，坐標系轉換算法包括3個過程。

(1) 圖像坐標系轉到相機坐標系。將像點P的圖像坐標齊次化為[uvT，它與物點P在相機坐標系下的表示XcYcZc]具有如下關系：

(4)

式中：fx、fy為相機的X和Y方向的等效焦距；u0、v0是光軸與圖像平面的交點坐標，即主點坐標。

fx、fy、u0、v0為攝像機內部參數，由相機標定過程得到[6-7]。

(2) 相機坐標系轉到云臺末端坐標系。相機坐標系是通過平移和旋轉變換到云臺的末端坐標系，這是典型的機器人手眼標定過程8-9]。手眼標定可得到旋轉矩陣R和平移向量T，按下列公式，即可完成將物點P在相機坐標系的表示轉換為在云臺末端坐標系的表示。

(5)

(3) 云臺末端坐標系轉到世界坐標系。云臺末端坐標系也是通過平移和旋轉變換到世界坐標系下的，其中旋轉矩陣R′可以根據云臺的回轉角Pan和俯仰角Tilt值得到：

(6)

設置云臺在回轉角Pan和俯仰角Tilt值為0時，云臺末端坐標系與世界坐標系是平行的。平移向量T′通過測量兩個坐標系原點間的距離得到。

上述3個轉換過程疊加即可得到圖像上目標圓心在世界坐標系下的坐標。據此可以計算高速伺服云臺的運動角度，并按控制策略給出跟蹤控制指令，保證目標一直處在相機視野的中央附近。對云臺的控制方式采用只給出絕對角度的方法。

3快速目標定位跟蹤的驗證實驗

為了驗證高速視覺系統對快速運動目標的實時定位與跟蹤能力，設計了2項驗證實驗，并搭建了相應的驗證平臺。

第一項實驗是定位跟蹤旋轉圓盤上的圓形目標，驗證平臺如圖5所示，遠端的旋轉圓盤機構是運動發生裝置，使用伺服電機帶動貼有亞光紙的圓盤作高速旋轉，而貼在圓盤邊緣(距離圓心180mm)的白色圓形貼紙即為實驗定位與跟蹤的目標。實驗設置圓盤最大轉速為150r/min，目標運動的最大線速度為3m/s。

圖5　旋轉圓盤運動驗證平臺

高速伺服云臺主要功能是搭載相機完成回轉和俯仰轉動，使相機視場覆蓋目標的運動范圍，并在焦距變化允許范圍內采集圖像。本系統選用FLIR-D46云臺，回轉軸轉速可達300°/s，俯仰軸的轉速為60°/s。

第二項實驗是定位跟蹤顛球時運動的乒乓球。如圖6所示，操作者在云臺前方1.5m處進行顛球操作，高速伺服云臺帶動相機，定位上下運動的乒乓球(最高速度3m/s)。由于人操作的隨意性，乒乓球運動軌跡不可預測，難度更大，可驗證高速視覺系統的實時定位與跟蹤能力。

圖6　乒乓球顛球跟蹤實驗

4實驗結果與討論

兩項驗證實驗都是在1000fps的采集幀頻下進行的，原始圖像分辨率為816×600像素。經過圖像處理算法，旋轉圓盤上的圓形目標定位效果如圖7所示，顛球中的乒乓球目標定位效果如圖8所示。圖像處理算法的耗時情況見表1，表中編號1-4對應的是定位旋轉圓盤上的圓形目標，編號5-8對應的是定位顛球中的乒乓球。由表1可見，當減少ROI范圍大小時，定位目標圓心的耗時也減少。ROI范圍與預計的目標最大運動速度直接相關，當目標運動速度較快時，下一幀的ROI范圍也相對較大，耗時較長。在驗證平臺上，當目標速度低于3m/s時，高速視覺實時定位與跟蹤系統都可以在1ms內定位跟蹤到運動目標。

圖7　定位旋轉圓盤上的圓形目標(a) 原圖 (b) 梯度圖像 (c) 圓心定位結果

圖8　定位顛球中的乒乓球目標(a) 原圖 (b) 梯度圖像 (c) 圓心定位結果

定位精度是系統關注的另外一個指標，在圖像坐標系上，目標圓心的定位誤差在1個像素以內。而轉換到世界坐標系下，目標圓心的定位誤差為10mm內(物距為1.5m)，由于實驗中引入了標定誤差以及機械誤差，精度仍有提高的空間。

表1　圖像處理算法耗時情況

5結論

本文從硬件架構、算法設計、驗證實驗3個方面介紹了一種高速視覺實時定位與跟蹤系統的研制。

驗證實驗顯示，此種高速實時的視覺系統可在高速采樣頻率下，完成對快速運動目標的實時定位與跟蹤。該系統具有穩定時算法處理周期短、定位精度好的優點。

參考文獻

1] 宋燕星.高速圖像采集處理系統中若干關鍵技術的研究D].哈爾濱： 哈爾濱工業大學,2010.

2] Nakabo Y, Ishikawa M, Toyoda H, et al. 1 ms Column Parallel Vision System and Its Application of High Speed Target TrackingC]. Proceedings of the 2000 IEEE International Conference on Robotics and Automa-tion, San Francisco, CA, 2000.

3] Shimizu K, Hirai S. CMOS+ FPGA Vision System for Visual Feedback of Mechanical SystemsC]. Proceedings of the 2006 IEEE International Conference on Robotics and Automation, Orlando, FL, 2006.

4] Bayer B E. Color Imaging Array. US Patent: 3971065, 1976-07-20.

5] 陳楚君.基于FPGA的Bayer圖像彩色插值系統的設計與實現D].中國科學院研究生院(西安光學精密機械研究所),2010.

6] Bouguet J Y. Camera Calibration Toolbox for Matlab. [EB/OL]. http:∥www.vision.caltech.edu/bouguetj/calib_doc/htmls/example.html, 2003.

7] Weng J, Cohen P, Herniou M. Camera Calibration with Distortion Models and Accuracy EvaluationJ]. IEEE Transactions on Pattern Analysis and Machine Intelli-gence, 1992,14(10)： 965-980.

8] Shiu Y C, Ahmad S. Calibration of Wrist-mounted Robotic Sensors by Solving Homogeneous Transform Equations of the Form AX=XBJ]. Robotics and Automation, IEEE Transactions on, 1989,5(1)： 16-29.

9] 張云珠.工業機器人手眼標定技術研究D].哈爾濱： 哈爾濱工程大學,2009.

年內核電市場拉開發展序幕

近日，國家能源局同意《關于福建福清5、6號機組工程調整為“華龍一號”技術方案》，第三代國產核電技術獲認可。同時強調要充分利用我國目前的核電裝備制造業體系，支持關鍵設備、零部件和材料的國產化工作，壓力容器、蒸發器、主泵、數字化儀控系統、堆內構件、控制棒驅動機構、常規島等關鍵設備、泵/閥門等零部件、690U型管、核級電纜、焊材等關鍵材料的國產化比例不得低于85%。

該消息正式標志著具有完整自主知識產權的第三代國產核電技術獲得全面認可落地，核電年內重啟基本確定。至此，核電新項目年內獲批條件完全具備。福清二期和防城港二期共四座機組已排除了最大的啟動障礙，預計將于年底迅速啟動。同時，在國家核安全局11月4日召開的核電話題專題解讀會上，相關人士也透露，核能作為目前唯一可大規模利用的替代能源，已經成為我國能源戰略的必然選擇。

今年以來，我國能源結構調整不斷深入，隨著日本核島事故負面影響逐漸消退，快速發展核電成為業內共識并漸漸得到高層認可。

當前核電重啟急迫，市場建設積極性高，預計福清5、6號機組調整方案具有非常強的示范效應。本次技術調整也暗含著“華龍一號”的技術成熟度、安全性等得到了上層認可，意味著調整后的機組建設速度可能會加快。

值得注意的是，前不久，發改委正式核定了沿海4個核電站項目的開工計劃，分別是山東榮成石島灣一期、遼寧葫蘆島徐大堡一期、廣東陸豐一期和遼寧大連紅沿河二期，合計總裝機量為1010萬kW，預計分別將于2017年前后并網發電。

按照國家能源局“十二五”規劃及長期規劃，2015年、2020年、2030年我國在運營及在建裝機量分別達到5800kW、8800kW及15000kW，意味著2015—2030年間將新開工101座機組，總投資額1．2萬億元。即每年新開工6座百萬千瓦機組，每年核電投資600億元，其中每年設備投資額將達到300億元，市場空間巨大。

(摘自《證券日報》)

R & D of a High-speed Visual and Real-time

Positioning & Tracking System

ZhengXidian1,YuanHaowei1,DuZhengyang2,ChenZhong1，ZhangWenqiang2

1. Shanghai Electric Group Co.,Ltd. Central Academe, Shanghai 200070, China

2. Fudan University, School of Computer Science, Shanghai 200433, China

Abstract:Aiming at the escalated demands on speed and real-time properties in robotic vision system, a high-speed vision system was developed and the system can utilize high-speed visual feedback to realize real-time positioning and tracking of fast-moving targets. This system was built on industrial PC system and adopts high-speed camera and high-speed image acquisition card with Camera link and PCIe interfaces to achieve image acquisition and transmission at a frame rate of 1000/s (image resolution: 816×600 pixels). High efficient image processing algorithm integrated in the system can complete the extraction of target features and the coordinate calculation within a processing cycle of 1ms. Under laboratory conditions, the high-speed vision system can position and track the circular targets on the rotating disc and the moving pingpong ball (speed: 3 m/s) in real time. Experimental data demonstrated that the positioning accuracy of the high-speed vision system was less than 10 mm provided the object distance was 1.5m. The developed high-speed vision system could fully meet with the application demands i.e. high-speed, real-time and accuracy.

Key Words:High-speed Vision; Real Time; Positioning and Tracking;

中圖分類號:TP 391.41

文獻標識碼:A

文章編號：1674-540X(2015)01-025-06

作者簡介：鄭西點(1988-)，男，研究生，主要從事機器人、計算機視覺的研究工作，
E-mail： zhengxd2@shanghai-electric.com

收稿日期：2014-10-20