基于ARM嵌入式圖像采集處理平臺的標簽跟蹤系統設計

段佳雷, 高智博

(西安工程大學 電子信息學院， 西安 710600)

?

基于ARM嵌入式圖像采集處理平臺的標簽跟蹤系統設計

段佳雷, 高智博

(西安工程大學 電子信息學院， 西安 710600)

以移動小車為實驗平臺，設計了一款應用于移動機器人上的Linux嵌入式圖像采集處理系統,系統選用三星公司的S3C2440開發板作為核心處理器，采用OV9650攝像頭采集圖像。重點介紹了圖像采集模塊的設計，以及兩種標簽識別方式——模版匹配和形狀特征匹配，并對兩種方法的進行了對比分析。對識別過程中出現的標簽傾斜現象進行了補償處理。該嵌入式圖像處理系統能夠較為快捷準確的識別標簽，為移動機器人的設計提供了一個較好的實驗平臺。

智能跟蹤; S3C2440; 嵌入式圖像處理; 標簽識別

0 引言

智能跟蹤技術是移動機器人研究的重點，是集合自動控制、圖像識別、嵌入式等多種技術為一體的綜合研究課題[1][2]。目前，跟蹤技術的研究大多集中在復雜背景下跟蹤算法的研究方面，也就是利用相對復雜的算法來提高目標識別的精度。比較常用的跟蹤算法有基于Camshift算法的目標跟蹤[3][4][5]，基于光流法的跟蹤[6][7]等。這些算法的實現大都以高性能的硬件設備為基礎，從而使得不依賴于PC機獨立跟蹤系統的設計一度陷入停滯。隨著嵌入式arm圖像處理技術的高速發展，使得該研究方向有了新的進展[8][9]。智能跟蹤技術逐漸朝著簡單、獨立、準確的方向邁進[10]。本文以ARM9系列開發板為核心，設計了一款應用于移動小車上的圖像處理系統，系統通過對采集圖像的實時處理，識別出圖像中的標簽，進而追蹤到攜帶標簽的目標人。

1 系統總體設計

整個設計系統是以移動小車為研究平臺的。在小車上搭載了OV9650攝像頭以及ARM9系列開發板S3C2440。OV9650攝像頭和S3C2440開發板構成了整個圖像采集處理系統的硬件核心。

在此硬件基礎上，設計了一款基于ARM的Linux系統，用于視頻圖像的采集及處理。整個嵌入式系統的結構框圖如圖1所示。

圖1 軟件結構框圖

2 視頻圖像采集

由于Linux系統專門向用戶提供了一套應用程序訪問音、視頻驅動的統一接口即V4L(Video for Linux)[11]。這就使得視頻的采集處理難度大大降低。目前市面上應用較為流行的是V4L的改進版V4L2，V4L2中對攝像頭設備有一個字符設備“dev/video0”與之對應，通過對該設備文件的讀操作可以實現視頻的采集，其主要使用open()、close()、ioctl()。其中ioctl使用到的控制命令字符在頭文件 中有相關定義。下面是一些主要函數的設計：

Camera_open()開啟視頻設備文件；

Camera_get_capbility()通過調用ioctl()函數來獲取攝像頭參數；

Camera_set_init()對設備進行初始化操作包括設定視頻制式和幀格式、視頻的捕獲參數；

Camera_get_buffer()向設備申請一個擁有數個緩沖幀的緩沖區，獲取其長度地址等信息，然后調用函數mmap把內核空間地址映射到用戶空間；

Camera_process_image()讀取緩存幀，獲得一幅圖片的信息，并將其保存在picture結構中以方便圖像處理程序調用，最后將緩存幀重新放回緩存列隊；

Camera_close()關閉視頻設備。

通過上述函數的設計，最終將采集到的圖像存儲在picture結構中，以方便進一步處理。

3 圖像處理

為了滿足圖像處理的需要，文中在嵌入式Linux系統中移植了圖像處理函數庫OpenCV(Open Source Computer Vision Library)，該函數庫中包含了圖像處理過程中所使用的基本函數[12][13]。利用這些算法函數的組合可以實現對圖像中標簽的識別。圖像處理的基本流程,如圖2所示。

圖2 圖像處理流程

對圖像進行簡單的預處理，從而得到較為清晰的含有標簽的圖像。如圖3所示。

圖3 預處理前后圖像對比

之后進行圖像識別，一般來說，快速，準確的圖像識別是視覺跟蹤成敗與否的關鍵。文中采取了兩種不同的識別方式，模版匹配識別和形狀特征匹配識別。

3.1 模版匹配識別

模版匹配[14]，是最常用的識別方式。

1) 模板選擇

在模版匹配方法中，模版的選擇尤為重要。在這里將標簽置于攝像頭前10 cm處拍攝一副圖像，然后從中分離出標簽圖像，以此作為模版。

然而隨著標簽遠近的變化，圖像中標簽的大小是不相同的。用一副模版來匹配原始圖像，明顯是不適合的。因此，需對之前選擇的模板進行相應的縮小處理。如圖4所示。

圖4 模板的提取及縮小

通過實驗最終將縮小系數k的范圍確定在(0.35>k>0.05),縮小系數在這個范圍(30 cm～150 cm)時，模板的大小恰好是小車的跟蹤范圍內標簽的大小，將縮小后的模板記作模版T。

2) 模版匹配

將這個模版T放在所需要對比的原始圖像I的一個圖像點上，然后把模版T上的點與原圖I覆蓋的點逐一匹配，將匹配結果記錄在該圖像點上。通過滑動模版，可以得到一個度量值R的矩陣。在R矩陣中最大的點即是模版所在的位置。一般用來做匹配的算法是多種多樣的，在考慮到算法復雜程度和準確性以及匹配速度等多種因素的前提下，這里選擇了相關性匹配方式。其計算公式為式(1)。

(1)

一段視頻中幾幀圖像采用模版匹配后的識別結果,如圖5所示。

3.2 形狀特征匹配識別

對于形狀特征比較明顯的目標，采用形狀特征匹配識別比較準確方便[15][16][17]。而本文選擇的標簽的形狀十分特殊，因此采用形狀特征的識別方式，也可以達到識別的目的。

首先對預處理后的圖像進行邊緣提取，并填充閉合區域，如圖6所示。

由于標簽是打印在矩形的白紙上的，因此對圖中的連通域做矩形的相識度判別就可以確定白紙的位置。矩形判別公式為R=A0/AR。其中，A0為目標形狀圍繞面積，AR為其最小外接長方形的面積，0≤R≤1。當R越接近于1時，實際目標越接近于矩形,如圖7所示。

圖a

圖b

圖7 矩形相似度的判別

初步判斷白紙的位置并不能直接確定標簽的位置，需要進一步確定。將矩形相似度判別后的圖像去掉預處理圖像中非矩形部分。再將矩形內的部分分離出來，做進一步判定,如圖8所示。

圖8 疑似標簽的分離

對該區域重復邊緣檢測，區域填充。這樣就得到了標簽的輪廓，這時進行圓的相識度判別。判斷結果如果是圓，則證明之前識別的矩形區域為標簽圖像。圓的相識度判別公式是式(2)。

R=4πA/L2

(2)

其中，A表示圖像中目標形狀圍繞的面積，L表示目標形狀的周長，0≤R≤1。當R=1時目標形狀為圓，由此可以判斷該矩形范圍內包含著標簽，如圖9所示。

圖9 基于圓形輪廓的判別

3.3 標簽傾斜處理

在實驗中發現，標簽正面朝向攝像頭時候，識別情況良好，但當標簽發生傾斜時候標簽的識別率較低。因此，文中通過對標簽傾斜原因的分析，設計了標簽傾斜補償處理方案。首先，標簽傾斜的產生主要是由于目標人轉向或者站姿引起的左右傾斜和邁步時引起的上下傾斜。如圖10所示。

而文中的圓形標簽是繪于一張正方形的白紙上的，因此在初步識別出這張白紙時候，如果出現了標簽傾斜現象，白紙會呈現出長方形。為初步處理后分割得到的標簽圖像，此時對標簽進行短軸方向上的拉伸處理，使得短軸的長度與長軸相等時，此時標簽圖案恢復成為圓形，此時的圓與正面拍攝得到的圓的大小是相同的。標簽左右傾斜后處理得到的圖像,如圖11所示。

圖10 標簽的傾斜情況

圖11 標簽傾斜的處理

3.4 圖像處理結果分析

文中通過對一段兩分鐘視頻進行處理分析(采集到300張圖像)。發現兩種方法均能夠在規定時間內完成圖像的處理，即都滿足系統的實時性要求，但在處理的準確性方面差別較大。如表1所示。

表1 匹配結果

由表中可以看出，模版匹配和形狀匹配方式在識別標簽的準確率相差不大，形狀匹配方式略優于模版匹配方式。這是由于模版匹配的準確度會受采集到圖像的明暗程度，及標簽形變的影響，而形狀匹配只受到形狀特征的影響。在形狀的識別過程中，二即二次識別時候，標簽若產生傾斜，圓的輪廓會變成橢圓，從而使得相似度降低。因此，在做了相應的補償處理后，匹配準確度明顯提升。

5 總結

本系統以S3C2440開發板為核心，通過圖像采集模塊的設計，以及嵌入式圖像處理算法的設計，準確的識別出標簽的位置，完成了對目標人的跟蹤。該嵌入式圖像采集處理系統具有較高的實用價值，可以作為移動機器人研究的一個實用平臺。

[1] 苑晶, 劉鋼墩, 孫沁璇. 激光與單目視覺融合的移動機器人運動目標跟蹤[J]. 控制理論與應用，2016, 33(2): 196-204.

[2] 居青, 房芳, 馬旭東. 基于RGB-D傳感器的移動機器人目標跟蹤系統設計與實現[J]. 工業控制計算機，2016, 29(4): 68-70.

[3] Tengyue Zou, Xiaoqi Tang. Bao Song Improved Camshift Tracking Algorithm Based on Silhouette Moving Detection[J]. Multimedia Information Networking and Security, Date, 2011(11):11-15.

[4] 王玲玲, 裴東, 王全州. 一種改進的Camshift視頻目標跟蹤算法[J]. 激光與紅外，2015, 45(10): 11-16.

[5] 黃曉麗, 楊國為, 吳少龍. 一種改進的Camshift和Kalman相結合的運動目標跟蹤算法[J]. 工業控制計算機，2016, 29(1): 80-81.

[6] 肖軍, 朱世鵬, 黃杭, 等. 基于光流法的運動目標檢測與跟蹤算法[J]. 東北大學學報(自然科學版)，2016, 37(6):770-774.

[7] 胡覺暉,李一民,潘曉露. 改進的光流法用于車輛識別與跟蹤[J]. 科學技術與工程，2010,10(23):5814-5817.

[8] 陳麗娟,周鑫. 基于ARM嵌入式圖像處理平臺的太陽跟蹤系統[J].現代電子技術，2012, 35(4): 71-74.

[9] 陸旭,梁光明,陳韻迪. 一種基于ARM的嵌入式圖像處理系統研究[J]. 數字技術與應用, 2016, (6):129-137.

[10] 李劉生. 基于嵌入式的全景視覺移動目標跟蹤系統[D]. 天津, 天津理工大學，2012.

[11] 張宜君,史智興. 嵌入式Linux下USB攝像頭單幀圖像采集系統的實現[J]. 河北農業大學學報, 2014, 37(2):111-114.

[12] 方華,郭靜,田敬北. 基于OpenCV的嵌入式圖像處理平臺的構建[J].無線互聯科技, 2015, (3):53-54.

[13] Joseph Coombs, Rahul Prabhu, Greg Peake. Overcoming the challenges of porting OpenCV to Tl's embedded ARM + DSP platforms[J]. International Journal of Electrical Engineering Education, 2012, 49(3): 260-274.

[14] Hel-Or Yacov, Hel-Or Hagit, David Eyal. Matching by Tone Mapping: Photometric Invariant Template Matching[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(2): 317.

[15] 賈松敏, 白聰軒, 王麗佳, 等. 多特征分塊匹配的移動機器人目標跟蹤[J]. 電子設計工程，2016, 24(1): 23-30.

[16] 何蓮,蔡敬菊,張啟衡.多邊形近似及形狀特征匹配的二維目標檢測[J]. 激光與紅外, 2011, 41(6):700-705.

[17] 陳寧,王勝,黃正文.基于特征匹配的集裝箱識別與定位技術研究[J]. 圖學學報,2016, 37(4): 530-536.

Label Tracking System Design Based on ARM Embedded Image Collection and Processing Platform

Duan Jialei, Gao Zhibo

(College of Electrics and Information Xi'an Polytechnic University, Shaanxi, Xi'an 7106007)

In this paper, we design a Linux embedded image acquisition and processing system for mobile robots with mobile trolleys as the experimental platform. The system uses Samsung S3C2440 development board as the core processor and adopts OV9650 camera to collect images. In this paper, the design of the image acquisition module is introduced, and two kinds of label recognition methods-pattern matching and shape feature matching are also introduced. The two methods are compared and analyzed. At the same time, the incline phenomenon of the label appearing in the recognition process is compensated. The embedded image processing system can identify the tag more quickly and accurately, and provide a better experimental platform for the design of mobile robot.

Intelligent tracking; S3C2440; Embedded image processing; Label recognition

西安工程大學基金(61401347)，西安工程大學“大學生創新創業訓練計劃”項目(2016105)

段佳雷(1987-)，男，富平人，碩士，助理工程師，研究方向：基于嵌入式的信號與圖像處理，機械故障診斷。 高智博(1995-)，男，西安人，本科，專業方向：電氣工程及其自動化。

1007-757X(2017)07-0033-04

TP311

A

2017.03.04)