人體信息匹配識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

任志健，劉少江，萬智萍

(中山大學(xué)新華學(xué)院，廣東 廣州 510520)

責(zé)任編輯:任健男

運(yùn)動(dòng)目標(biāo)跟蹤是圖像監(jiān)控領(lǐng)域的一個(gè)研究熱點(diǎn)［1］。監(jiān)控設(shè)備在運(yùn)作過程中所獲取的視頻數(shù)據(jù)能提供許多重要信息，例如在監(jiān)控區(qū)域內(nèi)活動(dòng)過的在逃罪犯，或者經(jīng)過這一區(qū)域的走失孩童，他們的部分行蹤信息都會(huì)保留在監(jiān)控器的視頻影像中。但由于監(jiān)控器的操作人員并不了解有關(guān)人物的具體信息，在例行查看監(jiān)控錄像時(shí)往往會(huì)疏漏這些重要信息，而且加上視頻數(shù)據(jù)量大、特定個(gè)體出現(xiàn)的概率小等問題，在查找這些信息時(shí)要耗費(fèi)大量人力和時(shí)間。

Girisha R［2］針對目標(biāo)追蹤問題提出了一種結(jié)合對象分割輸出與光流的算法，該算法通過對象分割結(jié)果來計(jì)算光流，并使用二維方差分析光流在目標(biāo)輪廓區(qū)域的運(yùn)動(dòng)，利用光流特性實(shí)現(xiàn)了對人體的識(shí)別追蹤，但存在可靠性評價(jià)因子的選擇困難，以及預(yù)處理對光流計(jì)算結(jié)果造成影響等問題。Daehwan Kim［3］提出一種合并匹配算法，該算法結(jié)合了ICP算法通過三維掃描點(diǎn)的紋理色彩信息進(jìn)行搜索最近點(diǎn)的特性和粒子濾波器的多模態(tài)處理能力，基于目標(biāo)模型運(yùn)動(dòng)的歷史信息，搜索出最適合的運(yùn)動(dòng)參數(shù)來實(shí)現(xiàn)人體運(yùn)動(dòng)跟蹤，但存在粒子數(shù)匱乏以及初始化困難等問題。王傳旭等人［4］提出了基于時(shí)空特征點(diǎn)的非監(jiān)督姿態(tài)建模和行為識(shí)別的算法，算法采用EM的高斯混合模型對姿態(tài)類別進(jìn)行建模，并結(jié)合了二元語法模型，實(shí)現(xiàn)了對人體的行為識(shí)別。

OpenCV［5］擁有強(qiáng)大的圖像分析處理功能和便捷的算法調(diào)用功能，編寫的OpenCV有關(guān)代碼還可以正常運(yùn)行在DSP系統(tǒng)和單片機(jī)系統(tǒng)中。

人體信息匹配識(shí)別系統(tǒng)在實(shí)現(xiàn)監(jiān)控、錄像功能的基礎(chǔ)上，通過記錄圖像數(shù)據(jù)中被追蹤對象的輪廓信息和行為信息，構(gòu)建出人體信息匹配概率模型，并計(jì)算出運(yùn)動(dòng)個(gè)體處于監(jiān)控區(qū)時(shí)間段的每張幀圖像的匹配概率，得出綜合概率最大值，從而找出符合一定相似要求的個(gè)體。測試表明，系統(tǒng)的操作便捷，對目標(biāo)個(gè)體具有一定的識(shí)別能力。

1 人體信息匹配識(shí)別算法

1.1 算法概述

視頻圖像數(shù)據(jù)是監(jiān)控設(shè)備獲取的主要數(shù)據(jù)，人體信息匹配識(shí)別算法便是通過監(jiān)控設(shè)備收集到的圖像信息與某個(gè)被追蹤對象之前的圖像信息進(jìn)行匹配，從而達(dá)到自動(dòng)識(shí)別目的。由于不同人體之間都有各方面的特征差異，無法通過計(jì)算人體所有的特征差異來進(jìn)行匹配。不同人體的輪廓和某些行為特征都有一定的差異，而且在計(jì)算這兩方面的差異信息時(shí)只需處理灰度圖像，降低了計(jì)算的復(fù)雜度。筆者結(jié)合被追蹤者的輪廓信息和行為信息設(shè)計(jì)了人體信息匹配識(shí)別算法，利用該算法使每一個(gè)在監(jiān)控區(qū)活動(dòng)的個(gè)體與目標(biāo)對象進(jìn)行相似匹配。整個(gè)人體信息匹配識(shí)別算法包括背景分離、顏色聚類、人體信息匹配概率模型構(gòu)建、綜合概率最大值。整個(gè)算法的流程框圖如圖1所示。

圖1 算法流程圖

1.2 背景分離與顏色聚類

背景分離是把幀圖像中的背景與運(yùn)動(dòng)個(gè)體分割出來［6］，把被追蹤個(gè)體從得到的資料幀圖像數(shù)據(jù)中分割出來較為簡單，主要是把監(jiān)控幀圖像里的背景圖層分割出，以便檢測出運(yùn)動(dòng)目標(biāo)。運(yùn)用幀差法［7］，對圖像序列相鄰2幀或3幀間使用基于像素的時(shí)間差分，并通過閉值化來提取出圖像中的運(yùn)動(dòng)前景圖。圖2為在實(shí)驗(yàn)室對系統(tǒng)進(jìn)行測試時(shí)所得到的監(jiān)控幀圖像及其背景分離效果圖。

圖2 監(jiān)控幀圖像及背景分離效果圖

提取出監(jiān)控幀圖像里的運(yùn)動(dòng)個(gè)體后，對其進(jìn)行顏色聚類，通過改進(jìn)的 k－means聚類［8－9］算法，使運(yùn)動(dòng)個(gè)體可以依據(jù)顏色進(jìn)行區(qū)分。假設(shè)一個(gè)運(yùn)動(dòng)個(gè)體是具有n個(gè)像素點(diǎn)的簇X={x1，x2，…，xn}，選擇k個(gè)點(diǎn)作為初始類聚中心，為集合 G={a1，a2，…，ak}。

1)設(shè)像素點(diǎn)xi(i=1，2，…，n)屬于類j(j=1，2，…，k)，重量為m(xi)。建立有關(guān)xi的函數(shù)，函數(shù)表示像素點(diǎn)xi以aj作為中心構(gòu)成的集合。

2)根據(jù)有關(guān)像素點(diǎn)xi的函數(shù))和重量m(xi)計(jì)算中心點(diǎn)aj的位置為

3)重復(fù)步驟1)和步驟2)，直到收斂。

每一個(gè)質(zhì)心位于中心點(diǎn)aj處的像素點(diǎn)，最接近該類的中心，用k－means聚類算法優(yōu)化，得到每個(gè)類的平方差總和為

優(yōu)化后的E值越小，顏色聚類效果越明顯。再利用輪廓系數(shù)［10］進(jìn)行聚類有效性分析，假設(shè)類與類之間的平均距離取最小值bi，同類內(nèi)部樣本之間的距離均值取ai，則每一類的輪廓系數(shù)為

簇X的總輪廓系數(shù)為

輪廓系數(shù)越高，最終的聚類性能越佳。

1.3 人體信息匹配概率模型構(gòu)建

用被追蹤目標(biāo)的輪廓信息作為其中一種追蹤線索，是因?yàn)槊總€(gè)個(gè)體的輪廓都具有一定的差異性，與個(gè)體的身高和體型有關(guān)。圖像中所能得到的人體行為信息主要是人體的行走姿態(tài)信息，人體經(jīng)歷一個(gè)長時(shí)間的行走過程之后，揮手、抬腿等行為姿態(tài)特征在無意識(shí)下會(huì)形成一種習(xí)慣，具有一定的不變性。結(jié)合輪廓信息和行為信息構(gòu)建了人體信息匹配概率模型，對目標(biāo)對象進(jìn)行相似匹配。由于對目標(biāo)的匹配識(shí)別是依靠歷史圖像信息，與相鄰時(shí)間段的跟蹤算法不同，不需要對目標(biāo)對象進(jìn)行顏色建模。建立一個(gè)能把目標(biāo)包圍的面積最小的矩形，以矩形的中心為原點(diǎn)建立x軸和y軸，計(jì)算目標(biāo)對象在x軸和y軸方向上的均值和方差，分別設(shè)為μx，μy和，用高斯密度函數(shù)g(xi;μ，Σ)［11］來描述任意一個(gè)像素點(diǎn)xi處于某個(gè)目標(biāo)對象的概率

式中:Σ 為密度函數(shù)的共變異矩陣;μ =［μx，μy］T為目標(biāo)對象的密度中心點(diǎn)。要用最佳的參數(shù)μ和Σ來描述像素點(diǎn)的概率分布，可利用最佳可能性估測法。假設(shè)每個(gè)像素點(diǎn)xi(i=1，2，…，n)屬于某個(gè)目標(biāo)對象是互相獨(dú)立的事件，發(fā)生 X={x1，x2，…，xn}的概率為

對式(6)求取最大值，轉(zhuǎn)化為求取 L(μ，Σ)最大值，即

對式(7)L(μ，Σ)中的參數(shù)μ微分后求得

令式(8)等于0，可以得到最佳的μ為

同理，求得最佳的Σ為

得到像素點(diǎn)屬于某個(gè)目標(biāo)對象的最佳概率函數(shù)后，再通過目標(biāo)對象的行走姿態(tài)圖像來構(gòu)建人體信息匹配概率模型。設(shè)有一目標(biāo)對象行走姿態(tài)的圖像，通過背景分離后用面積最小的矩形將目標(biāo)包圍，以矩形為中心建立起x軸、y軸，得到其在坐標(biāo)系上的位置信息。對于監(jiān)控區(qū)出現(xiàn)的運(yùn)動(dòng)個(gè)體，經(jīng)過背景分離和顏色類聚后，用相同的辦法建立起位置坐標(biāo)系，設(shè)任意運(yùn)動(dòng)個(gè)體O的坐標(biāo)信息為{［xn，yn］T}，n=1，2，…，N，N表示屬于O的像素點(diǎn)數(shù)，對于O中的任意一點(diǎn)像素點(diǎn)xi=［xn，yn］T，結(jié)合式(5)、式(9)、式(10)得到最佳的人體信息匹配概率模型為

圖3為進(jìn)行聚類和灰度處理后作為匹配模型的人體圖像。

圖3 匹配模型

1.4 綜合概率最大值

設(shè)有被追蹤目標(biāo)的n張行走姿態(tài)圖像。假設(shè)某運(yùn)動(dòng)個(gè)體從進(jìn)入直到走出監(jiān)控區(qū)這一時(shí)間段的幀圖像都被記錄下來，并利用算法進(jìn)行計(jì)算直到每張幀圖像運(yùn)動(dòng)個(gè)體的所有像素點(diǎn)找到最佳的匹配圖像，設(shè)立閾值T，當(dāng)匹配概率超過T值時(shí)，默認(rèn)找到對應(yīng)的達(dá)到相似要求的姿態(tài)圖像。假設(shè)最終計(jì)算有n′張幀圖像有對應(yīng)的匹配圖像，為了提高匹配精度，按照設(shè)定的閾值來選擇是否有必要把幀圖像傳送至界面顯示來進(jìn)行提示。

2 系統(tǒng)設(shè)計(jì)

2.1 硬件設(shè)計(jì)

硬件設(shè)計(jì)包括了下位機(jī)的監(jiān)控設(shè)備以及上位機(jī)的nRF2401 2.4 GHz無線收發(fā)模塊、F230 TV－OUT 模塊和PC。下位機(jī)監(jiān)控設(shè)備采用圖像數(shù)據(jù)無線遠(yuǎn)程傳輸?shù)姆桨福尚D(zhuǎn)云臺(tái)、USB攝像頭、供電電源、ARM11 S3C6410處理器、nRF2401 2.4 GHz無線收發(fā)模塊組成。ARM11 S3C6410處理器控制云臺(tái)和攝像頭的工作狀態(tài)，并利用H.264圖像編碼壓縮功能，把壓縮后的圖像數(shù)據(jù)傳送到上位機(jī)的nRF2401 2.4 GHz無線收發(fā)模塊，再通過nRF2401 2.4 GHz無線接收模塊把數(shù)據(jù)傳送到F230 TVOUT模塊，利用F230 TV－OUT模塊的視頻解碼功能，把解壓后的數(shù)據(jù)發(fā)送到PC機(jī)，再通過OpenCV軟件的處理，就可以使視頻圖像在操控界面上顯示。整體硬件架構(gòu)如圖4所示。

圖4 硬件架構(gòu)圖

監(jiān)控設(shè)備的微控制器選用三星S3C6410處理器，S3C6410處理器具有功率低、體積小的優(yōu)點(diǎn)，它有Camera Interface接口，外接 Camera，支持 ITU－R BT.601/656 8 bit標(biāo)準(zhǔn)輸入和Zoom In功能，最大圖像像素達(dá)4 096×4 096。內(nèi)置視頻編解碼器，支持MPEG－4 Simple Profile，H.264/AVC Baseline Profile，H.263 P3 和 VC－1Main Profile編解碼功能，有USB OTG2.0接口，保證攝像頭采集到的視頻數(shù)據(jù)能高速傳輸，與nRF2401 2.4 GHz無線發(fā)射模塊通過四線RS－232串口相接，實(shí)現(xiàn)壓縮后的數(shù)據(jù)能通過發(fā)射模塊達(dá)到上位機(jī)。

nRF2401 2.4 GHz發(fā)射模塊工作于 2.4 ～2.5 GHz ISM頻段，帶有集成增強(qiáng)型8051內(nèi)核、9路10 bit ADC、UART異步串口、SPI串口和PWM輸出;芯片耗能低，收發(fā)可靠，其外形尺寸小。通過加載3 dBi增益天線使它達(dá)到300 m內(nèi)的1 Mbit/s傳輸速率，保證了經(jīng)過H.264壓縮后的數(shù)字圖像可以實(shí)現(xiàn)穩(wěn)定、高速傳輸。

F230 TV－OUT模塊為飛思通科技公司開發(fā)的H.264視頻解碼模塊，內(nèi)部集成數(shù)字H.264編解碼和ISE220 TV－OUT功能，可以支持同時(shí)顯示4路發(fā)射監(jiān)控?cái)z像端監(jiān)控畫面。F230 TV－OUT模塊有專用的RF模塊接口，與nRF2401 2.4 GHz模塊組合，可以構(gòu)成一個(gè)視頻數(shù)據(jù)無線移動(dòng)接收終端，從而保證PC機(jī)能得到穩(wěn)定、高質(zhì)量的圖像數(shù)據(jù)。

2.2 軟件設(shè)計(jì)

人體信息匹配識(shí)別系統(tǒng)利用OpenCV來進(jìn)行圖像處理，可以實(shí)現(xiàn)包括對圖像的聚類分塊、對運(yùn)動(dòng)個(gè)體的標(biāo)記等功能。OpenCV的部分執(zhí)行程序代碼如下:

3 實(shí)驗(yàn)結(jié)果及對比分析

先提供圖3左邊對象的行走姿態(tài)圖像，然后在監(jiān)控區(qū)域內(nèi)讓該對象進(jìn)行行走測試，并在監(jiān)控過程中讓對象做出與姿態(tài)圖像相似的動(dòng)作，系統(tǒng)獲取了此刻的匹配圖像并在界面左下角進(jìn)行顯示，如圖5所示。

圖5 系統(tǒng)匹配結(jié)果(截圖)

為了確定系統(tǒng)的匹配識(shí)別精確性與哪些因素有關(guān)以及是否有變化規(guī)律，分別從目標(biāo)的行走姿態(tài)圖像數(shù)量以及閾值T的設(shè)定入手計(jì)算匹配精度。筆者在有20人的監(jiān)控區(qū)內(nèi)讓系統(tǒng)進(jìn)行識(shí)別目標(biāo)的實(shí)驗(yàn)，其中匹配精度是由目標(biāo)被系統(tǒng)確認(rèn)為匹配人體所需要的實(shí)驗(yàn)次數(shù)以及被系統(tǒng)列為匹配人體的個(gè)體數(shù)目決定。實(shí)驗(yàn)得到了如表1的數(shù)據(jù)結(jié)果。

表1 數(shù)據(jù)結(jié)果

從表1可以看出，所提供目標(biāo)的圖像數(shù)量越多，匹配的準(zhǔn)確性就越大，閾值的設(shè)定在一定范圍內(nèi)越高，匹配的要求精度越高，準(zhǔn)確性也就越大。把文獻(xiàn)［4］的行為姿態(tài)識(shí)別算法與本文的算法進(jìn)行對比驗(yàn)證，比較兩種算法在行為姿態(tài)上與原目標(biāo)的匹配精度，用VC++6.0把本文算法和文獻(xiàn)［4］算法進(jìn)行編程實(shí)現(xiàn)，實(shí)驗(yàn)在有Core i5－650 CPU(主頻3.2 GHz)和4 Gbyte內(nèi)存的計(jì)算機(jī)下進(jìn)行，在有20人的監(jiān)控區(qū)進(jìn)行了實(shí)驗(yàn)，隨著提供的人體行走姿態(tài)圖像的增多，兩個(gè)算法的匹配精度和完成匹配的時(shí)間的對比分析圖如圖6所示。從圖中的曲線走向可以看出，該系統(tǒng)的匹配識(shí)別算法更具有實(shí)效性，而且隨著行走姿態(tài)圖像的增多，本文算法的匹配準(zhǔn)確性更加明顯。

圖6 對比分析圖

4 小結(jié)

針對利用監(jiān)控錄像來查找目標(biāo)對象的行蹤線索存在數(shù)據(jù)量大、容易疏漏以及發(fā)現(xiàn)不及時(shí)等問題，設(shè)計(jì)了人體信息匹配識(shí)別系統(tǒng)，通過目標(biāo)人體輪廓信息和行為信息來對監(jiān)控區(qū)運(yùn)動(dòng)個(gè)體進(jìn)行匹配，找出相似人體，方便查找和確認(rèn)，節(jié)省了人力和時(shí)間。實(shí)驗(yàn)表明，人體信息匹配識(shí)別系統(tǒng)對目標(biāo)具有一定的識(shí)別性。人體信息匹配識(shí)別系統(tǒng)由于自身匹配原理的局限性，當(dāng)遇到目標(biāo)的行走姿態(tài)圖像不足，以及以非行走的方式經(jīng)過監(jiān)控區(qū)，或者借助其他物體導(dǎo)致輪廓變化時(shí)，系統(tǒng)都無法對其進(jìn)行匹配識(shí)別，還有待進(jìn)一步完善其匹配原理，使系統(tǒng)能夠在變化的條件下仍能發(fā)揮出匹配識(shí)別效果。

［1］張良，鄭世寶，楊華.一種特征融合的帶寬自適應(yīng)Mean Shift跟蹤算法［J］.電視技術(shù)，2012，36(5):118－121.

［2］GIRISHA R，MURALI S.Tracking humans using novel optical flow algorithm for surveillance videos［EB/OL］.［2012－10－20］.http://dl.acm.org/citation.cfm?id=1980429.

［3］KIM D W，KIM D J.A novel fitting algorithm using the ICP and the particle filters for robust 3D human body motion tracking［C］//Proc.the 1st ACM Workshop on Vision Networks for Behavior Analysis.［S.l.］:IEEE Press，2008:69－76.

［4］王傳旭，劉云，厲萬慶.基于時(shí)空特征點(diǎn)的非監(jiān)督姿態(tài)建模和行為識(shí)別的算法研究［J］.電子學(xué)報(bào)，2011，39(8):1752－1756.

［5］PULLI K，BAKSHEEV A，KORNYAKOV K.Real time computer vision with OpenCV［J］.Queue－Processors，2012，10(4):1－17.

［6］孫濤，陳瑞平.視頻監(jiān)控系統(tǒng)中一種運(yùn)動(dòng)目標(biāo)的檢測方法［J］.電視技術(shù)，2012，36(7):127－129.

［7］YIN Hongpeng，YI C，YANG S X.Fast－moving target tracking based on mean shift and frame－difference methods［J］.Journal of Systems Engineering and Electronics，2011，22(4):587－592.

［8］KANUNGO T，MOUNT D M，NETANYAHU N S.A local search approximation algorithm for k－means clustering［C］//Proc.the Eighteenth Annual Symposium on Computational Geometry.［S.l.］:IEEE Press，2002:1－18.

［9］TEBOULLE M.A unified continuous optimization framework for centerbased clustering methods［J］.The Journal of Machine Learning Research，2007(8):65－102.

［10］RADOVANOVI M，NANOPOULOS A，IVANOVI M.Hubs in space:popular nearest neighbors in high－dimensional data［J］.The Journal of Machine Learning Research，2010(11):2487－2531.

［11］VERT R，VERT J P.Consistency and convergence rates of one－class SVMs and related algorithm［J］.The Journal of Machine Learning Research，2006，7(12):817－854.