基于Matlab的深度圖像采集與處理

吳東艷 張凌志 冷爽 韓喜春

摘 ? ?要：本文介紹了在Matlab開(kāi)發(fā)環(huán)境中利用Kinect獲取彩色圖像和深度圖像的具體操作步驟，以及利用Kinect獲取深度圖像進(jìn)行骨骼追蹤的原理和實(shí)現(xiàn)方法。給出了Kinect攝像頭獲取深度信息和人體骨骼信息，將每個(gè)骨骼點(diǎn)的三維信息轉(zhuǎn)換成深度圖上的二維信息，通過(guò)濾波和人體像素分類、部位識(shí)別，骨骼跟蹤系統(tǒng)的20個(gè)關(guān)節(jié)點(diǎn)坐標(biāo)。實(shí)踐證明，這種方法不易受外界環(huán)境因素的干擾，能較好地克服部位遮擋問(wèn)題，從而獲得高質(zhì)量的跟蹤圖像。

關(guān)鍵詞：圖像采集;Kinect;Matlab;深度圖像;骨骼追蹤

一、引言

Kinect是一款性價(jià)比高的圖像傳感器，可用于目標(biāo)跟蹤，語(yǔ)音識(shí)別，動(dòng)作識(shí)別，捕獲彩色圖像和深度數(shù)據(jù)。通過(guò)開(kāi)發(fā)算法Kinect能推算出人的骨骼結(jié)構(gòu)。基于Matlab的深度圖像采集與處理給出了在Matlab開(kāi)發(fā)環(huán)境中利用Kinect 獲取彩色圖像和深度圖的具體操作步驟;利用Kinect深度圖像進(jìn)行骨骼追蹤的原理和實(shí)現(xiàn)方法[1]。能較好地克服部位遮擋問(wèn)題，獲得高質(zhì)量的跟蹤圖像。

二、開(kāi)發(fā)平臺(tái)的構(gòu)建

軟件安裝環(huán)境需要Windows7及以上版本的x64操作系統(tǒng)。對(duì)于Kinect2則需要安裝MATLAB2016a以上版本，本文采用MATLAB2018b，接著安裝攝像頭驅(qū)動(dòng)程序和開(kāi)發(fā)工具。如本文使用羅技攝像頭，就安裝羅技攝像頭驅(qū)動(dòng)程序。再接著在MATLAB集成開(kāi)發(fā)環(huán)境IDE中選擇“附加功能管理器”，再選擇“獲取硬件支持包”，在顯示的圖形界面中，選擇Image Acquisition Toolbox Support Package for OS Generic Video Interface和Kinect for Windows Sensor Image Acquisition Toolbox Support Package for Kinect For Windows Sensor安裝，將會(huì)同時(shí)下載KinectSDK進(jìn)行安裝[2-3]。然后接上Kinect電源，插上USB接口。在命令行輸入imaqhwinfo，要是以上步驟沒(méi)問(wèn)題的話，命令行窗口會(huì)顯示出Kinec和羅技攝像頭struct信息。Matlab中打開(kāi)app里面的Image Acquisition，就可以看到Kinect和羅技攝像頭在菜單選項(xiàng)里面，然后就可以開(kāi)始Kinect彩色和深度圖像以及邏輯攝像頭彩色圖像采集了。使用羅技攝像頭的圖像采集工具箱用戶界面如圖1所示[4]。

三、利用圖像采集工具箱采集彩色和深度圖像

在MATLAB主菜單選擇應(yīng)用程序，在應(yīng)用程序下選擇Image Acquisition，進(jìn)入圖像采集工具箱。在Hardware Browser窗口中列出本系統(tǒng)中安裝和支持的所有攝像頭。其中就有彩色傳感器Kinect V2 Color Sensor（kinect-1）和深度傳感器Kinect V2 Depth Sensor（kinect-2）。彩色圖像有7種格式，深度圖像有3種格式。選擇某一種圖像格式并雙擊，則選擇了該圖像格式進(jìn)行采集。然后在圖像采集和預(yù)覽窗口中選擇采集或預(yù)覽圖像。預(yù)覽是連續(xù)采集圖像但不保存。圖像可以按幀采集并保存。MATLAB圖像采集工具箱主用戶界面如圖1所示。利用此人機(jī)交互界面采集的彩色圖像和深度圖像如圖2所示[5]。

點(diǎn)擊Start Preview啟動(dòng)圖像預(yù)覽，點(diǎn)擊Stop Preview停止圖像預(yù)覽。點(diǎn)擊Start Acquisition啟動(dòng)圖像采集，點(diǎn)擊Stop Acquisition停止圖像采集。在采集參數(shù)設(shè)置窗口可以設(shè)置如下參數(shù)：每次觸發(fā)采集的幀數(shù)，顏色空間，攝像頭高低角度，每秒幀數(shù)。在采集時(shí)可以設(shè)置導(dǎo)出數(shù)據(jù)，文件采用哪種格式保存，圖像在顯示器上顯示的部分。

在信息窗口Information中顯示正在使用的圖像傳感器配置的相關(guān)信息。在交互日志窗口Session Log中操作圖像處理工具箱每一步對(duì)應(yīng)的MATLAB命令。可以將其整理到自己設(shè)計(jì)的MATLAB命令文件中[6]。

圖像采集常用命令：

hwInfo = imaqhwinfo（'kinect'），識(shí)別出系統(tǒng)中兩個(gè)圖像傳感器裝置。

hwInfo.DeviceInfo（1）和 hwInfo.DeviceInfo（2）分別顯示出彩色和深度傳感器詳細(xì)信息。

colorVid = videoinput（'kinect'，1）和depthVid = videoinput（'kinect'，2）生成兩個(gè)視頻輸入的數(shù)據(jù)流。

triggerconfig（[colorVid depthVid]，'manual'）設(shè)置為手動(dòng)觸發(fā)模式。

colorVid.FramesPerTrigger = 100和depthVid.FramesPerTrigger = 100設(shè)置每次觸發(fā)采集多少幀圖像數(shù)據(jù)。

start（[colorVid depthVid]）和 trigger（[colorVid depthVid]）啟動(dòng)圖像采集并記錄數(shù)據(jù)。

[colorFrameData，colorTimeData，colorMetaData] = getdata（colorVid）和[depthFrameData，depthTimeData，depthMetaData] = getdata（depthVid）重復(fù)采集圖像數(shù)據(jù)。

stop（[colorVid depthVid]）停止彩色和深度圖像采集。

骨骼追蹤常用命令：

depthSrc = getselectedsource（depthVid）從深度裝置得到視頻對(duì)象。

depthSrc.TrackingMode = 'Skeleton'打開(kāi)骨骼追蹤。

anyPositionsTracked = any（metaDataDepth（95）.IsPositionTracked ～= 0）和anySkeletonsTracked = any（metaDataDepth（95）.IsSkeletonTracked ～= 0）從深度流檢查追蹤的骨骼。

trackedSkeletons = find（metaDataDepth（95）.IsSkeletonTracked）顯示那些骨骼被追蹤了。

jointCoordinates = metaDataDepth（95）.JointWorldCoordinates（：， ：， trackedSkeletons）和

jointIndices = metaDataDepth（95）.JointImageIndices（：， ：， trackedSkeletons）用彩色顯示關(guān)節(jié)和關(guān)節(jié)的坐標(biāo)[7]。

四、骨骼追蹤的實(shí)現(xiàn)

深度圖像對(duì)人體進(jìn)行識(shí)別主要包括人體部位的靜態(tài)識(shí)別、對(duì)骨骼、關(guān)節(jié)位置的判定以及人體動(dòng)作的動(dòng)態(tài)識(shí)別等。Kinect的骨骼追蹤技術(shù)是通過(guò)處理深度圖像建立起人體各個(gè)關(guān)節(jié)的坐標(biāo)，而Kinect的突出功能就是處理深度圖像，通過(guò)骨骼追蹤技術(shù)來(lái)確定人體的各個(gè)部位。深度圖像指從觀察者角度看，圖像所包含信息與場(chǎng)景物體表面距離相關(guān)的一種圖像。深度圖像能直接反映物體表面的三維特征 ，且不受光照、陰影和色度等因素的影響。分析深度圖像比較接近Kinect的區(qū)域，逐點(diǎn)掃描這些深度區(qū)域，判斷是否是“人體”目標(biāo)，圖3所示就是根據(jù)深度圖像識(shí)別出人體的20個(gè)骨骼點(diǎn)：頭部（head）、雙肩中央（shoulder center）、脊柱中段（spine）、臀部中央（hip center）、左臀部（hip 1eft）、右臀部（hip right）、左手（hand left）、右手（hand right）、左腕關(guān)節(jié)（wrist left）、右腕關(guān)節(jié)（wrist right）、左肘關(guān)節(jié)（elbow left）、右肘關(guān)節(jié)（elbow right）、左肩（shoulder left）、右肩（shoulder right）、左膝蓋（knee left）、右膝蓋（knee right）、左踝關(guān)節(jié)（ankle left）、右踝關(guān)節(jié)（ankle right）、左腳（foot left）和右腳（foot right） [8-9]。

Kinec可以將這20個(gè)關(guān)節(jié)位置是通過(guò)（x，y，z）三維坐標(biāo)表示出來(lái)，Kinect通過(guò)這些關(guān)節(jié)的坐標(biāo)來(lái)識(shí)別人所做的各種動(dòng)作。坐標(biāo)系滿足右手螺旋規(guī)則，Kinect 處于原點(diǎn)位置，y軸正向往上延伸 ，x軸正向往左延伸 ，z軸則與Kinect 攝像頭的方向相同，這個(gè)空間被稱為骨架空間。深度數(shù)據(jù)由16位組成，利用后3位信息（index）鎖定人體目標(biāo)，將前13位深度數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為8位的距離信息，并對(duì)人體目標(biāo)和背景做不同的二值處理，即將人物的8位深度距離信息（depth data）全部轉(zhuǎn)換為1，顯示為白色，將環(huán)境的深度數(shù)據(jù)轉(zhuǎn)換為0，顯示為黑色，實(shí)現(xiàn)深度圖像的二值化[10]。

將Kinect的骨骼追蹤功能應(yīng)用于視頻監(jiān)控，只要在偵測(cè)視角范圍，即使在夜間也可以偵查到是否有人在偵測(cè)視角范圍內(nèi)就可以被辨別。Kinect還可以識(shí)別人的動(dòng)作，如果被監(jiān)控的對(duì)象有可疑動(dòng)作，將會(huì)實(shí)時(shí)報(bào)警，對(duì)一些特定的動(dòng)作作出報(bào)警反應(yīng)。

五、結(jié)束語(yǔ)

本文主要介紹了在Matlab開(kāi)發(fā)平臺(tái)圖像采集工具箱支持下，利用Kinect提取的深度圖像進(jìn)行人體部位識(shí)別的方法。該方法對(duì)人體部位的區(qū)分提供了一種可行的解決方案，為手勢(shì)軌跡識(shí)別和人臉識(shí)別打下了良好的基礎(chǔ)。但是Kinect仍存有許多有待改進(jìn)的地方，識(shí)別精度不高，速度還不太快，相信下一代Kinect或相關(guān)開(kāi)發(fā)工具功能更強(qiáng)，使開(kāi)發(fā)者將精力主要投入到應(yīng)用上。

參考文獻(xiàn)：

[1] 吳國(guó)斌，李斌，閆驥洲.KINECT人機(jī)交互開(kāi)發(fā)實(shí)踐[M].北京：人民郵電出版社，2013.

[2] 王日海，湯振宇，吳新天.RealSense互動(dòng)開(kāi)發(fā)實(shí)戰(zhàn)[M].北京：機(jī)械工業(yè)出版社，2016.

[3] 陸奎，周鋒. Kinect在家庭智能監(jiān)控系統(tǒng)中的應(yīng)用[J].微型機(jī)與應(yīng)用，2014，33（13）：13-15.

[4] 李紅波，丁林建，冉光勇.基于Kinect深度圖像的人體識(shí)別分析[J].數(shù)字通信，2012，08：21-26.

[5] 余濤.Kinect應(yīng)用開(kāi)發(fā)實(shí)踐一用最自然的方式與機(jī)器對(duì)話[M].機(jī)械工業(yè)出版社，2012.

[6] Ting Wan， Yujun Wang， Junke Li. Hand Gesture Recognition System Using Depth Data[C].2012：1063-1066.

[7] 劉陽(yáng)，尚趙偉.基于Kinect骨架信息的交通警察手勢(shì)識(shí)別 [J].計(jì)算機(jī)工程與應(yīng)用，2015，51（3）：157一161.

[8]李吉，顧德，劉飛.基于Kinect深度信息的手指及手部跟蹤研究[J].計(jì)算機(jī)應(yīng)用與軟件.2015（03）：79-83.

[9]吳東艷，張凌志，冷爽，韓喜春. 基于Kinect傳感器的音樂(lè)噴泉控制系統(tǒng)[J].黑龍江工程學(xué)院學(xué)報(bào)，2018 （2）：31一33.

[10] 胡瓊， 秦磊， 黃慶明. 基于視覺(jué)的人體動(dòng)作識(shí)別綜述[J]. 計(jì)算機(jī)學(xué)報(bào)， 2013， 36（12）：24-25.

作者簡(jiǎn)介：吳東艷（1975-），女，副教授，碩士，研究方向：測(cè)控技術(shù)與儀器.

基金項(xiàng)目：黑龍江省教育廳科學(xué)技術(shù)研究項(xiàng)目12541665