基于FPGA的肢體動作捕捉系統(tǒng)設(shè)計與實現(xiàn)

鐘藝霖，吳曉紅，卿粼波，李飛平，張　琪

(四川大學　電子信息學院，四川 成都　610065)

基于FPGA的肢體動作捕捉系統(tǒng)設(shè)計與實現(xiàn)

鐘藝霖，吳曉紅，卿粼波，李飛平，張琪

(四川大學電子信息學院，四川 成都610065)

摘要:基于DE2-115開發(fā)平臺，設(shè)計了一種高效的肢體動作捕捉系統(tǒng)。系統(tǒng)對攝像頭采集到的視頻信號進行膚色檢測、噪聲消除，提取出合適合適膚色塊提取，在此基礎(chǔ)上計算跟蹤肢體質(zhì)心坐標，并根據(jù)人體輪廓和質(zhì)心之間的位置關(guān)系建立人體肢體模型。系統(tǒng)實現(xiàn)了肢體動作實時捕捉，并完成了三維模型重建。

關(guān)鍵詞:FPGA；膚色檢測；動作跟蹤；Bresenham算法；肢體建模

近年來，人體動作捕捉技術(shù)被廣泛應用在電子游戲、影視創(chuàng)作、運動分析等領(lǐng)域。人體動作捕捉系統(tǒng)是一種通過傳感器技術(shù)以及計算機技術(shù)來分析和記錄人體運動過程的系統(tǒng)。系統(tǒng)通常由前端硬件和后端軟件兩部分組成，其中前端硬件的主要功能是利用各種傳感器收集與人體運動相關(guān)的數(shù)據(jù)，后端軟件的功能是用硬件處理系統(tǒng)對運動數(shù)據(jù)進行有效的處理，進而對捕捉對象的動作類型進行判別[1]。從20世紀80年代開始，美國的Biomechanics實驗室、Simon Fraser大學、麻省理工學院等陸續(xù)開展人體運動捕捉系統(tǒng)的研究。此后，越來越多的科研院校和廠商加入人體動作捕捉系統(tǒng)的研制，多家廠商相繼推出了其商品化的運動捕捉設(shè)備[2]。人體動作捕捉也變得越來越多樣化，機械方案、聲學方案、電磁方案、光學方案以及生物電信號方案相繼出現(xiàn)。

本文設(shè)計了一種基于FPGA的肢體動作捕捉系統(tǒng)。系統(tǒng)對輸入的原始圖像進行色度信號判定和畫面降采樣，并設(shè)計算法提取肢體各部分膚色塊。通過計算關(guān)鍵質(zhì)心坐標實現(xiàn)運動跟蹤，并在此基礎(chǔ)上建立三維模型。最終通過在DE2-115開發(fā)平臺上的測試，驗證了系統(tǒng)可以實時穩(wěn)定可靠地進行肢體動作捕捉。不同于市面上大多數(shù)動作捕捉系統(tǒng)對硬件設(shè)備和運行環(huán)境的高要求，本文提出的動作捕捉方案占用非常低的邏輯資源和存儲器空間，同時能在動作跟蹤和模型重建上都有較好的表現(xiàn)。

1系統(tǒng)設(shè)計原理

動作捕捉系統(tǒng)由圖像采集、圖像處理、肢體模型建立三部分構(gòu)成。分別在圖1所示的系統(tǒng)設(shè)計原理圖中用不同底色表示。圖像采集部分攝像頭將采集到的畫面比特流加載到DE2-115開發(fā)平臺時， I2C_AV_Config模塊通過I2C協(xié)議配置解碼信息給視頻解碼芯片ADV7180。TV_to_VGA模塊首先將視頻解碼芯片輸出的ITU-R 656格式的畫面轉(zhuǎn)換成YCrCb 4∶2∶2畫面格式緩存到SDRAM中，并通過多路選擇器(MUX)將隔行掃描的YCrCb 4∶2∶2畫面格式轉(zhuǎn)換為YCrCb 4∶4∶4畫面格式[3]。最終將YCrCb 4∶4∶4畫面格式轉(zhuǎn)換成可以在VGA顯示器上顯示的RGB畫面格式。

圖1　系統(tǒng)設(shè)計原理圖

圖像處理部分主要由預處理、運動跟蹤兩個模塊組成。預處理模塊依據(jù)每個像素點的YUV值將圖像上的膚色像素點進行標記，并對標記膚色的圖像進行16×16模板均值減少噪聲。運動跟蹤模塊首先通過算法提取各部分最大膚色塊，并通過加權(quán)平均的方式計算各部分質(zhì)心坐標。

肢體模型建立部分由劃線狀態(tài)機和肢體模型狀態(tài)機兩個模塊組成。肢體模型數(shù)據(jù)對應一組記錄與質(zhì)心相對位置的模型端點的查找表，通過劃線算法連接相應端點來得到完整的肢體模型。通過查找當前直線的端點坐標值，劃線狀態(tài)機將連線上的各個標記點坐標依次發(fā)送給肢體模型狀態(tài)機。肢體模型狀態(tài)機通過控制劃線狀態(tài)機有序地將模型各個像素點輸出顯示。

2圖像處理

2.1預處理

預處理模塊需要將圖像采集部分的YUV圖像做膚色提取和空間均值，為運動跟蹤模塊捕捉肢體各部分位置提供依據(jù)。

色彩檢測是一種常用的檢測圖像中不同物體的方法，算法復雜度低并且易于實現(xiàn)。根據(jù)Melanie所做的研究，人類膚色可以和圖像中其他背景所表現(xiàn)出色彩上的特征容易區(qū)分，并且不同膚色人種在色度信號上表現(xiàn)得尤為統(tǒng)一，可以通過色度信號U作為判定膚色像素點的主要依據(jù)，并且判定膚色無需受到畫面明亮度Y分量的影響，如式(1)所示[4]

10

(1)

為了取得穩(wěn)定的處理效果，對檢測的膚色圖像做空間均值來減少圖像中噪聲信號。640×480畫面通過16×16模板的均值后轉(zhuǎn)換為40×30畫面，并將均值后的畫面保存在開辟的存儲空間中。為了避免數(shù)據(jù)溢出，應當開辟存儲深度為26×25的存儲空間，位寬為16×16即為28。存儲空間輸入為d，輸出為q，用于保存的是16×16模板中的膚色像素點個數(shù)數(shù)據(jù)，當模板內(nèi)超過半數(shù)的像素點為皮膚像素點時，將當前模板標記為膚色模板[5]。

整個預處理模塊工作流程如下：對每一幀輸入YUV圖像做膚色檢測，對滿足判定的像素點標記為白色，同時更新存儲空間中所在16×16模板的膚色像素點個數(shù)。降采樣坐標滿足地址后四位全為0，即VGA_X[3：0]==4′b0和VGA_Y[3：0]==4′b0時，通過查找對應模板在存儲空間中膚色像素點累計個數(shù)來判定是否標記為膚色模板。由于存儲空間中的q值是不斷累加的，將模板內(nèi)膚色像素點個數(shù)緩存到temp寄存器中，用來對模板內(nèi)其余(16×16-1)個像素做相同的膚色判定，達到對圖像做降采樣的目的。預處理原理圖如圖2所示。

圖2　預處理原理圖

2.2運動跟蹤

為了對肢體各部分別進行跟蹤，將畫面劃分為頭部區(qū)域、左手區(qū)域和右手區(qū)域，如圖3a所示。由于在實際動作捕捉過程中會出現(xiàn)將背景中的某些物體判定為膚色像素點，或者出現(xiàn)如手部的部分膚色像素塊重疊到頭部區(qū)域的情況。為了減少對肢體各個部分位置判定的失誤，只對各個區(qū)域內(nèi)最大膚色塊進行質(zhì)心坐標提取。

a　區(qū)域劃分示意圖　　　　　b　相鄰像素點判定示意圖圖3　質(zhì)心計算示意圖

對任意膚色像素點，如果相鄰8個像素位置存在其他膚色像素點，那么將這些膚色像素點判定為在同一膚色塊。由于像素點顯示按照從左往右，從上到下的順序，只需要判定當前膚色像素點周圍1、2、3、4位置有無相鄰膚色素點即可，如圖3b所示。如果當前膚色像素點有相鄰膚色像素點，和相鄰膚色像素點按照相同標記值標記，并對該膚色塊像素個數(shù)統(tǒng)計Pixel+1；如果沒有，對該膚色像素點賦上新的標記值且膚色塊數(shù)Count+1。最終Count寄存器值即為區(qū)域內(nèi)膚色塊數(shù)量，判定結(jié)果保存在開辟的M4K緩存空間中，工作原理圖如圖4a所示。

a　標記膚色塊原理圖　　　　　　　　　　　　　　b　各部分最大膚色塊提取原理圖圖4　膚色塊提取原理圖

每一幀結(jié)束時，膚色塊對應像素個數(shù)統(tǒng)計Pixel值最大的膚色塊即為所需膚色塊。對當前緩存圖像中各個區(qū)域內(nèi)的像素個數(shù)統(tǒng)計Pixel進行比較，只對各區(qū)域內(nèi)最大膚色塊進行保留，判定需要進行Count-1次，如圖4b所示。

最后對各區(qū)域最大膚色塊內(nèi)的膚色像素點通過加權(quán)平均的方式計算質(zhì)心像素點的坐標值[6]，如式(2)和式(3)所示

(2)

(3)

通過對做時間均值的方式減少質(zhì)心坐標的偶然跳變，設(shè)置系數(shù)為0.6，表示為

(4)

(5)

通過上述預處理模塊和運動跟蹤模塊，圖像處理部分可以提取并跟蹤運動捕捉關(guān)鍵的肢體質(zhì)心位置坐標。

3模型建立

3.1Bresenhams算法

通過捕捉肢體各部分質(zhì)心坐標位置系統(tǒng)已經(jīng)實現(xiàn)基本的動作跟蹤，現(xiàn)在需要借助這些坐標建立肢體模型[7]。所采用的模型建立思想是點到線，線到面的遞進的思想。首先計算肢體模型各部分關(guān)鍵點和質(zhì)心坐標的關(guān)系，有序地將這些模型關(guān)鍵點連接就可以得到肢體模型，比如人臉左側(cè)和頭部質(zhì)心坐標的相對坐標關(guān)系為(Head_X-10′d37，Head_Y +9′d90)和(Head_X-10′d37，Head_Y-9′d90)，將這兩個端點連接就可以畫出人的左半邊臉輪廓。為了構(gòu)建完整的肢體模型就需要合適的劃線算法。

Bresenham算法是數(shù)字系統(tǒng)中基本的劃線算法，被廣泛用于計算機繪圖。Bresenham劃線算法采用逐步推進的思想，令每次變化最大的方向坐標增加一個像素，并通過判別式?jīng)Q定另一個方向是否增加一個像素。已知直線端點坐標就可以計算出端點之間所有像素點的坐標值。

直線起點(x1，y1)和終點(x2，y2)像素點的坐標值只能取整數(shù)，直線y=mx+b連接起點和終點坐標。假設(shè)斜率0≤m≤1和x1

圖5　直角坐標系示意圖

當x=xi+1時，y=m(xi+1)+b，且距離(xi+1，yi)和(xi+1，yi+1)的距離分別為d1和d2。那么d1和d2表示為

d1=y-yi=m(xi+1)+b-yi

(7)

d2=(yi+1)-y=(yi+1)-m(xi+1)-b

(8)

則d1-d2表示為

d1-d2=2m(xi+1)-2yi+2b-1

(9)

通過d1-d2是否大于零來判別直線下一點(x，y)與(xi+1，yi)或(xi+1，yi+1)比較接近，由式(10)定義pi

pi=dx×(d1-d2)=2dy·xi-2dx·yi+c

(10)

由于dx>0，可以判別pi是否大于零來判別下一點坐標。由pi可以得到pi+1

pi+1=2dy·xi+1-2dx·yi+1+c

(11)

則由式(11)和式(12)可以得到p1

p1=2dy-dx

(12)

所以初始化p1= 2dy-dx，當pi≥0時，下一像素點為(xi+1，yi+1)且pi+1=pi+2(dy-dx)；否則下一像素點為(xi+1，yi)且pi+1=pi+2dy。當xi=x2時，當前線條繪畫完成。

3.2劃線狀態(tài)機

三維肢體模型共由40條直線組成，其中依據(jù)頭部質(zhì)心坐標得到的頭部模型和身體模型共24條，依據(jù)左右手質(zhì)心坐標得到的手部模型各4條，連接左右手到身體的直線各4條。查找表中保存了這40組直線端點坐標值，劃線狀態(tài)機通過讀取當前查找表的序號寄存器查找對應的直線起點(x1，y1)和終點(x2，y2)像素點的坐標值。劃線狀態(tài)機需要等待肢體模型狀態(tài)機初始化完成后發(fā)出的開始請求，收到請求和查找表序號后查找當前劃線端點坐標。讀取到的坐標可能會遇到與Bresenham算法推導中假設(shè)不一致的情況，如m>1，x1>x2或者y1>y2。需要將八種不同的可能區(qū)分并初始化劃線狀態(tài)機，但算法思路都一致。然后就是通過Bresenham算法計算下一點的坐標值。當xi=x2時，當前線條繪畫完成，否則輸出下一點坐標。劃線狀態(tài)機原理圖如圖6所示。

圖6　劃線狀態(tài)機原理圖

3.3肢體模型狀態(tài)機

肢體模型狀態(tài)機通過給劃線狀態(tài)機發(fā)送開始請求和當前查找表序號值，控制劃線狀態(tài)機計算顯示器上連接端點直線的下一點坐標值。在開辟的存儲空間中將劃線狀態(tài)機返回的下一點坐標值進行標記。當劃線狀態(tài)機返回的是最后一點的坐標值時，對查找表序號加1。如此反復完成查找表中直線端點坐標對應的40條直線，當更新完最后一條直線后重新將查找表清零。當行同步信號或者場同步信號為低時，對存儲空間中的肢體模型數(shù)據(jù)進行更新，避免顯示畫面發(fā)生跳變。在每一幀結(jié)束時初始化新的質(zhì)心坐標并將存儲空間清零，防止上一幀的顯示模型對當前幀造成影響。肢體模型狀態(tài)機原理圖如圖7所示。

圖7　肢體模型狀態(tài)機原理圖

4設(shè)計驗證

本文設(shè)計系統(tǒng)最終在DE2-115平臺上得到驗證。實驗選擇淺黃色木柜和擺滿物品的辦公桌作為背景，由穿著夏裝的男性和秋裝的女性作為動作捕捉對象。標記膚色像素點圖像基本準確檢測人體肢體部分同時帶有少量環(huán)境噪聲，通過提取降采樣圖像中最大膚色塊去除了背景中接近膚色物體的干擾。通過標記質(zhì)心的原始圖像對比，得到的質(zhì)心能夠準確顯示動作捕捉者的頭部和左右手位置，并且能夠?qū)崿F(xiàn)穩(wěn)定跟蹤。計算得到的肢體三維模型也達到了預期實現(xiàn)動作捕捉并進行模型重建的效果。大部分基本動作捕捉效果比較理想，質(zhì)心位置和人的手部位置相當接近。當人體手部運動速度相對較快時會出現(xiàn)質(zhì)心位置和手心位置發(fā)生偏離的現(xiàn)象，這種情況可以通過增大質(zhì)心模塊的時間均值系數(shù)來優(yōu)化，但同時也會影響質(zhì)心位置的穩(wěn)定性。實驗結(jié)果表明，本文設(shè)計肢體動作捕捉系統(tǒng)能夠?qū)崿F(xiàn)在相對復雜的環(huán)境中辨別并跟蹤動作捕捉者的肢體動作，并能夠根據(jù)人肢體的動作進行實時的三維模型重建。部分實驗結(jié)果如圖8所示。

a　采集原始圖像　 　b　膚色檢測圖像　 　c　預處理圖像　　　d　運動跟蹤圖像　 　e　三維模型重建圖像圖8　實驗結(jié)果

實驗編譯環(huán)境為Quartus11.0，占用DE-115平臺14%的邏輯資源和5%的存儲器資源。使用邏輯分析儀SignalTapII跟蹤測試時肢體各部分質(zhì)心坐標位置變化，軌跡如圖9所示。

a　質(zhì)心x坐標隨時間變化圖

b　質(zhì)心y坐標隨時間變化圖

實驗編譯環(huán)境為Quartus11.0，占用DE-115平臺14%的邏輯資源和5%的存儲器資源，編譯報告如圖10所示。并與美國康奈爾大學的Chuck Yand[9]和美國加州大學戴維斯分校的Thuy Tuong Nguyen[10]所做的FPGA平臺上基于圖像處理的人體動作捕捉系統(tǒng)進行對比。經(jīng)過比較，本文設(shè)計的動作捕捉系統(tǒng)在有效實

現(xiàn)動作跟蹤和模型重建的基礎(chǔ)上通過簡化系統(tǒng)設(shè)計實現(xiàn)較低的邏輯單元和存儲器空間占用。相比Chuck Yand設(shè)計的捕捉系統(tǒng)累計節(jié)約了近13%的芯片資源占用，并且做到多個人體部位實時捕捉；相比Thuy Tuong Nguyen設(shè)計的捕捉系統(tǒng)累計更是節(jié)約了近80%的資源占用，對比結(jié)果如表1所示。

圖10　編譯報告(截圖)

表1　系統(tǒng)對比結(jié)果

5結(jié)論

本文設(shè)計了一種基于攝像頭的肢體動作捕捉系統(tǒng)，通過圖像處理的方法進行肢體動作跟蹤。這種基于色度信號進行膚色判別的方式可以較少受到采集環(huán)境明亮度的影響，通過對提取的膚色圖像進行空間均值和時間均值來降低環(huán)境噪聲，使得系統(tǒng)有更高的穩(wěn)定性；通過對各部分有效膚色塊的質(zhì)心坐標跟蹤進而實現(xiàn)肢體模型重建。整個系統(tǒng)占用資源少，設(shè)計高效，最終通過驗證能夠有效跟蹤捕捉者的肢體動作和進行實時模型重建。將來希望通過改進算法實現(xiàn)肢體模型根據(jù)捕捉者的拍攝距離改變大小和多人的實時動作捕捉。

參考文獻：

[1]徐昺. 基于MEMS傳感器與Zigbee網(wǎng)絡(luò)的人體動作捕捉系統(tǒng)的設(shè)計與實現(xiàn)[D]. 成都：電子科技大學，2013.

[2]容志能.慣性運動捕捉系統(tǒng)中傳感數(shù)據(jù)的傳輸與處理[D]. 杭州：浙江大學，2012.

[3]Terasic Technology Inc. DE2-115 User Manual[EB/OL].[2015-09-25].http：//wenku.baidu.com/link?url=BB1Mu87GetlSzXMcV0MttgMWY-AiKrN5zUBJ1i6aOwZRY

PlZx6XgJwfcci5lAkduHFqnKeZNHWkWMABcmiCW1GkjUK

kGz P8Au0GETM4aweW.

[4]OOI M P. Selangor hardware implementation for face detection on Xilinx Virtex-II FPGA using the reversible component transformation color space [J]. Electronic design， test and applications， 2006(1)：17-19.

[5]Altera Corporation. Recommended HDL style [EB/OL]. [2015-09-25].http：//wenku.baidu.com/link?url=FzYNgMJd4vhbpfngucQnKWHsAIWZsgFEFycYg7KH9aWHi-

CJyJSwwjf1rmxLhQywihGTCrpYLgTc6VdoR3aYAHWryFgA

yxZmNJ2ZXpZMQWe.

[6]PASCHALAKIS S， BOBER M. A low cost FPGA system for high speed face detection and tracking [C]//2nd IEEE International Conference on Field Programmable Technology.[S.l.]：IEEE Press，2003：214-221.

[7]LI J F. A real-time 3D human body tracking and modeling system [C]//2006 IEEE International Conference Image Processing. [S.l.]：IEEE Press，2006：2809-2812.

[8]MICHAEL J. Computer graphics[EB/OL]. [2015-09-25].http：//cg.informatik.uni-freiburg.de/.

[9]CHUCK Y. Face tracking perspective projection on FPGA[EB/OL].[2015-09-25].http：//www.eeweb.com/project/chuck_yang/face-tracing-perspective-projection-on-fpga.

[10]NGUYEN T T. Real-time multiple object centroid tracking for gesture recognition based on FPGA [EB /OL]. [2015-09-25].https：//www.researchgate.net/.

責任編輯：閆雯雯

Design and implementation of body motion capture system based on FPGA

ZHONG Yilin, WU Xiaohong, QING Linbo, LI Feiping, ZHANG Qi

(SchoolofElectronicsandInformation，SichuanUniversity，Chengdu610065,China)Abstract:An effective body motion capture system based on the DE2-115 development platform is designed.Using the video streams obtained from the camera, the project picks up the skin pixel, makes the noise reduction, extracts the desirable skin regionsand tracks the location of centroids of the human body.Then construct the body model on the basis of the relative location between body outlines and those centroids. The system is tested capturing the body motion and reestablishing the 3D model in real time.

Key words:FPGA；skin detection；motion tracking；Bresenham algorithm；body modeling

中圖分類號：TN311.1

文獻標志碼:A

DOI：10.16280/j.videoe.2016.02.021

基金項目：四川省重點實驗室開發(fā)基金項目(14zxtk03)

收稿日期：2015-09-25

文獻引用格式：鐘藝霖，吳曉紅，卿粼波，等. 基于FPGA的肢體動作捕捉系統(tǒng)設(shè)計與實現(xiàn)[J].電視技術(shù)，2016,40(2)：108-114.

ZHONG Y L, WU X H, QING L B,et al. Design and implementation of body motion capture systembased on FPGA[J].Video engineering, 2016,40(2)：108-114.