三維人體運(yùn)動(dòng)跟蹤中形狀特征表述重建*

周 斌， 馬 玲

(石河子大學(xué) 體育學(xué)院， 新疆 石河子 832003)

三維人體運(yùn)動(dòng)跟蹤中形狀特征表述重建*

周 斌， 馬 玲

(石河子大學(xué) 體育學(xué)院， 新疆 石河子 832003)

針對在重建三維人體運(yùn)動(dòng)跟蹤形狀特征時(shí)，人體運(yùn)動(dòng)姿態(tài)重建結(jié)果與真實(shí)值具有較大偏差且不能長時(shí)間有效跟蹤的問題，提出基于聯(lián)合優(yōu)化法的三維人體運(yùn)動(dòng)跟蹤形狀特征表述重建方法.采用POCS算法將三維人體運(yùn)動(dòng)跟蹤中的形狀捕捉問題轉(zhuǎn)換為正則規(guī)劃問題，實(shí)現(xiàn)對三維人體運(yùn)動(dòng)跟蹤中的形狀捕捉.采用Bayes理論統(tǒng)計(jì)估計(jì)方法，將捕捉到的形狀數(shù)學(xué)建模問題轉(zhuǎn)化為目標(biāo)函數(shù)最大化問題.采用Fisher線性判別分析法對三維人體運(yùn)動(dòng)跟蹤中的形狀特征點(diǎn)進(jìn)行自動(dòng)定位，利用聯(lián)合優(yōu)化法重建已經(jīng)定位的形狀特征表述.結(jié)果表明，所提方法可以有效捕捉三維人體運(yùn)動(dòng)跟蹤中的形狀特征，且重建精度較高，準(zhǔn)確性較好.

三維人體； 運(yùn)動(dòng)跟蹤； 形狀特征； 表述； 重建； 捕捉； 定位； POCS算法

近年來，人體運(yùn)動(dòng)的跟蹤與分析成為了圖像處理與計(jì)算機(jī)視覺領(lǐng)域中備受關(guān)注的研究熱點(diǎn).可以利用單個(gè)或多個(gè)攝像機(jī)從包含人體運(yùn)動(dòng)的圖像序列或視頻中檢測、識(shí)別、跟蹤人體，并對其進(jìn)行理解和描述，且該方面的研究屬于圖像分析領(lǐng)域[1-3].在對人體運(yùn)動(dòng)進(jìn)行跟蹤時(shí)，多采用三維方式進(jìn)行分析.從技術(shù)角度而言，對三維人體運(yùn)動(dòng)跟蹤進(jìn)行分析的研究內(nèi)容相當(dāng)豐富，主要涉及模式識(shí)別、圖像處理、計(jì)算機(jī)視覺、人工智能及形狀特征表述分析等方面[4-6]，其中，形狀特征表述是該領(lǐng)域亟待解決的問題，受到廣大學(xué)者的重視，也出現(xiàn)了很多較好的研究方法.文獻(xiàn)[7]提出基于局部特征的形狀特征描述重建方法，該方法以大規(guī)模圖像集為數(shù)據(jù)源，進(jìn)行較為精確的重建工作，使重建后的形狀特征描述與原始形狀特征描述相似.文獻(xiàn)[7]對目前的形狀特征進(jìn)行概述，采用局部特征及匹配特征塊方法，實(shí)現(xiàn)對形狀特征描述的重建，但該方法存在重建精度較低的問題；文獻(xiàn)[8]提出基于數(shù)據(jù)驅(qū)動(dòng)的形狀特征表述重建方法，該方法充分利用大量數(shù)據(jù)訓(xùn)練得到形狀特征信息，估計(jì)其信噪比，檢測并標(biāo)記噪聲污染嚴(yán)重的特征，得到魯棒性較好的形狀特征表述參數(shù)，從而實(shí)現(xiàn)采用數(shù)據(jù)驅(qū)動(dòng)方法對形狀特征表述進(jìn)行重建的目的，但是該方法同樣存在重建精度較低的問題；文獻(xiàn)[9]提出基于亞高斯隨機(jī)投影的形狀特征表述重建方法，該方法首先給出兩種新型的測量矩陣(稀疏投影矩陣和非常稀疏投影矩陣)，利用亞高斯分布的有界性證明兩種矩陣存在的必要性，同時(shí)，利用兩種矩陣的稀疏性簡化重建過程，實(shí)現(xiàn)形狀特征表述重建，但該方法存在重建過程耗時(shí)過長的問題.

針對上述問題，本文提出基于聯(lián)合優(yōu)化法的三維人體運(yùn)動(dòng)跟蹤中的形狀特征表述重建方法，并進(jìn)行了相關(guān)的實(shí)驗(yàn)分析.結(jié)果發(fā)現(xiàn)采用該改進(jìn)方法時(shí)，其重建精度和效率均優(yōu)于傳統(tǒng)重建方法.

1 形狀特征分析

1.1 形狀特征的捕捉

在三維人體運(yùn)動(dòng)跟蹤中進(jìn)行形狀捕捉實(shí)際上就是對三維圖像序列中的運(yùn)動(dòng)模型進(jìn)行檢測、跟蹤并記錄相應(yīng)的運(yùn)動(dòng)形狀軌跡信息.采用多個(gè)攝像機(jī)以各種視覺角度對背景連續(xù)采集三維人體運(yùn)動(dòng)跟蹤圖像，并建立一個(gè)初始背景統(tǒng)計(jì)模型[10-11].對背景中像素點(diǎn)的顏色均值和方差進(jìn)行計(jì)算，其計(jì)算公式分別為

(1)

(2)

式中：Bi為每個(gè)像素點(diǎn)的顏色矩陣；K為圖像數(shù)量.

采用背景減除法提取三維人體運(yùn)動(dòng)跟蹤圖像的形狀目標(biāo)值，其表達(dá)式為

(3)

式中：Q(x，y)為圖像前景灰度值；B(x，y)為圖像背景灰度值；L為閾值.

當(dāng)采用簡單背景減除法提取形狀目標(biāo)時(shí)，在檢測結(jié)果中發(fā)現(xiàn)含有大量噪聲干擾.為了正確捕捉三維人體運(yùn)動(dòng)跟蹤中的形狀特征，采用基于修正邊緣的背景減除法去除噪聲，此時(shí)形狀目標(biāo)值的相應(yīng)表達(dá)式為

(4)

式中：t0為噪聲周期；t(x)為噪聲所在頻段；A為圖像背景尺度信息.

假設(shè)已知Z是由三維人體運(yùn)動(dòng)跟蹤圖像樣本集訓(xùn)練得到的一個(gè)數(shù)據(jù)集合，則圖像在數(shù)據(jù)集合Z下的稀疏表示定義式為

E(x，y)=αZ

(5)

式中，α為稀疏表示系數(shù).

采用POCS算法將三維人體運(yùn)動(dòng)跟蹤中的形狀捕捉問題轉(zhuǎn)換為正則規(guī)劃問題進(jìn)行求解，則正則規(guī)劃函數(shù)可以表示為

(6)

實(shí)現(xiàn)三維人體運(yùn)動(dòng)跟蹤中的形狀捕捉后得到優(yōu)化目標(biāo)函數(shù)，其表達(dá)式為

(7)

式中：gr為r時(shí)刻采集的圖像梯度值；Dr為r時(shí)刻的投影算子；Hr為r時(shí)刻的采集速度；Mr為r時(shí)刻采集圖像的質(zhì)量；f為像素總數(shù)；λ為圖像采集系數(shù)；γ為采樣矩陣.

1.2 形狀特征數(shù)學(xué)模型的構(gòu)建

在對三維人體運(yùn)動(dòng)跟蹤中的形狀特征進(jìn)行捕捉的基礎(chǔ)上，采用Bayes理論統(tǒng)計(jì)估計(jì)方法對三維人體運(yùn)動(dòng)跟蹤中形狀特征的數(shù)學(xué)模型進(jìn)行構(gòu)建.圖1為人體骨架模型，該模型共有25個(gè)自由度，各個(gè)子節(jié)點(diǎn)坐標(biāo)系與父節(jié)點(diǎn)坐標(biāo)系之間的關(guān)系可以表示為

I=T(tx，ty，tz)RxRyRz

(8)

式中：I為父節(jié)點(diǎn)坐標(biāo)；Rx、Ry和Rz分別為x、y和z軸方向的子節(jié)點(diǎn)坐標(biāo)；T(tx，ty，tz)為根節(jié)點(diǎn)到坐標(biāo)系原點(diǎn)的位移.

圖1 人體骨架模型

圖1中Q0～Q9為人體骨架中不同身體結(jié)構(gòu)的坐標(biāo)點(diǎn)；q1～q30為不同三維坐標(biāo)點(diǎn)；TRHR、TRKH和TRFA分別表示右臀部到根節(jié)點(diǎn)的初始平移，右膝蓋到右臀節(jié)點(diǎn)的初始平移和右腳部到右踝部的初始平移.

采用Bayes理論統(tǒng)計(jì)估計(jì)方法將對三維人體運(yùn)動(dòng)跟蹤中形狀特征數(shù)學(xué)模型的構(gòu)建問題轉(zhuǎn)化為圖像估計(jì)問題，即目標(biāo)函數(shù)最大化問題.根據(jù)Bayes理論統(tǒng)計(jì)估計(jì)方法得到的條件概率表達(dá)式為

(9)

式中，P(·)為圖像概率密度函數(shù).

三維人體運(yùn)動(dòng)跟蹤中形狀特征的數(shù)學(xué)模型表達(dá)式為

d(x，y))+Vk[x，y]

(10)

2 形狀特征表述重建方法的改進(jìn)

2.1 形狀特征點(diǎn)的自動(dòng)定位

在建立三維人體運(yùn)動(dòng)跟蹤形狀特征數(shù)學(xué)模型的基礎(chǔ)上，采用Fisher線性判別分析法對三維人體運(yùn)動(dòng)跟蹤中的形狀特征點(diǎn)進(jìn)行自動(dòng)定位.假設(shè)三維人體運(yùn)動(dòng)跟蹤中形狀特征鄰域?yàn)槟骋痪仃嚕瑒t對應(yīng)的卷積函數(shù)可以表示為

(11)

采用Fourier變換法對三維人體運(yùn)動(dòng)跟蹤中的形狀特征噪音進(jìn)行消除，從而減少高頻分量.假設(shè)圖像函數(shù)經(jīng)過Fourier變換后可表示為F(x，y)，且H(x，y)為低通濾波的轉(zhuǎn)移函數(shù)，G(x，y)為經(jīng)過低通濾波后圖像的Fourier頻譜函數(shù)，則

G(x，y)=H(x，y)F(x，y)

(12)

(13)

此外，不同樣本的類內(nèi)離散度矩陣Si和總類內(nèi)離散度矩陣S可以分別表示為

(14)

S=S1+S2

(15)

(16)

經(jīng)過投影后同類形狀特征應(yīng)該盡可能聚集，而不同類形狀特征應(yīng)該盡可能分開，從而使得類內(nèi)離散度變小，而類間離散度變大.Fisher線性判別準(zhǔn)則可以表示為

(17)

QSe-QSc

(18)

式中：Q為大于0的常數(shù)；W為權(quán)值系數(shù)；Aij為圖像背景尺度的特征向量；Se為權(quán)值矩陣H的類內(nèi)差距；Sc為權(quán)值矩陣H的類間差距.

2.2 改進(jìn)重建方法的實(shí)現(xiàn)

(19)

式中：F(Θ)為基本矩陣函數(shù)；R(q)為q波段下相機(jī)參數(shù)向量；T為時(shí)間向量.

修正后的坐標(biāo)最小化目標(biāo)函數(shù)可以表示為

(20)

式中，ρ為圖像特征點(diǎn)密度.

假設(shè)變化所需樣本的最小數(shù)量為Nh，為了獲取準(zhǔn)確的形狀特征表述，需要至少進(jìn)行Ns次迭代，則最終三維人體運(yùn)動(dòng)跟蹤中圖像輪廓特征變量可以表示為

(21)

式中：ξ為特征外點(diǎn)率；p為常數(shù).

為了防止在重建過程中產(chǎn)生高斯噪聲，利用硬閾值法對形狀特征表述進(jìn)行降噪處理，即

θ(b+1)=ψΔx(b+1)

(22)

(23)

式中：θ(b+1)(n)為差別閾值θ(b+1)的第n個(gè)元素；ψ為小波稀疏基；Δx(b+1)為絕對閾值；η(b+1)為門限值.

(24)

綜上所述，在對三維人體運(yùn)動(dòng)跟蹤形狀特征點(diǎn)進(jìn)行自動(dòng)定位的基礎(chǔ)上，可以采用聯(lián)合優(yōu)化法對三維人體運(yùn)動(dòng)跟蹤中的形狀特征表述進(jìn)行重建，但需要進(jìn)行實(shí)驗(yàn)對比分析.

3 結(jié)果與分析

3.1 實(shí)驗(yàn)參數(shù)設(shè)置

為了驗(yàn)證改進(jìn)形狀特征表述重建方法在三維人體運(yùn)動(dòng)跟蹤中的有效性及可行性，需要進(jìn)行實(shí)驗(yàn)對比分析.實(shí)驗(yàn)設(shè)備包括6個(gè)校準(zhǔn)相機(jī)和兩個(gè)采集卡.實(shí)驗(yàn)采樣率為30幀/s，采樣圖像像素分辨率為320×240.在Matlab2010環(huán)境下(并未進(jìn)行代碼優(yōu)化和并行處理)，采用背景減法提取人體輪廓.運(yùn)動(dòng)者的運(yùn)動(dòng)空間為2m×2m×2m，將該空間劃分成尺寸為2cm×2cm×2cm的子空間.采用改進(jìn)方法得到三維運(yùn)動(dòng)跟蹤中的形狀特征，初始化時(shí)間為120ms.實(shí)驗(yàn)中約3/5的時(shí)間消耗在特征表述重建上，剩余時(shí)間用于特征處理及特征表述的獲取.Michoud硬件系統(tǒng)選用4個(gè)標(biāo)定相機(jī)，且由一臺(tái)計(jì)算機(jī)控制.

3.2 實(shí)驗(yàn)結(jié)果

3.2.1 不同方法下的相關(guān)性對比

采用稀疏隨機(jī)投影法[9]、基于局部特征重建法(代數(shù)法)[7]與改進(jìn)重建法進(jìn)行對比分析，結(jié)果如圖2所示.

圖2 不同方法下的相關(guān)性對比

在三維人體運(yùn)動(dòng)跟蹤中可以根據(jù)追蹤動(dòng)態(tài)時(shí)間下的振動(dòng)情況判定跟蹤人體運(yùn)動(dòng)情況，若出現(xiàn)較大波動(dòng)，則表明運(yùn)動(dòng)幅度較大.將不同方法的測試結(jié)果與原數(shù)據(jù)進(jìn)行對比，若振型相同，則表示方法準(zhǔn)確，此時(shí)與具體振動(dòng)幅度無關(guān).由圖2可見，當(dāng)采用稀疏隨機(jī)投影法、基于局部特征重建法與改進(jìn)重建法進(jìn)行分析時(shí)，在0～100 s范圍內(nèi)利用不同方法獲得的振動(dòng)情況均不低于三維人體運(yùn)動(dòng)跟蹤原數(shù)據(jù)，但在100～220 s時(shí)間段內(nèi)，利用不同方法獲得的振動(dòng)情況差別較為明顯.觀察圖2可知，采用改進(jìn)重建法進(jìn)行采樣時(shí)并未破壞圖像譜間的相關(guān)性結(jié)構(gòu)，改進(jìn)重建法觀測向量的譜間相關(guān)性與三維人體運(yùn)動(dòng)跟蹤圖像保持了良好的一致性，這與理論推導(dǎo)出的結(jié)果相一致.當(dāng)利用改進(jìn)重建法進(jìn)行重建時(shí)，能夠充分利用三維人體運(yùn)動(dòng)跟蹤數(shù)據(jù)具有的較強(qiáng)譜間相關(guān)性特點(diǎn)，將數(shù)據(jù)整合到重建模型中，因而可以增加重建性能，可見改進(jìn)重建法具有一定的優(yōu)勢.

3.2.2 不同方法的相關(guān)收斂性對比

為了驗(yàn)證本文所提方法的收斂性，在人體運(yùn)動(dòng)過程中抓拍某一特性動(dòng)作作為待處理的原始圖像，具體圖像如圖3所示.

圖3 原始圖像

利用本文所提改進(jìn)重建法、基于局部特征重建法和稀疏隨機(jī)投影法進(jìn)行三維人體形狀特征重建.通過測試不同方法重建目標(biāo)后的三維像素點(diǎn)，描繪不同圖像測定結(jié)果的三維重建圖像，實(shí)現(xiàn)性能對比分析.不同方法下的形狀特征表述重建對比如圖4所示，其中Lx、Ly、Lz分別代表不同方向的像素值.由圖4可見，稀疏隨機(jī)投影法和基于局部特征重建法出現(xiàn)了手臂動(dòng)作形狀重建表述錯(cuò)誤或是手臂高抬角度錯(cuò)誤的問題.當(dāng)采用改進(jìn)重建法時(shí)，該方法對手臂前后順序、高抬角度和手臂動(dòng)作等形狀特征的表述均較為準(zhǔn)確，精度較高，因而具有一定的優(yōu)勢.

4 結(jié) 論

針對傳統(tǒng)方法對三維人體運(yùn)動(dòng)跟蹤中的形狀特征進(jìn)行重建時(shí)精度較低的問題，本文在對形狀特征點(diǎn)進(jìn)行自動(dòng)定位的基礎(chǔ)上，提出基于聯(lián)合優(yōu)化法的形狀特征表述重建方法，并進(jìn)行了相關(guān)實(shí)驗(yàn)分析.結(jié)果表明，所提出的改進(jìn)重建法相比傳統(tǒng)方法具有更高的準(zhǔn)確性，且重建精度較高.

圖4 不同方法下的形狀特征表述重建對比

[1]李敏，宋曰聰，吳斌，等.基于Beowulf機(jī)群中改進(jìn)粒子濾波的3D人體運(yùn)動(dòng)跟蹤 [J].計(jì)算機(jī)工程與應(yīng)用，2015，51(14)：17-22.

(LI Min，SONG Yue-cong，WU Bin，et al.Three-dimension human motion tracking based improved particle filter on Beowulf cluster system [J].Computer Engineering and Applications，2015，51(14)：17-22.)

[2]趙軍，於俊，汪增福.基于改進(jìn)逆向運(yùn)動(dòng)學(xué)的人體運(yùn)動(dòng)跟蹤 [J].智能系統(tǒng)學(xué)報(bào)，2015，24(4)：548-554.

(ZHAO Jun，YU Jun，WANG Zeng-fu.Human motion tracking based on an improved inverse kinematics [J].CAAI Transactions on Intelligent Systems，2015，24(4)：548-554.)

[3]楊凱，魏本征，任曉強(qiáng)，等.基于深度圖像的人體運(yùn)動(dòng)姿態(tài)跟蹤和識(shí)別算法 [J].數(shù)據(jù)采集與處理，2015，30(5)：1043-1053.

(YANG Kai，WEI Ben-zheng，REN Xiao-qiang，et al.Depth image based human motion tracking and recognition algorithm [J].Journal of Data Acquisition & Processing，2015，30(5)：1043-1053.)

[4]張殿勇，苗振江.基于模型的無標(biāo)識(shí)人體運(yùn)動(dòng)捕捉研究 [J].北京交通大學(xué)學(xué)報(bào)，2014，38(2)：42-49.

(ZHANG Dian-yong，MIAO Zhen-jiang.Research on model-based markerless human motion capture [J].Journal of Beijing Jiaotong University，2014，38(2)：42-49.)

[5]陳曦，孟慶虎.骨架關(guān)節(jié)點(diǎn)跟蹤的人體行為識(shí)別方法 [J].河南科技大學(xué)學(xué)報(bào)，2015，26(2)：43-48.

(CHEN Xi，MENG Qing-hu.Human behavior recognition method for skeleton joint point tracking [J].Journal of Henan University of Science & Technology，2015，26(2)：43-48.)

[6]李平，魏仲慧，何昕，等.采用多形狀特征融合的多視點(diǎn)目標(biāo)識(shí)別 [J].光學(xué)精密工程，2014，22(12)：3368-3376.

(LI Ping，WEI Zhong-hui，HE Xin，et al.Object recognition based on shape feature fusion under multi-views [J].Optics and Precision Engineering，2014，22(12)：3368-3376.)

[7]馮霞，秦昆，崔衛(wèi)紅，等.高分辨率遙感影像目標(biāo)形狀特征多尺度描述與識(shí)別 [J].遙感學(xué)報(bào)，2014，18(1)：90-104.

(FENG Xia，QIN Kun，CUI Wei-hong，et al.Multiscale description and recognition of target shape in high-resolution remote sensing images [J].Journal of Remote Sensing，2014，18(1)：90-104.)

[8]劉璇，李海生，蔡強(qiáng)，等.三維形狀特征提取技術(shù)研究進(jìn)展 [J].計(jì)算機(jī)科學(xué)與探索，2014，8(5)：513-524.

(LIU Xuan，LI Hai-sheng，CAI Qiang，et al.Review of 3D shapes feature extraction [J].Journal of Frontiers of Computer Science and Technology，2014，8(5)：513-524.)

[9]崔寶俠，田佳，段勇，等.基于圖論分割的肺部CT圖像的三維重建 [J].沈陽工業(yè)大學(xué)學(xué)報(bào)，2015，37(6)：667-672.

(CUI Bao-xia，TIAN Jia，DUAN Yong，et al.Three-dimensional reconstruction of lung CT images based on graph theory segmentaion [J].Journal of Shenyang University of Technology，2015，37(6)：667-672.)

[10]朱延娟，倪周松.基于離散點(diǎn)曲率的細(xì)胞圖像形狀特征表述 [J].計(jì)算機(jī)應(yīng)用，2015(增刊2)：267-270.

(ZHU Yan-juan，NI Zhou-song.Description of shape feature for cell image based curvature of discrete points [J].Journal of Computer Applications，2015(Sup2)：267-270.)

[11]郭鵬宇，蘇昂，張紅良，等.結(jié)合紋理和形狀特征的在線混合隨機(jī)樸素貝葉斯視覺跟蹤器 [J].光學(xué)學(xué)報(bào)，2015，31(3)：195-205.

(GUO Peng-yu，SU Ang，ZHANG Hong-liang，et al.Online mixture of random Naive Bayes tracker com-bined texture with shape feature [J].Acta Optica Sinica，2015，31(3)：195-205.)

(責(zé)任編輯：尹淑英 英文審校：尹淑英)

Reconstruction for shape feature representation in 3D human motion tracking

ZHOU Bin, MA Ling

(College of Physical Education, Shihezi University, Shihezi 832003, China)

Aiming at the problem that during the reconstruction of shape feature in the 3D human body motion tracking, the reconstruction results of human motion postures compared with the real values have a large deviation and the effective tracking for a long term can not be realized, a reconstruction method for shape feature representation in 3D human body motion tracking based on the combined optimization method was proposed. The shape capture problem in 3D human body motion tracking was transformed into the regular programming problem with the POCS algorithm, and thus the shape capture problem in 3D human body motion tracking could be realized. The statistical estimation method of Bayes theory was adopted, and the captured shape mathematical modeling problem was transformed into the objective function maximization problem. With the Fisher linear discriminate analysis method, the shape feature points in 3D human body motion tracking were automatically located, and the located shape feature representation was reconstructed with the combined optimization method. The results show that the proposed method can effectively capture the shape feature in 3D human body motion tracking, and has high reconstruction precision and good accuracy.

3D human body; motion tracking; shape feature; representation; reconstruction; capture; localization; POCS algorithm

2016-11-12.

“十二五”規(guī)劃重點(diǎn)課題資助項(xiàng)目(01020433-XJ1512).

周 斌(1981-)，男，甘肅蘭州人，講師，碩士，主要從事運(yùn)動(dòng)訓(xùn)練與人體工程學(xué)等方面的研究.

10.7688/j.issn.1000-1646.2017.03.18

TP 391.4

A

1000-1646(2017)03-0340-06

*本文已于2017-05-08 20∶25在中國知網(wǎng)優(yōu)先數(shù)字出版. 網(wǎng)絡(luò)出版地址： http：∥www.cnki.net/kcms/detail/21.1189.T.20170508.2025.018.html