基于機器視覺的嬰兒全身運動質(zhì)量智能評估

汪志成, 趙杰, 沈博韜, 王哲

(東華理工大學機械與電子工程學院, 南昌 330013)

新生兒大腦在發(fā)育早期的結構和功能上具有較高的可塑性,對新生兒的大腦進行評估診斷并確定診療方案,可大幅度降低早期先天性發(fā)育損傷對以后的影響。傳統(tǒng)的影像學腦神經(jīng)檢測與評估方法只能在急性期對嬰兒的神經(jīng)系統(tǒng)進行有效的判斷,而無法對長期發(fā)展過程進行整體判斷。

采用全身運動評估(general movements,GMs)[1]方法,通過對嬰兒自主運動視頻的分析,可以對超早期嬰兒(3個月內(nèi))的腦功能異常及神經(jīng)發(fā)育結構進行評估,具有安全性、無任何副作用、無創(chuàng)且不與其他治療方式有沖突等特點,受到了國內(nèi)外廣泛關注和認可。客觀的全身運動質(zhì)量估計主要分為基于傳感器檢測方式和基于視頻分析方式。基于傳感器主要通過在嬰兒身上安置傳感器或光學裝置采集嬰兒的運動特征進行分析,從而評估結果。Heinze等[2]通過在嬰兒的四肢末端安裝加速度傳感器來檢測嬰兒的運動特征,并對其進行分析和預測。這些適合運動分析的穿戴式傳感器體型較小,價格合理,并且能提供可靠的運動數(shù)據(jù)[3]。隨著機器學習技術的發(fā)展,它在目標物體檢測、人體姿態(tài)估計(human pose estimation,HPE)、運動追蹤和人體行為識別等方面都有很大發(fā)展。伏娜娜等[4]采用嵌入式系統(tǒng)對人體的三維坐標軌跡進行分類。McCay等[5]在 MINI-RGB 數(shù)據(jù)集上采用OpenPose 模型提取嬰兒的姿態(tài)信息,設計了一種全新的HOJD2D特征來表征嬰兒的GMs特征,結果表明機器學習模型在經(jīng)過這種特征的訓練后,在區(qū)分正常和患有運動發(fā)育障礙的嬰兒方面達到了 91% 的準確度。Chambers等[6]使用了HPE中最為常用的 OpenPose 模型來提取視頻中的嬰兒姿態(tài)。在基于時間的位置序列上提取出了速度、加速度等方面的 38 個特征,計算出了正常與高危嬰兒的樸素貝葉斯分數(shù)。Nikolas等[7]通過雙目深度攝像頭采集嬰兒的全身姿勢信息,使用主成分分析(principal component analysis,PCA)進行矯正,以此采集嬰兒的手腳運動幅度。Tsuji等[8]將嬰兒的30 s視頻通過光流法進行采集處理后使用卷積神經(jīng)網(wǎng)絡(convolutional neural networks,CNN)進行評估GMs的數(shù)項指標進行判斷。

現(xiàn)基于GM 對嬰兒的發(fā)育狀況進行評估,在以往研究基礎上,重點研究基于機器視覺的全身運動質(zhì)量評估方法。

1 人體二維關鍵點識別模型

1.1 二維人體姿勢識別網(wǎng)絡模型構建

基于姿勢識別的嬰兒異常行為檢測,主要包括人體姿勢坐標檢測及全身運動質(zhì)量評估為基礎的嬰兒行為檢測兩個方面。針對嬰兒的運動特征,構建一套基于ResNet-50的2D姿勢識別系統(tǒng),通過單個攝像頭拍攝嬰兒的自主運動,從單張紅綠藍(red-green-blue,RGB)圖像中提取嬰兒每個關節(jié)點的像素坐標位置,利用姿勢識別的方式獲取嬰兒連續(xù)一段時間內(nèi)的運動坐標,提取嬰兒的運動指標特征并結合全身運動質(zhì)量評估進行分析。模型網(wǎng)絡結構如圖1所示。

圖1 基于ResNet的人體姿勢識別網(wǎng)絡結構圖Fig.1 The structure of human pose estimation network based on ResNet

如圖1所示,該網(wǎng)絡結構模型主要由輸入部分、四組殘差組、反卷積組和輸出層構成。

輸入部分:假設輸入數(shù)據(jù)為一副256×256的RGB圖像,首先進行一個步長為2的卷積層(核大小為7×7)以及一個核大小為3的池化層,得到一個64通道的網(wǎng)絡。

殘差組:一共分為4個殘差組,分別由3、4、6、3個殘差塊構成。在第一組中,首先通過一個核大小為1×1、通道數(shù)為64的卷積網(wǎng)絡;其次通過一個核大小為3×3、通道數(shù)為64的卷積網(wǎng)絡;再次通過一個個核大小為1×1、通道數(shù)為256的卷積網(wǎng)絡,如此反復3次,得到一個256通道的特征圖。在第二組中,首先通過一個核大小為1×1、通道數(shù)為128的卷積網(wǎng)絡;其次通過一個核大小為3×3、通道數(shù)為128的卷積網(wǎng)絡;再次通過一個個核大小為1×1、通道數(shù)為512的卷積網(wǎng)絡,如此反復4次,得到一個256通道的特征圖。在第三組中,首先通過一個核大小為1×1、通道數(shù)為256的卷積網(wǎng)絡;其次通過一個核大小為3×3、通道數(shù)為256的卷積網(wǎng)絡;再次通過一個個核大小為1×1、通道數(shù)為1 024的卷積網(wǎng)絡,如此反復6次,得到一個1 024通道的特征圖。在最后一組中,首先通過一個核大小為1×1、通道數(shù)為64的卷積網(wǎng)絡;其次通過一個核大小為3×3、通道數(shù)為64的卷積網(wǎng)絡;再次通過一個個核大小為1×1、通道數(shù)為256的卷積網(wǎng)絡,如此反復3次,得到一個2 048通道的特征圖。在以上殘差塊中,均使用bottleneck作為基本塊。

反卷積組:由3個反卷積層構成,每一層核大小為4×4,步長為2,最終獲得一個256×64×64的特征圖。

輸出層:由核大小為1×1,通道數(shù)為256的卷積組成,最終獲得n×64×64的熱力圖,其中n為關節(jié)點數(shù)量。

如表1所示,所有Residual塊均使用bottleneck結構。即,將一張大小為256×256的彩色圖像放入本網(wǎng)絡,經(jīng)過卷積、池化、多個Residual塊及反卷積層后,最終獲得n張64×64的熱力圖,從熱力圖中找到極大點所在位置,即該坐標點的位置。

表1 姿勢識別網(wǎng)絡的詳細配置Table 1 Detailed parameter of pose estimation network

1.2 模型運算結果及分析

為驗證模型對嬰兒姿勢識別的有效性,選用MINI-RGBD數(shù)據(jù)集[9]進行測試,MINI-RGBD數(shù)據(jù)集內(nèi)全部為嬰兒平躺姿勢時的數(shù)據(jù)集。MINI-RGBD數(shù)據(jù)集中由24個關節(jié)點(1～24)構成,如圖2所示。

圖2 MINI-RGBD數(shù)據(jù)集標簽Fig.2 MINI-RGBD dataset annotation

為了提升整體的訓練效率,使用ImageNet的權重對于前面卷積部分進行初始化,然后使用MINI-RGBD數(shù)據(jù)集進行訓練,得到最終需要的面向嬰兒的2D姿勢識別模型。模型訓練大約進行20個迭代次數(shù)(epoch),整體訓練的準確率(accuracy)和損失率(loss)如圖3所示。

圖3 MINI-RGBD數(shù)據(jù)集的準確率Fig.3 Accuracy and loss on MINI-RGBD dataset

由圖3結果可知,在MINI-RGBD數(shù)據(jù)集中,該模型訓練效果和收斂效果都較好,識別準確率較高,部分識別數(shù)據(jù)如圖4所示。

圖4 MINI-RGBD數(shù)據(jù)集中識別結果Fig.4 Detection result on MINI-RGBD dataset

經(jīng)過計算,與其他方式的比較如表2所示。

表2 相關算法在MINI-RGBD數(shù)據(jù)集上的準確率Table 2 Accuracy on MINI-RGBD dataset

如表2所示,基于ResNet的人體2D姿勢識別模型,經(jīng)過在MINI-RGBD數(shù)據(jù)集上的驗證,準確率達到了94.71%,具有較好的穩(wěn)定性。

2 人體三維關鍵點姿勢識別

2.1 三維姿態(tài)識別模型構建

通過卷積神經(jīng)網(wǎng)絡模型從RGB圖像提取出人體的二維姿勢坐標后,將坐標進行升維,由此獲得人體的三維姿勢坐標。3D pose baseline[10]是一種將二維姿勢坐標進行升維獲得3D姿勢坐標的典型方式,其通過多個線性層進行升維,將人體姿勢二維坐標轉換為三維坐標,其網(wǎng)絡結構如圖5所示。

圖5 3D人體姿態(tài)基線(3D pose baseline)網(wǎng)絡基本結構Fig.5 The basic structure of 3D pose baseline

“baseline”網(wǎng)絡方式基本采用全連接層結構,在許多實際應用中識別準確率并不高,基于baseline網(wǎng)絡,以DenseNet為樣本進行改造,得到新的3D姿勢識別網(wǎng)絡,如圖6所示。

圖6 網(wǎng)絡整體結構Fig.6 The structure of network

如圖6所示網(wǎng)絡結構,主要由輸入卷積層、Dense塊和線性輸出層構成。

輸入層:設輸入為16×2的二維數(shù)組,記錄16個關鍵點的二維坐標,首先對該數(shù)組進行變換,得到一個32×1的數(shù)組,隨后進行一個步長為2的一維卷積層,進行歸一化和池化,最終獲得一個16×1的一維數(shù)組。

Dense塊:網(wǎng)絡由5個Dense塊構成,每個Dense塊由5個Dense層構成,每個Dense層先經(jīng)過歸一化和ReLU激活函數(shù),然后通過一層一維卷積,如此進行兩次。第一個Dense塊輸出一個224×8的數(shù)組;經(jīng)過第二個Dense塊獲得496×4的數(shù)組;經(jīng)過第三個Dense塊獲得1 016×2的數(shù)組;經(jīng)過最后一個Dense塊獲得一個1 020×1的數(shù)組,到達輸出層。

輸出層:為線性層,最終輸出大小為48×1,將該數(shù)組變換,即可獲得16×3的三維坐標系。網(wǎng)絡主要參數(shù)如表3所示。

表3 所用的網(wǎng)絡的詳細參數(shù)Table 3 Detailed parameters of network used

表3所示網(wǎng)絡結構,將16×2的二維人體關鍵點坐標放入該網(wǎng)絡后,經(jīng)過輸入層及多個Dense塊后,通過最終線性層進行輸出,獲得16×3的三維人體坐標位置。該網(wǎng)絡與DenseNet的主要區(qū)別在于,所有的2D卷積、池化等部分均換成1D卷積、池化部分,并且將輸入部分由三通道改為單通道輸入。由此獲得整個姿勢升維網(wǎng)絡。

2.2 模型運算結果及分析

改進后的三維姿勢識別網(wǎng)絡基于坐標點進行轉換,使用MINI-RGBD作為數(shù)據(jù)集,將數(shù)據(jù)集按照4∶1分為訓練集和測試集,并提取數(shù)據(jù)集的2D坐標和3D坐標進行訓練,運行50個epoch,訓練整體的loss曲線如圖7所示。

圖7 3D姿勢識別的損失變化Fig.7 Loss on 3D estimation

從圖7可見,模型整體收斂性較好,部分MINI-RGBD數(shù)據(jù)集圖片在該模型中的識別效果如圖8所示。

圖8 在MINI-RGBD數(shù)據(jù)集中的3D識別結果Fig.8 3D detection results in MINI-RGBD dataset

目前針對嬰兒的數(shù)據(jù)集較少,為進一步提升網(wǎng)絡的識別精度,采用MPII、Human3.6M與MINI-RGBD數(shù)據(jù)集進行該網(wǎng)絡的訓練,并分別對各個數(shù)據(jù)集進行測試,結果如表4所示。

表4 基于SVM的嬰兒運動特征分類結果Table 4 Classification results of infant movement features based on SVM

表4 相關算法在不同數(shù)據(jù)集上的準確率Table 4 The accuracy of correlation algorithms on different data sets

由表4可知,經(jīng)不同數(shù)據(jù)集共同訓練后的網(wǎng)絡準確率實現(xiàn)進一步提升,本文方法在MINI-RGBD數(shù)據(jù)集的識別準確率達到60.93%,相比pose baseline方法更適用于嬰兒的3D姿勢識別任務。

3 基于姿勢識別的嬰兒運動特征分析

3.1 運動參數(shù)的提取

在傳統(tǒng)的全身運動質(zhì)量評估領域中,評估人員以嬰兒的全身整體運動情況對嬰兒的狀態(tài)進行評估,以嬰兒整體運動的復雜程度及變化程度作為評價嬰兒的運動能力的整體判斷指標,評判者的主觀因素往往會較大程度的影響評估結果。針對以上問題,提出一種基于姿勢坐標的嬰兒運動特征智能分析方法,處理流程如圖9所示。

圖9 特征分析方式處理流程圖Fig.9 The structure of characteristics analysis method

該方式從嬰兒的空間坐標關系出發(fā),在嬰兒的二維姿勢坐標提取及三維姿勢坐標轉換基礎上,根據(jù)嬰兒的運動特征,通過姿勢向量對嬰兒運動的角度、加速度、幅度進行提取。

3.1.1 角度特征的提取

首先使用空間向量的方式來提取嬰兒關鍵點的角度,設三維笛卡爾坐標系中存在兩個不重合的兩個點A和B,其坐標為A(X1,Y1,Z1)、B(X2,Y2,Z2),原點為O(0,0,0)。對于從A到B組成的向量AB,可等效于從原點O引出,表述為

AB=(X2-X1,Y2-Y1,Z2-Z1)

(1)

在3D姿勢識別中,使用空間向量夾角的方式來對關節(jié)間夾角進行計算。這里以手臂的3個關鍵點:手掌、手肘、肩膀舉例,對角度的推算進行具體說明。

設有一個三維笛卡爾坐標系,手肘為原點E(XE,YE,ZE),手掌H(XH,YH,ZH),肩膀S(XS,YS,ZS)。則手肘的開合角度可通過計算空間向量EH與ES之間的夾角得出,即

ES=(XS-XE,YS-YE,ZS-ZE)

(2)

EH=(XH-XE,YH-YE,ZH-ZE)

(3)

根據(jù)向量點乘可得

ES·EH=∣ES∣∣EH∣cosθ

(4)

式(4)中:θ為兩個向量之間的夾角,由此可得

(5)

在四元數(shù)中,設空間中存在兩個向量q1和q2,其空間向量分別表示為q1=a+bi+cj+dk、q2=e+fi+gj+hk,則兩向量相乘可表示為

(6)

即可將上述手肘的坐標向量關系夾角計算在四元數(shù)內(nèi)用如下形式表示,設ES為q1,EH為q2,即a=1,b=xS-xE,c=yS-yE,d=zS-zE,e=0,f=xS-xH,g=yS-yH,h=zS-zH,則q1q2可表示為如式(7)所示,于是兩向量之間余弦值cosθ可表示為如式(8)所示。

(7)

(8)

3.1.2 嬰兒運動速度特征提取

正常的嬰兒在進行扭動階段的運動時,其肢體運動過程流暢且復雜多變,而異常的嬰兒在運動的過程有一定的不自然的頓挫感與停滯感,并且其步態(tài)的頻率也會受到影響[11]。因此可根據(jù)嬰兒在全身運動時的肢體的速度特性和加速度特性作為嬰兒的行為異常指標。

圖10 嬰兒運動細節(jié)提取流程圖Fig.10 Flow chart of baby movement details extraction

由圖10可知,首先,在關節(jié)角度處理前,需要將嬰兒視頻按幀拆分,得到靜態(tài)圖像序列;然后,基于這些靜態(tài)圖像序列,提取出嬰兒的空間坐標序列;其次,從空間坐標序列中提取出所有關節(jié)點的角度數(shù)據(jù),并通過兩幀之間的角度差與時間差計算得出角速度序列與角加速度序列;最后,通過角度、角速度、角加速度的三元序列數(shù)組作為嬰兒運動分析的基礎。因采集視頻時使用30幀進行錄制,因此時間間隔Δt=0.333 33 s。圖11為使用該方式對于某一樣本嬰兒的左手臂提取的角度、角速度、角加速度。

圖11 提取嬰兒左手臂的角度、角速度、角加速度Fig.11 Extracted angle, speed, acceleration of one infant left arm

3.2 運動特征分類識別

使用SVM分類器對提取到的嬰兒動作特征進行分類,以有效地避免高維度帶來的維數(shù)災難,并保持較好的實時性[12],圖12為分類方式的流程圖。具體步驟如下。

圖12 基于SVM的嬰兒運動特征分類流程示意圖Fig.12 Flow chart of infant movements characteristics based on SVM

步驟1首先提取圖2中的標注按照嬰兒運動特征的方式進行提取,包括左臂(13,14,15),右臂(10,11,12),左腿(3,4,5),右腿(0,1,2),肩部(12,13),臀部(2,3),對于肩部和臀部,使用參考坐標系為基準坐標系,即夾角為肩部和臀部分別與參考水平面產(chǎn)生的夾角,并由此求出角速度與角加速度。分別獲取角度、角速度、角加速度共18個參數(shù),將其進行排列獲得一個(18,n)的矩陣,其中n為該樣本運動序列的幀數(shù)。

步驟2獲得樣本運動序列后,為了便于處理及分類,將序列特征按照30幀進行分割,得到n/30個小片段,對于不足30幀的結尾部分進行丟棄。

步驟3分割后,對于每個片段進行歸一化處理,降低計算復雜程度,歸一化公式為

(9)

式(9)中:X′為歸一化處理后的數(shù)據(jù)。

步驟4對SVM模型進行訓練,并獲得網(wǎng)絡最終處理的參數(shù)信息。

步驟5通過訓練好的SVM分類器對樣本進行測試。

該模型在數(shù)據(jù)處理時,將連續(xù)的視頻序列拆分成多個小片段,對每一個小片段進行投票處理,將每個片段的結果數(shù)量相加,數(shù)量最多的則表示該樣本的整體為發(fā)育正常或發(fā)育異常。但在具體處理過程中,因樣本特征參數(shù)過多,計算較為耗時,且眾多特征中存在一些與整體特征無關的數(shù)據(jù)。要對一些與特征無關數(shù)據(jù)進行處理與分析,因此使用主成分分析的方式對提取的18個嬰兒運動特征進行降維處理,減少無關數(shù)據(jù)對整體指標產(chǎn)生的影響,以進一步降低計算資源消耗量,提升分類的準確性。

采用PCA算法函數(shù)計算,通過方差比例對降維后的信息進行評估,各成分所占的方差百分比如圖13所示,提取前8個點作為新的樣本輸入,并進行SVM分類。

圖13 前n個主成分所占方差比圖Fig.13 Line chart of variance of the first n principal components

3.3 實驗結果與分析

基于前述方法,采用MINI-RGBD數(shù)據(jù)集對模型進行測試,基于SVM的嬰兒運動特征分類結果如表4所示。

由表4可知,該方式在針對嬰兒的異常行為識別中有較好的表現(xiàn)。通過主成分分析方式對數(shù)據(jù)進行降維處理和分類,結果如表5所示。

表5 基于PCA降維后SVM的嬰兒運動特征分類結果Table 5 Classification results of infant movement features based on SVM after PCA reduction

由表5可知,對于每個樣本來說,正常與異常之比的判斷比例有所提高。在同樣條件下,兩種識別方式的樣本平均處理時間如表6所示,可以看出,使用主成分分析對參數(shù)輸入進行降維,可加快數(shù)據(jù)的處理速度。

表6 兩種方法平均處理時間Table 6 Processing time of two processing methods

4 結論

針對新生兒的全身運動評估問題,通過目標提取、特征提取與分析、機器視覺等方法,將嬰兒的運動特征通過計算機分析的方式進行具體量化。

(1)針對嬰兒的運動特征,提出使用ResNet與反卷積層結合的方式生成人體2D姿勢識別網(wǎng)絡,減少了模型參數(shù)量和深度神經(jīng)網(wǎng)絡存在的退化問題,將嬰兒姿勢識別的準確率從94.42%提升到94.71%。

(2)針對3D pose baseline采用全連接層結構導致識別準確率下降的問題,提出基于DenseNet和1D卷積網(wǎng)絡的2D姿勢坐標到3D姿勢的升維模型。經(jīng)過實驗驗證,構建的基于單張RGB圖像的嬰兒3D姿勢識別系統(tǒng),能夠完成對于嬰兒的3D姿勢識別,且識別的準確率從56.67%提升到60.93%。

(3)提出基于姿勢識別的嬰兒運動特征分析方式。選用四元數(shù)表示空間向量關系,提取嬰兒運動特征指標,使用主成分分析的方式將嬰兒運動特征序列拆分成多個小段,通過投票的方式對嬰兒的運動特征進行分類,并對模型輸入進行降維,將降維后的特征通過支持向量機進行分類。經(jīng)實驗表明,基于SVM的嬰兒特征分類模型和經(jīng)過PCA降維后的嬰兒特征分類模型均能在評判嬰兒整體運動指標上獲得較好的性能和效果。