基于改進人工神經網絡的人體姿態識別方法在人機交互醫療設備中的應用

代維利

(海軍青島特勤療養中心，山東 青島 266071)

0 引言

近年來，人體姿態識別研究逐漸成熟，在視頻的智能分析、虛擬現實、人機交互、視頻摘要、視頻信息檢索與運動分析方面都具有廣闊的應用前景。姿態識別已經成為深度學習領域的研究熱點之一，深度學習算法的研究推動了姿態識別研究的進步[1]。而信號采集與無線技術迎來了新的發展高峰。在人們日益關注自身健康的當下，身體各項指標的準確監測成為醫學領域的研究重點之一。在該背景下，有學者提出無線體域網(WBAN，wireless body area network)[2]。WBAN屬于短距離、小型的無線傳感器網絡，汲取了無線通信與微機電系統的共同優勢。該項技術主要應用在人體周圍，通過各類傳感器信息的采集，能夠實現人體生命和姿態信息的監測，已經在醫療領域取得了巨大的成功[3]。在WBAN技術中，人體姿態識別能夠對患者狀態進行實時準確地監測，對于醫學診斷及輔助治療具有重要意義[4]。但在實際應用中，WBAN具有高動態特性，當人體姿態出現改變時，信號采集和傳輸同樣會發生變化，這就要求二者無形之中必須具有較高的適應性。同時計算機視覺領域中人體姿態識別已然成為當今最具有挑戰性的研究方向。隨著各國科技公司推出深度學習傳感設備后，基于深度圖像的人體姿態識別技術開始受到廣泛學者們的關注。但由于人體姿態與動作的復雜度較高，利用深度圖像特征與骨骼關鍵點提取的維度也較高，無法對圖像進行較為準確的預處理。此時人工神經網絡(ANN，artificial neural network)與卷積神經網絡(CNN，convolutional neural networks)應運而生，并在相關領域得到了廣泛的應用與關注[4]。黃展原等學者為了對老人摔倒進行有效監測，同時降低相關設備的成本與制作問題，提出一種基于2D視頻的摔倒監測算法。通過3個公共摔倒數據集測試顯示，該算法是可行的并能夠有效提高監測效率[5]。孫月馳等人提出一種基于優化CNN的人體行為動作識別算法，以有效應對復雜圖像中人體姿態識別不準的問題。過程中通過構嵌Maxout多層感知網絡結構實現增強CNN的特征提取能力。結果表明，該方法對人體行為與動作識別有較高準確率[6]。金瑋等研究人員將CNN與高速通信技術相互融合并應用于人體姿態識別當中，以應對病人跌到能夠及時獲得救助。數據顯示，該方法對人體姿態的識別準確率高達99.75%，同時具有百分百的敏感度，能夠準確對人體跌到進行檢測[7]。鄧平與吳明輝將多信息融合的特征篩選方法與人體姿態修正相互結合，以應對傳統人體姿態識別算法識別精度不足等問題。結果表明，通過修正后該算法對人體姿態識別的精度高達99.67%，同時能夠以較少的特征數目獲得更準確的姿態分類[8]。從以上相關研究可知，對人工神經網絡的改進集中在不同領域的方方面面，但仍無法滿足醫療設備所需要的高效率與高準確性的要求，網絡與智能算法相結合的技術更新亟待解決。鑒于此，研究在WBAN人體姿態識別系統的基礎上，結合改進ANN自適應學習與高速尋優等特點，將其應用于人機交互醫療設備系統中，以期進一步提高醫療設備人體姿態識別的應用效果。

1 基于改進ANN的人體姿態識別系統在人機交互醫療設備中的研究

1.1 基于WBAN的人體姿態識別系統的構建

人體在地面時有靜止與相對運動的兩個狀態。當一個人處于相對靜止的狀態時對應的坐標系為自然坐標系；而當一個人發生相對運動時對應的坐標系則為動態坐標系[9]。在自然坐標系中，人體向上從頭到腳的垂直站立方向被定義為X軸的正方向；而人體朝著水平方向左邊則為Y軸的正方向；人體臉部 朝前的方向則被看做是Z軸的負方向。于是，重力加速度G的方向與X軸的方向實際上是一致的。另一方面在動態坐標系中，不管任何時間任何地點以及任何方向，更不管人體處在何種狀態，均選擇人體從腳到頭的方向向量作為X軸的正方向；Y軸與Z軸的方向選取與自然坐標系相同。為了對人體的不同姿態特征進行提取，通常利用4種不同的特征參數向量對運動中的人體姿態進行目標檢測與識別。通過系統計算與采集得到3個軸的加速度值，同時引入支持向量機(SVM，signal vector magnitude)對其進行平方計算操作后再取值。得到的數值對應表示人體正在進行的不同強度運動。隨著運動的劇烈程度的增大其數值也逐漸增大，可以初步對人體運動是否劇烈進行判斷。利用恰當的閾值對人類運動進行判斷，并對人體運動狀態進行分類。具體計算見式(1)。

(1)

式(1)中，az，ax，ay對應代表Z、X與Y軸的加速度。同時當人體圍繞著X軸進行旋轉時，向左轉是正向角度參數，此時θx作為航向角。當人體圍繞Y軸旋轉時，θy作為俯仰角。當圍繞Z軸進行旋轉時，向后退則是正向角度參數，θz表示橫滾角。對不同的坐標軸角度的極差進行分析，并以此計算在同一個采樣時間內人體運動姿態旋轉過的最大角度(Rx，Ry，Rz)。以通過WBAN系統采集得到的角度數據為基礎數據進行實驗計算，能夠對運動著的人體是否發生彎腰或跌倒情況做出合理的判斷。具體計算見式(2)。

Ry=θymax-θymin

(2)

式(2)中，θmin與θmax是指在對數據單位進行采集過程中對應得到的最小值與最大值。同時由于實驗所采取的硬件系統能夠對人體姿勢進行實時的采集，將人體坐標系三軸的角加速度設置為ω。不同人所發生的姿態動作在相同的時間內是不盡相同的，因此圍繞著人體旋轉所產生的轉動角度與速度也不相同，這就表示著對應的坐標系也不相同。日常生活中，當一個人身體發生十分劇烈的晃動時，那么很有可能是該患者罹患了中風或腦卒中而產生的身體抽搐。因此當面臨這種情況時，及時地對患者進行監測能夠有效幫助醫生更為快速且準確地判斷得到該病患的情況。在對患者進行實時檢測時對應的極差r計算見式(3)。

(3)

式(3)中，ω與θ分別表示人體發生轉動時的角加速度與轉動的角度；而t是指間隔無限小的時間段；ωmin與ωmax分別表示在對數據進行采集的過程中所對應的角速度的最小值與最大值。其中人體的不同姿態會根據不同加速度而產生不同的位置移動，醫生可以根據該位移為病人的復檢情況做出合理的判斷，同時為該病患合理規劃并建議運動方式與運動量。將三維空間內3個軸所產生位移的量看做計算姿態檢測參量的重要參數，具體計算出見式(4)。

(4)

式(4)中，a表示人體在運動時任意一個數軸產生的加速度；S表示人體姿態運動時數軸所產生的位移。綜合得到人體運動時姿態多級分層的識別算法。該算法主要是服務于應用無線體域網時對人體不同姿勢與動作的識別。具體的識別過程見圖1。

圖1 人體姿態多級分層識別算法流程

圖1中可以發現整個人體姿態多級分層識別共分為三各階段。在第一階段，研究選擇SVM值作為決策依據，并根據實驗數據的數值設定合適的閾值a。將得到的閾值作為基礎依據，假設共有慢走(Walk)、蹲(Squat)、坐(Sit)、跑步(Run)和彎腰(Stoop)5種姿態，將這5種姿態通過分類初步定義為非劇烈運動與劇烈運動。當人體發生運動時，若運動過程中的某一個姿態連續30毫秒內不間斷并持續的出現3個波峰采樣點的數值一直大于閾值時，則將該姿態判別為跑步，并定義為姿態A1。若這一姿態的波峰采樣點小于閾值時則將該姿態判別為坐、蹲、彎腰和走，并下定義為姿態A2，進而有效識別出相應的跑步姿態。接著進入到第二階段，在該階段實驗將Y軸方向姿態發生的角度的極差RY與該縱軸方向上角加速度的極差ry看作是判斷依據。當人體進行運動時，會產生不同的姿態。這些不同的姿態所擁有的特征不盡相同。在姿態A2當中，當人體發生慢走運動時，3個角度θx，θy，θz的值并不會發生較大的變化，甚至看作并沒有任何變化發生。因此計算得到的Y軸方向的RY與ry的數值都會較小。相反，當人體姿態處于彎腰、蹲下以及坐下3個狀態時，兩個極差RY與ry的數值均會有較大的變動。因此將實驗所設定的角加速度閾值c與角度對應的閾值b可知，當極差RY大于角度閾值同時極差ry大于角加速度閾值時，將對應的人體姿態判定為彎腰、蹲下以及坐下，并將其定義為姿態B1。而其他的閾值比較情況則判定為人體處于慢走狀態當中，并將其下定義為姿態B2。當第二階段的人體姿態識別結束即可識別出慢走狀態。最后便是第三階段。在該階段中，研究人員將實驗所得數據當中位于X軸方向上的加速度展開兩次積分操作，進而得到人體在X軸方向上的位置移動的量dx作為判斷依據。人體處于彎腰姿態時，相對于腰部直立時的狀態而言，腰部彎曲時的位移幾乎不會因人為因素而變化。但當人體姿態由站立姿轉變為坐姿時，其腰部發生的位移應當顯著小于其大腿的長度d1。當人體從站立的姿勢轉變為蹲坐姿勢時，其腰部對應發生的位移應當大于其大腿的長度d1但小于整個大腿腿部的長度d2。根據上述所有特點可知，實驗選取在X軸方向上的位置移動閾值可以對姿態進行有效區分，進而識別出不同的對應姿態。

1.2 基于CNN與無線體域網的人機交互醫療設備人體姿態識別模型的設計

現實生活中WBAN被廣泛應用于人體可穿戴設備，這一舉措便要求人體姿態識別算法在設計的過程中能夠盡量地降低人為干預所帶來的影響，即在訓練后能夠自動地產生相應的拓撲結構。該方法不需要人工選取并設置門限，即可對人體新姿態進行識別。但WBAN在實際運行的過程中存在有大量的人為工作，識別率較高但應用價值較低。CNN隸屬于ANN的一種，是在ANN算法的基礎上改進得到的。CNN擁有深層網絡結構的前饋神經網絡，具有較強的容錯、自適應學習及并行計算能力。近年來CNN廣泛應用于處理分類和識別問題，特別是人臉識別、輔助醫療診斷、自動駕駛系統等領域，極大程度上促進了深度學習快速發展和推廣應用。鑒于此，研究提出利用改進卷積神經網絡模型對WBAN算法進行改進，并進行人體姿態識別算法，并期待有效減少人為設定算法的拓撲結構，最終實現算法可靠性[10]。CNN網絡的構建與訓練是分步驟進行的，CNN網絡構建的流程如下。第一層為網絡輸入層，即input層。由于CNN網絡能夠進行自我學習，當輸入圖像為深度圖像，便可以直接將其作為網絡的輸入。接著將卷積層定義為Cx，該卷積層通過n×n的濾波器大小(即卷積核或窗口大小)與偏置值相加再進行卷積操作，便能夠得到特征圖N個。卷積網絡的下采樣層則被定義為Sx。在不同的鄰域區域內對圖像上的4個像素進行求和，并加入卷積核元素進行加權操作，另外加上偏置值，并通過激活函數sigmoid，以得到一個大小約縮小4倍的特征映射圖Sx+1。對應得到的一層卷積層與下采樣層的過程實現見圖2。

圖2 一層卷積層與下采樣層的過程

實驗所設計的改進卷積神經網絡模型是設計一共可以分為4個步驟。首先對卷積網絡層數進行選取。CNN特征提取實際上是一個從低級到高級的抽取過程。當前面的卷積層所提取的是研究圖像中層次較低的特征，那么后面的卷積層再增加時，特征的提取便會開始變得越來越抽象化。從這個角度來看，如果網絡層級過少，可能會引入大量的干擾信息，而無法準確反映圖像的關鍵特征。然而，如果網絡層級過多，雖然能夠獲得圖像的高級抽象特征，但隨著層級的增加，有效信息的損失也會逐漸增多，這可能會導致無法獲取最優的特征信息。但由于所選取的深度圖像所包含的信息較為單一，那么特征的提取便會逐漸明顯。因此在總體上，CNN網路并不需要太多的層次便可以實現對圖像中的關鍵特征信息的提取。有學者研究發現，當CNN網絡層數為5，而其他條件不變的情況下，此時模型中的網絡便可以實現快速地擬合與收斂，同時擁有較高的識別速度與準確性。接著是對濾波器個數進行選取。鑒于輸入圖像為深度圖像時，所包含的數據信息會較為準確，因此實驗采用簡單的線性濾波器便能夠有效提取圖像中的關鍵特征[11]。濾波器的個數選取會影響分類的效果和效率。若濾波器個數較少，產生的特征圖就會減少，可能導致特征提取不全面；反之，濾波器個數過多，需要處理的特征圖數量也會相應增加，既會降低處理速度，又可能引入許多無用的特征。因此，在權衡速度與準確性的考慮且大量實驗數據表明，在以準確性為首要考量的情況下，當濾波器的個數選取為6個時，CNN網絡可以達到較高的效率。然后選擇合適的濾波器大小。實際上，濾波器是一種可以處理信號以改善其性質或提取有用信息的電子設備或軟件工具。在電子和通信工程中，濾波器主要用于消除某些不需要的頻率或保留某些所需頻率。其運作原理基于對頻率的選擇性，即對某些頻率響應強烈，對其他頻率則響應弱或無響應。綜合考慮各方面因素后，實驗濾波器大小(即卷積核尺寸)選取為5×5，它在提取特征方面效果良好，并能保持較快的特征提取速度。最后選取tanh函數作為激活函數。一般的激活函數輸出數據時并沒有稀疏性，這會導致過程中生成大量的稀疏數據。因此需要在實驗過程中設定一些懲罰因子以避免這種情況的產生。通過進行無監督訓練，篩選排除掉一大堆接近于0的冗余數據，避免由于梯度消失問題而影響收斂速度。然而ReLU函數是一種線性修正函數，其根本作用在于若計算得到的數值比0小，便將其設置為0，否者設置為原始數值。經過實踐驗證，訓練后得到的改進CNN網絡具備有適當的稀疏性，能夠滿足要求。同時，訓練后的CNN網絡可視化效果與傳統方法訓練得到的效果十分相似，這表示所選取tanh函數在進行適當計算的同時還能夠有效提升收斂速度。最終綜合上述原理，實驗選取3D-CNN與WBAN相互結合，共同優化人體姿態識別系統。姿態識別的整體過程見圖3。

圖3 姿態識別的整體過程

圖3中整個姿態識別流程包括以下幾個步驟。首先，采集樣本圖片并對應做好標記，接著，對每種類型的姿態訓練樣本進行分類，并輸入到CNN以進行模型訓練，適時調整網絡以實現收斂。然后，將輸出層更改為softmax分類器，并將測試圖像作為輸入。最后，對識別結果的準確性進行驗證和評估。其中3D-CNN在對時空兩個維度上的特性進行計算的同時，還能夠運用3D卷積核對多幅圖片與多個視頻進行處理。因此，卷積層中的特征圖均會與上一層連續多幀的圖像相互關聯。具體計算見式(5)。

(5)

(6)

式(6)中，x代表三維空間上的輸入向量；y代表三維池化層對應的輸出結果；s，t，r表示三維池化操作在3個維度上所產生的步長。通過計算可知，經過3D維度池化操作后，可以有效地降低網絡的時空尺寸，進而極大地降低網絡的計算復雜度，同時池化操作融合后的網絡在時空維度上的魯棒性均有顯著提升。研究所設計的3D卷積網絡的第一層為輸入層，該層采用的圖像幀的參數設置為7幀分辨率60×40，第二層網絡則為硬線層，他的主要功能在于能夠從圖像中提取出灰度與水平方向上的光流等。具體結構見圖4。

圖4 3D-CNN網絡結構圖

2 醫療設備中人體姿態識別系統的性能測試與應用效果分析

為了驗證研究所構建方法能夠對人體姿態進行識別，并準確地應用于人機交互醫療系統設備中，研究對所構建平臺的實際性能與應用效果進行分析，期待能夠為醫療行業的發展提供一定的支持。開展實驗所使用的服務器平臺配置如下：實驗硬件環境為Intel i5處理器，16 G內存，1T硬盤，編程環境基于Python；操作系統為Windows 10；中央處理器為Intel Corei7-4590；數據儲存系統為MySQL data bank；GPU型號為GTX1080Ti 11Gx4；CPU型號為Intel Xeon E5-2665x2。實驗選取HiEve與Human3.6 M兩個公開的人體姿勢數據集進行人體姿勢識別的仿真實驗。所有實驗環節均在相同的設備環境中進行。研究將改進SVM模型、RCNN模型與CNN-Apriori模型與研究模型進行不同性能指標的比較。首先對比不同算法的收斂速度，具體結果見圖5。

圖5 不同算法收斂速度對比

圖5(a)是在HiEve數據集上的測試結果。曲線變化顯示，當迭代次數為20次左右，研究方法開始趨于平穩，同時對應有0.011 2的損失函數值；與此同時其他兩種算法的損失函數值均顯著高于0.03。當迭代次數進行到第40次時，RCNN模型與CNN-Apriori模型開始出現有最小損失值，數值分別為0.025 8與0.026 7。圖5(b)是在Human3.6 M數據集上的測試結果。可以發現當迭代次數在第30次附近時，研究方法便有最小損失值函數值，此時其余算法在迭代進行到第50次左右才能夠有最小值。對比以上結果可知，在相同的時間長度內研究方法能夠更為快速達到最小收斂度，具有更為快速的收斂速度。這也表示研究方法對數據的分析與計算過程效率會更高，并且有著較為廣泛的普適性。接著對4種模型的AUC值進行對比，具體見圖6。

圖6 4種模型的ROC曲線

圖6中可以看出，與其他方法相比，研究方法的ROC曲線下面積顯著較大。研究方法、RCNN模型、文獻[13]與CNN-Apriori模型對應的ROC曲線占據面積為0.897、0.856、0.789與0.754。以顯著性原理為基礎可知，研究方法的AUC值最大，在對人體姿勢進行識別的過程中得到的識別效果較好，具有較高的真實性。為了豐富研究方法的實際效果，研究對不同算法的準確率進行分析，具體見圖7。

圖7 模型精度及損失率變化圖

根據圖7可知，模型在誤差的變化上呈現出急劇減小后又緩慢增加的趨勢，迭代次數為60時為拐點，準確率也同樣在迭代次數為60次附近時開始趨向收斂，此時其訓練準確率接近于84.32%，顯著高于其余3種算法。其次當迭代到達60次附近時，研究方法的誤差無限接近于0.00%，而此時RCNN模型、文獻[13]與CNN-Apriori模型對應的誤差分別為0.005 21%、0.009 87%與0.012 54%。以上結果說明研究方法在具有較高準確率的同時，模型所產生的誤差也相對較低，能夠被人體姿勢識別系統中。最后將4種不同的算法應用于人機交互醫療設備系統的患者不同姿勢存儲系統中，進行實際效果的驗證，具體結果見圖8。

圖8 不同方法運行下的患者姿勢識別效果

圖8(a)為4種方法對患者不同姿勢的識別準確率，圖8(b)則為識別時間對比。圖8(a)中可知，在對患者的腰痛姿勢、腿痛姿勢以及腹痛姿勢的基本動作識別中，研究方法的識別準確率均顯著高于90%，均高于其他算法的識別準確率。而RCNN模型的是被準確率均低于85%，是4種方法中最低的。由圖8(b)中，在對患者的腰痛姿勢與腿痛姿勢進行識別時間中，RCNN模型的識別耗時最長，據接近于40.0 s。在腹痛姿勢與頭痛姿勢的識別中，CNN-Apriori模型的識別耗時最長，分別為35.21 s與38.47%。而研究方法的所需時間均為最少，對應不同姿勢的耗時分別為25.14%、27.45%、23.16%與25.61%。對比以上結果可知，研究方法能夠對患者的不同姿勢進行較為準確的識別，同時耗時較少。

3 結束語

利用人機交互醫療設備對人體健康狀態進行監測是當前醫療行業重點發展的項目之一。為了能夠更加全面地實現人體姿態識別在人機交互醫療設備中的應用，研究根據WBAN能夠實現不同層次間信號傳輸的特點，構建了相應的人體姿態識別系統。過程中，分別對網絡結構、網路層數、濾波器個數與尺寸進行了選擇，并選取了最為合適的激活函數，使得改進CNN能夠有效地提取圖像特征并識別姿態。同時，針對WBAN識別效率較低的缺陷，提出通過3D卷積網絡對其進行改進。結果顯示，在HiEve數據集上，當迭代次數為20次左右，研究方法開始趨于平穩，同時對應有0.011 2的損失函數值；在Human3.6 M數據集中，該模型于30次迭代左右出現最小損失值函數值。ROC曲線對比中，研究方法、RCNN模型、文獻[13]與CNN-Apriori模型對應的ROC曲線占據面積為0.897、0.856、0.789與0.754，研究方法的性能更優。不同算法的準確率方面，該模型于60次迭代附近時，誤差無限接近于0.00%；同時準確率也同樣在迭代次數為60次附近時開始趨向收斂，此時其訓練準確率接近于84.32%，顯著高于其余3種算法。將該模型應用于人機交互醫療設備進行患者不同姿勢的檢測中，對應的耗時分別為25.14 s、27.45 s、23.16 s與25.61 s，具有更高的效率，驗證了該方法的有效性。總的來說，研究所提出方法為醫療設備提供了一個有力的工具，能夠有助于提升醫療服務質量和效率。但研究主要從軟件方面進行姿態識別的改進，未來需要通過藍牙等硬件設施的技術更新來實現更優的效果。