基于壓力傳感器與攝像頭的頸椎病預防系統①

朱衛平,尹韶升,劉國檁

(武漢大學 國際軟件學院,武漢 430079)

基于壓力傳感器與攝像頭的頸椎病預防系統①

朱衛平,尹韶升,劉國檁

(武漢大學 國際軟件學院,武漢 430079)

本文設計并實現了一種基于壓力傳感器與攝像頭的頸椎病預防系統.該系統將薄膜壓力傳感器放置于坐墊中對人體體壓進行采集,并使用攝像頭采集人類臉部數據.對于坐墊,我們對傳感器的布置和數目進行了優化.對于攝像頭,我們在多目標識別時通過五官識別減少了系統運算量.在將壓力傳感器與攝像頭兩類數據融合之后,我們實現了比單類數據更準確的坐姿識別,進而對頸椎病的危險程度進行估計.我們還使用卷積神經網絡實現了對用戶的動作檢測,可引導用戶完成一系列動作用于評估頸椎病危險程度.系統實現小巧美觀,采用非侵入式的方法,非常適合于在辦公室環境下的頸椎病早期預防.

頸椎病預防; 坐姿判斷; 攝像頭; OpenCV; 壓力傳感器

頸椎病是臨床常見的退行性骨關節病.在頸椎病高發人群中,從事電子商務、文案和美術平面設計等工作的IT從業人員占據了榜首.這些人員的共同特點是長期以不良坐姿面對電腦進行工作,并缺乏必要的運動和保護措施.電腦,作為新世紀重要的智能設備,在極大地提高了人們工作效率的同時也顯著增加了患頸椎病的可能性.

當前對于頸椎病的防治主要是采用專用的設備.這些設備包括頸椎保健枕、頸椎牽引器、頸椎鈦項圈、頸椎熱敷袋、頸椎按摩器等.這些設備由于要進行特殊的佩戴使用復雜,較適合重度患者在家中進行使用,而不適合輕度患者或想進行預防的人員在辦公室的使用.同時,這些設備外形也不美觀,容易引起辦公人員心理抵觸.在頸椎病的發生中,坐姿不正常是一項很重要的因素.在坐姿檢測方面,現有的設備包括使用特殊的座椅將用戶背部用機械的方式進行固定[1],用特殊的頭盔中的液體氣囊將用戶頭部進行固定,用特殊的眼鏡對用戶不良頭部姿勢進行提醒[2],用特殊的書桌對用戶的坐姿進行重構并對不良坐姿進行報警[3].這些工作采用了特殊的設備和/或侵入式的檢測手段,不利于在現有的辦公室環境中進行實施.部分研究人員也采用視頻識別的方式對坐姿進行識別[4],但只限于遠近及左右偏斜情況.其他的一些圖像處理研究著重對人體坐姿的各種情況進行分析,但沒有針對頸椎病的防治.本論文設計了一種使用電腦攝像頭和包含壓力傳感器的椅墊的頸椎病預防系統.系統輕巧簡便,外形美觀,能以非侵入式的方法較好的識別坐姿,進而識別頸椎病風險并進行提示.

1 系統流程設計

本系統采用如圖1所示處理流程.在初始化設定后,系統通過攝像頭采集用戶的頭部照片,同時使用壓力傳感器獲取體壓數據,然后將采集到的數據傳給后臺應用; 后臺結合兩方面結果,綜合判斷用戶坐姿情況,統計非正常坐姿的時間來分析用戶患頸椎病的可能性,并進行可能的用戶警示和初步判斷.

圖1 系統流程圖

2 壓力傳感器的系統設計與實現

我們先對本系統壓力傳感器的硬件和軟件設計進行介紹.

2.1 壓力數據采集與接收

在坐墊系統中,由于需要收集人體體壓信息,需要用到壓力傳感器來進行人體體壓信息的采集.本系統選擇了可直接置于坐墊內的薄膜壓力傳感器來測量人體體壓壓力值大小.

所選薄膜壓力傳感器是由Interlink Electronics公司生產的 FER402,壓力感測范圍為 100 g-10 kg,感測范圍大于人體體壓值范圍,保證系統能夠偵測記錄人體體壓值.

坐墊系統在坐墊上布置了20個壓力傳感器節點,通過面包線將傳感器與Arduino UNO板進行連接.由Arduino進行數據的匯集,以及壓力傳感器的供電、控制.最后通過與Arduino直連的藍牙模塊將數據發送給電腦端.

藍牙傳輸選擇基于德州儀器cc2541的藍牙模塊,電腦端的藍牙設置為主機模式,與Arduino連接的藍牙模塊設置為從機模式.采用數據透傳模式,將Arduino控制模塊處理后的數據無線發送給電腦端.

2.2 壓力傳感器布局

壓力傳感器只有在合理布局時才能正確反映出人體體壓的分布.同時,由于薄膜壓力傳感器的成本比較高,我們希望通過最少的傳感器來獲取人體體壓的分布.本系統在減少壓力傳感器數目的同時對傳感器位置進行優化.

在坐墊系統實現初期,為了獲得較為完整的人體體壓分布數據,我們布置了11行11列共121個傳感器節點進行壓力數據的獲取.接著我們通過實驗不斷減少傳感器的數目,最終將數目減少到20個.具體的是通過Relief算法[5]找出對坐姿分類作用最明顯的傳感節點,逐步刪減在壓力檢測中影響小的傳感節點.

Relief算法是一種特征權重算法,根據各個特征和類別的相關性賦予特征不同的權重,權重小于某一閾值的特征將被移除.Relief算法基于特征對近距離樣本的區分能力.算法首先從訓練集D中隨機選取一個樣本R,然后從和R同類的樣本中尋找最近鄰樣本H,從和R不同類的樣本中尋找最近鄰樣本M.如果R和H在某個特征上小于R和M的距離,說明該特征對區分有益,增加該特征權重,反之減少權重.重復m次后,得到平均特征權重,權重越大,分類能力越強,反之越弱.

Relief算法的局限性為只能處理兩種類別數據,但是在人體體壓分析過程中,系統設定類別為7類(標準坐姿、仰頭、低頭、頭部左偏、頭部右偏、頭部遠離攝像頭、頭部靠近攝像頭).經過學習研究后,系統采用Relief算法的擴展算法ReliefF[6]來分析各節點的權重,具體步驟如下:

(1)采集用戶不同坐姿下各壓力傳感器節點的壓力值,構成訓練樣本集D.以節點的壓力值為特征,不同坐姿類型為類別運行以下步驟.

(2)從訓練樣本集D中隨機選取樣本R,從和樣本R類別相同的訓練樣本中尋找樣本R的最近鄰樣本H,從和樣本R類別不同的訓練樣本中尋找樣本R的最近鄰樣本M.

(3)將各壓力傳感器節點的初始權重設為0,然后對各壓力傳感器節點逐一進行以下操作:在當前壓力傳感器節點上,比較R和H的距離與R和M的距離,若R和H的距離小于R和M的距離,增加當前壓力傳感器節點的權重,權重的增加量為R和M的距離;否則,減少當前壓力傳感器節點的權重,權重的減少量為R和H的距離.

(4)判斷所有傳感器節點的當前權重和上一權重差值的方差是否小于預設閾值,若小于預設閾值,執行步驟(5); 否則,重新執行步驟(2).

(5)取權重最大的前20個壓力傳感器節點作為有效節點.

根據ReliefF算法設計程序對取得的樣本進行分析制圖.獲得的ReliefF權重圖如圖2所示.

圖2 ReliefF 權重圖

根據權重圖,我們選擇出關鍵的壓力傳感器節點.最后節點部署圖如圖3所示.

2.3 人體體壓數據分類

系統通過隨機森林對用戶的體壓數據進行分類.隨機森林實際上是在數據分類過程中,通過隨機建立的多棵決策樹進行決策.每棵決策樹對輸入的數據進行分類,最后通過投票的方式決定數據的類別.

圖3 節點部署圖

決策樹根據數據的不同屬性對輸入的數據進行分類.從根節點開始,決策樹通過熵計算出每個屬性對數據進行分類所獲得的熵增益,從而決定最優的分類屬性.進行完本次分類后,如果子節點的純度達到一定閾值則停止分類; 否則繼續進行上一步操作,在沒有被使用的屬性中選出最優的分類屬性再次進行分類.決策樹利用這些分類節點對測試數據進行比對,得到測試數據的分類結果.

隨機森林將多棵決策樹所得到的分類結果通過投票的方式進行最終的分類.隨機森林在數據集上表現良好,能夠處理很高維度的數據,并且不用做特征的選擇,而且訓練速度快,容易做成并行的方法.

我們采用了MATLAB中TreeBagger類實現了隨機森林.它的使用方法如下:

Factor=TreeBagger(nTree,train_data,train_label);

[Predict_label,Scores]=predict(Factor,test_data);

TreeBagger類用于產生森林,其中Factor為返回的森林,nTree 為森林中的決策樹個數,train_data 為訓練集 n*m,(n 為訓練樣本個數,m 為特征個數),train_labe為訓練的分類.predict函數用于數據分類,其中Predict_label為分類結果,Scores為以行向量表示的每個類的概率,Factor是前面方法獲得的森林,test_data是測試數據.本系統最終確立的決策樹為12棵.

3 攝像頭系統設計與實現

接著,我們對攝像頭系統的設計和實現進行介紹.我們在對人臉進行識別時,借助了OpenCV的相關實現.

3.1 攝像頭人臉識別

我們首先通過OpenCV的openCamera方法打開電腦攝像頭.在攝像頭打開之前,不進行五官識別與位置判斷,防止出現死循環.

在判斷攝像頭打開后,利用OpenCV的capture函數進行攝像頭圖像的捕捉,同時為了便于人臉檢測,利用OpenCV相應的處理函數對采集到圖像進行灰度以及均衡化處理.在Capture類中提供了工具方法,包括對圖像數據的數據類型轉換方法.我們使用Capture類分析攝像頭抓取的照片,檢測出人臉,再檢測人臉中五官的位置,然后分類出臉部位置的類型.

我們編寫了FaceLogic類控制整體的人臉識別流程,包括加載OpenCV訓練好的人臉五官識別模型,開啟定時器,調用Capture類進行攝像頭圖像捕捉以及處理,并將最后處理完成后的圖像送至識別模型進行檢測,最后根據識別出的五官信息進行人臉類型的判斷.

3.2 人臉識別分類器實現

OpenCV庫的分類器使用的是目標檢測方法.利用樣本的harr特征對分類器進行訓練,得到級聯的boosted分類器[7].系統采用OpenCV庫的haarcascade_eye_tree_eyeglasses.xml和haarcascade_mcs_mouth.xml兩個分類器來判斷出圖像上的眼睛與嘴,然后對眼睛與嘴進行追蹤,采用絕對坐標與相對坐標判斷人臉與正常位置的偏移.具體方法是先測量當前五官點的位置與初始值的位置,并結合上下偏移與左右偏移的三角函數比與閾值進行比較從而得出用戶是否偏移和偏移的方向.

用戶側臉的情況通過OpenCV庫的lbpcascade_profileface.xml進行判斷.由于 lbpcascade_profileface.xml只能判斷右邊側臉的情況,通過對圖像進行水平反轉,判斷左邊側臉的情況,從而實現判斷兩邊側臉.

4 頸椎病檢測

4.1 檢測系統整合

我們分別采用攝像頭和壓力傳感器采集用戶不同坐姿的數據,記為測試樣本.測試樣本包括人臉圖像、有效節點的壓力數據及對應的坐姿.系統實現過程中,將7種坐姿(標準坐姿、仰頭、低頭、頭部左偏、頭部右偏、頭部遠離攝像頭、頭部靠近攝像頭)的人臉圖像分別標記為 a1、a2、a3、a4、a5、a6、a7; 將7種坐姿的壓力數據分別標記為b1、b2、b3、b4、b5、b6、b7.

分別采用人臉分類器和坐姿分類器識別測試樣本,計算識別正確樣本數占測試樣本總數的百分比,即獲得人臉分類器和坐姿分類器的準確率.

攝像頭采集用戶的實時圖像,壓力傳感器節點采集用戶的實時壓力數據.獲取人臉分類器從實時圖像識別各坐姿的概率ai,獲取坐姿分類器從實時壓力數據識別各坐姿的概率bi.分別計算各坐姿的綜合概率其中,m、n 分別為人臉分類器和坐姿分類器的權重,ai表示人臉分類器從當前圖像識別的第i類坐姿的概率,bi為坐姿分類器從當前壓力數據識別的第i類坐姿的概率.綜合概率最大的坐姿類型即為用戶實時坐姿類型.

根據人臉分類器和坐姿分類器的準確率調整權重,若人臉分類器準確率低于坐姿分類器,按預設的權重調整值降低人臉分類器權重,提高坐姿分類器權重; 反之,則按預設的權重調整值提高人臉分類器權重,降低坐姿分類器.

系統統計預設周期內用戶處于標準坐姿和非標準坐姿的時長,計算非標準坐姿的時長占預設周期的比例,當該比例達規定程度,判定用戶有患頸椎病風險.

4.2 動作檢測

在很多時候,我們有一些經驗性的動作可以判斷頸椎病的危險程度.這對頸椎病早期預防很有幫助.然而,這些動作往往過于復雜,用戶可能無法判斷是否完全按照要求進行了動作,從而影響了使用效果.本系統將通過檢測用戶在攝像頭前的動作姿勢,引導用戶完成這些動作,從而對用戶是否患有頸椎病及其威脅程度進行初步判斷.所采用的動作判斷系統是根據卷積神經網絡對人體姿態進行分析[8],判斷用戶在做檢測動作的時候動作是否到位.

基于卷積神經網絡的模型主要分為6個stage,全身模型有14個部件(分別為頭、脖子、右肩、右肘、右手、左肩、左肘、左手、右胯、右膝蓋、右腳、左胯、左膝蓋、左腳),與背景一同構成15個響應圖.在每個階段都有監督訓練,從而可以避免過深網絡難以優化的問題.模型的算法流程為先在每一個尺度下計算各個部件的響應圖.然后對于每個部件累加所有尺度的響應圖,得到總響應圖后再在每個部件的總響應圖上找出相應的最大的點,即為該部件的位置.

根據部件的位置進而計算得出手臂彎曲的角度,具體可以分別計算右肘和右肩與水平線構成的角度、右手和右肩與水平線構成的角度、左肘和左肩與水平線構成的角度、左手和左肩與水平線構成的角度.從而能夠根據角度進行進一步判斷用戶所做動作是否到位.

5 結語

系統使用通過OpenCV實現了對人臉臉部的檢測,并進一步判斷的用戶的坐姿情況.同時,系統也根據采集的人體體壓分布判斷了用的坐姿情況.將基于攝像頭的坐姿結果與基于體壓的坐姿結果結合后我們獲取了更精確的坐姿結果.我們還通過卷積神經網絡實現了對用戶的動作檢測.

未來的工作與研究應著重于找出能夠表現頸椎病的動作,并對這些動作的完成程度與患頸椎病的可能性進行分析,從而實現預防頸椎病的發生.

1蘇垣.書桌的人性化設計——源自坐姿健康的話題.家具與室內裝飾,2008,(4):14–16.

2徐鵬,曾碧新,陳仁愛,等.基于重力感應芯片的智能坐姿矯正眼鏡研究.科技信息,2013,(9):8–9,47.

3陳志華,呂春玲.一種矯正坐姿的智能書桌及其矯正方法:CN,CN103948236A.2014-07-09.

4韓曉明,冉春風,侯雪峰,等.基于視頻的學生坐姿檢測與糾正系統研究.首都師范大學學報(自然科學版),2009,30(S1):11–14.

5Kononenko I.Estimating attributes:Analysis and extensions of RELIEF.European Conference on Machine Learning.Catania,Italy.1994.171-182.

6Robnik-?ikonja M,Kononenko I.Theoretical and empirical analysis of ReliefF and RReliefF.Machine Learning,2003,53(1-3):23–69.

7宋萬軍.基于OpenCV視覺庫的人臉檢測[碩士學位論文].長春:吉林大學,2014.

8Wei SE,Ramakrishna V,Kanade T,et al.Convolutional pose machines.2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Las Vegas,USA.2016.4724–4732.

9Bergadano F,Raedt LD,Deraedt L,et al.Machine Learning:ECML-94.Springer Berlin,1994,784(7):337–340.

Pressure Sensor and Camera Based Cervical Spondylosis Prevention System

ZHU Wei-Ping,YIN Shao-Sheng,LIU Guo-Lin

(International School of Software,Wuhan University,Wuhan 430079,China)

This paper designs and implements a cervical spondylosis prevention system based on pressure sensors and the computer camera.This system obtains the body pressure data through a cushion which contains many pressure sensors,and the human face data through a computer camera.We optimize the number and layout of pressure sensors in the cushion,and reduce the computational complexity by image processing by recognizing facial features.By fusing the data from both pressure sensors and camera,this system achieves a more accurate sitting posture recognition,comparting with using pressure sensors and camera separately.The results are further used to estimate the risk level of cervical spondylosis for the users.The system can also guide the users to complete a series of given actions to test their criticality or potential risk of cervical spondylosis.This system is smart,well-designed,and non-invasive,and hence quite applicable to common workplaces.

prevention of cervical spondylosis; sitting posture; camera; OpenCV; pressure sensor

朱衛平,尹韶升,劉國檁.基于壓力傳感器與攝像頭的頸椎病預防系統.計算機系統應用,2017,26(10):241–245.http://www.c-sa.org.cn/1003-3254/6009.html

2016武漢大學教學改革建設項目(216-413200002); 武漢大學國家大學生創新創業訓練計劃(201510486085); 中央高校基本科研業務費專項資金(2042015kf0042)

2017-01-19; 采用時間:2017-02-23