結(jié)合手機(jī)傳感器和卷積神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別

石代偉 張若英

摘 要 單一傳感器在人體行為識(shí)別中誤差較大，針對此問題提出一種利用智能手機(jī)中慣性傳感器并結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network， CNN）的人體行為識(shí)別方法。文中利用構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型自動(dòng)提取加速度和角速度數(shù)據(jù)特征，并結(jié)合Softmax分類器識(shí)別人體行為。實(shí)驗(yàn)結(jié)果表明，相比于現(xiàn)有的研究，該模型在人體6種行為上取得了較高的識(shí)別準(zhǔn)確率，平均識(shí)別率可達(dá)97.22%，說明了卷積神經(jīng)網(wǎng)絡(luò)在提取特征上的優(yōu)勢以及本模型的可行性。

【關(guān)鍵詞】手機(jī)傳感器數(shù)據(jù) 行為識(shí)別 卷積神經(jīng)網(wǎng)絡(luò) 特征提取

1 引言

隨著人們生活水平不斷提高、生活節(jié)奏的加快，許多健康問題日益突出。同時(shí)，我國已逐步進(jìn)入老齡化人口發(fā)展階段，人口老齡化問題越來越嚴(yán)重，相應(yīng)地就需要投入更大的人力和物力來看護(hù)老人。基于此，人體日常行為識(shí)別越來越受到關(guān)注。

在人體行為識(shí)別的研究中常利用單一的加速度傳感器采集行為信息，然而人體行為多種多樣，這就造成人體行為信息種類過于單一，無法得到準(zhǔn)確測量信息的問題。當(dāng)前，隨著智能手機(jī)等移動(dòng)設(shè)備感知、計(jì)算能力的飛速提升，以移動(dòng)設(shè)備作為載體的人體行為識(shí)別又成為新的研究熱點(diǎn)。同時(shí)，傳統(tǒng)的支持向量機(jī)、隨機(jī)森林等行為識(shí)別方法都必須先提取傳感器數(shù)據(jù)的時(shí)頻域特征，并從大量的時(shí)頻特征中進(jìn)行特征選擇，且難以取得高識(shí)別率。鑒于此，本文采用智能手機(jī)內(nèi)置的加速度計(jì)和陀螺儀讀取人體行為的加速度和角速度數(shù)據(jù)，并利用CNN進(jìn)行特征學(xué)習(xí)，自動(dòng)提取信號特征，結(jié)合Softmax實(shí)現(xiàn)人體行為識(shí)別。

2 多傳感器數(shù)據(jù)行為識(shí)別模型

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種深度學(xué)習(xí)網(wǎng)絡(luò)，通過引入卷積層和池化層，形成深層網(wǎng)絡(luò)，簡化了復(fù)雜的預(yù)處理過程，利用網(wǎng)絡(luò)的局部連接和空間共享特性，使其成為一種高效的識(shí)別方法。鑒于CNN的高效性，當(dāng)前已有研究將其與傳感器數(shù)據(jù)相結(jié)合并應(yīng)用于人體行為識(shí)別及相關(guān)研究中。圖1是一種卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖，包括卷積層、池化層和全連接層（輸出層），卷積和池化層用來提取特征，全連接層用來分類。

2.2 CNN行為識(shí)別模型

本文將CNN應(yīng)用于手機(jī)傳感器信號進(jìn)行人體行為識(shí)別，手機(jī)采集的數(shù)據(jù)包括3維加速度和3維角速度，CNN采用圖1中結(jié)構(gòu)。傳感器信號通常為單一維度或多維信號，故本文中卷積和池化過程采用一維卷積和一維池化，圖2所示為本文CNN中傳感器數(shù)據(jù)處理過程中的數(shù)據(jù)大小變化。

本文從智能手機(jī)中采集數(shù)據(jù)，并進(jìn)行預(yù)處理操作，以保證數(shù)據(jù)樣本的一致性。文中利用高通濾波器從采集的加速度中得到身體加速度信號。在濾波操作后將各信號按時(shí)間對齊并分割數(shù)據(jù)。考慮到人體行為的實(shí)際情況，每個(gè)行為樣本設(shè)為2s左右較為合適。本文中時(shí)間窗 大小設(shè)為100，每個(gè)時(shí)間窗間重疊度為窗口大小的一半，故在CNN輸入層樣本大小為1*100*9。

如圖2所示，輸入樣本大小為1*100*9，然后經(jīng)過兩次卷積和池化提取行為特征，經(jīng)過全連接層和Softmax層識(shí)別人體行為。兩次卷積和池化操作后輸出大小為1*7*1620，且每次卷積后都利用Relu函數(shù)修正特征圖，在池化后將得到的數(shù)據(jù)特征作為全連接層的輸入進(jìn)行分類。全連接層神經(jīng)元個(gè)數(shù)設(shè)為500，得到數(shù)據(jù)大小為500*1，作為Softmax的輸入進(jìn)行分類。在本文中，損失函數(shù)Loss采用交叉熵?fù)p失進(jìn)行定義，并利用Adam算法更新權(quán)重。

3 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

本文中利用智能手機(jī)采集大量樣本進(jìn)行行為識(shí)別，編程語言采用Python，并利用TensorFlow構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，在構(gòu)建完CNN模型后，在該環(huán)境下進(jìn)行數(shù)據(jù)運(yùn)算。本文中采集6種人體行為的傳感器數(shù)據(jù)，包括站立、步行、上樓、下樓、坐與躺等行為。其中，訓(xùn)練樣本數(shù)為6942，測試樣本數(shù)為3058。實(shí)驗(yàn)驗(yàn)證部分包括CNN訓(xùn)練誤差、行為識(shí)別率以及與其他算法的性能對比。在具體訓(xùn)練過程中，每次迭代訓(xùn)練批量數(shù)據(jù)，當(dāng)模型訓(xùn)練完畢，網(wǎng)絡(luò)參數(shù)更新結(jié)束，得到行為識(shí)別模型，測試數(shù)據(jù)的識(shí)別率達(dá)到97.22%。圖3所示為訓(xùn)練過程中得到的訓(xùn)練誤差曲線和識(shí)別率曲線。

圖3橫坐標(biāo)為epoch，表示所有訓(xùn)練數(shù)據(jù)總訓(xùn)練次數(shù)，縱坐標(biāo)分別表示訓(xùn)練過程中的損失函數(shù)和行為識(shí)別率變化。在訓(xùn)練過程中，圖中的誤差曲線總體上在開始時(shí)呈下降趨勢，后趨于平緩，識(shí)別準(zhǔn)確率總體上在開始時(shí)呈上升趨勢，后趨于平緩。

本文將卷積神經(jīng)網(wǎng)絡(luò)和手機(jī)傳感器數(shù)據(jù)相結(jié)合進(jìn)行人體行為識(shí)別，利用測試數(shù)據(jù)得到的6種行為的識(shí)別結(jié)果如表1所示。從表中可以得到每一類別正確識(shí)別和錯(cuò)誤識(shí)別為其他行為的結(jié)果。

從表1中可見，在測試樣本中，站立行為有21個(gè)樣本被錯(cuò)誤分類為坐下行為，坐下行為有37個(gè)樣本被錯(cuò)誤分類為站立行為，對這兩種行為的識(shí)別效果低于其他四種行為。

本文為更好地驗(yàn)證CNN行為識(shí)別模型，在卷積層和池化層提取特征后，將全連接層的輸出作用于其他分類器并對比識(shí)別性能。本文在對比算法的選擇上，選擇SVM、隨機(jī)森林和邏輯回歸進(jìn)行對比。圖4所示為利用CNN模型提取的特征分別作用于四種分類器得到的人體行為識(shí)別結(jié)果。

從圖4中可見坐下和站立行為的識(shí)別效果低于其他四種行為的識(shí)別效果，且每種行為的識(shí)別率較為接近，總體識(shí)別率較高，平均識(shí)別率達(dá)到97%左右。

綜上，本文中的方法無需通過人工方式提取原始數(shù)據(jù)的特征，避免由于人工提取特征對行為識(shí)別產(chǎn)生的影響，而且利用CNN進(jìn)行人體行為識(shí)別時(shí)識(shí)別率較高，說明CNN應(yīng)用于慣性傳感器信號的可行性，本文中的CNN模型較傳統(tǒng)行為識(shí)別模型具有優(yōu)越性。

4 結(jié)束語

本文提出一種采用智能手機(jī)中慣性傳感器并結(jié)合卷積神經(jīng)網(wǎng)絡(luò)識(shí)別人體行為的方法。文中通過智能手機(jī)中的加速度計(jì)和陀螺儀采集三軸加速度和角速度信息，利用CNN自動(dòng)提取特征，結(jié)合Softmax分類器進(jìn)行分類識(shí)別，在人體6種行為模式上取得了較高的識(shí)別率，識(shí)別準(zhǔn)確率能達(dá)到97.22%。實(shí)驗(yàn)結(jié)果表明，在本文模型下，行為識(shí)別準(zhǔn)確率有一定的提高，說明了CNN在行為識(shí)別研究中的可行性。

參考文獻(xiàn)

[1]張潔.基于加速度傳感器的人體運(yùn)動(dòng)行為識(shí)別研究[J].自動(dòng)化與儀器儀表，2016（03）：228-229.

[2]周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)學(xué)報(bào)，2017，40（06）：1229-1251.

[3]Wang L.Recognition of Human Activities Using Continuous Autoencoders with Wearable Sensors[J].Sensors，2016，16（02）：189.

作者簡介

石代偉（1991-）， 男， 碩士研究生。研究領(lǐng)域?yàn)樾袨樽R(shí)別。

張若英（1976-）， 女， 博士。研究領(lǐng)域?yàn)樾袨樽R(shí)別。

作者單位

重慶郵電大學(xué)通信與信息工程學(xué)院 重慶市 400065