黃彩云,陳德武,何吉福,胡 藝,王 楠,陳 沛
肥胖率升高已經成為全球范圍內主要公共衛生問題,據世界衛生組織(World Health Organization,WHO)統計,1975年以來,全球肥胖人數已增長近3倍;2016年,超過3.4億名5~19 歲兒童和青少年超重或肥胖;2020 年,5 歲以下兒童超重或肥胖人數達到3 900 萬名(WHO,2021)。成年期肥胖、過早死亡和殘疾風險增加均與兒童肥胖有關。與非肥胖兒童相比,肥胖兒童成年后肥胖風險增加了1 倍以上,且肥胖水平較高和年齡較大的兒童患肥胖癥的風險更高(Serdula et al.,1993)。此外,肥胖兒童還會出現呼吸困難、骨折風險增加、心血管疾病早發、胰島素抵抗和心理健康水平低等問題(劉陽,2016;WHO,2021)。
兒童肥胖問題的預防措施包括適量飲食和加強日常身體活動(Arif et al.,1993),需要監控兒童每天熱量的攝入和身體活動的消耗。研究發現,偶爾進行嵌入少量低強度身體活動的中等至劇烈強度身體活動有益于健康(Robson et al.,2015)。雖然目前已開發出用于熱量攝入監控和評估的智能手機應用程序,但這種記錄方式具有一定的主觀性,自我報告的熱量攝入值通常低于實際攝入值(Lichtman et al.,1992),且通過自填式問卷監測身體活動并進一步評估身體活動量(溫煦 等,2016;Peters et al.,2012)的評估方式對兒童存在諸多不便。而基于可穿戴卡路里追蹤器(湯強 等,2016)評估熱量消耗的解決方案只適用于成年人,兒童無法長期使用這種設備。
近年來,隨著微機電系統(Micro-Electro-Mechanical System,MEMS)技術的進步,高精度可穿戴傳感器得到了廣泛應用,如加速度傳感器應用于身體活動監測研究(孫建剛 等,2019;王道 等,2015)。與計步器相比,加速度傳感器的優點主要體現在可以反映活動強度、頻率等與體力活動模式有關的信息(戴劍松 等,2016),因此,加速度傳感器主要用于身體活動類型分類研究。同時,以卷積神經網絡為代表的深度學習技術在人臉識別、語音識別、視頻監控、自動駕駛等領域得到廣泛的應用,身體活動類型分類研究中也開始使用深度學習技術。
基于加速度傳感器的身體活動類型分類結果的影響因素包括傳感器的數量和佩戴位置(賀剛 等,2011)、身體活動類型數目和相互之間的差異程度以及身體活動類型分類方法等。既往身體活動類型分類相關研究中,部分研究將單個加速度傳感器固定在某個身體部位,如腰部(Gupta et al.,2014)或手腕(Garcia-Ceja et al.,2014)等;也有研究將多個加速度傳感器固定在不同的身體部位或飾品上,如大腿、手腕和項鏈(Pirttikangas et al.,2006),大腿、腰部、胸部和腳踝(Gupta et al.,2014),胸部、大腿和腳踝(Chamroukhi et al.,2013),胸部、腰部、大腿和身體兩側(Gao et al.,2014)等。有研究針對分類簡單的身體活動進行分析,如步行,其他研究著眼于分類多種日常身體活動(Gupta et al.,2014;Pirttikangas et al.,2006)。身體活動類型分類方法包括:1)無監督機器學習方法,如K均值法和隱馬爾可夫模型;2)有監督機器學習方法,如K 近鄰法、支持向量機、隨機森林、高斯混合模型和人工神經網絡;3)深度學習方法,如卷積神經網絡。對前人研究結果進行分析可知,加速度傳感器數目越多,身體活動分類準確率越高,但多傳感器數據采集對兒童的適用性不高,并且隨著數據的成倍增加,分類的計算復雜度會相應提高;身體活動類型數目的增多會降低分類準確率,但身體活動之間的差異增大會提高分類準確率;基于傳統機器學習的身體活動類型分類方法存在特征篩選和提取過程復雜、分類過程人工干預多、無法有效分類差異較小的活動案例等問題;基于深度學習的身體活動類型分類方法準確率高于機器學習方法,但深度學習網絡結構復雜,不利于身體活動類型分類的實際應用。針對以上問題,本研究使用單個三軸加速度傳感器系統采集的兒童身體活動公開數據集,設計了計算復雜度較低的深度學習一維卷積神經網絡結構ConvNet1D-4,通過不同的組合方式對數據集中10 種兒童身體活動類型進行分類研究,并與以往研究成果進行比較分析。
近年來,已開展的兒童身體活動類型分類研究大多采用傳統的機器學習方法,只有少部分研究采用深度學習方法。Jang 等(2018)使用3 層二維卷積神經網絡分類7 種兒童身體活動類型的平均準確率達到91.1%,但其所使用二維卷積神經網絡結構復雜度高于相同層數的一維卷積神經網絡;楊鋒等(2021)使用一維殘差卷積神經網絡分類9 種兒童身體活動類型的平均準確率為99.3%,但在一維卷積神經網絡中加入多個殘差連接會使網絡結構更為復雜。為了降低網絡結構復雜度并考慮實際應用,本研究選用結構較為簡單的一維卷積神經網絡開展兒童身體活動類型分類研究。
一維卷積神經網絡可以實現一維數據的分類,適合基于加速度傳感器一維數據的身體活動類型分類研究。典型的一維卷積神經網絡結構包括一維卷積層、一維池化層、全連接層、隨機失活層(dropout 層)和歸一化分類層(softmax 層)等,其實質是構建多個對輸入一維數據執行卷積和池化操作的濾波器,不斷提取輸入數據的特征(馬海輝 等,2022),并通過隨機失活層輕量化復雜的網絡模型,最終使用歸一化分類層輸出屬于某種類型的預測概率。
本研究設計了包含4 個卷積塊的一維卷積神經網絡結構ConvNet1D-4,用于10 種兒童身體活動(慢走、快走、慢跑、快跑、走上樓梯、走下樓梯、跳繩、站起、坐下、保持靜止)分類研究。ConvNet1D-4 網絡結構由輸入、特征提取和分類3 部分組成:輸入部分為表征不同身體活動類型的三軸加速度計數據樣本,每個樣本為3 組包含128 個采樣點的一維數據;特征提取部分包含4 個卷積塊,每個卷積塊由1 個一維卷積層和1 個一維最大池化層組成,4 個卷積層的卷積核大小均為3,卷積核個數分別為32、64、128、256,其激活函數采用修正線性單元(rectified linear unit,ReLU)(王棟等,2021;Glorot et al.,2011),一維池化核大小均為2,特征提取部分最終輸出的特征向量大小為6×256;分類層包含4 層,分別為窗口大小為64 的全連接層、dropout 層、窗口大小為10 的全連接層和softmax 層,最終輸出輸入樣本屬于每種身體活動類型的概率值。
2.1.1 數據集概況
本研究使用由Jang 等(2018)采集并由韓國加圖立大學(Catholic University of Korea)和首爾圣瑪麗醫院(Seoul St. Mary’s Hospital)批準發布的身體活動類型分類數據集,共包含115 名兒童18 357 個三軸加速度計樣本數據,均屬于本研究的10 種兒童身體活動類型范圍。
2.1.2 數據采集
Jang 等(2018)設計的三軸加速度計系統由微控制器單元、三軸加速度傳感器、存儲芯片、電源單元等組成,加速度計范圍設置為±4g(g為重力加速度),尺寸為50 mm×30 mm×15 mm,質量為21 g,固定在腹部中央和右盆骨之間的褲子腰線進行數據采集。115 名被試包括75 名男童和40 名女童,年齡分布在8.5~12.5 歲,平均年齡為(10.5±1.1)歲。被試分組完成10 種類型動作數據采集,每種類型動作數據采集時間是固定的:A 組保持靜止(站立或坐)和坐站交替(包括站起和坐下)分別為3 min和4 min,B 組慢走、快走、慢跑和快跑均為2 min,C 組的走上樓梯和走下樓梯均為2 min、跳繩為3 min。為了提高采集數據的隨機性,將115 名被試平均分到6 種分組排序方式:A-B-C、A-C-B、B-A-C、B-C-A、C-A-B 和C-B-A。被試完成任何活動動作的速度均根據自身感受自行決定,不同動作之間的休息時間基于心率標準,當心率接近靜息水平時被認為已經恢復,通常為2~5 min。由于采集數據動作采用隨機順序和任意速度,且動作之間有足夠的休息時間以恢復靜息狀態,所采集的三軸加速度計數據能夠較好地表征兒童各種身體活動類型的特征。
2.1.3 數據集生成
數據集中每個樣本數據包含3 組一維數據,通過微控制器單元分別從三軸加速度傳感器采集的X、Y、Z3 個方向的加速度信號中以45.4 Hz 采樣率采樣生成,每組一維數據包含時長為2.8 s 的128 個采樣點。為進一步豐富數據集各種身體活動類型的特征,Jang 等(2018)在進行樣本數據預處理時采用了重疊和旋轉方式的樣本增強,使相鄰樣本共享一半數據,并對加速度計數據在偏航角度±10°、俯仰角度±15°、滾動角度±20°的范圍內隨機旋轉以模擬加速度設備的旋轉狀態,最終得到包含18 357 個樣本的數據集,使用其訓練的網絡模型具有較強的泛化能力。10 種兒童身體活動類型加速度信號數據示例如圖1 所示,數據集的樣本分布如表1 所示。

圖1 10種兒童身體活動類型三軸加速度計數據示例Figure 1. Examples of Triaxial Accelerometer Data for Ten Types of Children’s Physical Activity

表1 數據集中10種身體活動類型的樣本分布Table 1 Samples Distribution of Ten Physical ActivityTypes in the Dataset
本研究兒童身體活動類型分類ConvNet1D-4 網絡模型訓練的軟硬件環境如下:Windows 10 操作系統,Intel Core i7-8700 8 核CPU,主頻3.4 GHz,8 GB 內存,所用深度學習框架為Keras 2.3.1。為了逐步提高ConvNet1D-4 網絡模型的準確率,本研究對10 種兒童身體活動類型進行了不同方式的合并,訓練的網絡模型包括:10 種身體活動類型的分類模型、按身體活動特點合并為7 種類型的分類模型和按單類型訓練結果合并為9 種類型的分類模型。
本研究3 種網絡模型訓練所用損失函數為多分類交叉熵損失函數(cross entropy loss function)(劉天宇等,2020),梯度下降優化算法采用Adam(Kingmaet al.,2014),其中β1和β2參數取0.900和0.999。采用批次大小為64的小批量梯度下降法進行訓練可充分利用機器的計算資源并加快網絡模型訓練的收斂速度。采用學習率衰減策略,初始學習率設置為0.001,每滿10 次迭代學習率減半,有助于網絡模型訓練的收斂,更容易得到最優網絡模型。提前停止策略是訓練過程中驗證集的損失函數值在連續10 次迭代內出現增加時停止訓練。
3 種網絡模型采用10 折交叉驗證的方式進行訓練和驗證,即將整個數據集均分為10 份數據,每次交叉驗證訓練時選用不同的9 份和剩余的1 份分別作為訓練集和驗證集。10 折交叉驗證的具體過程是:首先將數據集的順序打亂,然后將亂序的數據集中每個樣本的位置索引保存,最后在保存樣本索引的亂序數據集上進行網絡模型的10 次訓練和驗證,得到10 個網絡模型。本研究網絡模型度量的性能指標有準確率、精準率、召回率和F1 分數以及混淆矩陣(confusion matrix)。準確率、精準率和召回率分別是網絡模型“找對”“找準”“找全”的性能表現;F1 分數為精準率和召回率的調和平均數。準確率、精準率、召回率和F1 分數的公式分別為:
式中,accuracy為準確率,precision為精準率,recall為召回率,準確率、精準率和召回率通常用百分數表示,F1分數通常用小數表示。TP(true positive)為網絡模型將某類型身體活動樣本預測為該身體活動類型的樣本數量;TN(true negative)為網絡模型將不是某類型的其他身體活動類型樣本預測為其他任意身體活動類型的樣本數量;FP(false positive)為網絡模型將不是某類型的其他身體活動類型樣本預測為該身體活動類型的樣本數量;FN(fasle negative)為網絡模型將某身體活動類型樣本預測為其他身體活動類型的樣本數量。以跳繩類型為例,TP、TN、FP和FN4 個變量所含樣本示意圖如圖2 所示。

圖2 預測跳繩類型時TP、FP、TN和FN所含樣本示意圖Figure 2. Schematic Diagram of Samples Contained in TP, FP,TN and FN When Predicting Type of Skipping Rope
本研究中使用以上4 個性能指標分析網絡模型的過程為:將訓練的10 個網絡模型分別對其驗證集中10 種身體活動類型樣本進行分類,對分類結果的以上4 個性能指標取平均值,最后與前人研究結果進行比較。網絡模型之間進行性能比較時,當準確率、精準率、召回率和F1 分數均表現較高時,認為網絡模型的性能表現更好。
混淆矩陣是一個N行N列的矩陣,列表示預測的身體活動類型,行表示真實的身體活動類型,單元格值表示真實類型為所在行表示類而網絡模型將其預測為所在列表示類的樣本數。
2.2.1 10種兒童身體活動類型分類
經過最多67 輪迭代,10 種身體活動類型分類的ConvNet1D-4 網絡模型完成10 折交叉驗證訓練,10 組驗證集的準確率分別為92.2%、92.3%、91.1%、92.5%、92.1%、91.3%、91.7%、92.0%、92.5%和91.5%,平均準確率為91.9%,標準差為0.5%。
本研究與前人研究的方法平均準確率及計算復雜度對比結果如表2 所示:本研究所訓練的ConvNet1D-4 網絡模型對Jang 等(2018)發布數據集的10 折交叉驗證平均準確率最高。該訓練的二維卷積神經網絡卷積核尺寸偏大,分別為7×1、6×1 和5×1,導致參數總量偏大,本研究模型所有卷積層卷積核大小均為3,在參數總量不到Jang等(2018)訓練網絡模型一半的情況下,平均驗證準確率高出10.7%;楊鋒等(2021)設計的一維殘差卷積神經網絡層數較多,超參數設置偏大(所有卷積層一維卷積核大小均為8,卷積核數量均為128,全連接層寬度為512),導致網絡結構參數量劇增,網絡模型訓練和應用的計算復雜度約為本研究模型的4.7 倍,且平均驗證準確率比本研究模型低0.3%。將訓練的網絡模型應用于兒童日常身體活動監控時,面對大規模的加速度計數據,網絡模型的計算復雜度是決定應用效率的主要因素,與其成反比關系,本研究訓練的ConvNet1D-4 網絡模型應用效率分別是上述2 項研究模型的4.7 倍和2.1 倍。

表2 不同分類方法下10種身體活動類型的分類結果準確率及復雜度對比Table 2 Comparison of Accuracy and Complexity of Classification Results of Ten Physical Activity Types by Different Classification Methods
比較本研究訓練的ConvNet1D-4 網絡模型與上述2 項研究模型在10 種身體活動類型分類上的精準率、召回率和F1 分數發現(表3):3 個網絡模型對非走動類身體活動(站起、坐下和保持靜止)分類的性能指標均高于其他身體活動類型,本研究網絡模型3 項指標的平均值為(100%,100%,1.000),Jang 等(2018)和楊鋒等(2021)訓練的網絡模型分別為(97.0%,97.5%,0.972)和(99.8%,99.8%,0.999),本研究網絡模型分類表現優于其他2 種方法。在走動類身體活動(慢走、快走、慢跑、快跑、走上樓梯和走下樓梯)分類方面,Jang 等(2018)訓練的網絡模型性能普遍較低,3 項指標的平均值為(69.1%,67.3%,0.683),本研究網絡模型和楊鋒等(2021)訓練的網絡模型分別為(98.72%,98.64%,0.978)和(98.74%,98.56%,0.978),分類表現優異,性能相當。值得注意的是,在走上樓梯活動分類性能方面,楊鋒等(2021)訓練的網絡模型3 項指標為(48.6%,67.0%,0.561),優于本研究網絡模型(7.8%,74.4%,0.140),但二者均低于Jang 等(2018)訓練的網絡模型(74.2%,64.0%,0.687);跳繩活動分類方面,Jang 等(2018)訓練的網絡模型3 個指標(82.5%,88.2%,0.852)整體表現最高,分類性能表現最好,本研究網絡模型(97.8%,58.0%,0.728)次之,楊鋒等(2021)訓練的網絡模型(63.5%,44.3%,0.529)性能最低。由于采集數據的三軸加速度計固定在被試腹部中央和右盆骨之間褲子腰線,走上樓梯和跳繩活動在X、Y、Z3 個方向上的加速度較為接近,2 種活動的加速度計數據3 條曲線在幅度和重復周期方面也非常接近(圖1),因此,本研究和楊鋒等(2021)訓練的網絡模型無法有效區分。從混淆矩陣可以看出,本研究網絡模型將大量的走上樓梯樣本預測為跳繩(圖3),因此對走上樓梯活動類型的分類性能最低,對其他身體活動類型均具有良好的分類性能。

圖3 使用最優網絡模型對其驗證集中樣本進行分類的混淆矩陣(10種身體活動類型分類)Figure 3. Confusion Matrix for Sample Classification in Its Validation Set Using the Optimal Network Model(Classification of Ten Physical Activity Types)
2.2.2.1 按兒童身體活動類型合并的分類
2.2.2 合并兒童身體活動類型的分類
為了進一步提高兒童身體活動類型分類的精度,本研究對10 種日常身體活動類型中的某些相關聯活動進行了合并,具體合并方式為按活動類型合并和訓練結果合并。
將慢走和快走合并為步行,將慢跑和快跑合并為跑步,將走上樓梯和走下樓梯合并為走樓梯,最終身體活動類型總數減少為7 類:步行、跑步、走樓梯、跳繩、站起、坐下和保持靜止。7 種身體活動類型分類ConvNet1D-4 網絡模型訓練收斂比10 種身體活動類型更快,經過最多50 輪迭代之后即完成訓練過程,最終10 組驗證集的準確率分別為92.9%、93.1%、91.8%、92.7%、92.2%、92.2%、92.9%、92.7%、93.1%和91.8%,平均準確率為92.5%,標準差為0.5%,比Jang 等(2018)訓練的7 種身體活動類型分類二維卷積神經網絡模型平均準確率高1.4%。
相比10 種單類型身體活動分類,將其合并為7 種身體活動類型后,本研究訓練的網絡模型準確率僅提升了0.6%,其原因仍是訓練的網絡模型無法有效區分走上樓梯和跳繩活動,網絡模型將大量的走樓梯樣本預測為跳繩(圖4)。對本研究與Jang 等(2018)訓練的網絡模型性能進行比較(表4):在分類走樓梯和跳繩2 項活動方面,本研究網絡模型3 項指標分別為(56.6%,87.4%,0.662)和(89.3%,59.3%,0.712),而Jang 等(2018)訓練的網絡模型3 項指標分別為(79.7%,75.0%,0.770)和(82.5%,88.0%,0.852),Jang 等(2018)訓練的網絡模型分類性能優于本研究網絡模型。除走樓梯和跳繩之外,本研究網絡模型分類其他5 種身體活動類型的性能均優于Jang 等(2018)訓練的網絡模型,本研究網絡模型對7 種身體活動類型進行分類的3 項指標平均值(92.6%,97.7%,0.942)也高于Jang等(2018)訓練的網絡模型(92.3%,91.2%,0.920),并且網絡模型訓練和應用的計算復雜度只為后者的48.1%。

圖4 使用最優網絡模型對驗證集中樣本進行分類的混淆矩陣(7種身體活動類型分類)Figure 4. Confusion Matrix for Sample Classification in Its Validation Set Using the Optimal Network Model(Classification of Seven Physical Activity Types)

表4 不同網絡模型對7種身體活動類型進行分類的性能評估Table 4 Performance Evaluation of the Classification of Seven Physical Activity Types Using Different Network Models
2.2.2.2 按訓練結果合并的分類
本研究訓練的上述2 個網絡模型均無法有效區分走上樓梯和跳繩活動,現將二者合并為“走上樓梯/跳繩”,最終10種身體活動類型合并減少為9 種:慢走、快走、慢跑、快跑、走上樓梯/跳繩、走下樓梯、站起、坐下和保持靜止。9 種身體活動類型分類ConvNet1D-4 網絡模型訓練過程持續平穩收斂,經過最多57 輪迭代后完成10 折交叉驗證訓練過程,10 組驗證集的準確率分別為99.5%、99.7%、99.4%、99.7%、99.8%、99.2%、99.4%、99.4%、99.6% 和99.4%,平均準確率為99.5%,標準差為0.2%,比楊鋒等(2021)訓練的9 種身體活動類型分類一維殘差卷積神經網絡模型平均準確率高0.2%,但網絡模型訓練和應用效率為后者的4.7 倍。比較本研究與楊鋒等(2021)訓練的網絡模型性能可以看出(表5),二者對9 種身體活動類型均具有極佳的分類性能,本研究網絡模型平均精準率和平均F1 分數略高于楊鋒等(2021)訓練的網絡模型。從混淆矩陣對比可以看出,本研究訓練的最優網絡模型對其驗證集中所有樣本分類錯誤的只有4 個,分別為:將1 個慢跑樣本預測為快跑,將1 個慢跑樣本預測為快走,將1 個快跑樣本預測為快走,將1 個快走樣本預測為慢走(圖5a);而楊鋒等(2021)訓練的最優網絡模型對其驗證集中所有樣本分類錯誤的為13 個(圖5b)。

表5 不同網絡模型對9種身體活動類型進行分類的性能評估Table 5 Performance Evaluation of the Classification of Nine Physical Activity Types Using Different Network Models

圖5 使用最優網絡模型對驗證集中樣本進行分類的混淆矩陣(9種身體活動類型分類)Figure 5. Confusion Matrix for Sample Classification in Its Validation Set Using the Optimal Network Models(Classification of Nine Physical Activity Types)
本研究設計的網絡結構、編寫的代碼及訓練的網絡模型均已在GitHub 平臺上公開發布(https://github.com/chendewu/Physical_Activity_Types)。兒童保健工作者可以免費下載此網絡模型,根據本研究所用三軸加速度計系統的規格參數,批量生產相同規格的三軸加速度計系統并大規模應用于兒童日常身體活動監控,并給出針對性的日常身體活動建議,從而有效預防兒童肥胖等問題的發生。
本研究基于Jang 等(2018)公開的三軸加速度計數據集,使用高效的一維卷積神經網絡進行兒童身體活動類型分類研究。但該數據集使用Jang 等(2018)自行設計的三軸加速度計系統采集,因而訓練的網絡模型只適用于相同規格參數三軸加速度計系統采集并生成的兒童身體活動類型數據樣本(加速度計范圍為±4g,樣本數據采樣率為45.4 Hz),并且監控日常身體活動兒童的年齡范圍在8.5~12.5歲。對于加速度計數據曲線在重復周期和幅值方面非常相似的兒童身體活動類型樣本,如走上樓梯和跳繩,本研究訓練的網絡模型無法對其進行有效區分。
針對以上局限性與不足,建議后續研究:1)在兒童腰部三軸加速度計的基礎上,新增手腕部的三軸加速度計,增加單加速度計采集的不同類型身體活動的數據曲線差異;2)針對不同年齡段的兒童身體活動類型偏好和加速度計數據差異較大的問題,劃分年齡段進行三軸加速度計數據采集和數據集的生成,如將學齡期的兒童時期劃分為6~8歲、9~12歲、13~15歲和16~18歲4個年齡階段分別進行研究。使用根據以上2 條建議生成的數據集,訓練本研究設計的一維卷積神經網絡模型,可能能夠解決本研究無法區分加速度計數據曲線相似的身體活動類型樣本和兒童年齡范圍受限的問題。針對三軸加速度計系統的規格參數,建議后續研究繼續使用Jang 等(2018)生成數據集時所采用的規格參數。這是由于其滿足兒童身體活動強度等級劃分和身體活動類型識別準確率高的要求(楊鋒 等,2021),且相同規格參數條件下的研究便于和前人的研究成果進行對比分析,也利于訓練網絡模型的規模化應用。
針對預防兒童肥胖等問題需要監控并分類兒童日常身體活動的需求,本研究基于深度學習技術,設計并訓練了包含4 個卷積塊的一維卷積神經網絡模型,對公開的三軸加速度計數據集中屬于不同強度的慢走、快走、慢跑、快跑、走上樓梯、走下樓梯、跳繩、站起、坐下、保持靜止10 種兒童日常身體活動類型的分類準確率達到91.9%,將具有相似加速度信號數據曲線的走上樓梯和跳繩活動類型合并之后,網絡模型的分類準確率為99.5%,2 個模型的準確率均高于前人研究結果,并且本研究設計的一維卷積神經網絡模型訓練和應用效率更高,性能優良。