基于加速度計(jì)數(shù)據(jù)的兒童身體活動類型識別模型構(gòu)建與應(yīng)用

楊鋒，付曉蒙，張庭然，羅炯

（1.西南大學(xué)體育學(xué)院，重慶 400715；2.西南大學(xué)運(yùn)動與健康虛擬仿真實(shí)驗(yàn)中心，重慶 400715）

過去20年里，加速度計(jì)在身體活動測量中的廣泛應(yīng)用促進(jìn)了身體活動評價(jià)的客觀量化和推廣普及。隨著人民生活水平的持續(xù)提高與體育強(qiáng)國建設(shè)的不斷推進(jìn)，佩戴含有加速度計(jì)模塊的可穿戴設(shè)備成為身體活動監(jiān)測的重要方式。基于加速度計(jì)數(shù)據(jù)的身體活動評價(jià)目前僅停留在描述“整段活動中不同運(yùn)動強(qiáng)度等級的持續(xù)時(shí)間”，這已不能滿足大眾的體育需求。兒童身體活動評價(jià)備受學(xué)校、家長與社會關(guān)注，人們對其視角全面性、細(xì)節(jié)可視化、過程可追蹤的需求越來越高。目前已有不少與ActiGraph計(jì)數(shù)結(jié)果接近的身體活動計(jì)數(shù)算法開源（如sensormotion庫［1］、ActiGraph庫［2］、pyActigraphy庫［3］等），因此，實(shí)現(xiàn)以上現(xiàn)實(shí)需求的主要技術(shù)問題在于兒童身體活動類型識別的研究成果不盡如人意，這一點(diǎn)也與其他學(xué)者達(dá)成共識［4］。

21世紀(jì)初，識別身體活動類型的研究方法主要以主觀觀察法和自我報(bào)告法為主。主觀觀察法過于依賴觀察者的專業(yè)性且大規(guī)模測量的成本過高，而自我報(bào)告法的客觀性也受到很多學(xué)者的質(zhì)疑［5-7］。機(jī)器學(xué)習(xí)方法的廣泛應(yīng)用與加速度計(jì)技術(shù)的迅速發(fā)展使得活動類型的分類研究走向了客觀化。目前，使用機(jī)器學(xué)習(xí)方法識別兒童身體活動類型的研究并不多，早期的研究［8-11］主要采用傳統(tǒng)機(jī)器學(xué)習(xí)方法（如隨機(jī)森林、支持向量機(jī)、K近鄰、隱馬爾可夫模型等），通過人工提取時(shí)域特征來區(qū)分活動類型，這種特征提取方式的分類準(zhǔn)確率鮮有突破80%。隨后的研究［12-14］提取了更多的時(shí)頻特征，豐富的特征提取促使身體活動類型識別準(zhǔn)確率突破了90%，但這些研究都未構(gòu)建出通過1組加速度計(jì)數(shù)據(jù)識別多種身體活動類型的模型：有些研究將多種身體活動類型合并后才實(shí)現(xiàn)較高的準(zhǔn)確率，如Ren等［13］識別19種身體活動的準(zhǔn)確率為64.4%，合并為5類身體活動后準(zhǔn)確率達(dá)到91.7%；有些研究采用2組加速度計(jì)數(shù)據(jù)才實(shí)現(xiàn)較高的準(zhǔn)確率，如Stewart等［12］采用大腿和后腰2組加速度計(jì)數(shù)據(jù)時(shí)，識別6種身體活動類型的準(zhǔn)確率為97.3%，當(dāng)采用1組加速度計(jì)數(shù)據(jù)時(shí)準(zhǔn)確率下降了26.4%。隨著特征提取的不斷豐富，模型的時(shí)間分辨率也得到了提高，如早期研究的時(shí)間分辨率多為1 min［5］，之后有研究將模型的時(shí)間分辨率提升至10 s［11］、5 s［12］，不過對于評價(jià)具有短時(shí)特征的兒童身體活動而言，模型的時(shí)間分辨率仍需改進(jìn)。

以往研究表明，人工提取特征的機(jī)器學(xué)習(xí)算法很難基于1組加速度計(jì)數(shù)據(jù)實(shí)現(xiàn)高準(zhǔn)確率、高時(shí)間分辨率識別多種兒童身體活動類型，端到端的深度學(xué)習(xí)算法成為突破身體活動分類問題壁壘的新方法。Jang等［15］的研究便證實(shí)了深度學(xué)習(xí)算法基于1組加速度計(jì)數(shù)據(jù)就可以良好識別10種兒童身體活動類型，其構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型準(zhǔn)確率為81.3%，比K近鄰、決策樹、支持向量機(jī)模型的準(zhǔn)確率高16%~26%，不過81.3%的分類準(zhǔn)確率使其模型在身體活動評價(jià)實(shí)踐中的應(yīng)用價(jià)值仍有局限。

基于身體活動評價(jià)的實(shí)踐需求，本文通過構(gòu)建高準(zhǔn)確率、高時(shí)間分辨率的兒童身體活動類型識別模型，證明深度學(xué)習(xí)算法基于1組加速度計(jì)數(shù)據(jù)識別多種兒童身體活動類型的優(yōu)越性；通過將模型應(yīng)用于自主設(shè)計(jì)的身體活動評價(jià)程序，輸出身體活動案例的“整段活動以及其中每種活動類型的持續(xù)時(shí)間、平均計(jì)數(shù)與不同強(qiáng)度等級占比的數(shù)據(jù)統(tǒng)計(jì)表”“活動類型、強(qiáng)度等級、活動計(jì)數(shù)在同一時(shí)間軸上的對應(yīng)分布圖”，證明身體活動類型識別算法對提高兒童身體活動評價(jià)的全面性、直觀性、精準(zhǔn)性具有重要價(jià)值。

1 研究1:兒童身體活動類型識別模型的構(gòu)建

1.1 數(shù)據(jù)信息

Jang等［15］采集并發(fā)布了10種兒童身體活動（跳繩、靜止、快跑、慢跑、走下樓梯、走上樓梯、快走、慢走、坐下去、站起來）的公開數(shù)據(jù)集，該數(shù)據(jù)采集方案已獲得韓國加圖立大學(xué)（Catholic University of Korea）和首爾圣瑪麗醫(yī)院（Seoul St.Mary's Hospital）的批準(zhǔn)。以下就研究數(shù)據(jù)涉及的研究對象、加速度計(jì)設(shè)備、數(shù)據(jù)采集程序、數(shù)據(jù)預(yù)處理、動作任務(wù)信息等進(jìn)行說明。

1.1.1 研究對象

研究被試為韓國一所學(xué)校和多個(gè)體育俱樂部的136名兒童，排除身體與精神疾病者以及采集過程或意外噪聲造成的數(shù)據(jù)無效者，最終獲得115名兒童的有效數(shù)據(jù)，其中75名男孩、40名女孩，年齡在8.5~12.5歲，平均年齡為（10.5±1.1）歲。

1.1.2 數(shù)據(jù)采集

（1）加速度計(jì)設(shè)備。Jang等［15］在研究中設(shè)計(jì)了可穿戴加速度計(jì)系統(tǒng)，由單片機(jī)、三軸加速度傳感器、存儲芯片、電源單元等組成。設(shè)備中只有1個(gè)三軸加速度計(jì)，沒有其他傳感器，因此最大限度地減少了傳感器信號和電源的使用，同時(shí)也提高了便攜性。該加速度計(jì)范圍設(shè)置為±4g（g為重力加速度），尺寸為50 mm×30 mm×15 mm，重21 g。電子板外面配有一個(gè)帶夾子的盒子，可以將其固定在褲子上（圖1）。

(2)數(shù)據(jù)采集程序。要求每個(gè)被試完成10個(gè)動作，分A、B、C 3組。A組動作包括靜止（站立或坐）、坐站交替（包括站起來與坐下去），B組動作包括在平地上的慢走、快走、慢跑、快跑，C組動作包括走上樓梯、走下樓梯、跳繩。為避免練習(xí)順序造成的干擾，將被試隨機(jī)分成6種組合測試：ABC、ACB、BAC、BCA、CAB、CBA。在執(zhí)行動作任務(wù)時(shí)，被試需沿著褲子腰線且在腹部中央和右骨盆之間佩戴加速度計(jì)，加速度計(jì)的采樣頻率為45.4 Hz。每種動作任務(wù)時(shí)間是固定的：靜止3 min，坐站交替4 min，跳繩3 min，慢跑、快跑、慢走、快走、走上樓梯、走下樓梯均為2 min。其中，任何動作任務(wù)的速度都由被試根據(jù)自身感受自行決定，如被試在完成快跑與慢跑2個(gè)任務(wù)時(shí)，只需根據(jù)自己的身體感受定義什么速度是快、什么速度是慢，并以此為依據(jù)完成動作任務(wù)。無論被試完成哪一種動作組合，其每完成一個(gè)動作任務(wù)都需進(jìn)行休息，待恢復(fù)到安靜心率再進(jìn)行下一個(gè)動作任務(wù)，休息時(shí)間不作嚴(yán)格限制，通常為2~5 min。

1.1.3 數(shù)據(jù)預(yù)處理

Jang等［15］在研究中的數(shù)據(jù)預(yù)處理情況如表1和圖2所示。

圖2 動作任務(wù)數(shù)據(jù)裁剪與數(shù)據(jù)窗口切片示意［15］Figure 2 Schematic diagram of action task data clipping and data window slicing

表1 數(shù)據(jù)預(yù)處理具體信息［15］Table 1 Data acquisition and data preprocessing

由于此公開數(shù)據(jù)保存為.mat文件，以元包數(shù)組（cell）類型表示，本文使用Python的第三方庫H5py將其轉(zhuǎn)換為numpy的數(shù)組（array）類型。得到的數(shù)據(jù)樣本共18 357個(gè)，各種身體活動類型的樣本量在1 000~2 500個(gè)，每個(gè)樣本為128個(gè)數(shù)據(jù)點(diǎn)（約2.8 s），具體情況見表2、圖3。

表2 數(shù)據(jù)集動作任務(wù)信息Table 2 Information of the action task in data set

圖3 10種兒童身體活動類型原始數(shù)據(jù)Figure 3 Raw data display of ten types of physical activity for children

1.2 研究方法

1.2.1 研究工具

使用Tensorflow 2.4深度學(xué)習(xí)框架搭建神經(jīng)網(wǎng)絡(luò)；使用Scikitlearn機(jī)器學(xué)習(xí)庫計(jì)算并輸出評估模型的十折交叉驗(yàn)證結(jié)果、混淆矩陣、準(zhǔn)確率、精準(zhǔn)率、召回率、F1分?jǐn)?shù)；使用Matplotlib庫輸出身體活動原始數(shù)據(jù)圖和混淆矩陣圖。

1.2.2 算法設(shè)計(jì)

深度學(xué)習(xí)技術(shù)定義為學(xué)習(xí)數(shù)據(jù)表示的多級方法，是機(jī)器學(xué)習(xí)的一個(gè)分支領(lǐng)域，是從數(shù)據(jù)中學(xué)習(xí)表示的一種新方法，強(qiáng)調(diào)從連續(xù)的層（layer）中進(jìn)行學(xué)習(xí)［16］6。深度學(xué)習(xí)善于從原始數(shù)據(jù)中提取抽象的分布式特征表示，而深層神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的主要形式［17］。本文涉及的卷積神經(jīng)網(wǎng)絡(luò)、全連接神經(jīng)網(wǎng)絡(luò)、殘差卷積神經(jīng)網(wǎng)絡(luò)都是深度神經(jīng)網(wǎng)絡(luò)中廣泛應(yīng)用的網(wǎng)絡(luò)結(jié)構(gòu)。

本文設(shè)計(jì)并對比了全連接神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、殘差卷積神經(jīng)網(wǎng)絡(luò)，最終確定了識別準(zhǔn)確率最高的殘差卷積神經(jīng)網(wǎng)絡(luò)作為識別兒童身體活動類型的算法。以下具體陳述神經(jīng)網(wǎng)絡(luò)架構(gòu)與模型訓(xùn)練策略，另外還復(fù)述了Jang等［15］搭建的網(wǎng)絡(luò)模型，作為基線網(wǎng)絡(luò)供研究者參考對比。

（1）神經(jīng)網(wǎng)絡(luò)架構(gòu)與模型訓(xùn)練策略。本文設(shè)計(jì)的殘差卷積神經(jīng)網(wǎng)絡(luò)（圖4），以原始的三軸加速度信號數(shù)據(jù)片段（數(shù)據(jù)維度為128×3，大約2.8 s）為輸入，最終輸出每個(gè)片段的預(yù)測類別。神經(jīng)網(wǎng)絡(luò)架構(gòu)的特征提取共包含12層，其中9個(gè)卷積層、3個(gè)全連接層。為加深神經(jīng)網(wǎng)絡(luò)架構(gòu)，采用類似于殘差網(wǎng)絡(luò)的快捷連接（shortcut）［18］設(shè)計(jì)了7個(gè)殘差塊，每個(gè)殘差塊有1個(gè)池化層、1個(gè)卷積層，并進(jìn)行批標(biāo)準(zhǔn)化（BatchNorm）和激活（ReLU）。最終由全連接的Softmax層在10個(gè)輸出類別上產(chǎn)生分布。

圖4 殘差卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)Figure 4 Residual convolution neural network architecture

采用有監(jiān)督訓(xùn)練模式，使用Adam優(yōu)化器，默認(rèn)參數(shù)β1=0.9和β2=0.999，將多分類交叉熵（categoricalcrossentropy）作為損失函數(shù)，數(shù)據(jù)輸入尺寸設(shè)置為16，手動調(diào)整初始學(xué)習(xí)速率為0.001以實(shí)現(xiàn)最快的收斂，通過早期停止策略（early stopping）監(jiān)控驗(yàn)證集損失函數(shù)（val-loss），參數(shù)為10。通過網(wǎng)格搜索找到優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)的最優(yōu)超參數(shù)（表3），包括卷積濾波器的大小、數(shù)量和全連接層節(jié)點(diǎn)數(shù)量，手動調(diào)整殘差層數(shù)量為7。

表3 殘差卷積神經(jīng)網(wǎng)絡(luò)超參數(shù)的網(wǎng)格搜索結(jié)果Table 3 Grid search results of the hyperparameters of residual convolution neural network

模型訓(xùn)練中數(shù)據(jù)集劃分是否盡可能實(shí)現(xiàn)獨(dú)立同分布（訓(xùn)練集與測試集中被試不交叉且各分區(qū)中的類別比例相等）是評估模型泛化能力的常用方法。Jang等［15］發(fā)布的數(shù)據(jù)集中每個(gè)被試每種活動類型的數(shù)據(jù)都不是完全相等的，為便于在數(shù)據(jù)集劃分時(shí)最大限度地實(shí)現(xiàn)獨(dú)立同分布，他們將數(shù)據(jù)集分為10個(gè)部分，每個(gè)部分為1種活動類型的數(shù)據(jù)，由所有被試在該活動類型上的數(shù)據(jù)按順序拼接而成。10個(gè)部分即為10種活動類型的數(shù)據(jù)，且每個(gè)部分中被試的數(shù)量、順序完全一致。基于數(shù)據(jù)集的實(shí)際情況，本文先將每種活動類型數(shù)據(jù)平均切成10段并按順序標(biāo)注索引，從索引號中隨機(jī)選取1個(gè)數(shù)字，將標(biāo)注該索引號的10種活動類型數(shù)據(jù)拼接成測試集（1 832個(gè)樣本），剩余部分?jǐn)?shù)據(jù)為訓(xùn)練集（16 525個(gè)樣本）。為避免單次隨機(jī)劃分?jǐn)?shù)據(jù)集造成的模型性能不穩(wěn)定［16］70，在訓(xùn)練集中進(jìn)行十折交叉驗(yàn)證，將每種活動類型數(shù)據(jù)按順序平均劃分成10個(gè)分區(qū)并標(biāo)注索引，每次將1個(gè)索引相同的分區(qū)拼接成驗(yàn)證集用于模型評估，剩余9個(gè)分區(qū)的數(shù)據(jù)用于模型訓(xùn)練（訓(xùn)練之前隨機(jī)打亂），循環(huán)10次。如此操作使得訓(xùn)練集與測試集以及十折交叉驗(yàn)證中的數(shù)據(jù)集（再次劃分的訓(xùn)練集與驗(yàn)證集）都最多有2個(gè)被試交叉，將被試交叉效應(yīng)降到最低，同時(shí)保證了每個(gè)分區(qū)中類別的比例相等。

（2）基線神經(jīng)網(wǎng)絡(luò)。Jang等［15］以3層卷積神經(jīng)網(wǎng)絡(luò)為基線網(wǎng)絡(luò)（圖5），使用MATLAB搭建神經(jīng)網(wǎng)絡(luò)，包括輸入層、特征提取層與分類輸出層。輸入層的數(shù)據(jù)維度（長度×寬度×通道）為128×1×3，特征提取層包括3個(gè)二維卷積層和3個(gè)池化層，分類輸出層包括2個(gè)全連接層，并在Softmax層上產(chǎn)生10個(gè)身體活動類別的概率分布。該模型訓(xùn)練為有監(jiān)督訓(xùn)練，采用隨機(jī)梯度下降（SGD）優(yōu)化器，初始學(xué)習(xí)率為0.003，數(shù)據(jù)輸入尺寸為128，3層卷積濾波器大小分別為7×1、6×1、5×1的矩陣，卷積濾波器數(shù)量分別為72、144、108，全連接層節(jié)點(diǎn)數(shù)量為256，采用早期停止策略［15］。

圖5 基線網(wǎng)絡(luò)架構(gòu)［15］Figure 5 Baseline network architecture

1.2.3 模型評估

混淆矩陣可表示樣本真實(shí)屬性和輸出類別之間的關(guān)系，常被用于評估神經(jīng)網(wǎng)絡(luò)模型的性能。混淆矩陣的定義［19］如表4所示。

表4 混淆矩陣的定義Table 4 The definition of confusion matrix

根據(jù)混淆矩陣中的數(shù)據(jù)可以得到準(zhǔn)確率、精準(zhǔn)率、召回率、特異度的公式（表5）。

表5 準(zhǔn)確率、精準(zhǔn)率、召回率、特異度的公式與含義Table 5 Formula and meaning of accuracy，precision，recall and specificity

由于召回率和精準(zhǔn)率常會出現(xiàn)矛盾，這時(shí)需要通過F1分?jǐn)?shù)（F1-score）進(jìn)行綜合考量，其公式為：

其中，TP（True Positive）是模型把真實(shí)值為正類預(yù)測為正類的數(shù)量，F(xiàn)P（False Positive）是模型把真實(shí)值為負(fù)類預(yù)測為正類的數(shù)量，F(xiàn)N（Fasle Negative）是模型把真實(shí)值為正類預(yù)測為負(fù)類的數(shù)量，F(xiàn)1分?jǐn)?shù)的取值范圍為0~1，其值越接近1代表輸出結(jié)果越好，越接近0代表輸出結(jié)果越差。

1.3 研究結(jié)果與分析

1.3.1 不同算法識別兒童身體活動類型的準(zhǔn)確率對比

在識別10種身體活動類型的任務(wù)中，Jang等［15］設(shè)計(jì)的最優(yōu)算法為二維卷積神經(jīng)網(wǎng)絡(luò)模型，準(zhǔn)確率為（81.2±0.6）%；本文設(shè)計(jì)的最優(yōu)算法為殘差卷積神經(jīng)網(wǎng)絡(luò)模型，準(zhǔn)確率為（91.6±0.4）%，相比前人研究提高了10%左右（表6）。

表6 不同算法識別10種兒童身體活動類型的準(zhǔn)確率對比Table 6 Comparison of the accuracy of different algorithms for identifying ten types of physical activity

1.3.2 兒童身體活動類型的識別結(jié)果分析

經(jīng)過十折交叉驗(yàn)證，殘差卷積神經(jīng)網(wǎng)絡(luò)模型識別10種身體活動類型的結(jié)果如表7所示。

殘差卷積神經(jīng)網(wǎng)絡(luò)模型的識別能力總體上較好（表7），經(jīng)過十折交叉驗(yàn)證后平均準(zhǔn)確率達(dá)到（91.6±0.4）%。除“走上樓梯”和“跳繩”外，其余活動類型識別的精準(zhǔn)率與召回率都很高，全部在97%以上，且精準(zhǔn)率與召回率不存在矛盾現(xiàn)象。十折交叉驗(yàn)證中的最優(yōu)模型預(yù)測測試集的準(zhǔn)確率為92.6%，說明模型的泛化能力較好。

表7 識別10種身體活動類型的殘差卷積神經(jīng)網(wǎng)絡(luò)模型評估Table 7 The evaluation of the model performance on recognizing ten types of physical activity

結(jié)合混淆矩陣（圖6）來看，“走上樓梯”和“跳繩”識別情況不好的原因是它們之間存在相互混淆。基于此，將這2類身體活動的數(shù)據(jù)歸為1類（跳繩與走上樓梯）后，對9種身體活動類型進(jìn)行識別，經(jīng)過十折交叉驗(yàn)證得出結(jié)果如表8和圖7所示。

圖7 最優(yōu)模型預(yù)測測試集的混淆矩陣（識別9種活動類型）Figure 7 Confusion matrix for optimal model prediction test set（identifying nine types of physical activity）

表8 識別9種身體活動類型的模型評估Table 8 The evaluation of the model performance on recognizing nine types of physical activity

圖6 最優(yōu)模型預(yù)測測試集的混淆矩陣（識別10種活動類型）Figure 6 Confusion matrix for optimal model prediction test set（identifying ten types of physical activity）

殘差卷積神經(jīng)網(wǎng)絡(luò)模型在識別9種身體活動類型的任務(wù)中表現(xiàn)出了優(yōu)越的性能，經(jīng)過十折交叉驗(yàn)證得到的平均準(zhǔn)確率為（99.3±0.3）%，每個(gè)活動類型的F1分?jǐn)?shù)都在0.97以上。然而，模型在識別9種身體活動類型時(shí)，對于“快跑”與“慢跑”的識別性能較識別10種身體活動類型時(shí)略有遜色。十折交叉驗(yàn)證中的最優(yōu)模型預(yù)測測試集的準(zhǔn)確率為99.3%，說明模型的泛化能力較好。

2 研究2:兒童身體活動類型識別模型在身體活動評價(jià)中的應(yīng)用

實(shí)踐應(yīng)用是人工智能發(fā)展的動力，兒童身體活動類型識別模型在身體活動評價(jià)中的應(yīng)用是其價(jià)值的重要體現(xiàn)。研究1構(gòu)建的兒童身體活動類型識別模型具備準(zhǔn)確率高、時(shí)間分辨率高的特點(diǎn)，研究2將其應(yīng)用于探討活動類型、活動時(shí)間、活動強(qiáng)度深度融合的身體活動評價(jià)方式，以展現(xiàn)身體活動類型識別在身體活動評價(jià)中的重要作用。由于現(xiàn)實(shí)身體活動案例中很可能包含模型預(yù)測分類之外的活動類型，將模型應(yīng)用于身體活動案例評價(jià)之前，須驗(yàn)證模型在識別預(yù)測分類之外的活動類型時(shí)是否依然保持較高準(zhǔn)確率。

因此，研究2包括兩部分內(nèi)容：①評估模型在活動案例中識別活動類型的準(zhǔn)確率；②使用自主設(shè)計(jì)的身體活動評價(jià)程序，以1個(gè)活動案例為例探討活動類型識別在身體活動評價(jià)中的應(yīng)用方式。

2.1 研究方法

2.1.1 研究工具

運(yùn)行環(huán)境為Python 3.8，使用Tensorflow 2.4深度學(xué)習(xí)框架運(yùn)行神經(jīng)網(wǎng)絡(luò)，使用Scikitlearn機(jī)器學(xué)習(xí)庫計(jì)算并輸出混淆矩陣及準(zhǔn)確率，使用sensormotion庫計(jì)算身體活動計(jì)數(shù)，使用Matplotlib庫生成身體活動案例圖、分類概率閾值與識別準(zhǔn)確率的關(guān)系曲線圖，以及活動類型、強(qiáng)度等級、活動計(jì)數(shù)的時(shí)間分布圖。

2.1.2 評估模型在活動案例中識別活動類型準(zhǔn)確率的研究方法

模型應(yīng)用于實(shí)踐須具備識別預(yù)測分類之外活動類型的能力，那么將模型應(yīng)用于身體活動案例評價(jià)之前，須驗(yàn)證模型在識別預(yù)測分類之外的“其他”活動類型時(shí)是否依然保持較高準(zhǔn)確率。因此，研究2生成了1 000個(gè)包含“其他”活動類型的兒童身體活動案例，并評估模型在1 000個(gè)案例識別中的性能，以此判斷模型能否應(yīng)用于身體活動案例的評價(jià)。

（1）身體活動案例生成方法。為評估模型在活動案例中識別活動類型的準(zhǔn)確率，研究2生成了1 000個(gè)兒童身體活動案例，生成案例的數(shù)據(jù)來源為研究1的測試集，身體活動案例生成的方法與依據(jù)如表9所示。

表9 身體活動案例生成的方法與依據(jù)Table 9 Methods for generating physical activity cases

（2）“其他”身體活動類型的識別方法。在案例中添加“其他”活動類型來驗(yàn)證模型識別預(yù)測分類之外活動類型的能力。在模型識別中，每個(gè)樣本經(jīng)過Softmax層都會產(chǎn)生9個(gè)分類概率值，即樣本被分別預(yù)測為跳繩與走上樓梯、靜止、快跑、慢跑、走下樓梯、快走、慢走、坐下去、站起來的概率。設(shè)置1個(gè)分類概率閾值，若最大分類概率小于此值則將樣本識別為“其他”活動類型，若最大概率高于此值則將概率值最大的那個(gè)類別判定為樣本的類別。

分類概率閾值的探索過程為：首先隨機(jī)生成1 000個(gè)案例（該案例只用于閾值的探索，用于模型評估的1 000個(gè)案例另外生成），按照設(shè)置的每個(gè)分類概率閾值進(jìn)行嘗試，分別得出識別1 000個(gè)案例的平均準(zhǔn)確率，結(jié)果如圖8所示。通過嘗試發(fā)現(xiàn)分類概率閾值設(shè)置為90%時(shí)，模型識別跳繩與走上樓梯、靜止、快跑、慢跑、走下樓梯、快走、慢走、坐下去、站起來、其他等10種活動類型的準(zhǔn)確率最高，達(dá)到（97.5±1.4）%，因此將分類概率低于90%的樣本識別為“其他”身體活動類型。

圖8 分類概率閾值與識別準(zhǔn)確率的關(guān)系Figure 8 The relationship between the threshold of classification probability and the accuracy of recognition

（3）提高身體活動類型識別準(zhǔn)確率的修正方法。采用窗口滑動方法發(fā)現(xiàn)身體活動類型識別錯誤的位置并予以修正。設(shè)置1個(gè)大小為5的滑動窗口，滑動步長為1。滑動窗口內(nèi)的5個(gè)樣本中，前2個(gè)與后2個(gè)樣本活動類型相同且與中間1個(gè)樣本活動類型不同時(shí)，將中間1個(gè)樣本的活動類型修正為與前后一致。這種方法可以修正一段相同類型活動（5個(gè)樣本以上，大約14 s）中的單個(gè)錯誤樣本，而無法修正連續(xù)多個(gè)或出現(xiàn)在一段活動的開頭與結(jié)尾的錯誤樣本，但考慮到這樣的錯誤很少，無須為了修正它們而放棄程序的高時(shí)間分辨率（2.8 s）優(yōu)勢。使用配對樣本t檢驗(yàn)的方法，檢驗(yàn)?zāi)Ｐ蛯? 000個(gè)案例的識別率在修正前與修正后是否存在差異，以說明修正的必要性，顯著性水平設(shè)置為P＜0.001。

（4）模型評估方法。將研究1構(gòu)建的兒童身體活動類型識別模型應(yīng)用于活動案例，需要識別的活動類型比研究1中多一類“其他”類型活動（即模型預(yù)測分類之外的活動類型），模型識別準(zhǔn)確率會發(fā)生變化，因此對模型在活動案例中的識別性能進(jìn)行了評估。模型評估仍使用Scikitlearn機(jī)器學(xué)習(xí)庫計(jì)算混淆矩陣并輸出準(zhǔn)確率，相關(guān)原理在研究1的研究方法中已有闡述。

2.1.3 身體活動評價(jià)程序設(shè)計(jì)

本文設(shè)計(jì)的基于身體活動類型識別模型的身體活動評價(jià)程序包含3個(gè)部分，具體如表10所示。

表10 身體活動評價(jià)程序設(shè)計(jì)思路Table 10 Programming of physical activity assessment

身體活動評價(jià)程序最終輸出的信息包括：整段活動以及其中每種活動類型的持續(xù)時(shí)間、平均計(jì)數(shù)與不同強(qiáng)度等級占比的數(shù)據(jù)統(tǒng)計(jì)表，以及活動類型、強(qiáng)度等級、活動計(jì)數(shù)在同一時(shí)間軸上的對應(yīng)分布圖。這些信息的輸出都是基于活動類型的識別結(jié)果、活動計(jì)數(shù)結(jié)果、強(qiáng)度等級劃分結(jié)果計(jì)算而得的。以下就完成信息輸出涉及的所有計(jì)算方法加以說明。

本文對小麥和玉米在應(yīng)用近紅外光譜技術(shù)檢測中的應(yīng)用做了研究與分析，現(xiàn)實(shí)中還有更多的農(nóng)作物利用這種技術(shù)進(jìn)行檢測并取得了良好的檢測效果。在檢測過程中應(yīng)根據(jù)不同的農(nóng)作物、環(huán)境、品種，結(jié)合實(shí)際情況來建立不同的模型，以實(shí)現(xiàn)更好的檢測效果及準(zhǔn)確性。隨著科學(xué)技術(shù)的飛速發(fā)展，光譜學(xué)和化學(xué)計(jì)量可以實(shí)現(xiàn)與計(jì)算機(jī)技術(shù)的進(jìn)一步融合發(fā)展，因此，應(yīng)用近紅外光譜技術(shù)對糧食進(jìn)行檢測的前景十分廣闊，近紅外光譜技術(shù)應(yīng)該不斷更新，更好地服務(wù)于糧食檢測，以促進(jìn)我國農(nóng)業(yè)的發(fā)展。另外，在其他領(lǐng)域也可對近紅外光譜技術(shù)進(jìn)行進(jìn)一步的應(yīng)用與研究，使此技術(shù)造福于人類。

（1）身體活動類型的識別。應(yīng)用本文構(gòu)建的殘差卷積神經(jīng)網(wǎng)絡(luò)模型完成案例中身體活動類型的識別。

（2）活動計(jì)數(shù)。使用加速度計(jì)的活動計(jì)數(shù)評價(jià)身體活動強(qiáng)度已被廣泛認(rèn)可，很多學(xué)者通過使用ActiGraph配套軟件（Actilife）得到了活動計(jì)數(shù)結(jié)果，而近年來有不少學(xué)者也研究并開源了與“ActiGraph Counts”算法結(jié)果接近的活動計(jì)數(shù)算法。本文采用sensormotion庫［1］計(jì)算活動計(jì)數(shù)：使用Scipy庫進(jìn)行butter和filtfilt濾波，設(shè)置采樣間隔（epoch）為1 s；使用sensormotion庫的三軸融合計(jì)數(shù)函數(shù)進(jìn)行運(yùn)算。

（3）強(qiáng)度等級劃分。查閱兒童身體活動強(qiáng)度臨界值的相關(guān)研究后，選擇其中加速度計(jì)佩戴在右髖部、采用ActiGraph三軸計(jì)數(shù)算法（Vector Manitude，VM），且以相同能耗標(biāo)準(zhǔn)劃分身體活動強(qiáng)度的研究［21-24］：METs<1.5為靜息狀態(tài)（Sedentary，SED），1.5≤METs<3.0為低強(qiáng)度身體活動（Light Physical Activity，LPA），3.0≤METs<6.0為中強(qiáng)度身體活動（Middle Physical Activity，MPA），6.0≤METs<9.0為高強(qiáng)度身體活動（Vigorous Physical Activity，VPA），METs≥9.0為超高強(qiáng)度身體活動（Very Vigorous Physical Activity，VVPA）。

如表11所示，前人［21-24］研究結(jié)果之間雖有出入，但這在身體活動強(qiáng)度臨界點(diǎn)劃分的研究中較為常見［25］，目前難以達(dá)成共識。H?nggi等［21］與Romanzini等［22］的研究在靜息狀態(tài)臨界點(diǎn)劃分上有差異，原因是H?nggi等［21］將“站立”歸為低強(qiáng)度運(yùn)動［其研究的多個(gè)動作中唯獨(dú)沒有描述“站立”對應(yīng)的METs，“站立”的每秒活動計(jì)數(shù)為（3.79±4.20）個(gè)］，而Romanzini等［22］將“站立”歸為靜息狀態(tài)（METs=1.3），事實(shí)上，不少研究結(jié)果都顯示“站立”動作的METs小于1.5，應(yīng)歸為靜息狀態(tài)。

表11 兒童身體活動強(qiáng)度臨界值的既往研究結(jié)果Table 11 The previous research results about threshold of physical activity intensity

由于兒童身體活動的短時(shí)特點(diǎn)，有研究［26］發(fā)現(xiàn)，高時(shí)間分辨率可更準(zhǔn)確地分析兒童身體活動案例。H?nggi等［21］的研究雖然符合高分辨率的要求，但其中SED臨界值的設(shè)置不宜采用。本文選用活動強(qiáng)度區(qū)間涵蓋較全的朱琳等［24］的研究結(jié)果，由于其研究結(jié)果缺少靜息狀態(tài)與輕強(qiáng)度的臨界點(diǎn)，故選用Romanzini等［22］研究中靜息狀態(tài)下的臨界點(diǎn)，并將這些研究結(jié)果的單位時(shí)間轉(zhuǎn)換為1 s，使活動強(qiáng)度等級劃分的時(shí)間分辨率更高。因此，本文的強(qiáng)度等級劃分標(biāo)準(zhǔn)為：每秒 計(jì) 數(shù)SED≤12、12171。不過1 s間隔與60 s間隔在強(qiáng)度區(qū)分的效度上可能會有差異。

研究2致力于探討活動類型識別在身體活動評價(jià)中的應(yīng)用方式，劃分強(qiáng)度臨界點(diǎn)的目的是展示將身體活動類型與活動強(qiáng)度等級相融合的評價(jià)方式，因此不再進(jìn)行能耗預(yù)測來驗(yàn)證強(qiáng)度臨界點(diǎn)劃分的有效程度。

表12 身體活動評價(jià)程序輸出內(nèi)容及其計(jì)算方法Table 12 The outputs and calculation methods of physical activity evaluation program

2.2 研究結(jié)果與分析

2.2.1 兒童身體活動類型識別模型在活動案例中的性能評估結(jié)果

為驗(yàn)證模型在識別預(yù)測分類之外的活動類型時(shí)是否依然保持高準(zhǔn)確率，對模型在活動案例中的識別性能進(jìn)行了評估。評價(jià)程序中的自定義規(guī)則修正了部分識別錯誤，因此對修正前后1 000個(gè)案例的準(zhǔn)確率都進(jìn)行了計(jì)算，修正前后1 000個(gè)案例的準(zhǔn)確率分布如圖10所示、準(zhǔn)確率差異顯著性檢驗(yàn)結(jié)果如表13所示。

表13 修正前后1 000個(gè)案例的準(zhǔn)確率差異配對樣本t檢驗(yàn)結(jié)果Table 13 The paired-sample t test results of recognizing the accuracy of 1 000 cases before and after correction

圖10 修正前后1 000個(gè)案例的識別準(zhǔn)確率分布Figure 10 The accuracy distribution of recognizing 1 000 cases before and after correction

修正前的準(zhǔn)確率在95.0%~99.0%區(qū)間上比較集中，而修正后的準(zhǔn)確率主要分布在98.0%~99.9%區(qū)間上，尤其是在大于99.5%與小于98.0%的區(qū)間上修正前后的準(zhǔn)確率差異非常明顯。經(jīng)檢驗(yàn)，修正前后的識別準(zhǔn)確率有顯著差異（P<0.001），說明修正初次識別結(jié)果十分必要。修正后準(zhǔn)確率為（99.1±1.0）%，說明模型在識別案例（包含預(yù)測分類之外的“其他”活動類型）時(shí)也有較好的性能，可以應(yīng)用于身體活動評價(jià)實(shí)踐。

2.2.2 兒童身體活動類型識別在身體活動評價(jià)中的應(yīng)用方式

以往的身體活動評價(jià)往往只描述“整段活動中不同運(yùn)動強(qiáng)度等級的持續(xù)時(shí)間”，人們難以了解身體活動的活動類型、持續(xù)時(shí)間、活動強(qiáng)度等多方面信息，更不能直觀地看到這些信息在時(shí)間軸上的對應(yīng)關(guān)系與變化過程。為解決這些問題，自主設(shè)計(jì)了身體活動評價(jià)程序，在高準(zhǔn)確率與高時(shí)間分辨率的身體活動類型識別模型基礎(chǔ)上，實(shí)現(xiàn)了活動類型與活動強(qiáng)度在時(shí)間軸上的逐秒對應(yīng)。研究2將這種活動類型、活動時(shí)間、活動強(qiáng)度深度融合的身體活動評價(jià)方式通過案例的形式展示出來，希望為身體活動評價(jià)的全面化、直觀化、精準(zhǔn)化提供一種思路。隨機(jī)抽取1 000個(gè)案例中的1個(gè)案例，使用身體活動評價(jià)程序輸出相關(guān)結(jié)果如圖11所示。

圖11 身體活動案例Figure 11 Physical activity cases

將整段活動以及其中各個(gè)活動類型對應(yīng)的時(shí)間、活動強(qiáng)度及強(qiáng)度等級占比進(jìn)行詳細(xì)統(tǒng)計(jì)（表14）。圖9直觀地展示了活動類型、活動計(jì)數(shù)、強(qiáng)度等級在以秒為單位的時(shí)間軸上的變化過程以及三者精確的對應(yīng)關(guān)系。基于圖表輸出的結(jié)果，可以清晰地看出：活動中有6.1%的靜息狀態(tài)，主要由于活動中存在2 min左右的靜止?fàn)顟B(tài)以及坐站交替動作中有少部分強(qiáng)度極小的活動；活動中有37.2%的低強(qiáng)度身體活動，主要來自約17 min的慢走與坐站交替動作以及部分強(qiáng)度較低的快走活動；活動中有18.5%的中等強(qiáng)度身體活動，主要來自約11 min的快走和約5 min的走下樓梯中強(qiáng)度相對較高的部分；活動中有18.5%的高強(qiáng)度身體活動，主要來自約10 min的慢跑以及約3 min的快跑中強(qiáng)度相對較高的部分；活動中有19.7%的超高強(qiáng)度身體活動，主要來自約11 min的跳繩/走上樓梯以及快跑中強(qiáng)度最高的部分。從時(shí)間軸上看，基于活動類型劃分的分段活動時(shí)間多為1~4 min，只有靜止?fàn)顟B(tài)、慢走、“其他”活動存在零星的短時(shí)活動，活動強(qiáng)度全程呈現(xiàn)高低交替的特征。

圖9 整段活動的強(qiáng)度等級、活動類型與活動計(jì)數(shù)在時(shí)間軸上的分布及其對應(yīng)關(guān)系Figure 9 The distribution and congruent relationship of intensity，type and count on the time axis of the whole activity

表14 整段活動以及其中每種活動類型的持續(xù)時(shí)間、平均計(jì)數(shù)與不同強(qiáng)度等級占比Tabel 14 The proportion of duration，average count and different intensity levels in whole and segmented physical activity

身體活動評價(jià)程序輸出的結(jié)果直觀展示了高時(shí)間分辨率、高準(zhǔn)確率的身體活動類型識別結(jié)果在身體活動評價(jià)中的重要作用，如展現(xiàn)活動形式的多樣性、展示活動過程、精確計(jì)算活動時(shí)間（分段或整段）、輔助判斷活動強(qiáng)度等。而活動類型、活動計(jì)數(shù)、強(qiáng)度等級的時(shí)間序列數(shù)據(jù)逐秒對應(yīng)融合并實(shí)現(xiàn)可視化，為身體活動評價(jià)提供了多模態(tài)數(shù)據(jù)展示評價(jià)結(jié)果的新思路。

3 討論

研究1證明了端到端的深度學(xué)習(xí)方法可以高效分類動作相似但強(qiáng)度不同的身體活動類型（快跑、慢跑、快走、慢走），也可以對短時(shí)動作“站起來”與“坐下去”進(jìn)行高效識別，突破了以往識別身體活動類型的局限；對跳繩與走上樓梯、靜止、快跑、慢跑、走下樓梯、快走、慢走、坐下去、站起來等9種身體活動類型的識別準(zhǔn)確率達(dá)到99%以上的優(yōu)越性能，時(shí)間分辨率約為2.8 s，無論是在身體活動類型的數(shù)量、準(zhǔn)確率以及時(shí)間分辨率方面都比以往研究有很大提高，使身體活動類型識別的研究成果可以有充分的條件應(yīng)用于身體活動評價(jià)實(shí)踐。

研究2驗(yàn)證了模型應(yīng)用于活動案例（包括模型預(yù)測分類之外的活動類型）識別中仍然保持97.7%的準(zhǔn)確率，通過自定義規(guī)則修正識別錯誤后模型識別準(zhǔn)確率達(dá)到99.1%。由于模型滿足了高準(zhǔn)確率與高時(shí)間分辨率的條件，研究2將其應(yīng)用于自主設(shè)計(jì)的身體活動評價(jià)程序，以1個(gè)活動案例為例展示了將活動類型、活動時(shí)間、活動強(qiáng)度深度融合的身體活動評價(jià)方式。程序通過輸出整段活動以及其中每種活動類型的持續(xù)時(shí)間、平均計(jì)數(shù)與不同強(qiáng)度等級占比的數(shù)據(jù)統(tǒng)計(jì)表，豐富了對活動類型、持續(xù)時(shí)間、活動強(qiáng)度對應(yīng)關(guān)系的數(shù)據(jù)描述；通過輸出活動類型、強(qiáng)度等級、活動計(jì)數(shù)的時(shí)間分布圖，直觀展示了身體活動類型與活動強(qiáng)度在時(shí)間軸上的分布及其對應(yīng)關(guān)系。

本文的貢獻(xiàn)在于：①構(gòu)建了高準(zhǔn)確率、高時(shí)間分辨率的兒童身體活動類型識別模型；②通過自主設(shè)計(jì)的運(yùn)用活動類型識別模型的身體活動評價(jià)程序，直觀展示了視角多方位、細(xì)節(jié)可視化、過程可追蹤的兒童身體活動評價(jià)方式。

兒童身體活動類型識別模型的高準(zhǔn)確率往往比較受重視，而其高時(shí)間分辨率很容易被忽視。事實(shí)上，不少研究發(fā)現(xiàn)，兒童身體活動存在短時(shí)性與間歇性的簇集特征。Bailey等［5］通過主觀觀察兒童身體活動簇集特征，發(fā)現(xiàn)6~10歲兒童中低強(qiáng)度身體活動持續(xù)時(shí)間的中位數(shù)為6 s，高強(qiáng)度身體活動持續(xù)時(shí)間的中位數(shù)為3 s，即使在青少年時(shí)期，其身體活動仍然存在短時(shí)性、間歇性特征［27-28］。基于此，有研究［20］提出，在兒童身體活動測量中加速度計(jì)盡量采用5 s內(nèi)的采樣間隔以將誤差最小化；也有研究［26］認(rèn)為，1 s的采樣間隔獲取的數(shù)據(jù)才能真實(shí)反映身體活動強(qiáng)度狀況；還有研究［29］指出，高分辨率身體活動數(shù)據(jù)能更準(zhǔn)確地發(fā)現(xiàn)兒童身體活動與健康之間的關(guān)系。很多證據(jù)都證明了運(yùn)用高時(shí)間分辨率的數(shù)據(jù)分析工具才能實(shí)現(xiàn)兒童身體活動的準(zhǔn)確分析，因此本文設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)模型以2.8 s的時(shí)間分辨率來識別兒童身體活動類型，使其具備了應(yīng)用于兒童身體活動評價(jià)實(shí)踐的條件。

雖然本文在模型的準(zhǔn)確率與時(shí)間分辨率方面比前人研究有較大的提高，但仍存在一些不足，如走上樓梯與跳繩動作的混淆問題，本文嘗試了時(shí)空卷積，仍然沒有改善。本文還嘗試通過活動計(jì)數(shù)來區(qū)分二者，發(fā)現(xiàn)二者在活動計(jì)數(shù)上并無顯著差異（表15）。Jang等［15］在研究中也提到了同樣的問題，認(rèn)為這可能與兒童在做跳繩動作時(shí)會出現(xiàn)雙腳交替的情況（而不是一直雙腳跳）有關(guān)，筆者認(rèn)同這一觀點(diǎn)。此外筆者還認(rèn)為這跟加速度計(jì)的佩戴位置有關(guān)，當(dāng)加速度計(jì)佩戴在髖部時(shí)采集到的這2種活動數(shù)據(jù)比較相似，身體活動原始數(shù)據(jù)（圖3）可以佐證這一觀點(diǎn)。未來若要實(shí)現(xiàn)跳繩與走上樓梯2種活動類型的區(qū)分可能需采集佩戴在其他身體部位（如腕部）的加速度計(jì)數(shù)據(jù)。

表15 跳繩與走上樓梯2種活動類型的活動計(jì)數(shù)差異檢驗(yàn)Table 15 The variance analysis of the activity counts of Jump Rope and Stair Up

除了走上樓梯與跳繩動作識別的混淆問題外，涉及的身體活動類型還有待進(jìn)一步豐富，如增加旋轉(zhuǎn)、投擲、騎車等相對復(fù)雜的動作。以往研究［30-31］表明，復(fù)雜動作需佩戴多個(gè)加速度計(jì)才可準(zhǔn)確識別，而佩戴多個(gè)加速度計(jì)的測量方式會增加身體活動測量的經(jīng)濟(jì)與運(yùn)算成本，自然也會增加推廣難度，努力實(shí)現(xiàn)使用1個(gè)加速度計(jì)識別多種活動類型是面向?qū)嵺`應(yīng)用的重要研究方向，也是未來需深入探討的議題。

4 結(jié)論

本文構(gòu)建的殘差卷積神經(jīng)網(wǎng)絡(luò)模型在區(qū)分跳繩/走上樓梯、靜止、快跑、慢跑、走下樓梯、快走、慢走、坐下去、站起來等9種兒童身體活動類型時(shí)準(zhǔn)確率達(dá)到99.3%，模型識別活動案例的準(zhǔn)確率也達(dá)到99.1%，模型時(shí)間分辨率為2.8 s。模型的高準(zhǔn)確率、高時(shí)間分辨率為兒童身體活動類型識別在身體活動評價(jià)中發(fā)揮重要作用奠定了堅(jiān)實(shí)基礎(chǔ)。將模型應(yīng)用于自主設(shè)計(jì)的兒童身體活動評價(jià)程序，展示了將活動類型、活動時(shí)間、活動強(qiáng)度深度融合的身體活動評價(jià)方式，為實(shí)現(xiàn)兒童身體活動評價(jià)的多視角、可視化、可追蹤提供了一種新思路。

作者貢獻(xiàn)聲明：

楊鋒：檢索文獻(xiàn)，提出論文主題，深度學(xué)習(xí)算法設(shè)計(jì)與實(shí)現(xiàn)，修改論文；

付曉蒙：檢索文獻(xiàn)，設(shè)計(jì)論文框架，數(shù)據(jù)核實(shí)與可視化，撰寫論文；

張庭然：梳理文獻(xiàn)；

羅炯：評估和修改研究方案。