基于注意力機制的空時融合深度學習睡姿監測算法研究

石用伍，李小勇，石用德，石用民，謝泉

1. 貴州省人民醫院 設備處，貴州 貴陽 550002；2. 華南師范大學 環境學院，廣東 廣州51000；3. 貴州省盤州市大山鎮衛生院，貴州 盤州 553507；4. 貴州省盤州市大山鎮城鎮規劃建設管理所，貴州 盤州 553507；5. 貴州大學 大數據與信息工程學院，貴州 貴陽 550025

引言

一般情況下，睡姿可以分為仰臥、俯臥、左側臥和右側臥[1]。睡姿是診斷和治療體位相關性睡眠呼吸障礙的核心指標之一[2]，如睡眠呼吸暫停綜合征等疾病與患者的睡姿具有密切的相關性[3]。近年來，接觸式的多導睡眠監測儀（Polysom-nography，PSG）已成為常用的睡姿監測和睡眠診斷的“金標準”[4-7]。因此，探究一種可對用戶睡姿進行實時、有效、無擾監測并改善睡眠質量的方法具有重要的臨床意義。

心沖擊圖（Ballistocardiogram，BCG）是一種時序信號，其可非接觸式描記心臟活動及血液運行時心臟、血管沖擊和反彈而引起的軀體微弱運動[8]。在不同的睡姿下，可以通過提取心沖擊圖呈現的不同波形差異的特征工程來實現睡姿的識別分類[9-12]。由于傳統的機器學習方法大多是一些淺層的學習技術，主要通過特征工程對樣本數據進行特征提取，然后進行建模和訓練，得到回歸或分類模型，實現對信號的回歸或分類處理[12]，但這種算法容易受到特征工程的限制[13]。相對而言，深度學習是解決機器學習特征工程問題的有效途徑，可以自動從數據中提取更高級的抽象特征，從而建立更好的分類模型[14-18]。本研究選用基于注意力機制的空時融合深度學習睡姿監測算法（Deep Learning Sleeping Posture Monitoring Model，CTAM）來建立睡姿監測模型，并結合卷積神經網絡（Convolutional Neural Networks，CNN）和長短時記憶網絡（Long Short Term Memory Network，LSTM）融合模型的優點，提出了一種全局分析BCG 信號的方法，并用于對基于BCG 信號的睡姿監測性能的分析。

1 CTAM處理方法

1.1 空時特征融合和注意力機制的睡姿檢測模型

CTAM 主要使用CNN 和LSTM 兩種不同特點的神經網絡對BCG 信號進行處理，然后加入注意力機制完成BCG 信號的關鍵特征提取。CNN 與LSTM 結合能夠提高提取BCG 信號特征的能力，同時結合注意力機制分析數據的特征有助于篩選出BCG 信號中有區分度的特征，進而提高睡姿分類的準確性。采用的卷積神經網絡和長短時記憶網絡作的簡要介紹如下。

1.1.1 卷積神經網絡

CNN 因具有能局部感知、共享權值的特性被常用于圖像領域中視覺圖像的局部特性及網絡結構的優化[19]。作為一種前饋網絡，卷積神經網絡擅長于提取信號中包含的空間特征，但不能有效處理時間序列信號。通常的一維CNN 模型由輸入層、卷積層、激活函數、池化層和輸出層五部分組成。本研究在參考LeNet-5[20]的基礎上設計的卷積神經網結構如圖1 所示。其中與LeNet-5 不同的是，本研究中的CNN 模型輸入層數據格式為1×250 的序列，并且分別在兩個最大池化層之后加入批歸一化技術（Batch Normalization，BN）、激活函數（Leaky ReLU）和丟棄技術（Dropout）。

圖1 CNN模型的結構圖

加入BN 技術用于CNN 訓練不僅可以加快模型的收斂速度，而且可以在一定程度上緩解深層網絡中“梯度彌散”的問題[21]，使訓練的深度學習模型更加穩定。本研究引入Leaky ReLU 是為了解決ReLU 的輸入值為負的時候，輸出始終為0，同時一階導數也始終為0，從而導致神經元不更新參數，也就是神經元不學習的情況[22]，公式（1）定義如下。

式中scale為小于1 的非負數，當取0 時，Leaky ReLU 激活函數退化為ReLU 函數。Dropout 策是一種正則化技術，可通過對訓練數據進行復雜的自適應來防止或減少CNN 的過擬合，本研究隨機選擇一部分該層的輸出作為丟棄元素實現丟棄策略。雖然CNN 能精確的獲取BCG 信號的局部特征，但由于BCG 信號也可以看作是一種時序信號，因此不能充分獲取BCG 信號時域特征，模型的精度和泛化性能不高。

1.1.2 長短時記憶網絡

由于BCG 信號可以看作是一種時序信號，而LSTM是一種強大的時序信號處理和分類方法[23]。因此，本研究將LSTM 作為模型的處理單元引入。兩層的LSTM 分類網絡結構包括輸入層、LSTM 層、分類層和輸出層，結構圖如圖2 所示。

圖2 LSTM模型的結構圖

其中的單元（Cell）狀態為輸入的數據提供了時間依賴性，賦予了數據時間特征，LSTM 通過單元狀態實現長期控制，該功能主要通過輸入門、遺忘門、輸出門三個門實現的。狀態單元的結構如圖3 所示，這三個門結構在圖3中的位置分別對應i、f和o，另外候選值g將信息添加到單元狀態。

圖3 LSTM內部單元結構圖

1.2 CATM睡姿檢測模型

本研究設計的融合時空特征和注意力機制的睡眠檢測模型如圖4 所示。CTAM 由輸入層、預處理層、CNN 層、LSTM 層、注意力層、softmax 層和輸出層組成。CTAM 進行分類的過程如下：輸入預處理后的BCG 信號經過CNN層進行空域特征提取，同時經過LSTM 層進行時域特征提取，融合后的特征信息經過注意力層根據各屬性特征的重要性進行加權計算，最后通過softmax 函數分類計算，輸出分類識別結果，各層的具體定義如下。

圖4 CTAM的結構圖

1.2.1 預處理層

由于不同受試者的BCG 信號具有不同的分布，從提升模型的收斂速度、避免數值問題和消除量綱影響角度出發，將原始BCG 信號標準化為方差為1 和均值為0 的序列，具體變換函數如公式（2）所示。

式中，x為原始數據特征值，mean(x)為原始數據的平均值，std(x)為原始數據的標準差，x’為標準化后的值。

1.2.2 CNN層

完成數據預處理后，使用CNN 層提取BCG 信號的局部特征。CNN 層是由許多一維網絡堆疊而成，其中包含卷積層、批歸一化技術、激活函數，同時用池化層進行采樣聚合，而卷積層是CNN 最為核心的部分，它將輸入的特征圖與多個卷積核卷積，生成不同的特征圖，并通過卷積運算獲得BCG 信號的高級特征。

本研究中CNN 層輸入的大小可以表示為H×W×1，H和W分別代表歸一化后得到的數據高度和寬度（本研究所有模型中的H和W值分別為1 和250），假設有N 個單位的層輸入，使用M 寬度的濾波器W，卷積層輸出為（N-m+1）個單位，卷積計算過程如公式（3）所示。

1.2.3 LSTM層

對于BCG 信號，LSTM 能夠有效利用BCG 信號的前后信息進行特征學習。BCG 信號按順序輸入到LSTM 層中學習，最終獲得BCG 信號的時序特征。LSTM 通過單元狀態實現長期控制，長期控制功能主要通過遺忘門、輸入門、輸出門三個門實現。當新的信息進入LSTM 模型時，根據相關規則判斷信息是否有用，只有滿足算法認證要求的信息被保留，不一致的信息通過遺忘門被遺忘。

對于t時刻的LSTM 模型，生成的特征向量ht的隱藏狀態如公式（4）所示。

式 中，xt為t 時 刻BCG 信 號 的 輸 入，ht為t時 刻LSTM 層的隱藏狀態，w為兩個單元之間的連接權值，b為偏置向量。

1.2.4 注意力層

在基于BCG 信號的睡姿檢測過程中，預處理后的BCG 信號經過CNN 層進行空域特征提取，同時經過LSTM 層進行時域特征提取，融合后的特征重要程度存在差異。其中的顯著特征通常會蘊藏更多信息量，所以應對BCG 信號中與睡姿相關的顯著特征給予更多關注，來提高睡姿檢測的準確性。因此，引入注意力機制（Attention Mechanism）[24]。

首先，利用空域特征提取模塊輸出的特征向量yt和時域提取模塊的特征向量ht融合成特征向量st通過非線性變換得到特征向量ut，可用公式（5）表示。

然后，用基于上下信息的特征向量uw的相似度表示特征向量ut的重要性，并獲得歸一化的重要性權重系數αt，uw是一個隨機初始化矩陣，該矩陣可以聚焦于ut上的重要信息。上述的BCG 信號特征的權重系數可用公式（6）表示。

最后，用αt與ht的加權和計算出對不同睡姿影響更為顯著BCG 信號的特征，用公式（7）表示。并由此利用注意力機制分析出數據特征的重要程度，得到對BCG 信號中與睡姿檢測相關更為顯著的特征。

1.2.5 輸出層

在輸出層，將注意力層生成的特征向量OUTAM輸入到全連接到分類層進行特征壓縮，然后使用softmax 函數進行睡姿識別，得到分類結果可用公式（8）表示。

式中，wh表示分類器的權值矩陣，其可以將outAM映射到一個新的長度為h的向量。h為睡姿的類別數。

具體基于空時特征融合和注意力機制的睡姿檢測模型訓練和工作流程框如圖5 所示。

圖5 深度學習的睡姿檢測模型訓練和工作流程框圖

1.3 數據采集

截至目前，BCG 信號測量還未形成標準和公認的數據庫，因此，本研究使用深圳市量子慧智科技有限公司開發的基于PVDF 傳感器的睡眠帶對受試者進行睡姿數據采集。其中數據場景包括睡姿（仰臥、俯臥、左側臥和右側臥）、離床和體動，離床和體動可以降低睡姿檢測和其他體征檢測算法的誤判，數據采集步驟如下。

① 記錄受測人員身份和體征信息，包括姓名、性別、年齡、身高和體重；② 放置睡眠帶連接數據采集設備，持續10 min；③ 讓受測人員躺在睡眠帶上模擬體動10 min，包括翻身、轉體和輕微體動動作；④ 在某一固定睡姿下睡眠持續120 min；⑤ 完成后，起身離床，繼續采集10 min數據后停止，保存數據。其中采集BCG 信號具體睡姿、時長和受測人員數的信息如表1 所示。

表1 BCG信號采集信息記錄表

采集的四種睡姿（仰臥、俯臥、左側臥和右側臥）、體動和離床對應的典型BCG 信號波形如圖6 所示。從圖6 中可以看出，體動和離床有較為明顯的區分特征，仰臥、俯臥和側臥三種睡姿也有較為明顯的區分特征，而左側臥和右側臥睡姿下對應的BCG 信號波形相似度較高，提取特征進行分類需要一定的經驗，表明需使用深度學習進行分類識別。

圖6 四種睡姿、體動和離床對應的BCG信號波形圖

本研究使用睡眠帶采集的BCG 信號采樣率為50 Hz。因此，在對檢測睡姿的BCG 信號進行訓練、驗證提出的CTAM 模型之前首先從采集的數據集中選取5 s 的數據且用1 s 的時間窗進行截取，標注對應的標簽，即對應四種睡姿（仰臥、俯臥、左側臥和右側臥）、體動和離床中一類，并且對兩大類中間的BCG 信號做部分丟棄，消除邊界效應。最后共計獲得樣本總數為48000 個，隨機取其中的40000個樣本作為訓練集，余下的8000 個樣本為測試集。

1.4 模型評價指標

為了對模型進行評價，本研究選取常用評價分類模型性能的3 種指標：準確率（Accuracy，Ac）、精確率（Precision，P）和召回率（Recall，R）。對應的表達式如公式（9）所示。

式中，TP（True Positive）是正類被歸為正類的樣本數，即正陽性；FP（False Positive）是正類被歸為負類的樣本數，即假陽性；FN（False Negative）是負類被歸為正類的樣本數，即假陰性；TN（True Negative）是負類被歸為負類的樣本數，即真陰性。

1.5 實驗運行環境和參數配置

本研究中所有模型均在配置為Core i9-10900K CPU，32 GB 內存和GeForce RTX3090 顯卡的計算機上進行訓練和測試。計算機操作系統為ubuntu 18.04 LTS 版，所有模型使用Tensorflow 2.3.1 框架實現。仿真實驗中所有模型的初始化參數都采用相同的配置，這樣使得所有模型都在相對公平的條件進行對比，更有利于反映出CNN 模型、CNN-LSTM 模型和CTAM 模型的真實性能。其中，CNN層和全連接層的權系數初始化方法都使用He 等[25]提出的Kaiming 法，該方法有利于加速模型的收斂速度，LSTM層的權系數初始化方法使用正交方法[26]。所有模型的優化器都使用Adam 方法，該方法具有更快的收斂速度和穩定性[27]，并且在模型訓練過程中可以不使用驗證集。具體參數配置如表2 所示。

表2 CNN、CNN-LSTM和CTAM的參數配置

2 結果

CNN 模型、CNN-LSTM 模型 和CTAM 模型 訓 練 過程的準確率曲線和損失函數曲線如圖7 所示，可以看出，CTAM 模型具有最快的速度使得訓練過程分類準確率達到穩定狀態，同時具有最快的速度使得損失函數值達到接近0 的穩定狀態，而CNN-LSTM 模型次之。綜合訓練過程分類準確率和損失函數收斂曲線可以看出，在模型的收斂速度上性能依次降低的順序為CTAM 模型、CNN-LSTM 模型和CNN 模型，這也體現出了CTAM 模型相對其他兩種模型具有更快的收斂速度。

圖7 CNN、CNN-LSTM和CTAM準確率和損失函數對比曲線圖

CNN、CNN-LSTM 和CTAM 模型訓練后測試集上得到性能指標，如表3 所示，CTAM 模型的準確率最高，為99.49%，分別較CNN 模型和CNN-LSTM 模型的98.03%和94.88%有1.46%和4.61%的提升。

表3 各模型性能指標對比

綜合實驗結果中的訓練過程準確率曲線、訓練過程損失函數值曲線和各模型預測分類的準確率，可以看出CTAM 模型相比CNN 模型、CNN-LSTM 模型在入侵檢測中具有更好的性能。其中CTAM 模型在對隨機分割得到的8000 個測試樣本的預測分類混淆矩陣如圖8 所示，可以看出，容易出現混淆的是右側臥和左側臥，其他狀態的分類準確率達到了100%，這也印證圖6 所示的各狀態波形圖直觀印象。綜合上述實驗結果，說明空時融合技術和注意力機制模型在基于BCG 信號的睡姿檢測中的有效性較高。

圖8 CTAM模型對測試集分類的混淆矩陣

3 討論

目前，在基于BCG 信號睡姿檢測方面的深度學習模型較少，相關研究人員對非接觸式睡姿監測技術，如基于紅外圖像識別[6]、基于壓力的陣列傳感等技術的睡姿識別模型[7]等進行了廣泛的研究，并獲得了較好的效果。針對BCG 信號用于睡姿檢測的特點及當前常用模型特征提取不充分的問題，本研究創新性地利用BCG 信號空時域信息，將CNN 和LSTM 提取的特征進行融合，提出了注意力機制下的空時特征融合深度學習模型CTAM，充分利用了各網絡的優勢，并引入注意力機制完成空時融合后的關鍵特征提取，獲得了BCG 信號用以睡姿監測的最優特征表示。該模型避免了人工特征存在的有區分度特征表達不充分的問題，同時提升了模型的收斂速度和泛化性能，使得本研究提出的模型更適合基于BCG 信號的睡姿監測。今后將進一步增加驗證樣本量，深化該算法模型在健康領域的應用研究。

4 結論

CTAM 模型實現了端到端的實時睡姿檢測方案，通過睡眠帶測試真實睡眠下狀態下睡姿的BCG 信號，構建數據集進行仿真對比實驗。結果表明，相比具有類似結構的傳統CNN 模型和空時融合的CNN-LSTM 模型，CTAM 在訓練集的收斂性和測試集的準確率上都有顯著的提升，其中，在測試集上的準確率分別較CNN 模型和CNN-LSTM 模型提升了1.46%和4.61%。該算法模型在基于BCG 信號實現睡姿的實時、有效、無擾監測和睡眠質量監測領域具有較好的應用前景。