基于雙向LSTM 卷積網絡與注意力機制的自動睡眠分期模型

李倩玉，王蓓，金晶，張濤，王行愚

（1.華東理工大學 信息科學與工程學院,上海 200237;2.清華大學 自動化系,北京 100086）

睡眠是人的一生中不可缺少的一種復雜生理過程。充足的睡眠能使大腦和身體得到充分的休息和恢復。由于如今不健康的生活方式的影響，睡眠障礙已成為現代社會的嚴重問題。長時間的睡眠障礙會使人精神不振、免疫力下降，還會誘發心腦血管疾病等[1]。因此，及早診斷睡眠障礙有助于發現異常變化并防止疾病進一步發展，對身心健康具有重要的意義。

睡眠分期是診斷睡眠障礙和檢測睡眠質量的有效方式。在實際臨床上，首先利用多導睡眠監測儀（polysomnography,PSG）獲取腦電、眼電、肌電、脈搏、血氧飽和度、呼吸等信號，再由專業醫師對照國際通用的睡眠分期標準[2-4]，對每個30 s時長的睡眠數據進行睡眠時期的人工劃分。研究表明，睡眠深淺的變化是由神經中樞活動的變化引起的，因此綜合上述信號在不同睡眠時期的特征，能夠很好地反映睡眠模式[5-6]。然而，整晚的睡眠數據量較大，對專業醫師的資質要求高，人工判讀煩瑣且耗時。隨著大數據、人工智能等創新技術的發展，自動睡眠分期方法逐漸成為快捷的輔助方式，受到了廣泛的研究與關注[7]。

近年來，自動睡眠分期方法主要涵蓋了基于機器學習和深度學習的方法。基于機器學習的自動睡眠分期方法通常包含了特征提取和睡眠階段分類兩個步驟。通過時域分析法[8-9]、頻域分析法[10-11]等來提取睡眠特征，捕獲睡眠過程中的主要變化，然后采用如隨機森林[12-13]、支持向量機[14-15]等分類器對睡眠階段進行分類。基于深度學習的自動睡眠分期方法主要依靠深度神經網絡端對端特性，自動提取復雜、有用的特征，從一定程度上避免了手工提取特征的主觀性。然后，通過深化網絡結構、堆疊不同功能網絡層的方式，提高網絡的特征表達能力。深度學習模型能夠利用損失函數衡量網絡輸出與實際標簽的偏差，并借助反向傳播算法計算損失成本關于參數的梯度，以此來不斷更新各層參數，從而得到最佳的分類輸出。

相比于機器學習的處理模式，深度學習模型在自動特征提取和模型優化上均具有一定的優勢。常見的卷積神經網絡最先在自動睡眠分期上獲得廣泛的應用。例如：Tsinalis 等[16]使用未經預處理的原始腦電信號作為輸入，在兩個卷積層中分別利用大小不同的卷積核，提取信號不同尺度上的抽象特點，豐富了信號的特征表示；Zhao 等[17]利用多層卷積及映射模塊提取并融合了腦電圖和心電圖中的多尺度特征，對不同睡眠階段相關信號的細微變化進行捕捉；Sors 等[18]則利用當前待分類的數據段及其前后兩個數據段作為輸入，構建了一個14 層卷積神經網絡。

此外，考慮到睡眠過程中所獲取的腦電數據具有時間序列的特點，適用于時間序列分類的遞歸神經網絡[19-20]（recursive neural network,RNN）、長短時記憶網絡[21-23]（long short-term memory,LSTM）、雙向長短時記憶網絡[24-25]（bi-directional long short-term memory,BiLSTM）等相繼被應用在了睡眠分期問題上。例如：Hsu 等[19]利用Elman遞歸神經網絡同時提供信號流前饋連接和反饋連接通道，便于捕捉睡眠前后關聯信息；楊鑫等[20]提出了一種基于雙向遞歸神經網絡的單通道睡眠分期方法，融入了雙向遞歸神經網絡對前后時序信號的記憶能力，提高了睡眠分期判別的準確率；Dong 等[23]利用整流神經網絡檢測分層特征，并利用長短時記憶網絡進行序列信息學習，以優化分類性能；羅森林等[24]將卷積神經網絡與雙向長短時記憶網絡結合，綜合利用這兩種網絡的優點，實現睡眠時期的自動判別。

雖然目前基于深度學習的自動睡眠分期方法已取得了不錯的效果，但仍存在幾個比較突出的問題：1）雖然深度學習可以通過不斷加深網絡結構來獲得輸入信號的更有效的特征表達，但一個層級過深的神經網絡往往會存在梯度消失的問題；2）在睡眠分期任務上效果較好的雙向長短時記憶網絡尚不能在一個長序列中突出重要的信息，進而削弱了網絡對時序信息的學習能力；3）由于不同睡眠時期樣本之間存在明顯的不平衡問題，不可避免地會影響到自動睡眠分期模型在少樣本類別上的分類性能，從而降低了整體的分類效果。

綜合考慮上述問題，在構建睡眠分期的深度學習模型中，本文提出了一種基于雙向LSTM 卷積網絡與注意力機制(CNN-BiLSTM-Attention)的自動睡眠分期模型。首先，利用卷積神經網絡(convolution neural network,CNN)從原始腦電信號中提取時不變特征，并引入殘差網絡，避免網絡結構過深帶來的梯度消失問題；其次，針對睡眠腦電數據的前后序列相關性，設計了帶注意力機制(Attention)的雙向長短時記憶網絡(BiLSTM)，來加強對時序信息的學習，以提升睡眠分期方法的分類性能；同時，采用過采樣方法，對睡眠過渡階段（少樣本類別）進行數據增強處理，以減輕樣本不平衡問題對模型帶來的影響。

1 模型框架

本文所設計并構建的基于雙向LSTM 卷積網絡與注意力機制的自動睡眠分期模型結構如圖1所示。該CNN-BiLSTM-Attention 模型主要由4 個模塊組成：數據輸入模塊、特征表示模塊、序列信息學習模塊以及分類判別模塊。

圖1 基于CNN-BiLSTM-Attention 的自動睡眠分期模型Fig.1 Automatic sleep staging model based on CNN-BiLSTM-Attention

1.1 數據增強處理

自動睡眠分期以臨床采集的受試者整夜睡眠產生的生物電信號作為輸入。在一個正常人的整晚睡眠中，不同睡眠時期的時長占比存在較大差異，導致了少樣本睡眠階段分類性能表現較差的問題。

為解決樣本不平衡問題，在數據輸入模塊中，本文采用了邊界人工合成少數類過采樣算法（borderline synthetic minority oversampling technique,Borderline SMOTE）對原始腦電信號進行數據增強處理。該算法是常用過采樣技術的改進算法[26]，它將少數類樣本分為安全、危險和噪聲3 類，并僅使用代表在少數類樣本邊界上的危險樣本來合成新的數據，以達到樣本平衡效果。利用該算法生成樣本步驟：

1）對每個少數類樣本pi，利用K近鄰算法從整個數據集中計算其m個最近鄰；

2）將周圍m個最近鄰樣本有一半以上為少數類樣本的定義為安全樣本，周圍m個最近鄰樣本有一半以上為多數類樣本的定義為危險樣本，周圍m個最近鄰樣本均為多數類樣本的定義為噪聲樣本；

3）對于每個危險樣本di，從其k個最近鄰中隨機選擇s個最近鄰，在這s個最近鄰樣本和原危險樣本之間隨機合成n個新樣本，計算公式為

1.2 CNN 特征表示

在深度學習中，常常在網絡前端構建多個具有不同大小卷積核的卷積層提取輸入信號的局部或全局特征，從而得到輸入數據的有效描述。一般來說，卷積層越多，網絡往往能獲得更大的感受野，并提取出更好的特征。但實踐證明，網絡結構的加深會使梯度爆炸、梯度消失的風險增加。

為了提取更有效的特征避免梯度消失的風險，本文在網絡架構中加入了殘差網絡。如圖1特征表示模塊所示，在特征表示層構建了一個16 層卷積神經網絡。該卷積神經網絡由淺層卷積模塊與殘差模塊兩部分組成。淺層卷積模塊將增強后的數據作為輸入，依次通過1×50 大卷積核層、1×8 最大池化層、3 個1×8 小卷積核層以及1×4 最大池化層，提取輸入數據的低級特征，然后將得到的低級特征輸入給殘差模塊。殘差模塊部分共包括5 個相同的殘差塊，本文設計的殘差塊結構如圖2 所示。

圖2 殘差塊結構Fig.2 Residual block structure

殘差塊與普通卷積神經網絡的不同之處在于，它在一般卷積層外增加了跳躍結構。假定網絡的輸入為x，輸入經卷積后運算結果為F(x)，殘差塊輸出為H(x)。若x與F(x)維度匹配，則有

若x與F(x)維度不匹配，則在跳躍結構添加平均池化層與全零填充層，利用全零填充增加輸入維度，使得跳躍結構的輸出與F(x)維度適配。

1.3 序列信息學習

對于睡眠分期任務來說，作為輸入的睡眠腦電信號是一段連續的具有強相關性的時間序列，需要網絡具有一定的“記憶功能”，綜合前后信息對當前睡眠時期作出判斷。卷積神經網絡的輸入是一個獨立的、沒有上下文聯系的單元，在處理輸入是具有明顯上下文關系的序列化信號時不占優勢。

為了解決上述問題，本文在特征表示模塊后，加入了BiLSTM 結構和注意力機制，以幫助網絡進行序列信息學習。如圖1 中的序列信息學習模塊所示，將BiLSTM 層與注意力層級聯，BiLSTM 層的輸出是注意力層的輸入。

BiLSTM 層：BiLSTM 是將兩個方向不同的獨立的LSTM 結構疊加在一起而組成的，一個為前向層，另一個為反向層。在每一個時刻t，輸入xt同時提供給這兩個層，在前向層從1 時刻到t時刻正向計算一遍，得到并保存每個時刻向前隱含層的輸出hfw。在反向層沿著時刻t到時刻1 反向計算一遍，得到并保存每個時刻向后隱含層的輸出hbw。最后，在每個時刻結合前向層和反向層輸出結果得到最終的輸出ht。

注意力層：BiLSTM 不能在一個長序列中突出重要的信息，削弱了網絡對時序信息的學習能力。而注意力機制恰恰能彌補這一缺點。注意力機制可以通過引入新的可訓練變量，依次加強各段數據之間的聯系，突出注意力集中的數據段幫助網絡捕獲階段信息。

對于t時刻BiLSTM 層的輸出ht，初始化查詢向量q，利用點積模型計算注意力層輸入ht與查詢向量q之間的相似度，通過相似度對比得出各輸出數據段的重要程度，得到注意力得分fscore(ht,q)。然后利用歸一化指數（Softmax）函數將注意力得分轉換為[0,1] 之間的概率分布，得到權重系數αt，根據權重系數對輸入ht進行加權求和，得到注意力層輸出v。具體計算如下：

1.4 分類判別

最后，將利用注意力機制求得的特征表示v利用Softmax 函數分類，得到當前輸入樣本的睡眠時期預測分布P。Softmax 函數是深度學習中常用且有效的分類器，計算公式為

式中W和b分別為Softmax 層的權重和偏置。

2 實驗分析

2.1 實驗數據集

本文使用了來自PhysioNet 數據庫中的Sleep-EDF 數據集[27]。該數據集包含197 個整夜睡眠的生物電信號。數據集中的數據由睡眠專家按照R&K 規則劃分為：清醒期（W）、非快速眼動睡眠I 期（S1）、II 期（S2）、III 期（S3）、IV 期（S4）、快速眼動期（REM）、身體運動時間階段和無法判讀的階段。選取了年齡為25～33 歲的女性被試者身上采集的19 個整晚單通道（Pz-Oz）睡眠腦電數據，采樣頻率為100 Hz。對上述數據做了如下調整：1）去除原數據集中身體運動時間階段和無法判讀的階段；2）考慮到S3、S4 時期都屬于深度睡眠時期，其數據特征也較相似，因此將S3 和S4 期合并為SS 期。調整后的數據用于模型的訓練、驗證與測試，得到5 個睡眠時期的判別結果（W、REM、S1、S2 和SS）。

將30 s 時長的腦電數據作為一個樣本，從原始數據集中總計提取到18 816 個樣本。根據已知的睡眠分期人工標簽，統計了不同睡眠時期的樣本數量占比，其中S2 占比44.80%，REM 時期占比18.25%，SS 時期占比15.77%，W 時期占比12.63%，S1 時期占比8.55%。相比于S2，屬于睡眠過渡階段的S1 的占比明顯偏少，其余睡眠時期略有差異。采用1.1 節中的Borderline SMOTE，對少數類樣本進行了數據增強處理，使得各睡眠時期之間的樣本數量占比均衡。經過類平衡處理后的樣本總量為42 145。

2.2 實驗設置與評價指標

本文采用七折交叉驗證來評估模型性能，使用RMSProp 優化器來調整權重，學習速率和衰減系數分別設置為0.000 1 和0.9。為了探究模型對原始數據的分類性能，本文利用序號編碼，在開始訓練前即給數據添加編號，然后打亂數據。將數據分為7 折，每次以其中6 折作為訓練集，1 折作為測試集，共計進行7 次實驗，得到模型對全部數據的預測結果。再將預測標簽按原來編號順序重排，得到模型對真實睡眠腦電數據的睡眠分期預測結果。

為了評估所構建的模型的分類效果，本文計算了各睡眠時期的精確率（p）、召回率（r）和F1值（F1）以及整體睡眠分期的平均準確率和宏平均F1值（MF1）。

2.3 實驗結果與分析

2.3.1 混淆矩陣

表1 和表2 分別給出了兩種模型的混淆矩陣。混淆矩陣涵蓋了自動睡眠分期結果與已知的人工標簽相比較得到的統計結果。表1、2 中，行代表已知的人工標簽，列是模型得到的預測結果，對角線上粗體的數字為兩者判斷相一致的樣本數量。表1 給出了采用原始睡眠腦電數據，基于常用的CNN-LSTM 自動睡眠模型得到的混淆矩陣；表2 給出了采用經類平衡處理后的數據，基于CNN-BiLSTM-Attention 自動睡眠模型得到的混淆矩陣（該結果僅包含真實的睡眠腦電數據，生成數據不包含在內）。

表1 原始數據集下CNN-LSTM 模型的混淆矩陣Table 1 Confusion matrix of CNN-LSTM model under the original data set

表2 類平衡后CNN-BiLSTM-Attention 模型的混淆矩陣Table 2 Confusion matrix of CNN-BiLSTM-Attention model after class balance

比較表1 和表2，可以觀察到，本文提出的自動睡眠分期模型取得了令人滿意的總體分類性能，分類準確率達到88.37%，相比CNN-LSTM 模型提升了近8%。在原始睡眠腦電數據集中，屬于睡眠過渡階段的S1 的樣本數量占比極小。在表1中，S1 的精確率為45.34%，召回率為25.42%，反映綜合性能的F1指數僅為32.58%。經過類平衡處理后，S1 的分類性能得到了顯著提高。在表2中，S1 的精確率和召回率分別提高到至76.34%和83.03%，F1指數也達到了79.55%，體現了類平衡處理的必要性和有效性。同時，其他睡眠分期的判別效果均有不同程度的提升，其中W 的3 項性能指標都在95%以上，S2、SS 和REM 的各項性能指標也都在80%以上。從上述分類結果中可以看出，CNN-BiLSTM-Attention 模型明顯優于常用的CNN-LSTM 模型，體現了本文在模型結構上所作的改進能夠有效提高模型在不同睡眠分期上的分類效果。

2.3.2 睡眠時相序列圖

構建自動睡眠分期的目的是為臨床診斷提供高效的輔助判別工具。本文通過序列編碼的方式，既能夠保證模型訓練時有類間較平衡的樣本數量，也能夠從自動判別結果中快捷地獲取原始數據的睡眠分期判別結果，得到整晚睡眠的時相序列圖，展示睡眠狀態隨時間變化的結果，為臨床的診斷與治療提供重要依據。

圖3 和圖4 是同一名受試者整晚睡眠的時相序列圖，其中圖3 為睡眠分期的人工判別結果，圖4 為本文所提出的自動睡眠分期模型的判別結果。從圖4 可以觀察到，該模型對于持續的清醒狀態有較好的判別效果，對睡眠過程中出現的短時覺醒現象也能做到較準確的預測。整晚睡眠過程是一個連續過程，相鄰睡眠狀態之間的特征較相似，模型在部分相鄰狀態S2 和S3 以及S1 和S2、REM 存在一定的混淆。整體上，模型得到的睡眠狀態的變化趨勢與人工標簽大體相一致，能夠為臨床診斷提供有效的輔助判別。

圖3 臨床專家手動判斷結果Fig.3 Mannual inspection results by clincial experts

圖4 基于CNN-BiLSTM-Attention 的自動睡眠分期模型的判斷結果Fig.4 Interpretation results based on CNN-BiLSTM-Attention automatic sleep staging model

2.3.3 與其他方法的比較

為進一步驗證模型中引入的BiLSTM 模塊與注意力機制的有效性，首先進行了消融實驗，將模型中的BiLSTM-Attention 結構分別替換成了LSTM 塊和BiLSTM 塊，結果如表3 中第1、2 行所示。與本文所提出的CNN-BiLSTM-Attention模型進行對比后，從中可以看到，在不使用BiLSTM模塊和注意力機制時，模型的總體分類準確率及各睡眠分期的F1都會有不同程度的下降。特別是S1 階段的分類性能下降的最為明顯。這樣的結果驗證了本文所提出模型的有效性以及注意力機制在學習睡眠分期轉換規律上的重要性。

其次，與采用相同數據集和腦電信號通道的部分文獻中自動睡眠分期判別結果進行了比較。如表3 中第3、4、5 行所示，所比較的3 個模型均屬于基于深度學習的自動睡眠分期模型。其中，文獻[28]提出了一個DeepSleepNet 的網絡架構，利用CNN 自動提取特征，堆疊BiLSTM 架構學習睡眠轉換規則；文獻[29]提出了一種序列深度模型；文獻[30]提出了一個結合狀態轉移規則的深度睡眠分期模型。從表3 中可以看出，相比上述文獻中的模型，本文所提出的CNN-BiLSTM-Attention 模型的分類準確率有5.5%～8.5%的提高，且MF1提高了10%以上。

表3 基于CNN-BiLSTM-Attention 的自動睡眠分期模型和其他分類方法的比較Table 3 Comparison of automatic sleep staging model based on CNN-BiLSTM-Attention and other classification methods

3 結束語

本文提出了一種基于CNN-BiLSTM-Attention 的自動睡眠分期模型。該模型利用卷積神經網絡作為特征提取器，從原始單通道腦電信號提取時不變特征，同時引入殘差網絡架構，在加深網絡層次的同時避免網絡出現梯度消失問題，并利用帶注意力機制的BiLSTM 進一步學習輸入信號的時序信息，挖掘睡眠過程的轉換機制。通過交叉驗證、消融實驗，以及與相關文獻方法的對比，表明本文所提出的模型在睡眠分期判讀的精度上和綜合判別性能上，均具有優勢，能夠為睡眠過程監測、診斷與治療提供有效可行的輔助判別工具。此外，本文的研究工作主要基于單通道的睡眠腦電信號，在此基礎上可加入其他電生理信號（如眼電和肌電等），基于更加豐富的信號來源，利用該模型進行自動睡眠分期判別的研究。