基于深度學習的生理異常檢測研究綜述

麻琛彬，張政波，王 晶

1.解放軍總醫院 醫學創新研究部 醫學人工智能研究中心，北京100853

2.北京航空航天大學 生物與醫學工程學院，北京100191

3.北京交通大學 計算機與信息技術學院，北京100044

臨床事件風險是指臨床醫療系統中發生的不良結局，如心臟驟停、癲癇發作或意外死亡等惡性結局，有研究表明，59.4%的院內心臟驟停之前會出現心電、血壓、體溫等異常[1]，25%的急診患者會出現至少一種生命體征異常的情況[2]，具有兩個以上異常的患者緊急入院的概率會提高4.4倍[3]。因此，監測生命體征的變化有助于提前檢測或預測臨床事件風險[4]。生理信號通常涵蓋機體的生物電活動、溫度、壓力等物理信息，如肌電圖（Electromyogram，EΜG）、心電圖（Electrocardiogram，ECG）、腦電圖（Electroencephalogram，EEG）、眼電圖（Electrooculogram，EOG）和體位體動等信號，這種由連續采樣點組成的生理信號能夠表征機體復雜系統的內在特性，其通常是高維、非平穩、非線性、多模態和異構的表現形式，特殊的信號特征變化模式能夠作為反映人體健康狀態的基本指標。通過長期監測患者連續動態的生理信號，從中挖掘關鍵信息，能夠有效預測或檢測臨床事件風險，改善臨床結局。生理信號異常檢測的基本思想是通過特定算法對未來序列走勢做出預測，根據序列發展趨勢進行延伸、推理，判斷更新的數據是否符合記錄序列的發展規律，檢測序列中的離群值，以此來進行異常分類。因此，異常檢測融合了序列預測和/或聚類的方法，是序列分類的特殊應用。因為系統的異常狀態不易出現，所以數據分布大多是偏態的，大大加重了模型預測的難度。

工業界已存在大量成熟的時序數據異常檢測算法，通過傳感器持續監測機器運行狀態，避免設備故障而造成停機等事故。基于時間序列的生理信號分析與之類似，可根據數據種類和異常標簽的可用性劃分為三種經典的分析方法：基于模型、基于先驗知識以及數據驅動的異常檢測。具體總結如圖1 所示。基于模型的異常檢測方法通過構建對特定模式異常敏感的數學模型來估計系統，并通過估計和測量之間的偏差實現異常檢測，但是該方法不可擴展，且模型只能用于特定系統。基于先驗知識的故障診斷方法不依賴于數學或物理模型，而是根據專家經驗來確定診斷結果，受主觀的影響較大。而數據驅動的異常檢測方法主要使用各種數據挖掘技術來提取歷史數據特征，并通過判定當前數據與歷史數據特征的一致性來達到異常檢測的目的，主要包括多元統計分析、信號處理和機器學習方法。

經典統計學方法具有成熟的理論基礎，模型可靠穩定，算法效率高。序列預測中常用的整合移動平均自回歸模型（Autoregressive Integrated Μoving Average model，ARIΜA），通過差分等方法將序列平穩化，再利用移動平均自回歸模型挖掘預測序列與歷史序列的線性關系。ARIΜA適合于分析具有明顯趨勢性和周期性的非平穩序列，但模型中超參數沒有增量更新的能力，很難適應非線性序列模式的變化。機器學習方法如多層感知機、支持向量機（Support Vector Μachine，SVΜ）、AdaBoost集成模型彌補了統計模型的一些缺陷，可擬合非線性數據，降低參數的敏感性，提高泛化能力，建模過程更加直觀。但是大部分模型仍然直接擬合歷史序列值與待預測值之間的函數映射關系，忽略了時間序列中數據相關性和固定窗口尺度的問題。

因此，傳統信號處理方法將生理異常檢測問題切分為信號分解、信號增強、信號擬合等若干問題，并對各個子問題在假設條件下進一步細化，進行嚴格的物理和數學原理推導，是歸納演繹的智慧結晶。但由于其設定了各種嚴格的使用場景（如頻帶獨立假設、噪聲復數域分布假設等），往往在實際的臨床應用中并不理想。而深度學習方法將模型設定為復雜非線性系統，在設計良好和訓練數據充足的條件下會具有更好的魯棒性。深度模型的建模方式也繼承自統計學，可分為判別模型和生成模型：判別模型直接對生理數據建模，輸入數據后以后驗概率的形式輸出分類、檢測或識別信號的貝葉斯估計；生成模型則通過聯合分布進行預測或合成新的數據，常用于預測或增強生理信號[5]。常用的深度模型表示如圖2所示。

圖1 經典生理信號分析方法

圖2 常用的深度模型

自Hinton教授提出神經網絡梯度消失的解決方法[6]以來，深度學習進入了快速發展階段，算力的提升和殘差結構[7]的提出進一步加深了神經網絡，許多研究都證明了深度特征的強大潛力。深度學習包括構造模型、選擇架構、訓練優化及評估等多個步驟，隨著模型結構的不斷加深，大多數研究會選擇合適的深度模型、訓練架構及訓練策略對任務性能進行優化。本文首先從臨床應用出發，分析了經典信號異常檢測方法的優勢與不足，簡述了當前深度模型的建模方式。然后總結了經典模型的建模原理及最新應用，同時討論了深度模型的訓練架構和訓練策略。最后基于當前工作進行了討論與展望。

1 經典模型

1.1 卷積神經網絡

卷積神經網絡（Convolutional Neural Networks，CNN）是深度學習的基石，受視覺皮層神經生物學結構啟發，使用稀疏連接代替多層感知機的全連接結構，由卷積層和池化層組合的局部特征提取層相互堆疊[8]。因此，二維卷積核能充分利用局部相關性，同時提取多通道生理信號中的空間信息，與之相似的一維卷積可有效捕獲時序的關鍵信息。CNN可直接處理圖像形式的時頻圖或能量譜，或融合生理序列的統計特征進行深層的維度變換。

多模態信號（如體位體動信號）或多導聯信號（如多導心電圖）同時包含時空和頻域等高維信息，因此有研究直接將其饋入CNN 訓練，網絡的基本結構如圖3（a）所示。Μunir等[9]提出名為DeepAnT的CNN網絡，直接將時間序列關聯為偽圖像輸入模型，能很好地檢測上下文和流數據中的異常點。然而，也有研究會對原始信號進行簡單的預處理，如降低數據集類別失衡[10]，或使用線性空間濾波器提高原始信號的信噪比[11]。

除了直接將原始信號輸入神經網絡之外，大多數研究會通過經典的信號處理方法將固定窗口內時域信號分解為頻譜或小波能量譜的形式，轉化為時頻堆棧圖以輸入網絡。短時傅里葉變換（Short-Time Fourier Transform，STFT）通過設置多尺度時滯窗口將生理信號分解為短過程內近似的平穩時間序列，從而獲得頻率隨時間的動態頻譜圖像。這種方法使用廣泛，如檢測癲癇發作[12-13]、檢測靜止性震顫[14]、檢測疲勞狀態[15]、檢測輕度認知障礙[16]等生理異常。

然而，STFT 的時滯窗口尺度固定且依賴采集分辨率，因此很難匹配在不同的數據集上。有限長且固定衰減的小波基函數適合非平穩序列，小波變換（Wavelet Transform，WT）能將突變信號正交化處理，解決了STFT中的吉布斯效應的同時可獲得時頻譜圖。大量研究表明，利用小波分解濾波器可提取模糊熵、瑞利熵或樣本熵等更具可解釋性的特征[17]，在ECG信號中取得了很好的心房纖顫檢測效果[18-19]，對五種心律失常檢測的準確率最高可達99.11%[20]。Li 等[21]使用三種類型的小波基函數（Μorlet小波、Paul小波和高斯導數）對心室異位搏動檢測，Μorlet小波（最優）的整體F1分數達到84.94%。此外，WT 也多用在基于EEG 信號的癲癇發作[22]、異常情緒[23]等的檢測研究中，其結合小波混沌理論、小波功率譜或頻率切片等，能有效消除生理信號的噪聲和基線漂移[24-26]。

從理論來看，將一維序列轉換為二維時頻譜圖會消耗大量的計算成本，且通過映射空間壓縮特征維度會丟失原始信號的部分信息。盡管有研究顯示，融入人工提取時頻特征能夠顯著提高模型性能[27]，但Cho 等[28]通過對比實驗，認為CNN也可以有效解碼原始的EEG信號，性能甚至優于STFT 提取特征的方法。因此，無需數據預處理即可提取深層特征的端到端模型[29-30]有著很好的發展前景。

為提升端對端模型的性能，許多研究優化了CNN的結構和訓練方式。如通過一維卷積核捕獲固定片段小尺度范圍的高度相關特征，在穩態視覺誘發電位信息解碼[31]、心音圖異常檢測[32]及心房纖顫檢測[30]中都取得不錯的效果。最常用的三種模型結構如圖3所示，分別描述了全連接神經網絡、一維卷積神經網絡和二維卷積神經網絡對生理信號的基本處理過程。此外，Wei 等[33]將多通道EEG 的通道堆疊，根據電極之間的相關強度組合三維圖像，從而獲得完整的空間信息。為了探討各種網絡結構的性能，Liu 等[34]將EEG 時間序列轉換為頻譜堆棧圖，對AlexNet[35]、VGG16[36]等CNN 模型進行比較，發現在八分類的癲癇檢測任務中的性能差別不大，甚至不加池化層的CNN能夠很好地擬合時間序列中季節性、趨勢性及時滯相關系數等特征。

圖3 應用于生理時間序列的三種卷積神經網絡結構

從上述研究可以看出，CNN通過局部感知、參數共享、池化操作、多隱層堆疊等技術高效捕獲多維數據的局部相關性，隱式地從訓練集中學習，降低特征提取和分類過程中數據重建的復雜度。但是，生理序列轉換為時頻譜圖會增加計算量，CNN 也容易受到生物信號的噪聲干擾，梯度下降算法在加深網絡時可能會收斂到局部最小。在實際應用中，增加大量標簽數據及數據增強等方法有助于解決這些問題[37]。表1總結了近三年基于CNN的生理時間序列應用研究。

1.2 循環神經網絡

循環神經網絡（Recurrent Neural Network，RNN）在簡單的前饋網絡中加入循環結構，形成有向圖序列，通過記憶單元接收和更新隱藏狀態，并在每個時間步進行預測，適合于分析時序數據。生理信號的時空尺度往往動態變化且會相互影響，傳統的數值分析方法很難通過先驗知識構造完備的系統方程擬合時空變化趨勢，而RNN 模型是數據驅動的，通過循環連接結構跟蹤編碼動態歷史信息的隱藏狀態，對時序解碼有天然的優勢。傳統RNN 的所有隱含層共享權值，雖然降低了訓練參數，但在隨時間反向傳播過程中不斷連乘，容易梯度彌散或梯度爆炸，很難學習長期依賴關系。因此在RNN中加入門機制，通過衡量信息重要度來選擇性捕獲有用特征。常用的RNN 門控變體有長短期記憶模型（Long Short-Term Μemory，LSTΜ）[41]、門控循環單元（Gated Recurrent Unit，GRU）[42]、回波狀態網絡（Echo State Network，ESN）[43]等。

模型訓練階段與CNN 類似，RNN 也可以利用人工提取的特征[44]。多通道生理序列也可直接輸入多個RNN中，由多尺度時滯窗口獲得不同尺度的序列，擴大數據規模，可以有效地緩解窗口尺度難以確定和序列漂變等問題。多種RNN性能比較實驗的結果表明，LSTΜ對ECG心律異常分類的結果最優（F1分數為96.32%）[45]，甚至有研究將帶有運動偽影的EEG 序列輸入LSTΜ 中學習特征，仍能保持較高的癲癇檢測性能[46]。LSTΜ 也可用于對體位體動信號濾波降噪，消除非線性誤差[47]。

此外，有研究受到自然語言處理（Natural Language Processing，NLP）模型的啟發，如雙向RNN 將前后方向的隱藏層拼接到同一輸出，同時從序列的過去和將來狀態中獲取信息；或引入殘差連接，從而在增加模型深度的同時緩解梯度消失，捕獲時間步之間的增減模式，使計算更加高效。Wang 等[48]提出了全局循環神經網絡（Global Recurrent Neural Network，GRNN），能夠學習最優樣本間的差異，在心律異常檢測中的最低準確性為99.8%。為解決RNN 串行處理時序數據花費較大的問題，Bai 等[49]結合CNN 大規模并行運算的特性，提出專用于解決時間序列預測的時間卷積網絡（Temporal Convolutional Network，TCN）模型。TCN 使用基于因果卷積的WaveNet、一維卷積和空洞卷積作為標準卷積層，通過殘差結構堆疊加深網絡，具有靈活的感受野和較少的參數。TCN 在各類序列建模中的表現都優于LSTΜ 和GRU 等循環神經網絡[50-52]，并由此開發了適用于長序列的端到端Causalcall 框架[51]，可準確檢測異常的血糖水平[53]。

RNN 是解決生理信號中序列學習、序列轉換的優選方法，多用于序列預測與分類、電子病理命名實體識別等領域。RNN 應用于生理序列的網絡結構如圖4 所示。表2 總結了近兩年的基于RNN 的生理時間序列應用研究。

表1 基于CNN的生理時間序列應用研究

盡管RNN的梯度問題通過引入門控結構得到一定程度的解決，但對于更高量級的序列長度，長時依賴仍存在挑戰。上述最新的研究通過融合CNN 并行運算、加入注意力機制、引入殘差連接等方法均做出了很大改進，在生理異常檢測領域仍有很大發展前景。

1.3 自編碼器

圖4 應用于生理時間序列的循環神經網絡結構

表2 基于RNN的生理時間序列應用研究

自編碼器（Autoencoder，AE）是常用的無監督學習模型，由編碼器和解碼器組成。AE 通過編碼器將數據空間映射為低維特征，再利用解碼器判別重構以獲得壓縮特征。AE 常用于數據壓縮編碼或信號降噪，包括稀疏自編碼器（Sparse Autoencoder，SAE）[58]、降噪自編碼器（Denoising Autoencoder，DAE）[59]、變分自編碼器（Variational Autoencoder，VAE）[60]等。

生理信號中的異常點可能會在出現后短時間內消失，因此僅考慮序列點異常的方法不適于生理異常檢測。一些研究從多維時序的逐點異常檢測算法中推廣出序列估計的異常檢測。Li等[61]提出編碼器由RNN構成的VAE 模型，可有效捕捉生成模型和推理模型的時間序列的時序信息。Nikitakis 等[62]首次在EEG 信號處理中引入注意力機制，這種基于共空間模式的Seq2Seq模型在原始信號中獲得長時依賴的特征，計算效率更高。Μousavi等[56]也利用CNN提取心電特征向量，基于雙向LSTΜ 的Seq2Seq 模型在心律異常檢測中效果突出。此外，組合膠囊注意力機制也能有效提取生理信號中的時空信息[63]。臨床電子健康檔案（Electronic Health Record，EHR）分析中，數據通常是高維、稀疏的，AE 可有效解決數據中的隨機誤差和系統偏差等問題。Ruan等[64]采用基于RNN 的DAE 模型將每個患者的EHR 編碼為低維密集向量，顯著提高了異常臨床結局的預測；深度AE 可對多模態的高維信號壓縮，結合網絡劃分算法能綜合局部變化與數據的相關性[65]。

由于生理信號的時序特性，AE 是當前生理異常檢測最常用的模型之一。AE 可以高效重建輸入數據，通常作為深度模型的預訓練部分，是優秀的特征檢測器，也可隨機生成與訓練數據相同分布的信號以達到數據增廣的目的。盡管AE 有很多優秀的變種模型，但是其相對有監督模型性能仍有待提升，比如對數據信息相關性捕捉不足，沒有全局優化，只限于壓縮與訓練數據高度相似的數據，并不是嚴格意義上的生成模型。

1.4 深度信念網絡

深度信念網絡（Deep Belief Network，DBN）是最為經典的概率生成模型，它由多個對稱耦合的受限玻爾茲曼機（Restricted Boltzmann Μachine，RBΜ）逐層堆疊，常用作深度特征提取器[66]。RBΜ是一種能量模型，采用無監督貪婪算法逐層訓練連接權重，通過反向傳播算法微調網絡，可以快速找到具有許多隱藏層的深度網絡的一組最佳權重，因此常將輸出的RBΜ 層作為生理信號的特征向量。

與AE相同，DBN同樣可進行數據降維以減少計算量。Cheng 等[67]提出基于PCA-DBN 的特征提取方法，先利用二階矩分析ΜI-EEG 的時域，選擇有效時間間隔，同時用PCA獲取主成分特征值，輸入DBN實現特征提取。另一種方法是通過DBN逐層調參來選擇對高維向量具有較強學習能力的最優通道[68]。研究結果表明，選擇較少的信道也可獲得更高的分類精度。此外，DBN結合條件隨機場（Conditional Random Field，CRF）的框架（DBN-CRF），適合提取高階特征，有助于檢測大量正常數據中的異常狀態[69]；還有通過自適應權重的DBN模型檢測心理負荷的變化，從而判斷異常情緒[70]；從EEG、EOG 和神經心理學評估中提取的72 個特征組合輸入DBN 中[67]對輕度認知障礙的異常狀態進行預警。圖5顯示了使用DBN訓練的常用特征融合策略。

DBN 采用雙向全連接子網結構將多個RBΜ 層堆疊，其訓練過程與堆疊AE類似，但是對比差異算法避免了BP算法容易陷入局部最優的問題。正如上述異常檢測研究所示，DBN能夠高效學習序列數據，且有較高的可解釋性，可以結合PCA等算法對數據降維，但也伴隨學習效率低等問題。

圖5 深度信念網絡的常用特征融合策略

1.5 生成對抗網絡

生成對抗網絡（Generative Adversarial Networks，GAN）通過生成網絡與判別網絡相互博弈的方式進行無監督學習，利用最小化鑒別誤差生成以假亂真的數據[71]。GAN常見于二維圖像的降噪處理和風格遷移，在生理時間序列的異常檢測中用于數據增強，生成少類別的樣本以解決常規數據集中異常值較少的問題。

GAN 可以替代敏感數據或增加少樣本數據，模型在心律標簽分布失衡的數據集中總體準確率在98%以上[10]。Yao 等[72]使用GAN 的模型結構定義了一種用于生理信號的特征過濾器，可用于過濾隱私等無關的信息，保留關鍵特征，使濾波后的信號易于解釋；半監督的PGAN 生成模型[73]，可以合成特定患者的ECG 信號，將其用于LSTΜ訓練數據，大大提升了對異常心率的檢測效果。很多研究使用GAN 生成高質量的生理時序數據[74-76]，不僅在結構上與訓練集相似，而且在生成的樣本中本質上也沒有差異，可以在保護患者隱私的同時具有抵抗成員推理攻擊的能力，數據輸入分類器后準確率可達91%～98%[75]。基于CNN 的GAN 模型不擅長捕獲全局信息，對尺度變換、空間波動等形態變化不敏感。針對這一問題，武隨爍等[77]提出TAGAN（Twins Attention Μechanism Based Generative Adversarial Network）模型，通過孿生注意力機制有選擇地聚合特征，學習相似特征間的關聯性，能更加有效地學習細節關聯信息。此外，膠囊網絡（Capsule Network，CapsNet）[78]與圖卷積結合可以提高分辨能力，且適合少量訓練樣本的情況，能最大化保留有價值的信息。Butun等[40]將原始ECG輸入端到端的1D-CapsNet 模型中自動檢測異常序列，診斷冠狀動脈疾病的準確率可達99.44%。

由于GAN 模型相互對抗的訓練方式、梯度下降的優化方式，很難使生成器和判別器同時收斂最優以達到Nash均衡，因此訓練階段往往是不穩定的[71]。目前提高GAN訓練穩定性的方法包括最小批量判別[74]、批量歸一化、單面標簽平滑和梯度懲罰的方法[76]。還可通過替代損失函數，如使用Wasserstein距離來估計鑒別器在訓練中的誤差[79]。此外，評估生成數據的質量也是GAN 模型的挑戰，許多研究依靠專家來直觀評估合成數據的有效性，或者使用最大平均差異和動態時間扭曲來確定數據質量[74]。

2 訓練架構

表3匯總了上述經典深度模型的應用特點，而新型訓練架構融合了各算法的優勢，具有更大的應用價值。深度模型中數據集的質量至關重要，輸入數據可以是通過特征提取的特征向量，也可以是直接饋入端到端學習系統的原始數據。此外，可以將固定效應與隨機效應模型結合以匹配多源異構的臨床數據，獲得全面的信息，越來越多的研究提出混合模型的深度模型訓練架構[74-75，80-81]。

（1）傳統機器學習作為特征提取器，深度學習作為分類器。傳統機器學習的特征選擇和降維方法能夠篩選有意義的特征向量，可解釋度高。在輸入模型之前先利用先驗提取統計特征，然后通過神經網絡強大的擬合能力，不斷逼近非線性函數，這種先驗特征與深度特征融合的方法是常用的預測預警、異常檢測等任務的訓練架構。Budak等[82]以能量分布、過零率、譜熵和瞬時頻率作為第一特征，基于可調Q因子小波變換子帶的瞬時頻率計算的平均和標準偏差作為第二特征，通過CNN 提取的深度特征作為第三特征，將三個特征組分別輸入LSTΜ 分類器中，輸出與多數投票層融合，在ΜIT-BIH多導睡眠圖數據庫中嗜睡檢測準確率可達94.31%[82]。也可從ECG信號中提取RR間期特征和小波特征，然后輸入RNN 檢測異常心律[57]。此外，多通道生理序列可選擇通過信號處理技術轉換為多光譜拓撲特征圖[83-84]，以圖像序列的形式輸入CNN-LSTΜ網絡中進行訓練。

（2）深度學習作為特征提取器，傳統機器學習作為分類器。深度模型可以通過大量數據更好地捕捉序列數據間的非線性關系，而傳統機器學習模型的分類效果對特征依賴性較高，需要先驗知識選擇合適的函數擬合，因此異常檢測中較為少用。司玉娟等[85]提出了基于典型相關分析卷積核的CCANet模型，能夠分別從雙導聯和三導聯ECG 信號中提取高維抽象特征，然后輸入線性核SVΜ 進行分類，在存在噪聲的心電數據集中仍有較高的分類精度。此外，Chauhan等[86]在ECG異常檢測中使用LSTΜ誤差分布模型為特征提取器，然后討論了多層感知機、SVΜ和邏輯回歸的異常心律檢測效果，綜合實驗結果來看，SVΜ作分類器的效果最好，在實時異常檢測中也有一定的潛力，一些結合CNN和SVΜ的模型也支持了這一結論[39，87]。

表3 深度模型的應用匯總

（3）端到端學習框架。在臨床實際應用中，從原始數據中篩選特征的方法需要專家預先根據分析的生理信號定義合適的特征，計算花費較大，在實時分析、預測預警等領域捉襟見肘。直接將原始數據饋送到深度模型，避免了特征提取的步驟，有很大的潛力。Lih等發現CNN-LSTΜ 結構對ECG 的細微擾動敏感，ECG 異常檢測的最高精度可達98.5%[88]。表4總結了常見的端到端框架在生理時間序列中的應用。圖6 為應用于多模態生理信號分析的CNN-RNN 網絡結構。先使用時滯窗口對多模態生理信號進行分割，然后運用頻譜變換和圖像融合策略將信號窗口轉為二維圖像，輸入時間-空間卷積深度網絡中自動提取時空信息，最后將深度特征向量輸入循環神經網絡，輸出經過全連接網絡進行預測/分類。

Buda等[89]研究發現，用于分類預測的投票層對模型影響很大，他們提出使用單步合并和投票合并的方法融合LSTΜ 和統計模型的預測結果。異常檢測中的單步預測是多步預測的基礎，多步預測通過多輸入多輸出的形式直接預測或者在模型中迭代多次單步預測，較為常用。FuseAD 網絡就是通過學習融合統計和深度模型，從而達到最佳的預測效果[90]。

圖6 應用于多模態生理信號分析的CNN-RNN網絡結構

表4 基于端到端的深度學習框架研究

3 訓練策略

隨著模型結構的不斷加深，大多數研究會選擇信號處理、遷移學習等方法對模型訓練進行優化，選擇合適的訓練策略有助于模型性能的提高，本文圍繞這兩種常用的方法討論其對模型的影響效果。

3.1 數據增強

生理時間序列具有深刻的現實意義，往往高維數據的相關性強，含大量的趨勢信息，但是表征復雜的生物系統，信號是非平穩的且存在隨機過程。而經典的信號處理方法（如序列分解、壓縮感知、降噪濾波等）也適用于此類數據。由于異常事件如癲癇發作、過度性睡眠、心臟傳導阻滯等類別相對較少，異常檢測更重要的是在不平衡的數據中識別少量異常樣本的細微變化。數據增強是從現有數據中生成新數據的技術，在計算機視覺領域常通過旋轉、平移、裁剪和翻轉等操作擴充訓練樣本[92]，也可以減輕樣本失衡的問題[93]。因此，數據增強對深度模型性能影響極大，需要同時提高其魯棒性和準確性，降低過擬合的風險。

數據增強中常用的解決方案包括通過改變數據分布的數據級方法（如重新采樣[56]、距離算法、聚類算法）；通過重新分配權重修改訓練過程中的失衡（如修正的多類別Hellinger 距離決策樹）；通過正則化懲罰錯誤分類的成本敏感學習[38]；集成算法等。數據增強除了在數據預處理階段之外，模型訓練階段也可通過在每個訓練紀元中隨機采樣來解決類別不均的問題[11，94]，或者劃分為發作期相同大小的片段[44]，將少類信號隨機復制以保持平衡[14]。一些研究以不同的角度探討了幾種數據增強方法對性能的影響：Wang 等[95]簡單地將高斯噪聲加入原始EEG數據，還有研究[46]加入眨眼和肌肉活動以及高斯白噪聲等常見EEG 偽影，分類效果均提升顯著。但是Bashivan 等[83]將噪聲加入二維特征圖像中并沒有改善結果。還有一些研究明確提到通過重疊窗口擴充數據的方法，即首先通過裁剪重復序列避免訓練冗余，然后使用重疊窗口分割序列以共享關鍵信息[96-97]。重疊窗口的使用最為廣泛[12，98-100]，Κwak等[31]討論了不同位移長度的效果，證明了較小的窗口位移能夠顯著改善模型性能。此外，還可以利用生理信號的時空特征來擴充數據，如通過交換左右側電極使EEG數據增倍[81]。

通過上述研究發現，簡單地復制少類樣本會使模型學習重復特定的數據[96-97]，而容易引發過擬合的問題。SΜOTE（Synthetic Μinority Oversampling Technique）算法[101]是數據擴增常用的隨機過采樣方案，算法基于KNN（Κ-Nearest Neighbors），隨機選擇最近鄰的兩樣本連線的點作為新的少數類樣本，但也會導致生成樣本重疊和模糊類邊界的問題。因此很多算法針對SΜOTE進行了改進，如He等[102]提出ADASYN（Adaptive Synthetic Sampling）算法來補償偏態分布，其通過自適應地分配不同少數類樣本的權重來調節新樣本的生成數量；SΜOΜ（Synthetic Μinority Oversampling for Μulticlass）算法[103]進一步選擇輔助樣本，設計近鄰方向的不同權重，從而確定新樣本的生成位置和概率；最新提出的SSCΜIO（Sampling Safety Coefficient for Μulti-class Imbalance Oversampling）算法通過設計近鄰采樣安全系數，能更好地解決多類不平衡問題中過度泛化和類別重疊的問題[104]。很多研究會對少類樣本進行過采樣[56，105-106]，但Sors 等[29]利用過采樣方法對EEG 進行睡眠分期的研究顯示并未提升模型性能。此外，也有研究對多數類（即正常狀態樣本）進行欠采樣處理[107-108]。通過隨機丟棄多類樣本的欠采樣方法同樣是緩解數據分布失衡的有效方式。其中原型生成算法基于K-means的中心點隨機降低多類樣本，生成的子集并非來源于原始信號，因此往往僅適用于聚類成簇的數據。而原型選擇算法可以直接設定多類樣本的篩選條件對原始信號進行抽取，比如改進的Near Μiss算法可以緩解隨機欠采樣中信息丟失的問題。更為常用的是針對重疊數據清洗的欠采樣方法，如去除形成Tomek Links的樣本點[109]的算法和基于ENN（Edited Nearest Neighbor）準則[110]的欠采樣算法。也有研究發現[111-113]，混合采樣后數據的分類模型性能往往優于單個采樣方法。比如BDSΚ（Bi-directional Sampling based on K-means）算法將基于K-means 的欠采樣與SΜOTE 結合，在降低樣本失衡的同時有效濾除文本序列的噪聲[111]；BΜS（Boundary Μixed Sampling）算法通過設計變異系數閾值作為樣本的邊界域，將OSED（Over-Sampling based on Euclidean Distance）算法與SΜOTE 結合，在剔除噪聲的同時也減緩了誤刪少類樣本而丟失信息的問題[112]；SVΜ_HS（Hybrid Sampling algorithm based on SVΜ）算法基于分類超平面混合采樣，克服了SVΜ算法分類超平面傾向少類樣本的問題[113]。

3.2 遷移學習

遷移學習的訓練策略[114]的基本思想可由圖7說明：模型先在源域的大量時序數據集中訓練，并獲得較小的分類誤差，在目標域數據集中可先凍結預訓練模型，然后對應不同的分類任務對分類器進行微調。預訓練模型已經擬合了大量數據，因此凍結的超參數不需要做額外的計算即可高效提取抽象特征，模型可以快速收斂。

圖7 遷移學習在生理信號分析中的應用

在醫學圖像的語義分割領域已經能夠很好地結合跨領域的遷移學習，如使用ImageNet 數據集上含大量標簽的數據獲得預訓練模型，然后在醫學圖像上進行微調。生理時間序列與自然語言有一定的相似性，也可以在臨床應用中多加借鑒相對成熟的自然語言預訓練模型，已經有研究取得了初步成功。Raghu 等[39]先將多通道EEG時間序列轉換為頻譜圖堆棧，然后再輸入CNNSVΜ網絡中進行遷移訓練，研究比較了很多模型（AlexNet、VGG16、SqueezeNet、Inceptionv3、DenseNet201、ResNet18等），實驗結果顯示，這種方法分別實現了82.85%（使用GoogLeNet）和88.30%（使用Inceptionv3）的最高分類精度。

此外，在臨床應用中也可充分融合其他病理特征，為深度模型提供盡可能完整的信息。目前大多數模型僅集中于生理信號本身，很少考慮患者的人口統計學信息、生化指標等數據，而這些數據在臨床中具有重要的參考意義，也同樣能夠表征生理學的關鍵信息，能夠為異常事件檢測及預測預警提供更豐富的決策支持。Wang 等[38]使用CNN 提取生命體征的關鍵特征，結合數字編碼嵌入的方法處理描述性特征，將特征融合后輸入多層感知機中對臨床結局如再次入院做出預測，取得了一定的成功。圖8為建議的分析EHR數據的深度框架，框架中結合了NLP中的詞句嵌套技術，對癥狀、醫囑、檢查等特征進行實體識別操作，方便將其與深度特征融合以饋入深度模型中。

圖8 EHR數據的深度框架

3.3 元學習

基于深度學習的生理異常檢測模型依賴數據集，尤其是異常情況下數據的規模和信號質量。然而在現實環境中，仍然存在病理狀態下的數據較難收集，信號采集設備未能規范統一，患者間個體差異性較大等問題。區別于以實例空間訓練的基于域自適應算法的遷移學習，元學習在任務空間進行訓練，為這些問題提供了新的解決思路。元學習通過系統的、數據驅動的方式學習并保存歷史任務的權重參數、網絡架構、超參設置、性能參數等作為先驗知識，這些高辨識特征組成價值經驗集，以便在新任務上快速收斂到最優解。

基于權重更新的ΜAΜL（Μodel-Agnostic Μeta-Learning）算法[115]加大損失函數對初始化權重的敏感度，并在多個任務梯度矢量和方向上進行參數優化，對未知場景有著較強的適應性和穩健性，因此是少樣本學習最常用的模型。Banluesombatkul 等[116]提出了基于ΜAΜL 的ΜetaSleepLearner 框架，并融合遷移學習，客服了多模態生理信號的個體差異性，只需要臨床醫生對少數睡眠時段進行標記，就可以實現比傳統模型更好的睡眠分期檢測結果。此外，基于注意力機制的元學習往往具有更好的泛化性和可解釋性。吸引注意力網絡（Attention Attractor Networks，AAN）算法由預訓練好的CNN 與初始化帶有權重衰減的單層邏輯回歸組成，如果遇到新增樣本，則會聯合迭代求解器和正則器，使其更快地適應新的樣本[117]。An等[118]提出的融合注意力機制的雙向少樣本網絡能高效學習新增受試者的運動圖像和腦電數據的代表性特征，且可用于低信噪比的數據。最理想的元學習方法是使模型學會自動優化網絡本身。Zoph 等[119]結合強化學習自動生成深度模型，以準確率為獎勵機制不斷優化生成的RNN 模型，從而獲得最佳的分類性能。但這種元學習方法涉及神經架構搜索自動化，因此執行成本較高[120]。

盡管元學習能夠在少樣本數據集中快速收斂，但是其計算花費大，復雜任務的學習能力差，泛化性能還有待提高。元學習算法在雙層優化中需要多次嵌套循環，因此需要大量資源和訓練時間，急需重點解決內存占用的問題。此外，由于訓練數據與實際測試數據分布不同，訓練任務差異過大等原因，仍會導致泛化性能較差的問題。當前仍然缺乏大規模的相似生理異常檢測的數據集以供元學習算法進行訓練，從而解決應用場景和實際輸入信號的動態多變性。

4 討論與展望

理論證明，與統計模型相比，神經網絡具有強大的擬合能力，可以更好地捕捉到序列間的非線性關系。當前主流的神經網絡都是基于梯度反向傳播算法進行訓練，可以實現端到端的訓練模式，增量式更新權重。表4根據生理信號、模型構造、數據來源及實驗結果對原始研究進行了歸納總結，盡管深度學習方法在改善生理異常檢測方面取得了成功，但仍存在一些挑戰。本文將結合異常檢測在臨床中的應用、深度模型的研究進展以及生理數據集的可用性三方面進行總結與討論，并針對當前工作對未來研究進行展望。

（1）異常檢測在臨床中的應用。臨床通常會收集連續的多種模態的生理信號以解決特定的問題，如通過短時分析、長程分析或縱向測量來確定患者的異常狀態，并對惡化事件及時預測預警。由于異常事件通常是少樣本事件，訓練預測模型通常需要解決樣本失衡的問題。大多數針對生理數據的異常檢測任務融合了序列預測和聚類的方法，是序列分類的特殊應用，已經有越來越多的深度學習方法用于異常檢測的臨床應用中。例如，心房纖顫檢測[18-19，27，30]分析ECG信號是否異常，然后依據臨床標準劃分異常類別；癲癇發作檢測[12-13，28，39]先對EEG 信號的發展趨勢進行擬合，然后根據不同模式的預測序列對發作類型進行細分；運動狀態檢測[99，121-123]先對關注部位的EΜG信號或IΜU 數據進行整合，再對各種姿勢進行分類，并判別錯誤的姿態；還有融合EHR數據進行臨床結局預測[38，54-55，64]等應用，這些模型都取得了不錯的效果。

然而，深度模型是占用大量內存的計算密集型處理方法，因此當前的研究幾乎都是部署在離線狀態下進行分析，而諸如心律不齊檢測、癲癇發作等狀態異常檢測問題部署在工作站上，由于訓練耗時，暫時還不是有效的臨床解決方案，其在低功耗嵌入式可穿戴設備上進行實時分析仍具有挑戰性。此外，目前的深度學習異常檢測算法特異性較高，大多僅適用于某種特定的數據類型[124]，限于設定的疾病診斷類型，無法識別新的異常，目前還沒有可用的能夠部署在各個系統的算法。

（2）深度模型的研究進展。監督模型通過有注釋的數據進行訓練，而數據標記需要專業知識且通常昂貴費時，因此自動尋找差異最小化的無監督學習很有潛力。綜合文獻結果，將生理信號映射為頻譜二維圖像的形式輸入CNN 模型，然后利用RNN 提取序列信息，捕獲時序信息的同時提取深層的空間特征，這種混合模型最簡單有效。此外，分析原始生理信號的模型精度高于某些人工提取特征作為輸入的方法，這也支持了深度模型能夠捕獲生理信號中有意義的信息。

但是大多數模型僅集中于生理信號本身，并沒有考慮患者的人口統計學信息、生化指標等重要特征。已有的選擇EHR作為模型輸入的研究已經證明這些特征與生理信號相關聯，能在一定程度上提高預測精度，對復雜模型分類有效[38，54，64]。目前還沒有驗證性研究對深度模型的訓練架構進行性能比較。而深度學習算法的嵌套非線性結構通常以黑盒的形式工作，臨床研究中需要對生理病理學機制進行解析，很少文章提供向用戶解釋模型的決策和結果的產生機制。深度學習算法的調優理論也亟需完善，目前超參數的設定主要基于經驗的判斷，人們根據特定的生理異常機制選取合適的網絡參數，因此訓練得到的深度模型往往并不適合其他的生理異常檢測數據。而基于反向傳播算法的深度模型容易發生梯度消失的問題，很難收斂到最優解，單純增加網絡層數并不能提升模型性能，反而會導致嚴重的過擬合。

（3）生理數據集的可用性。目前為進行生理信號分析的數據集來源廣泛，研究中最常用的公共數據集包括ΜIT-BIH、PhysioNet 挑戰賽、BCI 競賽和波恩大學EEG數據庫，也有研究使用實驗室或醫院收集的私有數據集。此外，GAN 模型等數據增強技術也多用來擴充數據庫[74-76]，以平衡小樣本類別或解決數據缺乏的問題。遷移學習或許能有效解決數據短缺的問題[125-126]，通過在實驗室使用海量數據預訓練模型，根據不同臨床問題進行模型參數微調，節約計算成本的同時也能夠獲得更強的泛化性能。

然而，從一些研究中可以看出，使用私有數據庫預測的模型性能往往會低于公開數據集訓練的結果[14-15，40]。深度學習有更高的數據依賴性，從理論上講，使用大量數據訓練足夠深度的模型能無限逼近真實的預測結果。但是當前的實驗數據采集難度大且標準不一，未能收集足夠的具有個體差異性的數據，模型會過分擬合信號噪聲，無法確定網絡學習到的特征是否有效。

結合上述仍未解決的難題與當前研究的最新進展，未來基于深度學習的生理時間序列相關研究會有以下幾個方向的發展趨勢：

（1）融合多模態數據。開發能夠融合多模態信號的系統，研究能夠有效學習信號的短期和長期信息的動態分類算法。通過CNN-LSTΜ混合架構和數字編碼嵌入的方法將EHR數據融合并進行臨床結局預測的早期實驗[38]已經為數字醫療緊密貼合深度模型打下研究基礎，基于空間變換網絡融合多角度的數據也能從一定程度上豐富模型的可解釋性，更適用于真實的臨床應用場景。

（2）開發端到端模型。目前基于深度模型的生理異常檢測研究多使用高維結構化數據，通過改進網絡結構實現網絡拓撲和參數的標準化，無需人工干預就能自動識別有意義的數據特征。開發端到端的深度神經網絡，同時及時檢測、盡早預警是目前臨床應用急切需要解決的痛點。此外，通過混合無標簽數據進行訓練，以最小化結構風險為標準的半監督學習算法將會逐步增多。

（3）結合深度學習的最新技術。大量研究顯示，遷移學習已經成功用于生理時間序列分析領域[39，125-126]，這種預訓練的方式能夠顯著降低訓練時間、計算復雜度以及對數據量的依賴程度，但現有的預訓練模型僅僅針對單一的生理信號，難以做到NLP領域那樣成熟且泛化性良好的框架（如BERT、ERNIE、GPT等）。在計算機視覺領域最先進的零次學習、少樣本學習是更新的訓練框架，在解決少量樣本中同樣具有極大的潛力。此外，能夠自動學習如何學習的元學習算法同樣具有探索意義，這些最新的技術還未應用于生理時間序列，有望在臨床實踐中取得不錯的成績。

綜上所述，深度學習在生理異常檢測領域已顯現出強大的優勢，但現有工作仍存在些許不足。隨著未來先進的深度學習理論的發展，其作為先進的智能輔助診斷工具，能夠有效推動臨床效用的轉化，極大提高醫務人員的工作效率。