基于CNN和Bi-LSTM模型的蛋白質甲基化位點識別

關鍵詞：甲基化；卷積神經網絡；雙向長短時記憶網絡；特征融合；位點識別DOI：10.15938/j. jhust.2025.02.009中圖分類號：TP391.4 文獻標志碼：A 文章編號：1007-2683（2025）02-0082-09

Abstract：MethylationisaproteinPost-Translational Modification（PTM）thatregulatescellfunction，whichcanprovideguidance andhelpforresearchinthefieldsofgeneregulationanddiseaseprediction.Atpresent，therearesomeproblemsintheresearchof methylationsiterecogitin，suchasfewlabeleddtasets，nsuffcentpositivesmpledataandlowrecogitionaccracyofhylation research.Inordertosolvetheseproblems，thispaperproposesaproteinmethylationsiterecognitionmethodbasedonConvolutional NeuralNetwork（CNN）andBi-directionalLongShor-TermMemory（Bi-LSTM）model.Ourmodelisdividedintotwobranches.The CNNbranchusesadenseconnectionmethodtomakethefeatureinformationofachlayerfull transmitedandshared.ThestackedBiLSTMbranchesobtainbidirectionallong-termdependenciesinthesequence，andthenthetwobranchesperform featurefusionfor methylationrecognition.ExperimentsshowthattheAccuracy（ACC），F1Score（F1score）andMatthewsCorrelationCoficient （MCC）obtainedbyusingourmodeltoidentifymethylationsitesareO.8519，0.8494andO.7284，respectively.Compared with other methods，the model has better performance.

Keywords;methylation；convolutionalneuralnetwork；bi-directionallongshrt-termmemory；featurefusion；siterecogition

0 引言

甲基化是一種翻譯后修飾（post-translationalmodification，PTM），通過向蛋白質結構中添加甲基來修飾蛋白質的功能和構象，在表觀遺傳過程中發揮著重要的作用[]。甲基化包括蛋白質甲基化和DNA甲基化，其中組蛋白中精氨酸（R）和賴氨酸（K）殘基的甲基化，以及其他PTM過程如乙酰化和磷酸化，對基因表達水平有顯著影響[2-3]。研究表明，甲基化可以直接改變染色質的調節、轉錄和結構[4]，甲基化引起的遺傳變化通過誘導癌基因和抑制腫瘤基因，在癌癥的發生和轉移中發揮著關鍵作用[5]。甲基化的相關問題已成為當今蛋白質組學研究中的一個重要課題[6-7]，準確地識別甲基化位點對于甲基化研究至關重要。

近年來，甲基化位點識別主要有生物實驗方法和基于計算機技術的方法。生物實驗方法[8]主要有生物芯片、免疫印跡法[9]（westernblot）、特異性抗體技術和細胞培養穩定同位素標記技術[10]（stableisotopelabelingtechnology，SILAC），這些生物實驗方法需要大量的人工參與，且效率低。隨著計算機技術的發展，機器學習方法也應用到甲基化位點的識別。常用的機器學習方法包括支持向量機[11-14]、基于組的預測系統[15]（group-based prediction system，GPS）和隨機森林[16]（random forest，RF）。與生物實驗方法相比，機器學習方法能夠對大量數據集準確且快速的識別蛋白質甲基化位點。

當前，深度學習由于在處理復雜數據和任務方面具有更好的表現，也被應用到甲基化位點識別。2021年，Khanal等[17]提出了 4mC-w2vec 模型，該模型通過word2vec將序列轉換為詞向量，利用CNN提取序列在空間上的特征。Chen等[18]在2018年采用人類和小鼠蛋白質數據集進行訓練和測試，開發了用于賴氨酸甲基化位點預測的模型MUscA-DEL，取得了較好的結果。在MUscADEL中，只使用了Bi-LSTM提取氨基酸的序列信息。為了同時提取更多信息，Chaudhari等[19]在2020 年提出了基于CNN和LSTM的DeepRMethylSite模型，該集成模型能提取甲基化數據集的空間和序列信息，其性能在總體上優于LSTM模型，但與CNN相比，并沒有實現明顯的性能改進。在此基礎上，Lumbanraja 等[20]提出的SSMFN得到了更好的識別結果，該模型在DeepRMethyISite基礎上沿用了CNN和LSTM的組合用于甲基化識別，且最終結果使用的是通過原始數據集訓練的模型，達到比集成模型更好的識別準確率，然而準確率仍然不高。Song等[2i]使用CNN和Bi-LSTM進行蛋白質翔基化位點預測，模型中的CNN和Bi-LSTM為串行結構。另一方面，由于已標注的樣本中，甲基化樣本和非甲基化樣本數量很少，且樣本類型不平衡，導致在訓練過程中模型的性能下降。針對上述問題，本文提出了CNN和Bi-LSTM模型結構，模型分為兩個分支，一個分支使用密集連接的CNN提取氨基酸序列的結構特征，另一個分支使用堆疊Bi-LSTM提取其序列特征和長期依賴關系，然后融合兩個分支的特征，進行蛋白質甲基化位點識別。兩個分支為并行結構，這是由于并行結構可以通過連接和拼接等多種方式進行特征融合，提高模型對數據的特征提取能力，而且通過并行計算，可以縮短訓練時間，提高模型的計算效率。同時，使用數據增強方法，解決數據不平衡和已標注數據過少的問題。實驗表明，本文提出的方法能提高識別的準確率。

1數據集和數據預處理

1.1 數據集

本研究的數據集來自Uniprot蛋白質數據庫[22]，這個數據庫提供了全球性的蛋白質序列和注釋數據庫，此數據集由已注釋的正樣本和負樣本構成，正樣本是甲基化發生在中間氨基酸的序列，負樣本為未被甲基化的氨基酸序列。每個序列由19個氨基酸序列構成，其中第10個序列位點為是否甲基化的精氨酸（R）位點。

1.2 數據預處理

1. 2.1 二十位特征編碼

由于氨基酸序列是由標準氨基酸表示的單字母構成，計算機無法識別字符，需要將其轉換為計算機可以理解和處理的二進制形式，即編碼。常見的氨基酸序列的編碼方式主要是基于序列的特征編碼：信息理論特征[23]（information theory features，ITF）、重疊屬性特征[24]（overlappingproperty features，OPF）、二十位特征[16]（twenty-bit features，TBF）、二十位一位特征（twenty-one-bit features，TOBF）、跳過二肽位置特征（skip dipeptide composition features，SDCF）和聯合三元組特征（conjointtriad features，CTF）。由于氨基酸序列由20種不同的標準氨基酸構成，本文采用二十位特征作為特征編碼，每種氨基酸類型可以用以下0/1特征向量編碼，如：

式中： B₂₀（A_i） 代表第 i 種氨基酸的二進制編碼，其中 A_i 代表第 i 種氨基酸類型，即第 i 個數字為1時，表示其為第1種氨基酸類型。

1. 2.2 設置掩碼

由于Uniprot數據庫收集的原始數據樣本存在甲基化樣本過少的問題，正樣本和負樣本的比例約為1：5，為了解決該問題，采用設置掩碼的方法[25]增加正樣本的數量。

設 X 為氨基酸序列集合，訓練集 X 中的原序列 A_i 的部分為“NLYLV”，如替換第一個氨基酸，則新序列 B_i 為“XLYLV”，將新序列和原序列合并得到 X^' ，則訓練集中的氨基酸序列擴充到2倍，用公式表示為：

其中： X 和 X^' 分別為原序列集合和替換氨基酸序列的集合； A_i 和 B_i 分別為第 i 條原序列和第 i 條新序列； x_n 為序列中對應位置的氨基酸； x^' 為被替換的氨基酸； X^' 為通過設置掩碼擴充后的數據集。

對應操作如圖1所示，通過這種方法，在氨基酸序列中將一部分氨基酸字母設置為“X”，并將改變后的序列作為一條新的序列加入到正樣本中。這樣不僅可以達到數據集數量擴充的效果，同時，遮蓋一部分氨基酸也能使模型更好地處理其他部分的氨基酸序列。通過實驗，最后選擇參數掩碼率為6，即在包含19個氨基酸的序列中隨機遮蓋6個氨基酸組成新序列。

2 CNN + Bi-LSTM識別模型

2.1 總體結構

本文提出的基于CNN和Bi-LSTM模型的蛋白質甲基化位點識別模型總體結構如圖2所示。模型主要包含兩個并行的分支，即密集連接的CNN和堆疊的Bi-LSTM。

在模型中，首先進行數據預處理，經過編碼的氨基酸序列通過嵌入層轉換為嵌入向量，然后分別使用密集連接的CNN和堆疊Bi-LSTM對嵌入向量進行特征提取，再進行特征融合，最后使用一個全連接層和softmax激活函數得到識別結果，如圖2（a）所示。

其中第一個分支中包含4個串行的CNN塊，具體結構如圖2（b）所示，其中虛線框代表一個卷積塊。另一個分支為堆疊Bi-LSTM，包含2個串行的Bi-LSTM塊，每個塊的主要結構如圖2（c）所示，并在兩個分支的前后分別添加嵌人層和全連接層。

2.2 密集連接的CNN

CNN在圖像處理[26-27]、語音識別[28-29]、故障診斷[30-31]、自然語言處理[32-33]等領域取得了廣泛應用，CNN在甲基化位點識別方面也得到了應用[34]。研究表明，隨著CNN 網絡深度的加深，CNN可能會存在梯度消失的問題，導致一些信息丟失，影響識別結果。為了解決這個問題，本文在每個卷積層的輸入采用了密集連接方式[35]，即：

式中： x_i 代表CNN分支中第 χ_i 個卷積層的輸入向量； H_i 代表一種復合函數，包含第 i 個卷積塊的卷積、批標準化和激活函數的步驟

由于數據集的數量和長度較小，本文提出的使用密集連接的CNN網絡主要由4個卷積層和1個最大池化層組成，其中每個卷積層后面都有BatchNormalization層和Dropout層，三層串聯構成一個卷積塊，用虛線框表示，并用標志不同數字的箭頭表示每個卷積塊之間的輸入和輸出，即密集連接，如圖2

（b）所示。

在模型中，輸入為嵌入層輸出的嵌入向量，在卷積層中，通過卷積操作提取局部特征，通過滑動窗口的方式對整個輸入特征圖進行掃描，形成輸出特征圖。經過批標準化，將每個小批量數據進行歸一化，以減少內部協變量偏移，再使用ReLU激活函數，將輸入映射到一個范圍，避免出現梯度消失或者梯度爆炸的問題，通過dropout層的作用，減少過擬合。在池化層中，CNN通過對輸出特征圖進行降采樣，縮小特征圖的尺寸和數量，減小網絡參數和計算量，最后將該CNN網絡的結果輸出

在密集連接的CNN中，層與層之間的信息傳遞更加流暢，同時也能直接接收到前面所有層的梯度信息，使得梯度可以更加順暢地傳遞，同時提高特征的重用性，減少訓練所需的樣本數，提高模型的表達能力和性能。

2.3 堆疊Bi-LSTM

針對Khanal在甲基化位點識別問題的研究[17]，CNN難以處理序列數據和長距離依賴關系，而且其結構可能會導致一些全局信息的丟失，從而影響模型的整體性能。雖然有學者嘗試使用LSTM和CNN融合的方法解決該問題[19]，通過LSTM基于門控機制和細胞狀態提取了長距離的依賴信息，但其結構是單向的，通過一個循環單元來處理輸入序列，其模型只接收一個輸入，并生成一個輸出和一個隱藏狀態，該隱藏狀態被傳遞到下一時間，忽略了序列中反向的上下文信息，影響了識別結果。

為了解決該問題，在本文模型中，將Bi-LSTM應用到甲基化位點識別中[36-37]，如圖2（c）所示。所應用的Bi-LSTM由兩個LSTM層組成[38-39]，正向和反向的LSTM分別對序列進行處理，以更好地捕捉序列中雙向的依賴關系。

在本文模型中，將預處理后的一維氨基酸序列通過嵌入層轉換為輸入 x_t ，Bi-LSTM網絡包含了正向（Forword）和反向（Backword）的兩個LSTM層，每個LSTM層的核心結構主要由細胞狀態、輸入門、遺忘門和輸出門組成，通過這些結構提取和更新氨基酸序列的特征信息。其中輸入門控制輸入的氨基酸序列的特征信息被加入到細胞狀態中的程度，遺忘門確定前一個時間步細胞狀態保留的特征信息，輸出門調節更新的細胞狀態的哪些部分被輸出，LSTM層的具體的提取特征流程可以由式（4）～（8）表示：

其中： 分別為時間 χ_t 時輸入門、遺忘門、輸出門、細胞狀態的輸出； x_t^'，h_t 分別為輸人向量和隱藏層向量； δ 為sigmoid激活函數； W 和 為權重矩陣和偏置，下標表示類別； W_i 和 b_i 分別為輸入門的權重矩陣和偏置。

本文使用的Bi-LSTM具有兩個平行的LSTM層，兩個LSTM層都以上述相同的流程運行，在時間Ψ_t 時，兩個層分別從相反的方向處理輸入的氨基酸序列，再輸出隱狀態向量的和，最后將Bi-LSTM網絡的結果 y_t 輸出。具體公式為

其中 ?y_t 為Bi-LSTM的輸出； 分別為兩個并行LSTM層在兩個相反方向上的輸出結果； W₁ 和 W₂ 分別為兩個并行LSTM層在正向和反向兩個方向上的權重參數； 為偏置。

在本文的Bi-LSTM模型中，除了LSTM層之外，還添加了Dropout層，其參數設置為0.5。第一層是將其添加到LSTM層的輸入中，即對輸入序列進行隨機丟棄，在保留序列信息的同時，降低模型的計算復雜度。第二層是添加到LSTM層的輸出中，隨機丟棄一定比例的隱狀態，從而提高模型的泛化能力。

3 實驗結果與分析

3.1 數據集與評價指標

本研究中的數據集如1.1所述。分為3個數據集：訓練集、驗證集和測試集。數據集包含2429個正樣本和8483個負樣本，其中正樣本中間位點為精氨酸。

為了驗證所提出的模型，采用F1分數（F_1-score） ，準確性（accuracy，ACC）和馬修斯相關系數（matthews correlation coefficient，MCC）三種評價指標。 F_1-score 和MCC適用于數據集不平衡和需要平衡精確率和召回率的情況，ACC作為識別準確性的指標。使用 F_1-score 、MCC 和ACC作為評價指標，評估模型的準確性和魯棒性。

同時，在與其他模型的對比實驗中還加入了特異性（Specificity， Sp ）和靈敏性（Sensitive， Sn ）作為評價指標，相關公式如下：

式中：TP（truepositive）為正確地識別正樣本的數量，FP（1positive）為錯誤地識別正樣本的數量，TN（truenegative）為正確地識別負樣本的數量，FN（1negative）為錯誤地識別負樣本的數量。

3.2 實驗設置

3.2.1 實驗基本設置

實驗中，損失函數采用交叉熵（crossentropy）損失函數，優化器選用自適應矩估計（adaptivemomentestimation，Adam）優化算法。為防止過擬合采取了隨機失活策略，在CNN中隨機失活率為0.7，在Bi-LSTM中則為0.5。實驗環境為Pytorch1.10.2框架，Python版本為3.6，操作系統為Windows10，GPU型號為RTX3060Laptop，主要設置如表1所示。

3.2.2 窗口大小選擇

研究表明，氨基酸序列的長度、甲基化位點的分布情況、模型的復雜度影響甲基化位點的識別結果編碼窗口大小決定了模型能提取的氨基酸序列的特征長度，為了確定最優的窗口大小，設置了不同的窗口大小值進行實驗，結果如表2所示。

由表2可見，窗口太小會使得模型提取不到充分的特征，窗口太大會導致模型過擬合，當窗口大小為19時，能得到最優的結果，故在后續實驗中選擇窗口大小為19。

3.3 實驗結果與分析

3.3.1 預處理對比實驗

當前，由于蛋白質甲基化位點識別中已標注的數據集正負樣本不平衡，多數學者解決該問題的方法為欠采樣，使負樣本減少到與正樣本相同的數量。這種方法使樣本數據減少，會影響到模型的性能。為了解決正樣本過少的問題，采用設置掩碼的方式進行數據擴充，如1.2.2節所示。

采用欠采樣的方法與設置掩碼的方法進行實驗，數據集說明如表3所示。表3中dataset1（d1）為原始數據集，dateset2（d2）為欠采樣處理后的數據集，dataset3（d3）為進行數據擴充的數據集。為了比較欠采樣和設置掩碼對模型性能的影響，應用了CNN、Bi-LSTM和本文提出的模型（CNN+Bi-LSTM）進行實驗，實驗結果如表4所示。

本文模型表明，使用欠采樣的方法進行預處理，降低了模型的性能，說明當數據集數量較少時，會導致模型無法充分學習到數據樣本的特征。使用設置掩碼的方法進行預處理，模型表現出更好的性能，說明通過設置掩碼的方法擴充數據集，能提升模型的性能和泛化能力。在后續實驗中，使用設置掩碼數據擴充的數據集dataset3。

由表4可見，利用dataset3進行訓練，本文提出的 CNN+Bi -LSTM模型比單一的CNN和Bi-LSTM模型性能好。本文提出的模型比CNN模型在F_1-score?S_ACC 和 S_?MCC 上分別提高了 5.2%.5.5% 和18.4% 。與Bi-LSTM 相比，分別提高了 2.8% ！3.0% 和 11.4% ，說明相比于單一模型，本文提出的模型能更充分地學習氨基酸序列的特征信息

3.3.2 與其他模型的比較與分析

為了進一步驗證所提出模型的性能，使用表3中進行數據擴充的數據集dataset3訓練模型，并與當前其他模型進行對比實驗，實驗結果如表5所示。

如表5所示，本文提出的模型相比于當前的其他模型具有更好的性能。在 F_1-score?S_ACC?S₅ S_sn 和 S_?MCC 上分別達到 0.8494，0.8519，0.9807 和0.7284。這是由于本模型在CNN和Bi-LSTM兩個分支上分別采取了密集連接和堆疊的方法。在Sp值上的性能沒有得到充分的體現，可能受正負樣本數據集不平衡影響。

為了體現模型的穩定性，采用準確率曲線圖和損失函數曲線圖表示訓練過程，結果如圖3所示。

由圖3（a）可以看到，本文模型的準確率在曲線初期存在震蕩，而后逐步提升并趨于穩定。分析圖3（b）損失函數曲線，訓練剛開始下降速度很快，再逐漸轉為慢速降低最后曲線趨于平緩。說明本模型在訓練過程中收斂速度快，具有穩定性，且在測試集中表現良好。

3.4 分析與討論

3.4.1 氨基酸序列的長度分析

據研究，由于氨基酸序列的長度會影響模型的識別結果，說明甲基化的產生與被甲基化氨基酸位點前后的氨基酸組成有關，模型需要最大限度提取氨基酸序列特征的同時，減少對局部特征的學習。

在模型中設置窗口大小進行實驗，最優的窗口大小為19，如表2所示

3.4.2 數據集大小分析

實驗表明，數據集大小會影響模型的性能。本文使用設置掩碼的方式擴展數據集，以增強模型的學習能力和泛化能力。如表3和表4所示，經過掩碼處理能擴充有限的正樣本數據集，提升模型識別蛋白質甲基化位點的效果。

3.4.3 訓練模型類型分析

蛋白質甲基化識別的準確率與模型結構有關，由表4可知，本文提出的混合模型識別準確率高于單一模型，主要原因是氨基酸序列具有結構和序列信息，而單一模型無法很好地處理序列信息，結合兩種模型進行特征提取可以達到更好的識別效果。

4結語

本文針對蛋白質甲基化數據集正樣本過少的問題，提出設置掩碼的處理方式。在此基礎上，提出了基于CNN和Bi-LSTM模型的蛋白質甲基化位點識別方法。模型中，密集連接的CNN使每層的輸人都可以獲得前一層所有的氨基酸序列信息，通過卷積層、批標準化層和池化層對嵌人向量進行特征提取。此后，使用堆疊的Bi-LSTM獲得氨基酸序列信息正向和反向的長期依賴關系和上下文信息，融合兩個分支的特征進行甲基化位點識別。實驗結果驗證了所提出模型的有效性。本文的研究為應用深度學習進行蛋白質甲基化位點的識別提供了新思路。進一步通過高效的識別模型，探索甲基化和構成序列的相關性是今后重點研究方向。

參考文獻：

[1] LEEDY，TEYSSIERC，STRAHLBD，etal. Roleof Protein Methylation in Regulation of Transcription[J]. EndocrineReviews，2005，26（2）：147.

[2] SCHUBERTHL，BLUMENTHALRM，CHENGX.1 Protein Methyltransferases：TheirDistribution Among the Five Structural Classes of AdoMet-Dependent Methyltransferases[M]. Enzymes，2006，24：3.

[3] NORVELL A，MCMAHONSB.Rise oftheRival[J]. Science，2010，327（5968）：964.

[4] BEDFORD M T，RICHARD S. Arginine Methylation： Anemerging Regulator of Protein Function[J].MolecularCell，2005，18（3）：263.

[5] ZHANGJ，JINGL，LI M，et al. Regulation of Histone 19（5） ：3963.

[6]WANG Y P，LEI Q Y. Metabolic Recoding of Epigenetics in Cancer[J]. Cancer Communications，2018，38 （1） ：25.

[7]MENG Lingkuan，CHAN Waisum，HUANG Lei，et al. Mini-review：Recent Advances in Post-translational Modification Site Prediction Based on Deep Learning [J]. Computational and Structural Biotechnology Journal， 2022，20：3522.

[8]YAMADA K，ITO Y. Recent Chemical Approaches for Site-Specific Conjugation of Native Antibodies ： Technologies Toward Next-Generation Antibody-Drug Conjugates [J].Chembiochem，2019，20（21）：2729.

[9]MAHMOOD T，YANG P C. Western Blot： Technique， Theory，and Trouble Shooting[J]. American Journal of the Medical Sciences，2012，4：429.

[10] OSAMA C，DIEGO C， JOHN M. Stable Isotope Labelling Methods in Mass Spectrometry-based Quantitative Proteomics[J]. Journal of Pharmaceutical and Biomedical Analysis，2015，113：2.

[11] CHEN H，XUE Y，HUANG N，et al. MeMo： a Web Tool for Prediction of Protein Methylation Modifications [J].Nucleic Acids，2006，34（suppl_2） ： W249.

[12]SHI SP，QIU JD， SUN X Y，et al. PMeS： Prediction of Methylation Sites Based on Enhanced Feature Encoding Scheme[J]. Plos One，2012，7（6）：e38772.

[13]QIU WR，XIAO X，LIN W Z，et al. iMethyl-PseAAC： Identification of Protein Methylation Sites Via a Pseudo Amino Acid Composition Approach[J]. BioMed Research International，2014（1） ： 947416.

[14]WEN PP，SHI SP，XU HD，et al. Accurate in Silico Prediction of Species-specific Methylation Sites Based on Information Gain Feature Optimization[J]. Bioinformatics，2016，32（20） ：3107.

[15]DENG W，WANG Y，MA L，et al. Computational Prediction of Methylation Types of Covalently Modified Lysine and Arginine Residues in Proteins[J]. Briefings in Bioinformatics，2017，18（4） ：647.

[16]WEIL，XING P，SHI G，et al.Fast Prediction of Protein Methylation Sites Using a Sequence-based Feature Selection Technique[J]. IEEE/ACM Transactions on Computational Biology and Bioinformatics，2017，16：1264.

[17] KHANAL J，TAYARA H， ZOU Q，et al. Identifying DNA N4-methylcytosine Sites in the Rosaceae Genome with a Deep Learning Model Relying on Distributed Feature Representation[J]. Computational and Structural BiAssessment of Computational Predictors for Lysine Posttranslational Modification Sites[J].Briefings in Bioinformatics，2018，20（6） ： 2267.

[19] CHAUDHARI M， THAPA N，ROY K，et al. Deep RMethyl Site：A Deep Learning Based Approach for Prediction of Arginine Methylation Sites in Proteins[J].Molecular Omics，2020，16（5） ： 448.

[20]LUMBANRAJA F R，MAHESWORO B， CENGGORO T W，et al. SSMFN： A Fused Spatial and Sequential Deep Learning Model for Methylation Site Prediction[J]. PeerJ Computer Science， 2021，7： e683.

[21] SONG L，XU Y，WANG M，et al. Pre Car - Deep：A Deep Learning Framework for Prediction of Protein Carbonylation Sites Basedon Borderline-SMOTE Strategy [J].Chemometrics and Intelligent Laboratory Systems， 2021， 218：104428.

[22]APWEILER R，BAIROCH A，WU CH，et al. Uni Prot ： the Universal Protein Knowledge Base[J]. Nucleic Acids Research，2004，32（suppl_1） ： D115.

[23]EMRAH H， XUE B， ZHANG M J. Differential Evolution for Filter Feature Selection Based on Information Theory and Feature Ranking[J]. Knowledge-Based Systems， 2018，140：103.

[24]BASITH S，MANAVALAN B，HWAN SHIN T，et al. Machine Intelligence in Peptide Therapeutics：A Nextgeneration Tool for Rapid Disease Screening[J]. Med Res Rev，2020，40：1276.

[25]ZHENG Z W，NGUYENQ，KHANH L，et al.Mask DNA-PGD： An Innovative Deep Learning Model for Detecting DNA Methylation by Integrating Mask Sequences and Adversarial PGD Training as a Dataaugmentation Method[J]. Chemometrics and Intellgent Laboratory Systems，2023，232：104715.

[26] PATHAK D，KRAHENBUHL P，DONAHUE J，et al. Context Encoders ： Feature Learning by Inpainting[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016：2536.

[27］王衛兵，王卓，徐倩，等．基于三維卷積神經網絡的肺 結節分類[J]．哈爾濱理工大學學報，2021，26（4）：87. WANG Weibing，WANG Zhuo， XU Qian， et al. Lung Nodule Classification Based on 3D Convolutional Neural Network[J]. Journal of Harbin University of Science and Technology，2021，26（4） ：87.

[28]LIM C L P，WOO W L，DLAY S S，et al. Heartrate-dependent Heartwave Biometric Identification with Thresholding-based GMM-HMM Methodology[J]. IEEE Transactions on Industrial Informatics，2018，15（1） ： 45.

[29]ZIMMERMANN M，MEHDIPOUR GHAZI M，EKENEL H K，et al. Visual Speech Recognition Using PCA NetworksandLSTMsina TandemGMM-HMMSystem[C]// Computer Vision-ACCV 2016 Workshops： ACCV 2016 International Workshops，Taipei， Taiwan，2017：264.

[30］柳秀，馬善濤，謝怡寧，等．面向軸承故障診斷的深度 學習方法［J]．哈爾濱理工大學學報，2022，27 （4） ：118. LIU Xiu，MA Shantao，XIE Yining，et al. Deep Learning Method for Bearing Fault Diagnosis[J]. Journal of HarbinUniversityof ScienceandTechnology，2022， 27（4）：118.

[31］馬明晗，侯岳佳，李永剛，等．基于MSK-CNN和多源機 電信息融合的同步發電機故障診斷方法［J]．電機與 控制學報，2023（1）：1. MA Minghan，HOU Yuejia，LI Yonggang，et al. Synchronous Generator Fault Diagnosis Method Based on MSKCNN and Multi-source Electromechanical Information Fusion[J]. Electric Machines and Control，2O23（1）：1.

[32]JOHNSON R，ZHANG T. Semi-supervised Convolutional Neural Networks for Text Categorization Via Region Embedding[J]. Advances in Neural Information Processing Systems，2015，28.

[33]WANG P，XUJ，XU B，et al. Semantic Clustering and Convolutional Neural Network for Short Text Categorization[C]// Meeting of the Association for Computational Linguistics and the，International Joint Conference on Natural Language Processing，2015：352.

[34]MOSTAVI M， SALEKIN S，HUANG Y. Deep ?2^′ -O-Me： Predicting 2^′ -O-methylation Sitesby Convolutional Neural Networks[C]//4Oth Annual International Conference of the IEEE Engineering in Medicine and Biology Society， 2018： 2394.

[35]HUANG G，LIU Z，VAN DER MAATEN，et al. Denselyconnected Convolutional Networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition（CVPR），2017：4700.

[36] LE T， VO MT， VO B， et al. Improving Electric Energy Consumption Prediction Using CNN and Bi-LSTM[J]. Applied Sciences，2019，9（20）：4237.

[37]SUN Qingnan，JANKOVIC M，BALLY L，et al. Predicting Blood Glucose with an LSTM and Bi-LSTM Based Deep Neural Network ［J].Institute of Electrical and Electronics Engineers，2018：1.

[38]GRAVES A，SCHMIDHUBER J. Framewise Phoneme Classification with Bidirectional LSTMNetworks[C]// IEEE International Joint Conference on Neural Networks. IEEE，2005：2047.

[39]HOCHREITER S，SCHMIDHUBER J. Long Short-Term Memory[J]. Neural Computation，1997，9（8） ：1735. （編輯：溫澤宇）