基于序列的蛋白質(zhì)二面角預(yù)測(cè)研究綜述

鄭美麗，朱 琪，張步忠,2

(1.安慶師范大學(xué) 計(jì)算機(jī)與信息學(xué)院，安徽 安慶 246013;2.蘇州大學(xué) 江蘇省計(jì)算機(jī)信息處理技術(shù)重點(diǎn)實(shí)驗(yàn)室，江蘇 蘇州 215006)

0 引 言

蛋白質(zhì)是由氨基酸縮水鏈接成的一種有機(jī)復(fù)合物，一個(gè)氨基酸殘基的基本構(gòu)成有中心Cα原子、氨基(-NH2)、羧基(-COOH)、氫鍵(-H)和側(cè)鏈R基團(tuán)。蛋白質(zhì)三維結(jié)構(gòu)中，骨架主鏈上的二面角很大程度上反映了三維構(gòu)象。一個(gè)氨基酸殘基通常對(duì)應(yīng)兩個(gè)二面角(首尾殘基除外)[1]，φ(phi)和ψ(psi)，范圍在-180°至180°之間。圍繞N-Ca的C-N-Ca-C原子構(gòu)成φ二面角，圍繞Ca-C鍵的N-Ca-C-N構(gòu)成ψ二面角，實(shí)例如圖1所示。蛋白質(zhì)主鏈二面角(φ,ψ)是蛋白質(zhì)結(jié)構(gòu)的一部分，研究蛋白質(zhì)二面角對(duì)于蛋白質(zhì)功能的研究具有重要的意義。諾貝爾獎(jiǎng)獲得者Anfinsen[2]的實(shí)驗(yàn)表明，蛋白質(zhì)的結(jié)構(gòu)信息包括二面角蘊(yùn)含于其序列之中，從而表明從序列出發(fā)進(jìn)行蛋白質(zhì)二面角預(yù)測(cè)是可行的。

圖1 蛋白質(zhì)二面角

骨架二面角作為一種重要的結(jié)構(gòu)約束，它對(duì)主鏈構(gòu)象變化的影響遠(yuǎn)大于鍵長(zhǎng)和鍵角，在蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)的空間進(jìn)行采樣以研究蛋白質(zhì)折疊和細(xì)化中起著關(guān)鍵作用，準(zhǔn)確預(yù)測(cè)骨架二面角可以加速對(duì)低能結(jié)構(gòu)構(gòu)象空間的有效采樣，大大推進(jìn)三級(jí)結(jié)構(gòu)預(yù)測(cè)。

1 特征表示和數(shù)據(jù)集

1.1 序列表示

蛋白質(zhì)序列殘基的表示，主要有位置特異性評(píng)分矩陣[3](PSSM)、隱馬爾可夫模型打分矩陣[4](HMM)、物理化學(xué)性質(zhì)[5](PP)、蛋白質(zhì)二級(jí)結(jié)構(gòu)[6](SS)、溶劑可及性[7](SA)、序列編碼[8](SC)等。

1.1.1 位置特異性評(píng)分矩陣

序列進(jìn)化信息對(duì)揭示蛋白質(zhì)結(jié)構(gòu)和功能非常重要。多序列比對(duì)方法PSI-BLAST[9]產(chǎn)生的位置特異性評(píng)分矩陣能揭示序列進(jìn)化信息，被廣泛應(yīng)用在蛋白質(zhì)相關(guān)的生物信息學(xué)中。如式(1)所示，PSSM是形如L×20的矩陣，其中L是蛋白質(zhì)序列長(zhǎng)度，行是序列中殘基，列是現(xiàn)有20種氨基酸。P(i→j)表示序列中第i個(gè)殘基突變?yōu)榈趈種氨基酸殘基的概率。對(duì)于將PSSM數(shù)據(jù)作為序列表示，還需進(jìn)行歸一化處理。

(1)

1.1.2 隱馬爾可夫模型評(píng)分矩陣

在多序列比對(duì)中，HH-suite[10]套件中的HHblits基于其專(zhuān)用格式的多序列數(shù)據(jù)庫(kù)，通過(guò)聚類(lèi)UniProt或者NR庫(kù)，將序列長(zhǎng)度對(duì)齊性80%以上、相似度20%以上的序列聚集，并生成對(duì)應(yīng)的HMM特征文件。通過(guò)HHsearch/HHblits生成的HMM格式中，HMM數(shù)據(jù)部分表示的是該位置殘基向?qū)?yīng)殘基變異的發(fā)生概率，用-1 000*lb(frequency)表示成正整數(shù)，“*”表示零。隨后的一行是10種轉(zhuǎn)移概率。在作為數(shù)據(jù)特征表示時(shí)，可取前30列。

1.1.3 氨基酸的物理化學(xué)特性

蛋白質(zhì)其物理化學(xué)性質(zhì)一部分與氨基酸相似，一部分在特定環(huán)境下具有特定的性質(zhì)。在蛋白質(zhì)結(jié)構(gòu)特性預(yù)測(cè)中，常用的氨基酸理化性質(zhì)有：空間參數(shù)、極化率、體積、疏水性、等電點(diǎn)、螺旋概率和片概率，具體取值參見(jiàn)文獻(xiàn)[5]。

1.1.4 序列編碼

蛋白質(zhì)一級(jí)序列是字母編碼，對(duì)一級(jí)序列常用0-1編碼表示，多數(shù)用21或22維向量的正交編碼。由于該編碼形式只有一個(gè)非零向量，不利于梯度優(yōu)化類(lèi)算法值更新，Zhang[11]采用自編碼器方式將0-1稀疏向量映射到稠密向量，計(jì)算方法如式(2)，用h表示新的編碼。

(2)

1.1.5 其 它

蛋白質(zhì)結(jié)構(gòu)決定功能，描述其空間特性的二級(jí)結(jié)構(gòu)、溶劑可及表面積、殘基接觸圖[12](Contact Map，CM)、多序列比對(duì)信息(MMseqs2)等也應(yīng)用到了二面角預(yù)測(cè)中。OPUS-TASS和OPUS-TASS2方法還使用獨(dú)特的PSP[13](Potential Based On Side Chain Packing)特征。為方便對(duì)比，表1列出了近年來(lái)的典型預(yù)測(cè)算法的特征表示。

表1 預(yù)測(cè)方法的輸入特征

1.2 輸 出

蛋白質(zhì)二面角預(yù)測(cè)值表示主要有：數(shù)值(已歸一化)，二面角的正弦和余弦函數(shù)值。SPINE X、Real-SPINE、Real-SPINE 2.0、Real-SPINE 3.0、DANGLE等方法輸出都是將二面角進(jìn)行歸一化。SPIDER 2、SPIDER 3、SPIDER3-Single、DeepRIN、RaptorX-Angle、SPOT-1D、ProteinUnet、CRRNN2、SPOT-1D-single等通過(guò)輸出二面角的正弦、余弦函數(shù)來(lái)消除角度周期性，再通過(guò)公式α=tan-1[sinα/cosα]還原二面角。DESTRUCT、ANGLOR則是直接輸出二面角的角度。

1.3 評(píng)價(jià)指標(biāo)

二面角預(yù)測(cè)評(píng)價(jià)標(biāo)準(zhǔn)有皮爾遜相關(guān)系數(shù)(PCC)、平均絕對(duì)誤差(MAE)、均方根誤差(RMSE)等。在進(jìn)行蛋白質(zhì)二面角預(yù)測(cè)評(píng)價(jià)時(shí)，對(duì)預(yù)測(cè)值P'和真實(shí)值E之間的差值通常先按式(3)將二面角進(jìn)行角度變換，其中P'是預(yù)測(cè)二面角的原始值。PCC、MAE、RMSE分別通過(guò)式(4)～(6)計(jì)算。

(3)

(4)

(5)

(6)

1.4 數(shù)據(jù)集

1.4.1 訓(xùn)練集

訓(xùn)練集多數(shù)來(lái)自PISCES CullPDB[33]挑選的數(shù)據(jù)集，序列之間的相似度一般低于30%。也常從PDB蛋白質(zhì)數(shù)據(jù)庫(kù)中直接抽取序列并篩選用作訓(xùn)練集。

1.4.2 測(cè)試集

對(duì)模型泛化性能進(jìn)行測(cè)試用的數(shù)據(jù)集，多數(shù)來(lái)自一些公開(kāi)數(shù)據(jù)集，如CB513、CASP(10-14)數(shù)據(jù)集等。另一種是算法提出者給出的測(cè)試集合，如TEST2016、TEST2018[27]、CASP-FM56[34]等。表2和表3分別給出了近年來(lái)的預(yù)測(cè)方法對(duì)(φ,ψ)二面角的預(yù)測(cè)性能，測(cè)試數(shù)據(jù)用CASP公共數(shù)據(jù)集。“FM”表示數(shù)據(jù)集中是無(wú)模板序列，預(yù)測(cè)難度更大。對(duì)比指標(biāo)用PCC和MAE，“-”表示指標(biāo)缺失。

表2 φ角在各測(cè)試集的評(píng)價(jià)指標(biāo)

續(xù)表2

表3 ψ角在各測(cè)試集的評(píng)價(jià)指標(biāo)

ψ角的預(yù)測(cè)難度高于φ角。從預(yù)測(cè)結(jié)果看，自Spider 3起的深度學(xué)習(xí)方法均取得了更優(yōu)性能，一方面是訓(xùn)練數(shù)據(jù)更多，另外一方面參數(shù)更多的深度學(xué)習(xí)方法得到充分訓(xùn)練后，泛化性能更好。特別地，OPUS-TASS2性能最好，其次分別是OPUS-TASS和SPOT-1D。這三個(gè)方法都是參數(shù)規(guī)模大的集成模型，SPOT-1D和OPUS-TASS混合使用長(zhǎng)短期記憶網(wǎng)絡(luò)[35](Long-Short Term Memory，LSTM)、卷積神經(jīng)網(wǎng)絡(luò)[36](Convolutional Neural Networks，CNN)和殘差網(wǎng)絡(luò)[37](Residual Neural Network，ResNet)；OPUS-TASS2進(jìn)一步融合Transformer[38]。SPOT-1D和OPUS-TASS2都將Contact map作為輸入。

2 二面角預(yù)測(cè)

二面角預(yù)測(cè)可歸類(lèi)為回歸問(wèn)題，隨著蛋白質(zhì)已知結(jié)構(gòu)的數(shù)據(jù)集增多，機(jī)器學(xué)習(xí)方法已應(yīng)用到該問(wèn)題中。

2.1 傳統(tǒng)機(jī)器學(xué)習(xí)方法

二面角預(yù)測(cè)引入到計(jì)算領(lǐng)域最初是作為輔助手段提升二級(jí)結(jié)構(gòu)預(yù)測(cè)性能。2000年Bystroff[39]提出用隱馬爾可夫模型預(yù)測(cè)二面角構(gòu)象，將(φ,ψ)映射到10個(gè)區(qū)域和1個(gè)順式肽結(jié)構(gòu)。2004年，Kuang等[40]用支持向量機(jī)和神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)二面角構(gòu)象，將(φ,ψ)映射到(A,B,G,E)四個(gè)區(qū)域。

2005年Wood等[14]提出DESTRUCT方法，用級(jí)聯(lián)反饋輸入策略構(gòu)建三個(gè)神經(jīng)網(wǎng)絡(luò)，預(yù)測(cè)二級(jí)結(jié)構(gòu)和ψ二面角，但其關(guān)注點(diǎn)依然在二級(jí)結(jié)構(gòu)。2008年，Wu和Zhang[15]提出ANGLOR方法，用PSSM和計(jì)算軟件預(yù)測(cè)的二級(jí)結(jié)構(gòu)、溶劑可及性作為輸入，用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)φ角、支持向量機(jī)預(yù)測(cè)ψ角。2009年Shen等[41]提出TALOS+模型，利用兩級(jí)前饋神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)(φ,ψ)二面角。

2012年Song等[17]提出TANGLE，用兩階段的支持向量回歸(SVR)策略預(yù)測(cè)骨架二面角。TANGLE不依賴(lài)已知結(jié)構(gòu)信息，輸入是PSSM和PSIPred軟件預(yù)測(cè)的二級(jí)結(jié)構(gòu)、Scratch預(yù)測(cè)的溶劑可及性、Disopred2預(yù)測(cè)的固有無(wú)序信息、序列長(zhǎng)度以及序列權(quán)重，輸入到第一階段SVR后，預(yù)測(cè)結(jié)果再輸入第二階段的SVR。Song還綜合驗(yàn)證了輸入窗口尺寸和輸入特征組合對(duì)性能的影響。TANGLE完全從一級(jí)序列出發(fā)以及兩階段訓(xùn)練、逐步求精的策略，對(duì)后續(xù)研究工作有深刻的影響。

2010年，Cheung等[42]提出DANGLE模型，用貝葉斯生成模型預(yù)測(cè)二面角。利用殘基鍵化學(xué)位移特性，將(φ,ψ)二面角映射到36×36的10°方格拉氏空間(Ramachandran Space)圖中。利用貝葉斯公式計(jì)算查詢(xún)散布模式(Query Scatter Pattern，QSP)下的(φ,ψ)概率。

限于計(jì)算資源和已知蛋白質(zhì)三維結(jié)構(gòu)不多等因素，傳統(tǒng)計(jì)算方法性能有待改進(jìn)。但給本問(wèn)題研究提供了參考意義。

2.2 深度學(xué)習(xí)方法

近年來(lái)，深度學(xué)習(xí)方法由于其良好的泛化性能，廣泛應(yīng)用在多個(gè)領(lǐng)域。2014年，Lyons等[43]用深度稀疏自編碼器堆疊的模型SPIDER預(yù)測(cè)骨架Cα上的θ和τ二面角。2015年Heffernan等[21]提出的SPIDER2可以預(yù)測(cè)蛋白質(zhì)二級(jí)結(jié)構(gòu)、二面角和溶劑可及表面積。SPIDER2模型結(jié)構(gòu)和SPIDER一樣，在訓(xùn)練時(shí)進(jìn)行三次迭代，上一次訓(xùn)練結(jié)果作為下一次迭代訓(xùn)練的輸入。實(shí)驗(yàn)表明迭代式訓(xùn)練能有效提升模型泛化性能。

2017年，Li等[44]將受限的玻爾茲曼機(jī)(RBM)與深度神經(jīng)網(wǎng)絡(luò)結(jié)合，設(shè)計(jì)出了深度遞歸RBM(DReRBM)模型。在受限的玻爾茲曼機(jī)的基礎(chǔ)上，將上一次的輸出ht-1作為本次輸入，充分?jǐn)M合了蛋白質(zhì)序列上下游環(huán)境。DReRBM模型由輸入層、隱藏層和輸出層組成，多個(gè)RBM堆棧在其中，以一種逐步的方式訓(xùn)練，一個(gè)訓(xùn)練過(guò)的RBM的隱藏?cái)?shù)據(jù)作為可見(jiàn)的輸入數(shù)據(jù)饋送給下一個(gè)RBM，模型梯度計(jì)算通過(guò)吉布斯采樣完成。

2017年，Heffernan等[22]提出SPIDER3模型預(yù)測(cè)蛋白質(zhì)二級(jí)結(jié)構(gòu)、溶劑可及性、接觸圖和二面角。SPIDER3由兩層雙向長(zhǎng)短期記憶網(wǎng)絡(luò)[45](BLSTM)構(gòu)建。SPIDER3和SPIDER2一樣，采用迭代訓(xùn)練的策略，上一輪輸出作為下一輪輸入，共迭代了4次。SPIDER3分別訓(xùn)練了回歸和分類(lèi)模型。BLSTM能記憶前向和后向兩個(gè)方向的時(shí)序輸入信息，較好地?cái)M合了蛋白質(zhì)序列殘基和左右上下文相關(guān)的特性，能夠?qū)W習(xí)距離較遠(yuǎn)和距離較近的序列內(nèi)的依賴(lài)關(guān)系。

卷積神經(jīng)網(wǎng)絡(luò)[36]結(jié)合殘差網(wǎng)絡(luò)[37]，通過(guò)網(wǎng)絡(luò)層加深提升長(zhǎng)范圍特征感知。2018年，Gao等[24]提出了RaptorX-Angle模型。RaptorX-Angle中堆疊了多個(gè)殘差塊。結(jié)合K-means算法，首先，從訓(xùn)練數(shù)據(jù)中生成一組(φ,ψ)的聚類(lèi)，從中可以得到每個(gè)聚類(lèi)的分布；然后，利用深度學(xué)習(xí)方法對(duì)離散標(biāo)簽進(jìn)行預(yù)測(cè)；最后，通過(guò)混合經(jīng)驗(yàn)聚類(lèi)及其預(yù)測(cè)概率來(lái)預(yù)測(cè)實(shí)際二面角值。

另一典型CNN結(jié)構(gòu)模型是Fang等[25]在2018年提出的DeepRIN。DeepRIN結(jié)合Inception ResNet，構(gòu)建殘差I(lǐng)nception塊，并堆疊兩層殘差I(lǐng)nception塊。DeepRIN用小窗口卷積來(lái)提高網(wǎng)絡(luò)的計(jì)算效率。DeepRIN使用9 000條訓(xùn)練數(shù)據(jù)，并將每條序列長(zhǎng)度對(duì)齊到700，輸入不再使用窗口形式。

鑒于RNN在長(zhǎng)范圍特征獲取的優(yōu)勢(shì)、CNN局部特性獲取和ResNet便捷殘差傳遞的特點(diǎn)，多數(shù)模型結(jié)合三者用于預(yù)測(cè)二面角。2019年Klausen等[28]提出了NetSurfP-2.0模型，預(yù)測(cè)殘基的溶劑可及性、二級(jí)結(jié)構(gòu)、無(wú)序蛋白和骨架二面角。NetSurfP-2.0輸入是HMM特征和序列編碼，分別經(jīng)過(guò)32個(gè)卷積核129、257的CNN后，輸入兩層BLSTM網(wǎng)絡(luò)，BLSTM單向1 024個(gè)單元。NetSurfP-2.0使用了10 337條訓(xùn)練序列，其參數(shù)規(guī)模也達(dá)到了3 400萬(wàn)，過(guò)多網(wǎng)絡(luò)參數(shù)給訓(xùn)練和預(yù)測(cè)帶來(lái)了不便。

2019年，Kim等[46]提出使用生成對(duì)抗網(wǎng)絡(luò)(GAN)進(jìn)行二面角預(yù)測(cè)，訓(xùn)練了GAN的鑒別器來(lái)估計(jì)密度，但模型的顯式密度不易處理。因此，引入噪聲對(duì)比估計(jì)(Noise-Contrastive Estimation，NCE)來(lái)估計(jì)非歸一化統(tǒng)計(jì)模型的歸一化常數(shù)，即引入了噪聲對(duì)比估計(jì)生成對(duì)抗網(wǎng)絡(luò)(NCE-GAN)，通過(guò)從已知分布(如噪聲對(duì)比估計(jì))中輸入噪聲樣本，并為鑒別器添加相應(yīng)的類(lèi)，從而實(shí)現(xiàn)生成對(duì)抗網(wǎng)絡(luò)的顯式密度估計(jì)。

2019年，Hanson等[27]提出SPOT-1D模型，預(yù)測(cè)蛋白質(zhì)二級(jí)結(jié)構(gòu)、二面角、溶劑可及性和殘基接觸數(shù)(Contact Number)。SPOT-1D的輸入在PSSM、HMM特征和理化性質(zhì)的基礎(chǔ)上，將預(yù)測(cè)的接觸圖作為輸入改進(jìn)模型泛化性能。SPOT-1D利用BLSTM和ResNet混合模型的集成來(lái)識(shí)別和傳播整個(gè)序列的短期和長(zhǎng)期依賴(lài)，SPOT-1D由9個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的模型集成。SPOT-1D訓(xùn)練集包含10 029條序列，分別訓(xùn)練了分類(lèi)和回歸兩類(lèi)模型，總模型文件大小10 GB左右。SPOT-1D在多個(gè)任務(wù)上均取得較好性能，但其龐大的模型不利于在生物領(lǐng)域應(yīng)用開(kāi)展。

2020年，Xu等[31]提出的OPUS-TASS性能比SPOT-1D更好。OPUS-TASS輸入為PSSM、HMM、理化性質(zhì)和19位PSP，分別送到5層CNN網(wǎng)絡(luò)、2層Transformer網(wǎng)絡(luò)(編碼部分)，兩部分合并得到228維的數(shù)據(jù)再送給4層BLSTM網(wǎng)絡(luò)。OPUS-TASS分別集成7個(gè)模型用于分類(lèi)和回歸預(yù)測(cè)。OPUS-TASS模型文件3.7 GB，比SPOT-1D要小，但依然對(duì)實(shí)際應(yīng)用的資源要求較高。

2018年，Heffernan等提出了僅使用序列信息的SPIDER3-Single[23]模型，SPIDER3-Single的網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練方法與SPIDER3類(lèi)似，不同的是僅用了20維序列編碼作為輸入。但SPIDER3-Single模型泛化性能和SPIDER3相比還是有較大差距。2021年Kotowski等[29]提出ProteinUnet模型，ProteinUnet輸入和SPIDER3-Single一樣，但大幅度提升了預(yù)測(cè)性能。

2021年，Singh等[30]同樣提出了面向單序列輸入的SPOT-1D-Single模型。SPOT-1D-Single集成了三個(gè)不同的結(jié)構(gòu)模型，也分別面向分類(lèi)和回歸訓(xùn)練。SPOT-1D-Single使用39 120條訓(xùn)練序列。SPOT-1D-Single泛化性能不如SPOT-1D，但已超越ProteinUnet，并已有了一定的實(shí)用價(jià)值。

3 展 望

通過(guò)上述分析，計(jì)算方法特別是深度學(xué)習(xí)預(yù)測(cè)二面角，取得了較好進(jìn)展，但預(yù)測(cè)性能依然有提升空間，針對(duì)相關(guān)研究，可以從以下幾個(gè)方面進(jìn)行思考：

(1)單序列輸入更方便生物學(xué)人員使用。現(xiàn)有模型多依賴(lài)PSSM、HMM等多序列比對(duì)信息，對(duì)非專(zhuān)業(yè)人員要求高。僅有序列編碼信息的單序列模型，對(duì)生物學(xué)人員更友好，而單序列輸入模型性能還有待提高。

(2)需要設(shè)計(jì)對(duì)計(jì)算資源依賴(lài)更少的模型。在泛化性能一致時(shí)，輕量級(jí)模型更方便用戶使用，推理時(shí)對(duì)計(jì)算資源依賴(lài)更少。

(3)可將多個(gè)問(wèn)題聯(lián)合解決。二面角、二級(jí)結(jié)構(gòu)、接觸圖等蛋白質(zhì)結(jié)構(gòu)層面問(wèn)題，相互依賴(lài)。如二級(jí)結(jié)構(gòu)預(yù)測(cè)性能提升，同樣能推動(dòng)二面角預(yù)測(cè)性能。將預(yù)測(cè)得到的接觸圖等信息作為模型輸入，同樣也能提升二面角、二級(jí)結(jié)構(gòu)預(yù)測(cè)性能。

(4)訓(xùn)練樣本依然偏少。截至到2022年4月，PDB數(shù)據(jù)庫(kù)中通過(guò)生物實(shí)驗(yàn)手段解析的已知蛋白質(zhì)結(jié)構(gòu)10.66萬(wàn)條。這些數(shù)據(jù)無(wú)法支持類(lèi)似BERT大規(guī)模模型訓(xùn)練，需要設(shè)計(jì)對(duì)序列特性捕獲更好的深度學(xué)習(xí)模型。

4 結(jié)束語(yǔ)

蛋白質(zhì)骨架二面角是蛋白質(zhì)結(jié)構(gòu)的重要屬性，高精度地預(yù)測(cè)蛋白質(zhì)骨架二面角以加速對(duì)三維結(jié)構(gòu)構(gòu)象空間的有效采樣，對(duì)蛋白質(zhì)三級(jí)結(jié)構(gòu)預(yù)測(cè)具有重要意義。該文對(duì)蛋白質(zhì)骨架二面角預(yù)測(cè)算法的發(fā)展和領(lǐng)域內(nèi)最新研究進(jìn)行了綜述，從序列表征、輸出、數(shù)據(jù)集、結(jié)構(gòu)框架等方面介紹算法。同時(shí)，對(duì)當(dāng)前二面角預(yù)測(cè)存在的問(wèn)題進(jìn)行了思考。