ProTAMAR用于識別蛋白質(zhì)序列的扭轉(zhuǎn)角

摘" 要： 蛋白質(zhì)的扭轉(zhuǎn)角控制著蛋白質(zhì)的空間構(gòu)象和功能。為了提升蛋白質(zhì)序列的扭轉(zhuǎn)角預(yù)測性能，本文提出一種新的深度學(xué)習(xí)模型ProTAMAR。在傳統(tǒng)蛋白質(zhì)序列編碼和多序列對比結(jié)果的基礎(chǔ)上，通過引入蛋白質(zhì)預(yù)訓(xùn)練編碼以捕獲高維特征表示，設(shè)計多頭注意力機(jī)制和擴(kuò)張卷積模塊用于提取全局序列信息和局部上下文信息。在蛋白質(zhì)基準(zhǔn)數(shù)據(jù)集中廣泛測試，ProTAMAR模型優(yōu)異。通過實驗證實本文設(shè)計的預(yù)訓(xùn)練特征和引入的網(wǎng)絡(luò)框架為蛋白質(zhì)序列扭轉(zhuǎn)角預(yù)測任務(wù)提供了更具價值的生物學(xué)線索和更高效的提取方式。

關(guān)鍵詞： 蛋白質(zhì)； 扭轉(zhuǎn)角； 多頭自注意力機(jī)制； 擴(kuò)張卷積； ProteinBERT

中圖分類號：TP311.1" " " " " 文獻(xiàn)標(biāo)識碼：A" " "文章編號：1006-8228（2023）12-24-05

ProTAMAR for identifying the torsion angle of protein sequences

Jiang Bowen

（School of Computer Science and Technology， Zhejiang Sci-Tech University， Hangzhou， Zhejiang 310018， China）

Abstract： The torsion angle of proteins controls the spatial conformation and function of proteins. To improve the performance of torsion angle prediction of protein sequences， a new deep learning model， ProTAMAR， is proposed. Based on the traditional protein sequence coding and multiple sequence comparison results， a protein pre-training coding is introduced to capture high-dimensional feature representation， and a multi-headed attention mechanism and a dilated convolution module are designed for extracting global sequence information and local contextual information. The ProTAMAR model is tested extensively in protein benchmark datasets with excellent results. It is experimentally confirmed that the pre-trained features designed and the network framework introduced in this paper provide more valuable biological cues and more efficient extraction for protein sequence torsion angle prediction tasks.

Key words： protein; torsion angle; multi-headed self attentive mechanism; dilated convolution; ProteinBERT

0 引言

蛋白質(zhì)扭轉(zhuǎn)角[1]是氨基酸殘基在蛋白質(zhì)三維結(jié)構(gòu)中的主鏈二面角，其用于分析蛋白質(zhì)中氨基酸殘基的空間構(gòu)象[2]。蛋白質(zhì)的三維結(jié)構(gòu)與蛋白質(zhì)功能密切相關(guān)，而蛋白質(zhì)扭轉(zhuǎn)角是三維結(jié)構(gòu)的一種非常重要的結(jié)構(gòu)約束。因此，蛋白質(zhì)扭轉(zhuǎn)角的準(zhǔn)確預(yù)測，對分析蛋白質(zhì)結(jié)構(gòu)具有至關(guān)重要的作用。

蛋白質(zhì)扭轉(zhuǎn)角研究的意義主要體現(xiàn)在以下幾個方面。①分析蛋白質(zhì)穩(wěn)定性：蛋白質(zhì)的穩(wěn)定性依賴于其立體構(gòu)象，而蛋白質(zhì)扭轉(zhuǎn)角可用于預(yù)測蛋白質(zhì)結(jié)構(gòu)的穩(wěn)定性，有助于設(shè)計更穩(wěn)定的蛋白質(zhì)。②解析蛋白質(zhì)的功能：蛋白質(zhì)扭轉(zhuǎn)角可用于解析蛋白質(zhì)中氨基酸殘基的構(gòu)象，有助于理解蛋白質(zhì)的功能。③設(shè)計新的蛋白質(zhì)：蛋白質(zhì)扭轉(zhuǎn)角研究為設(shè)計新的蛋白質(zhì)提供指導(dǎo)。通過研究不同氨基酸殘基的構(gòu)象及其相互作用，可以設(shè)計具有特定功能的蛋白質(zhì)。

總之，蛋白質(zhì)扭轉(zhuǎn)角的研究對于加深對蛋白質(zhì)結(jié)構(gòu)和功能的理解，以及促進(jìn)蛋白質(zhì)研究的發(fā)展具有重要意義。

1 相關(guān)工作

隨著蛋白質(zhì)數(shù)據(jù)庫的擴(kuò)展和深度學(xué)習(xí)算法的發(fā)展[3]，計算能力的提升使得生物學(xué)領(lǐng)域的關(guān)鍵問題得以解決。蛋白質(zhì)骨架結(jié)構(gòu)用二面角[φ]、[ψ]和[ω]來表示。對于大多數(shù)蛋白質(zhì)，[ω]為固定值，故研究目標(biāo)轉(zhuǎn)換為[φ]和[ψ]。最近，Alpha Fold[4]已突破性地預(yù)測出蛋白質(zhì)三維結(jié)構(gòu)，但扭轉(zhuǎn)角仍然對蛋白質(zhì)功能有重要影響，因此蛋白質(zhì)扭轉(zhuǎn)角預(yù)測仍具有意義。

目前已開發(fā)出扭轉(zhuǎn)角預(yù)測方法包括：SPIDER2[5]方法用于使用迭代神經(jīng)網(wǎng)絡(luò)預(yù)測扭轉(zhuǎn)角。DeepRIN[6]是基于Inception和ResNet網(wǎng)絡(luò)的體系結(jié)構(gòu)設(shè)計的。MUFOLD[7]開發(fā)了一種基于深度神經(jīng)網(wǎng)絡(luò)的模型，用于預(yù)測扭轉(zhuǎn)角角度分類。RAPTROX Angle[8]結(jié)合了K均值聚類和深度學(xué)習(xí)技術(shù)來預(yù)測扭轉(zhuǎn)角。SPOT-1D[9]引入接觸圖作為特征來預(yù)測扭轉(zhuǎn)角。OPUS-TASS[10]是基于自注意力機(jī)制的Transformer和CNN模塊的網(wǎng)絡(luò)架構(gòu)開發(fā)的，用于六種不同的任務(wù)的預(yù)測，包括二級結(jié)構(gòu)、骨架扭轉(zhuǎn)角（TA）、局部骨架結(jié)構(gòu)的離散描述符（CSF3）[11]、溶劑可及表面積（ASA）和側(cè)鏈二面角（SDA）。最新方法SAP4SS[12]引入8態(tài)二級結(jié)構(gòu)作為模型訓(xùn)練的特征，并使用全連接的神經(jīng)網(wǎng)絡(luò)（FCNN）實現(xiàn)對扭轉(zhuǎn)角的高精度預(yù)測。

上述方法仍存在一定期望，首先，應(yīng)避免同級別任務(wù)冗余。二級結(jié)構(gòu)和接觸圖作為蛋白質(zhì)序列預(yù)測任務(wù)的衍生任務(wù)，用于表征蛋白質(zhì)的功能特性，不適宜將其作為特征輸入用來預(yù)測扭轉(zhuǎn)角，會造成同級任務(wù)的冗余且不利于模型的可擴(kuò)展性。其次，特征有待優(yōu)化。多數(shù)特征來自于蛋白質(zhì)多序列對比后的信息。最后，現(xiàn)有網(wǎng)絡(luò)框架忽略蛋白質(zhì)序列的全局信息與特征間交互。基于上述期望本文提出ProTAMAR模型，用于預(yù)測蛋白質(zhì)序列的殘基間扭轉(zhuǎn)角。

2 ProTAMAR模型

2.1 輸入特征

本文旨在構(gòu)建三類特征。①蛋白質(zhì)One-hot編碼。在蛋白質(zhì)序列中氨基酸的排列順序構(gòu)成遺傳信息，為提取DNA原始序列信息，對蛋白質(zhì)序列氨基酸進(jìn)行One-hot編碼，得到的[L]×20的0/1矩陣，矩陣中的“1”代表的是氨基酸[Pi]所屬類別。②多序列比對結(jié)果。使用兩種多序列比對結(jié)果：位置特異性評分矩陣（Position Specific Scoring Matrix，PSSM）表示蛋白質(zhì)序列中每個位置上不同氨基酸的保守性和變異性，使用PSI-BLAST v2.10.0+的三次迭代生成PSSM。隱馬爾可夫狀態(tài)轉(zhuǎn)移量（HMM-HMM Model，HHM）用于表征蛋白質(zhì)家族中保守的結(jié)構(gòu)和功能，記錄氨基酸的插入和缺失事件，使用HHBlits v3生成HHM。③蛋白質(zhì)預(yù)訓(xùn)練特征。本文引入ProtTrans[15]構(gòu)建的大規(guī)模的蛋白質(zhì)語言模型模型，并利用線性層構(gòu)建無監(jiān)督的映射函數(shù)，得到蛋白質(zhì)序列特征，稱之為ProtTrans-Mapping蛋白質(zhì)序列特征。具體而言，對于不定長的蛋白質(zhì)序列，ProtTrans將得到大小為[1024×3]的用于表征蛋白質(zhì)全局信息的矩陣，利用全連接層映射為大小為[L×3]矩陣，將蛋白質(zhì)的全局信息轉(zhuǎn)換為表征單個堿基的特征信息。

2.2 網(wǎng)絡(luò)框架

2.2.1 整體網(wǎng)絡(luò)框架

本文提出結(jié)合Transformer和擴(kuò)張卷積的序列預(yù)測模型。如圖1所示，該模型主要由四個部分組成：特征處理、Transformer、擴(kuò)張卷積網(wǎng)絡(luò)、融合特征輸出預(yù)測目標(biāo)。

⑴ 特征處理旨在構(gòu)建輸入矩陣，對于不定長的序列，不采用填充或截斷操作，而是指定各批次輸入樣本量為1，以減少填充或截斷操作造成的預(yù)測誤差。對于組合后的特征進(jìn)行標(biāo)準(zhǔn)化操作，以提高模型的穩(wěn)定性和泛化能力。

⑵ Transformer負(fù)責(zé)提取輸入特征的長距離依賴關(guān)系，提高模型的表達(dá)能力。Transformer由多層自注意力層組成，自注意力層由多個并行的頭組成。各注意力頭學(xué)習(xí)不同的注意力權(quán)重，捕捉不同層次的全局信息。

⑶ 擴(kuò)張卷積網(wǎng)絡(luò)用于提取局部特征。通過使用具有不同擴(kuò)張率的卷積核，擴(kuò)張卷積可以在保持參數(shù)數(shù)量不變的情況下捕捉不同范圍的上下文信息。

⑷ 融合特征旨在融合Transformer和擴(kuò)張卷積網(wǎng)絡(luò)中的全局信息和局部信息。融合后的特征經(jīng)過一個全連接層（Fully Connected Layer）進(jìn)行非線性變換，最后通過激活函數(shù)得到預(yù)測結(jié)果。

2.2.2 多頭自注意力機(jī)制

多頭自注意力機(jī)制是Transformer核心部分，用于捕捉輸入序列中的長距離依賴關(guān)系。多頭自注意力機(jī)制的主要思想是：將輸入特征分成多個頭，每個頭分別計算自注意力權(quán)重，將所有頭的結(jié)果組合起來，使得模型能夠同時關(guān)注不同層次的上下文信息。

⑴ 計算注意力權(quán)重

對于每個注意力頭，首先將輸入特征映射到三個不同的向量空間：查詢向量（Query，Q）、鍵向量（Key，[K]）和值向量（Value，V）。通過計算查詢向量與鍵向量之間的點積來獲取注意力權(quán)重At：

[At= Q×K]" ⑴

為確保梯度穩(wěn)定和加快收斂速度，對注意力權(quán)重進(jìn)行縮放處理，將點積結(jié)果除以鍵向量維度的平方根，使用softmax函數(shù)將注意力權(quán)重歸一化。

⑵ 計算自注意力輸出

得到歸一化的注意力權(quán)重之后，將其與對應(yīng)的值向量相乘，對所有位置求和，得到每個頭的自注意力輸出[SelfAt]：

[SelfAt=V×At]" ⑵

⑶ 多頭融合

將所有頭的自注意力輸出拼接起來，通過線性變換層（Linear Layer），將其映射回原始的特征空間。得到整個多頭自注意力層的輸出[MultiHead At]：

[MultiHead At=concatSelfAt1+SelfAt2+…SelfAtn×W] ⑶

其中，[W]代表線性變換層的權(quán)重，[concat]代表沿注意力的空間維度進(jìn)行拼接。

⑷ 殘差連接與層歸一化

為提高模型的訓(xùn)練穩(wěn)定性和泛化能力，在多頭自注意力層之后添加殘差連接（Residual Connection）和歸一化（Layer Normalization）。具體而言，將多頭自注意力的輸出與輸入特征相加，得到殘差連接的結(jié)果。然后對殘差連接的結(jié)果進(jìn)行層歸一化處理，使得每一層的輸出都具有相似的分布。

2.2.3 擴(kuò)張卷積

擴(kuò)張卷積（Dilated Convolution），也稱為空洞卷積（Atrous Convolution），擴(kuò)張卷積在卷積核中引入擴(kuò)張率（dilation rate，記作d），表示卷積核元素之間的間隔，用于調(diào)整卷積核元素之間的間距。當(dāng)d=1時，擴(kuò)張卷積退化為標(biāo)準(zhǔn)卷積。擴(kuò)張使得卷積核能夠在保持其尺寸的同時覆蓋更大的輸入?yún)^(qū)域，從而提高感受野（receptive field）大小。

擴(kuò)張卷積對于任意特征矩陣[F]，進(jìn)行標(biāo)準(zhǔn)卷積操作得到卷積核[K]，主要更改矩陣乘法，從而擴(kuò)張其感受野，具體公式如下：

[Ox，y=i，jFx+i×d，y+j×d×Ki，j]" ⑷

其中，[x，y]代表輸出特征的位置，[i，j]代表卷積核K的位置，d表示擴(kuò)張率。

在卷積過程中，本文首先將卷積核[K]與輸入特征圖[F]的一個局部區(qū)域?qū)R，然后將它們對應(yīng)元素相乘，并將乘積求和。接著，將卷積核在輸入特征圖上按照一定的步長（stride）滑動，重復(fù)上述操作，直到覆蓋整個輸入特征圖。本文采用三種卷積核大小（卷積核大小分別為[3×3]， [5×5]， [7×7]）的多尺度擴(kuò)張卷積，以更高效地提取局部上下文信息。其中針對于[7×7]的卷積核的感受野如圖2所示，白色代表非激活區(qū)域即“0”區(qū)域，“0”區(qū)域在卷積過程中對輸入特征圖的相應(yīng)位置沒有貢獻(xiàn)。灰色代表感受野，卷積核中的每個元素都會對輸入特征圖的相應(yīng)位置產(chǎn)生影響。可以看到隨著擴(kuò)張率的增加，感受野越大，使得卷積層更好地捕捉序列的局部上下文信息，提高模型的泛化能力。

3 實驗

3.1 實驗環(huán)境

本文實驗基于Ubuntu18.04操作系統(tǒng)，Tensorflow2.10.0的深度學(xué)習(xí)框架。處理器為AMD Ryzen 9 5900X，顯卡為NVIDIA RTXA6000。

3.2 數(shù)據(jù)集

數(shù)據(jù)集與最先進(jìn)的SAP4SS方法相同的訓(xùn)練和測試集。PDB150數(shù)據(jù)集是針對整個CullPDB[20]數(shù)據(jù)集應(yīng)用PSI-BLAST[21]得出扭轉(zhuǎn)角，有2019年2月1日至2019年5月15日之間發(fā)布。其限制條件包括分辨率優(yōu)于2.5 A?，無Rlt;1，序列一致性截止值為25%，去除了700多個殘基的蛋白質(zhì)序列，訓(xùn)練集和測試集中分別保留了6721和1321個蛋白質(zhì)序列。

3.3 評價指標(biāo)

本文選用均方誤差（MSE）評價指標(biāo)對增強(qiáng)子活性的預(yù)測性能進(jìn)行評估。均方誤差是回歸問題的典型評價指標(biāo)，用于衡量預(yù)測值與真實值之間的偏差，取值范圍[[0，+∞）]，接近0表示誤差小，具體計算公式如下：

[MSE=1ni=1nTi-Pi2]" ⑸

其中，[n]代表樣本量，[T]為真實值向量，[P]為預(yù)測值向量。

3.4 實驗結(jié)果

3.4.1 預(yù)測性能分析

本文涉及多任務(wù)學(xué)習(xí)和回歸預(yù)測，在計算損失值時適當(dāng)調(diào)整[φ]和[ψ]間的比率，并調(diào)節(jié)網(wǎng)絡(luò)中的各種參數(shù)使得模型性能達(dá)到最優(yōu)，選取最佳參數(shù)得到的結(jié)果如圖3所示，圖3中橫坐標(biāo)代表真實值，縱坐標(biāo)代表預(yù)測值，每個點與對角線間的距離代表誤差。圖3顯示ProTAMAR模型預(yù)測的結(jié)果較為集中地分布在對角線周圍。

ProTAMAR模型的具體預(yù)測誤差如表1所示，預(yù)測性能較最新方法模型有小幅度提升，在該數(shù)據(jù)集上具備競爭力，對比均方誤差可得知，在[φ]中高出最先進(jìn)方法（SAP4SS）0.30，而在[ψ]中略低于最先進(jìn)方法0.23，且總體誤差低于最先進(jìn)方法0.07。對比結(jié)果證實ProTAMAR模型引入的多頭自注意力機(jī)制和擴(kuò)張卷積有效的提升了模型的泛化能力，同時由于SAP4SS中引入了二級結(jié)構(gòu)高度集成的特征，而二級結(jié)構(gòu)和扭轉(zhuǎn)角均用于表征DNA的二維結(jié)構(gòu)信息，當(dāng)加入二級結(jié)構(gòu)作為特征用于預(yù)測扭轉(zhuǎn)角時，將會導(dǎo)致任務(wù)的冗余從而在預(yù)測三維結(jié)構(gòu)時帶來一定程度的影響，而本文所采用的特征來自廣泛表達(dá)的蛋白質(zhì)序列信息、多序列比對結(jié)果、自監(jiān)督的預(yù)訓(xùn)練的特征，與蛋白質(zhì)序列構(gòu)成直接相關(guān)。

3.4.2 特征貢獻(xiàn)分析

本文引入Lundberg等人[22]所提供的GradientExplainer模型，將訓(xùn)練數(shù)據(jù)作為解釋數(shù)據(jù)集，測試集作為被解釋數(shù)據(jù)集，計算特征矩陣的各元素對預(yù)測結(jié)果的貢獻(xiàn)程度，與原始特征矩陣進(jìn)行叉乘，得到每個元素對于該任務(wù)的貢獻(xiàn)矩陣，具體大小為[B×L×n]，其中[B]為測試集樣本數(shù)量，[L]為序列長度，[n]為特征個數(shù)。對特征維度進(jìn)行聚合操作，得到表征特征在各樣本中的重要性平均值。如圖4所示，圖中顯示ProtTrans-Mapping的貢獻(xiàn)較大，按貢獻(xiàn)降序排序為：ProtTrans-Mapping、One-hot編碼、HHM、PSSM。上述結(jié)果證實本文引入的ProtTrans-Mapping特征可以進(jìn)一步提取蛋白質(zhì)空間結(jié)構(gòu)信息，為蛋白質(zhì)扭轉(zhuǎn)角預(yù)測提供更具價值的生物線索。

4 結(jié)束語

本文提出的ProTAMAR模型可用于識別蛋白質(zhì)序列的扭轉(zhuǎn)角，主要的創(chuàng)新點和結(jié)論如下：

⑴ 引入ProteinBERT預(yù)訓(xùn)練模型對蛋白質(zhì)序列進(jìn)行編碼以捕獲高維特征表示，通過SHAP工具驗證實該特征提供了更具價值的生物學(xué)線索。

⑵ 設(shè)計多頭注意力機(jī)制和擴(kuò)張卷積模塊分別用于提取全局序列信息和局部上下文信息。通過實驗對比最新方法的預(yù)測性能，證實ProTAMAR模型設(shè)計的網(wǎng)絡(luò)架構(gòu)有效地提取蛋白質(zhì)序列信息。

⑶ 僅通過蛋白質(zhì)序列生成三種特征，減少蛋白質(zhì)同級別任務(wù)間的冗余，有利于后續(xù)對三維結(jié)構(gòu)與功能的分析和預(yù)測。

本文提出的ProTAMAR模型的性能雖有一定幅度的提升，但仍有提升空間，可考慮將扭轉(zhuǎn)角應(yīng)用于三維結(jié)構(gòu)以及蛋白質(zhì)功能。以下內(nèi)容可作為未來的改進(jìn)方向：①ProtTrans-Mapping屬于無監(jiān)督學(xué)習(xí)的特征映射，考慮構(gòu)建序列長度一致的體系化的數(shù)據(jù)庫，減少映射過程中隨機(jī)性；②采用更先進(jìn)的深度學(xué)習(xí)技術(shù)，如持續(xù)學(xué)習(xí)、終身學(xué)習(xí)實現(xiàn)對蛋白質(zhì)二維序列結(jié)構(gòu)、蛋白質(zhì)三維空間結(jié)構(gòu)、蛋白質(zhì)功能的同步預(yù)測。

參考文獻(xiàn)（References）：

[1] Gogoi C R， Rahman A， Saikia B， et al. Protein Dihedral

Angle Prediction： The State of the Art[J]. ChemistrySelect，2023，8（5）：e202203427.

[2] Song B， Luo X， Luo X， et al. Learning spatial structures of

proteins improves protein-protein interaction prediction[J]. Briefings in Bioinformatics，2022，23（2）：bbab558.

[3] Ding W， Nakai K， Gong H. Protein design via deep

learning[J]. Briefings in bioinformatics，2022，23（3）：bbac102.

[4] Jumper J， Evans R， Pritzel A， et al. Highly accurate protein

structure prediction with AlphaFold[J]. Nature，2021，596（7873）：583-589.

[5] Yang， Yuedong， et al. \"Spider2： A package to predict

secondary structure， accessible surface area， and main-chain torsional angles by deep neural networks.\" Prediction of protein secondary structure. Humana Press， New York， NY，2017：55-63.

[6] Fang C， Shang Y， Xu D. Prediction of protein backbone

torsion angles using deep residual inception neural networks[J]. IEEE/ACM transactions on computational biology and bioinformatics，2018，16（3）：1020-1028.

[7] Fang C， Shang Y， Xu D. MUFOLD‐SS： New deep

inception‐inside‐inception networks for protein secondary structure prediction[J]. Proteins： Structure， Function， and Bioinformatics，2018，86（5）：592-598.

[8] Gao Y， Wang S， Deng M， et al. RaptorX-Angle： real-

value prediction of protein backbone dihedral angles through a hybrid method of clustering and deep learning[J]. BMC bioinformatics，2018，19：73-84.

[9] Hanson J， Paliwal K， Litfin T， et al. Accurate prediction of

protein contact maps by coupling residual two-dimensional bidirectional long short-term memory with convolutional neural networks[J]. Bioinformatics，2018，34（23）：4039-4045.

[10] Xu G， Wang Q， Ma J. OPUS-TASS： a protein backbone

torsion angles and secondary structure predictor based on ensemble neural networks[J]. Bioinformatics，2020，36（20）：5021-5026.

[11] Xu G， Ma T， Zang T， et al. OPUS‐CSF： AC‐atom‐

based scoring function for ranking protein structural models[J]. Protein Science，2018，27（1）：286-292.

[12] Newton M A， Mataeimoghadam F， Zaman R， et al.

Secondary structure specific simpler prediction models for protein backbone angles[J]. BMC bioinformatics，2022，23（1）：1-14.

[13] Maurer-Stroh S， Debulpaep M， Kuemmerer N， et al.

Exploring the sequence determinants of amyloid structure using position-specific scoring matrices[J]. Nature methods，2010，7（3）：237-242.

[14] Boeckaerts D， Stock M， De Baets B， et al. Identification of

Phage Receptor-Binding Protein Sequences with Hidden Markov Models and an Extreme Gradient Boosting Classifier[J]. Viruses，2022，14（6）：1329.

[15] Elnaggar A， Heinzinger M， Dallago C， et al. amp;Rost， B.

（2021）. ProtTrans： towards cracking the language of lifes code through self-supervised deep learning and high performance computing[J]. IEEE transactions on pattern analysis and machine intelligence.

[16] Bao H， Dong L， Wei F， et al. Unilmv2： Pseudo-masked

language models for unified language model pre-training[C]//International conference on machine learning. PMLR，2020：642-652.

[17] Spence M A， Kaczmarski J A， Saunders J W， et al.

Ancestral sequence reconstruction for protein engineers[J]. Current opinion in structural biology， 2021，69：131-141.

[18] Vaswani A， Shazeer N， Parmar N， et al. Attention is all

you need[J]. Advances in neural information processing systems，2017，30.

[19] Tang S， Xia J， Fan L， et al. Dilated convolution based CSI

feedback compression for massive MIMO systems[J]. IEEE Transactions on Vehicular Technology，2022，71（10）：11216-11221.

[20] Wang G， Dunbrack R L. PISCES： recent improvements to

a PDB sequence culling server[J].Nucleic acids research，2005，33（suppl_2）：W94-W98.

[21] Altschul S F， Madden T L， Sch?ffer A A， et al. Gapped

BLAST and PSI-BLAST： a new generation of protein database search programs[J]. Nucleic acids research，1997，25（17）：3389-3402.

[22] Li J， Zhang C， Zhou J T， et al. Deep-LIFT： deep label-

specific feature learning for image annotation[J]. IEEE Transactions on Cybernetics，2021.

[23] Lundberg S M， Lee S I. A unified approach to interpreting

model predictions[J]. Advances in neural information processing systems，2017，30.