面向蛋白質(zhì)功能預(yù)測(cè)中有向無(wú)環(huán)圖標(biāo)記結(jié)構(gòu)的多示例多標(biāo)記學(xué)習(xí)

吳建盛，唐詩(shī)迪，梅德進(jìn)，朱燕翔，刁業(yè)敏

(1. 南京郵電大學(xué) 地理與生物信息學(xué)院， 江蘇 南京 210023； 2. 南京郵電大學(xué) 通信與信息工程學(xué)院， 江蘇 南京 210003；3. 南京仁面集成電路技術(shù)有限公司， 江蘇 南京 210088； 4. 南京叁角加文化發(fā)展中心， 江蘇 南京 210005)

在經(jīng)典監(jiān)督學(xué)習(xí)中，一個(gè)對(duì)象僅由一個(gè)示例來(lái)表示，且僅有一個(gè)對(duì)應(yīng)標(biāo)記。實(shí)際上，一個(gè)對(duì)象可由多個(gè)示例來(lái)表示，并屬于多個(gè)類別標(biāo)記[1]，其對(duì)應(yīng)的學(xué)習(xí)框架叫作多示例多標(biāo)記學(xué)習(xí)(multi-instance multi-label learning, MIML)。

過去十幾年來(lái)，研究者們提出了許多基于MIML的算法，例如MIMLBoost[2]將MIML問題分解為多個(gè)單標(biāo)記多示例子問題單獨(dú)求解，而MIMLSVM[3]將其分解為多個(gè)單示例多標(biāo)記問題；Yang等提出了一種基于全連接卷積網(wǎng)絡(luò)的多示例多標(biāo)記學(xué)習(xí)方法MIML-FCN+[4]；Nguyen等提出了基于深度神經(jīng)網(wǎng)絡(luò)的DeepMIML模型[5]，為MIML生成表示示例的同時(shí)，自動(dòng)識(shí)別與標(biāo)記相關(guān)聯(lián)的關(guān)鍵示例；Zhu等后來(lái)又提出了DMNL[6]，用一種高效的增強(qiáng)型拉格朗日優(yōu)化方法預(yù)測(cè)隱藏的新穎標(biāo)記；Hu等提出了一種利用標(biāo)記相關(guān)性的度量多示例多標(biāo)記學(xué)習(xí)算法MI(ML)2kNN[7]。

近年來(lái)，多示例多標(biāo)記學(xué)習(xí)被應(yīng)用于眾多場(chǎng)景中，例如Song等提出了MMCNN-MIML[8]，將卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)模型引入MIML的圖片分類問題中；Xu等將MIML應(yīng)用于預(yù)測(cè)肝癌細(xì)胞的基因突變問題[9]；Li等提出基于卷積神經(jīng)網(wǎng)絡(luò)的層次性多示例多標(biāo)記學(xué)習(xí)方法HMIML來(lái)對(duì)果蠅胚胎發(fā)育圖像進(jìn)行分類[10]；Li等提出的AC-MIMLLN[11]模型將MIML應(yīng)用于情感分析任務(wù)；Mercan等基于MIML方法來(lái)對(duì)乳腺組織病理圖像進(jìn)行多分類研究[12]；Zhang等利用MIML學(xué)習(xí)并基于時(shí)空預(yù)修剪技術(shù)來(lái)對(duì)原始視頻中的動(dòng)作進(jìn)行識(shí)別與定位[13]；Li等開發(fā)了多示例多標(biāo)記學(xué)習(xí)網(wǎng)絡(luò)并應(yīng)用于情感類別預(yù)測(cè)[14]；Pan等將MIML應(yīng)用于雷達(dá)信號(hào)的識(shí)別中[15]。

在MIML學(xué)習(xí)問題里，標(biāo)記之間往往是相互關(guān)聯(lián)的，其中有向無(wú)環(huán)圖(directed acyclic graph, DAG)是一種常見的層次關(guān)聯(lián)結(jié)構(gòu)，它從任意一個(gè)頂點(diǎn)出發(fā)均不能經(jīng)過若干條邊回到該頂點(diǎn)。蛋白質(zhì)常包含多個(gè)結(jié)構(gòu)域，也同時(shí)擁有多種生物學(xué)功能。蛋白質(zhì)中每個(gè)結(jié)構(gòu)域可以獨(dú)立或與周邊結(jié)構(gòu)域相互協(xié)作完成其生物學(xué)功能。蛋白質(zhì)生物學(xué)功能預(yù)測(cè)也可表示為多示例多標(biāo)記學(xué)習(xí)問題，其中每個(gè)蛋白質(zhì)表示為多MIML學(xué)習(xí)中的一個(gè)樣本對(duì)象，而每個(gè)結(jié)構(gòu)域表示為一個(gè)示例，每個(gè)生物學(xué)功能表示為一個(gè)標(biāo)記[16]。蛋白質(zhì)的生物學(xué)功能有多種描述方式，其中基因本體學(xué)(gene ontology，GO)使用最為廣泛[17]，其中的基因功能本體就是一個(gè)DAG結(jié)構(gòu)的典型例子。目前也有不少研究利用GO結(jié)構(gòu)輔助進(jìn)行生物學(xué)功能學(xué)習(xí)。Li等使用層次聚類的方法，針對(duì)GO的結(jié)構(gòu)，在經(jīng)典的層次聚類模型中加入了新的聚類條件對(duì)GO生物學(xué)功能進(jìn)行了預(yù)測(cè)[18]；Zhang等使用了深度神經(jīng)網(wǎng)絡(luò)，結(jié)合蛋白質(zhì)序列以及蛋白質(zhì)-蛋白質(zhì)結(jié)合(protein-protein interaction, PPI)網(wǎng)絡(luò)，對(duì)蛋白質(zhì)的GO生物學(xué)功能進(jìn)行預(yù)測(cè)[19]；Zhao等引入基于轉(zhuǎn)換器的雙向編碼表征(bidirectional encoder representation from transformers，BERT)模型從蛋白質(zhì)的GO標(biāo)記及其序列中提取特征，對(duì)配體-受體結(jié)合親和力(drug-target binding affinity, DTA)進(jìn)行預(yù)測(cè)[20]。

目前還沒有有效的算法可針對(duì)基于DAG結(jié)構(gòu)的MIML問題進(jìn)行學(xué)習(xí)。因此，本文提出新的基于有向無(wú)環(huán)圖結(jié)構(gòu)的多示例多標(biāo)記學(xué)習(xí)(MIML based on directed acyclic graph, MIMLDAG)算法，通過訓(xùn)練標(biāo)記共享低維子空間，降低模型排序損失，并融入標(biāo)記間DAG間層次結(jié)構(gòu)關(guān)系對(duì)樣本預(yù)測(cè)標(biāo)記進(jìn)行優(yōu)化，提升了算法的學(xué)習(xí)性能。

1 MIMLDAG算法

提出面向標(biāo)記之間有向無(wú)環(huán)圖結(jié)構(gòu)的多示例多標(biāo)記學(xué)習(xí)算法。算法分三層構(gòu)建模型，其中前兩層充分借鑒了MIMLfast算法[21]的思想。首先，算法從原始數(shù)據(jù)集的特征空間訓(xùn)練出一個(gè)被所有標(biāo)記共享的低維子空間；然后，訓(xùn)練標(biāo)記線性模型并通過隨機(jī)梯度下降方法來(lái)優(yōu)化排序損失；最后，在層次性結(jié)構(gòu)中找到一個(gè)子圖[22]，通過合并子節(jié)點(diǎn)來(lái)構(gòu)建與有向無(wú)環(huán)圖結(jié)構(gòu)層次一致的多標(biāo)記信息，融入標(biāo)記間的有向無(wú)環(huán)圖結(jié)構(gòu)，得到未見示例樣本的層次性標(biāo)記集合。MIMLDAG算法的整體框架如圖1所示，算法偽代碼見算法1。

圖1 MIMLDAG算法框架Fig.1 Framework of the MIMLDAG algorithm

算法1 MIMLDAG算法偽代碼

1.1 訓(xùn)練線性模型

1.1.1 共享低維子空間

1.1.2 優(yōu)化排序損失

在第二層中，利用上一層的共享矩陣W0可以將任意樣本包Xi的示例x在第l個(gè)標(biāo)記上的分類器定義為：

(1)

式中，wl是第l個(gè)標(biāo)記的m維權(quán)重向量。

(2)

式中，

(3)

(4)

(5)

(6)

1.2 融入有向無(wú)環(huán)圖結(jié)構(gòu)

有向無(wú)環(huán)圖結(jié)構(gòu)層次性約束有兩種情況[24]：情況A是如果某一節(jié)點(diǎn)的標(biāo)記為正，那么它的所有父節(jié)點(diǎn)的標(biāo)記也為正；情況B是如果某一節(jié)點(diǎn)的標(biāo)記為正，那么它所有父節(jié)點(diǎn)中至少有一個(gè)節(jié)點(diǎn)的標(biāo)記為正。其中情況A較為常用。對(duì)于給定測(cè)試樣本包XT的預(yù)測(cè)結(jié)果YT={y1,y2，…,yT}∈{0,1}，將每個(gè)預(yù)測(cè)標(biāo)記看作一個(gè)節(jié)點(diǎn)，已知樣本包對(duì)應(yīng)L個(gè)標(biāo)記，那么情況A優(yōu)化問題表示為：

(7)

其中，若集合YT呈現(xiàn)情況A的層次結(jié)構(gòu)，則稱Ψ={Ψ1,Ψ2,…,ΨT}為情況A的nonincreasing集合。

1.3 算法分析

2 算法仿真

2.1 實(shí)驗(yàn)數(shù)據(jù)

使用了三組蛋白質(zhì)生物學(xué)功能預(yù)測(cè)數(shù)據(jù)集來(lái)對(duì)MIMLDAG算法進(jìn)行實(shí)驗(yàn)仿真分析，其分別為G蛋白偶聯(lián)受體數(shù)據(jù)集、硫土桿菌(Geobacter sulfurreducens,GS)的蛋白質(zhì)數(shù)據(jù)集和古細(xì)菌死海鹽盒菌(Haloarcula marismortui, HM)的蛋白質(zhì)數(shù)據(jù)集 (見表1)。

表1 數(shù)據(jù)集的描述

2.1.1 G蛋白偶聯(lián)受體數(shù)據(jù)集

G蛋白偶聯(lián)受體數(shù)據(jù)集是從UniProt數(shù)據(jù)庫(kù)[25]中下載得到共3 052個(gè)G蛋白偶聯(lián)受體(G protein-coupled receptor，GPCR)，再通過UniProt ID號(hào)從UniProt數(shù)據(jù)庫(kù)中得到所有GPCR的FASTA格式序列。接著，將其輸入NCBI的blastclust可執(zhí)行程序，對(duì)GPCR序列進(jìn)行去冗余處理，將得到的非冗余GPCR樣本數(shù)據(jù)集提交到NCBI的Batch CD-Search服務(wù)器，得到GPCR的保守結(jié)構(gòu)域。對(duì)于每一個(gè)結(jié)構(gòu)域，從以下7個(gè)方面構(gòu)建其特征：

1)三聯(lián)氨基酸組成(conjoint triad)信息：把20種氨基酸依據(jù)其側(cè)鏈體積與偶極矩分為6類。針對(duì)每個(gè)結(jié)構(gòu)域，根據(jù)其氨基酸序列計(jì)算三聯(lián)體出現(xiàn)頻率，其特征維數(shù)為216[26]。

2)氨基酸關(guān)聯(lián)(amino acid correlation, AAC)信息：依據(jù)上面的6類氨基酸信息來(lái)計(jì)算每個(gè)結(jié)構(gòu)域中兩兩氨基酸間的AAC信息，對(duì)每個(gè)結(jié)構(gòu)域，其ACC特征的維數(shù)為144[27]。

3)二級(jí)結(jié)構(gòu)關(guān)聯(lián)(secondary structure element correlation, SSC)信息：通過PSIPRED (http://bioinf.cs.ucl.ac.uk/psipred/ psiform.html)所提供的在線分析工具完成蛋白質(zhì)二級(jí)結(jié)構(gòu)的預(yù)測(cè)，然后計(jì)算3類二級(jí)結(jié)構(gòu)類型在結(jié)構(gòu)域中的關(guān)聯(lián)信息SSC(κ)，κ∈{2,4,8,16}。對(duì)每個(gè)結(jié)構(gòu)域，其二級(jí)結(jié)構(gòu)關(guān)聯(lián)信息特征的維數(shù)為72。

4)進(jìn)化信息：通過psiblast程序[28]產(chǎn)生位置特異性得分矩陣以表示結(jié)構(gòu)域的進(jìn)化信息。對(duì)于氨基酸長(zhǎng)度為n的結(jié)構(gòu)域，其位置特異性得分矩陣的維數(shù)為42n。考慮因氨基酸長(zhǎng)度不同導(dǎo)致矩陣大小不同的問題，把每個(gè)蛋白質(zhì)的結(jié)構(gòu)域當(dāng)作一個(gè)示例，然后由算法miFV[29]統(tǒng)一為單一向量，對(duì)應(yīng)到單個(gè)GPCR結(jié)構(gòu)域的位置特異性得分矩陣特征維數(shù)為84。

5)信號(hào)肽特征信息(SignalP)：通過一種基于神經(jīng)網(wǎng)絡(luò)的SignalP 4.0方法[30]從GPCR序列中提取信號(hào)肽特征信息。在SignalP 4.0中使用了兩種類型的網(wǎng)絡(luò)，首先使用跨膜數(shù)據(jù)序列作為負(fù)數(shù)據(jù)來(lái)訓(xùn)練得到SignalP-TM網(wǎng)絡(luò)；然后在缺失這些負(fù)數(shù)據(jù)的情況下訓(xùn)練得到SignalP-noTM網(wǎng)絡(luò)；最后使用簡(jiǎn)單的決策方案來(lái)選擇使用哪個(gè)網(wǎng)絡(luò)：如果SignalP-TM網(wǎng)絡(luò)預(yù)測(cè)4個(gè)或者更多位置為跨膜位置，則SignalP-TM被用于最終的預(yù)測(cè)，否則使用SignalP-noTM網(wǎng)絡(luò)預(yù)測(cè)。對(duì)于每個(gè)結(jié)構(gòu)域，SignalP特征維數(shù)為84。

6)無(wú)序區(qū)域特征信息(Disorder)：通過DISOPRED 2.43程序[31]預(yù)測(cè)得到蛋白質(zhì)的無(wú)序區(qū)域特征信息。DISOPRED服務(wù)器允許用戶提交一個(gè)蛋白質(zhì)序列，然后返回每個(gè)無(wú)序區(qū)的無(wú)序概率估計(jì)值作為無(wú)序區(qū)域特征信息。對(duì)于每個(gè)結(jié)構(gòu)域，Disorder特征維數(shù)為84。

7)SDK(scientific database maker)軟件預(yù)測(cè)出的特征信息：通過SDK[17]預(yù)測(cè)蛋白質(zhì)特征。它從Swiss-Port[32]數(shù)據(jù)庫(kù)中提取蛋白質(zhì)數(shù)據(jù)，同時(shí)對(duì)蛋白質(zhì)進(jìn)行數(shù)據(jù)分析，包括物理化學(xué)分布計(jì)算、同源序列搜索、多序列比對(duì)等，得到105維的數(shù)據(jù)特征。將非數(shù)據(jù)部分特征去掉，歸一化后得到59維的蛋白質(zhì)數(shù)據(jù)特征。

最后，對(duì)于樣本空間中的每個(gè)結(jié)構(gòu)域，共有特征維數(shù)743。

依據(jù)生物學(xué)過程與分子功能兩個(gè)方面來(lái)描述蛋白質(zhì)生物學(xué)功能。首先，根據(jù)GPCR蛋白質(zhì)數(shù)據(jù)集的UniProt ID號(hào)從UniProt-GOA ftp站點(diǎn)(ftp://ftp.ebi.ac.uk/pub/databases/GO/goa/)下載得到其對(duì)應(yīng)基因本體學(xué)術(shù)語(yǔ)(GO terms)ID號(hào)及其對(duì)應(yīng)的GO術(shù)語(yǔ)；然后，從基因本體學(xué)網(wǎng)站(http://geneontology.org/page/download-ontology)下載go.obo文件，分別得到BP與MF的GO術(shù)語(yǔ)對(duì)應(yīng)的父節(jié)點(diǎn)；最后，基于樣本中含有的GO terms及其所有父節(jié)點(diǎn)GO terms，構(gòu)建標(biāo)記的DAG層次性結(jié)構(gòu)。對(duì)于BP，得到非冗余GPCRs樣本1 331個(gè)，GO術(shù)語(yǔ)162個(gè)，GO術(shù)語(yǔ)的層次性結(jié)構(gòu)深度為9；對(duì)于MF，得到非冗余GPCRs樣本1 674個(gè)，GO術(shù)語(yǔ)208個(gè)，GO術(shù)語(yǔ)的層次性結(jié)構(gòu)深度為12 (見表1)。

2.1.2 GS和HM蛋白質(zhì)數(shù)據(jù)集

GS的蛋白質(zhì)數(shù)據(jù)集和HM的蛋白質(zhì)數(shù)據(jù)集來(lái)自http://www.lamda.nju.edu.cn/data_MIMLprotein.ashx[16]，此處不再贅述。

2.2 性能比較

與多種經(jīng)典的多示例多標(biāo)記學(xué)習(xí)算法進(jìn)行比較。這些算法分別為：基于徑向基核函數(shù)神經(jīng)網(wǎng)絡(luò)的MIMLRBF[33]、基于集成學(xué)習(xí)的EnMIMLNN[16]、基于K鄰近算法的MIMLKNN[34]、基于支持向量機(jī)的MIMLSVM[3]和快速多示例多標(biāo)記學(xué)習(xí)MIMLfast[21]。

對(duì)于上述對(duì)比算法，本文選用了對(duì)應(yīng)參考文獻(xiàn)中的默認(rèn)參數(shù)。其中， MIMLRBF算法的縮放因子為0.08，分?jǐn)?shù)參數(shù)為0.1；EnMIMLNN算法中學(xué)習(xí)率設(shè)為0.4；MIMLKNN算法中聚類簇占據(jù)樣本包的比例為40%；MIMLSVM算法中，高斯核半徑r設(shè)置為0.2；對(duì)MIMLDAG算法，低維共享空間的維度m設(shè)置為50；對(duì)MIMLfast算法，共享空間維度設(shè)為100。

此外，本文采用十倍交叉驗(yàn)證對(duì)MIML模型三種常用的評(píng)價(jià)指標(biāo)HL(hamming loss)[33]、MaF1(Macro-F1)[35]、MiF1(Micro-F1)[35]進(jìn)行評(píng)估。HL表示樣本的預(yù)測(cè)標(biāo)記與真實(shí)標(biāo)記之間的錯(cuò)誤率。 MaF1先計(jì)算在每個(gè)標(biāo)記上的F1值，然后求在所有標(biāo)記上的平均值，MaF1容易受到樣本量少的標(biāo)記的預(yù)測(cè)結(jié)果影響；MaF1越大，表示模型性能越好。MiF1計(jì)算在所有示例包和類別標(biāo)記上預(yù)測(cè)結(jié)果的F1值；MiF1越大，表示模型性能越好。

2.2.1 性能分析

表2展示了不同數(shù)據(jù)集下幾種算法在不同指標(biāo)上的性能變化，其中↑表明指標(biāo)越大模型性能越好，↓反之。由表2可知，對(duì)于GPCRs的分子功能MF，相比于其他五種方法，MIMLDAG在HL、MaF1、MiF1上都獲得了最好的性能。同樣，對(duì)于GPCRs的生物學(xué)過程，MIMLDAG在HL、MaF1、MiF1方面均取得了最好的性能。對(duì)于GS的分子功能，MIMLDAG在MaF1獲得了最優(yōu)的性能。對(duì)于HM的分子功能，MIMLDAG在HL上性能較弱，不如EnMIMLNN，也略低于MIMLRBF和MIMLSVM，在其他上都取得了最好的性能。由此可見，MIMLDAG方法比其他多示例多標(biāo)記學(xué)習(xí)方法取得了更好的性能。

2.2.2 時(shí)間效率分析

表3給出了所有算法在4種數(shù)據(jù)集上的時(shí)間開銷。在算法訓(xùn)練及測(cè)試時(shí)間開銷上，對(duì)于所有的數(shù)據(jù)集，MIMLDAG方法的速度與最快的MIMLfast方法基本上接近，明顯優(yōu)于其他4種多示例多標(biāo)記學(xué)習(xí)方法。

表2 不同數(shù)據(jù)集上與多示例多標(biāo)記學(xué)習(xí)方法的性能比較

表3 不同數(shù)據(jù)集上與各多示例多標(biāo)記學(xué)習(xí)方法的時(shí)間開銷比較

(a) 訓(xùn)練時(shí)間(a) Training time

(b) 測(cè)試時(shí)間(b) Testing time圖2 6種MIML算法在不同數(shù)量示例和標(biāo)記上的訓(xùn)練和測(cè)試時(shí)間開銷Fig.2 Runtime of training and testing on six MIML methods with various sizes of instances and labels

圖2展示了各個(gè)算法在不同數(shù)據(jù)規(guī)模下的時(shí)間增長(zhǎng)模式。由圖可知，對(duì)于訓(xùn)練時(shí)間，EnMIMLNN的增長(zhǎng)速度最快，而MIMLfast和MIMLDAG增長(zhǎng)速度較為緩慢；對(duì)于測(cè)試時(shí)間，MIMLKNN算法的增長(zhǎng)速度最快，當(dāng)lg(示例×標(biāo)記)>6.0時(shí)，MIMLDAG的增長(zhǎng)速度最為緩慢。因此，MIMLDAG算法隨數(shù)據(jù)集的增長(zhǎng)速率很低，基本與MIMLfast方法持平。MIMLDAG算法共分三層：第一層，從原始數(shù)據(jù)集的特征空間訓(xùn)練出一個(gè)被所有標(biāo)記共享的低維子空間；第二層，訓(xùn)練標(biāo)記線性模型并通過隨機(jī)梯度下降方法來(lái)優(yōu)化排序損失；第三層，從層次性結(jié)構(gòu)中找到一個(gè)子圖，通過合并子節(jié)點(diǎn)來(lái)構(gòu)建與有向無(wú)環(huán)圖結(jié)構(gòu)層次一致的多標(biāo)記信息，得到未見示例樣本的層次性標(biāo)記集合。由式(1)～(6)可以推導(dǎo)出MIMLDAG算法前兩層的時(shí)間復(fù)雜度為Ο[t×L×(d×L)×m]，其中t為迭代輪數(shù)，L為標(biāo)記空間中的標(biāo)記個(gè)數(shù)，d為示例的特征維度，m為共享低維子空間的維度(m?d)。算法第三層(算法1步驟7～17)的時(shí)間復(fù)雜度為Ο[L×log(L)]，其中L為標(biāo)記空間中的標(biāo)記個(gè)數(shù)，也就是DAG中的節(jié)點(diǎn)數(shù)。因?yàn)榍皟蓪优c第三層之間是串行連接，所以算法總的時(shí)間復(fù)雜度為Ο[t×L×(d×L)×m+L×log(L)]。 可以看出，MIMLDAG算法與樣本的數(shù)量無(wú)關(guān)，同時(shí)算法將樣本原始特征空間映射到低維共享空間，減少了內(nèi)存消耗并降低了計(jì)算復(fù)雜度。

3 結(jié)論

本文提出面向蛋白質(zhì)功能預(yù)測(cè)和有向無(wú)環(huán)圖標(biāo)記結(jié)構(gòu)的多示例多標(biāo)記學(xué)習(xí)算法。首先，算法訓(xùn)練一個(gè)共享矩陣將高維示例映射到低維子空間；然后，利用SGD優(yōu)化排序方法初步訓(xùn)練出分類模型；最后，算法考慮了標(biāo)記間的DAG結(jié)果，通過合并多個(gè)子節(jié)點(diǎn)為超節(jié)點(diǎn)，實(shí)現(xiàn)對(duì)標(biāo)記的最終預(yù)測(cè)。本文運(yùn)用MIMLDAG 算法對(duì)多個(gè)蛋白質(zhì)生物學(xué)功能預(yù)測(cè)數(shù)據(jù)集進(jìn)行了學(xué)習(xí)。實(shí)驗(yàn)表明，相比于其他類似算法， MIMLDAG擁有更好的預(yù)測(cè)性能與時(shí)間效率。在后續(xù)的研究中，擬考慮更多的數(shù)據(jù)集，進(jìn)一步擴(kuò)大算法的應(yīng)用場(chǎng)景。