基于雙向映射學(xué)習(xí)的多標簽分類算法

摘要：現(xiàn)有的多標簽學(xué)習(xí)算法往往只側(cè)重于實例空間到標簽空間的正向投影，正向投影時由于特征維數(shù)降低所產(chǎn)生的實例空間信息丟失的問題往往被忽略。針對以上問題，提出一種基于雙向映射學(xué)習(xí)的多標簽分類算法。首先，利用實例空間到標簽空間的正向映射損失建立線性多標簽分類模型；然后，在模型中引入重構(gòu)損失正則項構(gòu)成雙向映射模型，補償由于正向映射時導(dǎo)致的鑒別信息的丟失；最后，將雙向映射模型結(jié)合標簽相關(guān)性和實例相關(guān)性充分地挖掘標簽之間、實例之間的潛在關(guān)系，并利用非線性核映射提高模型對非線性數(shù)據(jù)的處理能力。實驗結(jié)果表明，與近年來的其他幾種方法相比，該方法在漢明損失、一次錯誤率和排序損失上的性能平均提升17.68%、17.01%、18.57%；在六種評價指標上的性能平均提升了12.37%，驗證了模型的有效性。

關(guān)鍵詞：多標簽學(xué)習(xí)； 雙向映射； 標簽相關(guān)性； 實例相關(guān)性； 核映射

中圖分類號：TP181文獻標志碼：A

文章編號：1001-3695（2022）04-012-1030-07

doi：10.19734/j.issn.1001-3695.2021.10.0406

Multi-label classification algorithm based on bidirectional mapping learning

Wang Qingpeng， Gao Qingwei， Lu Yixiang， Sun Dong

（School of Electrical Engineering amp; Automation， Anhui University， Hefei 230601， China）

Abstract：The existing multi-label learning algorithms tend to focus on the forward projection from the instance space to the label space， and the problem of the loss of instance space information due to the reduction of the feature dimension during forward projection is often ignored. Hence， this paper proposed a multi-label classification algorithm with bidirectional mapping learning. Firstly， the method used the forward mapping loss from instance space to label space to established a linear multi-label classification model. Secondly， the bidirectional mapping model based on reconstruction loss regularization compensated for the discriminatory information loss in the forward mapping process. Finally， the bidirectional mapping model combined label correlation and instance correlation to fully exploit the potential relationship between labels and instances， and improved the ability of the model to handle nonlinear data through nonlinear kernel mapping. The experimental results show that compared with several other methods in recent years， the average performance improvements of the method in terms of Hamming loss， one error and ranking loss are 17.68%， 17.01% and 18.57%. Average performance improvement of 12.37% on six evaluation metrics， which verifies the effectiveness of the proposed method.

Key words：multi-label learning; bidirectional mapping; label correlation; instance correlation; kernel mapping

0引言

多標簽學(xué)習(xí)可以同時處理擁有多個類別標簽的實例，其目標是學(xué)習(xí)一個預(yù)測模型，對于一個未知的多標簽實例能夠給出有效的預(yù)測標簽集。近年來，多標簽學(xué)習(xí)在不同領(lǐng)域內(nèi)快速發(fā)展并廣泛應(yīng)用到許多場景中，如視頻標注［1］、文本分類［2］、語言情感分類［3］、圖像標注［4］、生物信息學(xué)［5］等。

多標簽學(xué)習(xí)的核心問題之一是如何根據(jù)不同類別標簽之間的相關(guān)性構(gòu)建一個有效的學(xué)習(xí)模型來預(yù)測未知實例的標簽集。根據(jù)標簽與標簽之間的依賴關(guān)系，可以將現(xiàn)有的多標簽學(xué)習(xí)方法分為一階方法、二階方法和高階方法［6］。例如BR（binary relevance）算法［7］是將多標簽學(xué)習(xí)問題轉(zhuǎn)換為一系列具有獨立性的單標簽分類問題，進而達到多標簽分類的目的。ML-KNN［8］通過獲取近鄰實例標簽集的統(tǒng)計信息，利用最大后驗概率原則對實例的類別標簽集進行預(yù)測。Zhang等人［9］提出LIFT算法，首先提出類屬屬性概念，認為在多標簽學(xué)習(xí)中，每個標簽都由自己本身的一些獨有的特征所決定。Xu等人［10］基于樣本選擇思想，在LIFT算法的基礎(chǔ)上提出一種利用模糊粗糙集降低標簽特征約簡復(fù)雜度的多標簽學(xué)習(xí)方法。以上方法均屬于一階策略，然而在真實標簽集中，不同類別標簽之間往往具有一定的關(guān)聯(lián)性。因此如何挖掘類標簽之間的相關(guān)性信息，學(xué)者們做了不同的努力。Gong等人［11］提出教與學(xué)的多標簽算法是一種經(jīng)典的二階策略，不僅探索缺失標簽實例的可能標簽與具有完整標簽實例的標簽之間的關(guān)系，還考慮標簽特征的確定性以及成對標簽的相關(guān)性充分地挖掘出標簽之間的依賴性進行多標簽學(xué)習(xí)。文獻［12］提出了一種在統(tǒng)一框架下的聯(lián)合特征選擇與分類的多標簽學(xué)習(xí)算法，通過Fisher判別的稀疏正則化項來學(xué)習(xí)標簽特定特征和共享特征，并在這些特征所表示的低維數(shù)據(jù)上構(gòu)建多標簽分類器。Huang等人［13］提出一種聯(lián)合進行缺失標簽集恢復(fù)和特定特征學(xué)習(xí)的缺失多標簽算法，利用高階標簽關(guān)聯(lián)性信息擴充缺失標簽矩陣的同時學(xué)習(xí)標簽特定特征來進行多標簽分類。He等人［14］提出一種聯(lián)合學(xué)習(xí)高階非對稱標簽關(guān)聯(lián)和多標簽分類的學(xué)習(xí)框架，同時實現(xiàn)獨立二元分類器的聯(lián)合學(xué)習(xí)。

除此之外，實例之間的相關(guān)性在多標簽學(xué)習(xí)中也是不可忽略的，已有大量學(xué)者在多標簽學(xué)習(xí)的模型中引入了實例關(guān)聯(lián)來挖掘?qū)嵗g的相關(guān)性信息。例如，Han等人［15］提出一種能夠緊湊選擇類屬屬性的多標簽學(xué)習(xí)算法，利用實例關(guān)聯(lián)和標簽關(guān)聯(lián)進行類屬屬性學(xué)習(xí)并且有區(qū)別性地選擇類屬屬性。Zhu等人［16］認為特征子集相似的樣本所對應(yīng)的標簽具有相似性，基于平滑性假設(shè)提出一種樣本局部相似度的多標簽學(xué)習(xí)算法，并對實例輸出空間的權(quán)值系數(shù)進行稀疏化處理構(gòu)建局部相似度。Jia等人［17］提出一種標簽特定特征和相關(guān)信息結(jié)合的多標簽學(xué)習(xí)算法，使用稀疏正則化學(xué)習(xí)權(quán)值系數(shù)約束關(guān)聯(lián)標簽的相似輸出，并通過稀疏重構(gòu)學(xué)習(xí)樣本間的重建關(guān)系。文獻［18］通過將多種類別的相關(guān)性信息結(jié)合進而提出一種能夠緊湊地選擇標簽類屬屬性的多標簽學(xué)習(xí)算法。

近年來，隨著信息的快速發(fā)展，數(shù)據(jù)量顯著增加，導(dǎo)致獲取完整標簽的成本變得更高，因此更具挑戰(zhàn)的缺失標簽多標簽學(xué)習(xí)問題受到越來越多學(xué)者的關(guān)注。例如：Ma等人［19］利用標簽空間的低秩結(jié)構(gòu)對局部和全局低秩標簽結(jié)構(gòu)建模，并且通過標簽空間的高秩結(jié)構(gòu)挖掘更多可區(qū)分的潛在信息構(gòu)建缺失標簽多標簽學(xué)習(xí)算法。Wang等人［20］提出一種具有標簽嵌入機制的兩級標簽恢復(fù)機制算法用于缺失標簽的多標簽分類，將兩級標簽恢復(fù)機制得到的完整標簽空間投影到潛在空間，利用標簽嵌入機制獲取潛在空間的相關(guān)性信息用于多標簽分類。

上述多標簽學(xué)習(xí)算法雖然已經(jīng)具有良好的性能，但僅考慮從特征空間到標簽空間的單向投影來建立多標簽學(xué)習(xí)模型，顯然這是一種有損映射壓縮。通常情況下，輸入特征空間的維數(shù)要遠高于輸出標簽空間的維數(shù)，單向投影由于維數(shù)的降低，不可避免地導(dǎo)致實例空間到標簽空間映射時鑒別信息的丟失［21］，并且現(xiàn)實中的大多數(shù)多標簽數(shù)據(jù)集都是不可線性分離的非線性情況，這些現(xiàn)有方法完全有可能丟失原始輸入空間的映射信息，從而降低算法性能。為了解決單向映射時的鑒別信息丟失問題，在多標簽學(xué)習(xí)模型中有必要考慮從輸出標簽空間到輸入實例特征空間的反向投影。文獻［22］在極限學(xué)習(xí)機自動編碼器的基礎(chǔ)上引入權(quán)值不確定性，提出了一種用于多標簽學(xué)習(xí)的多層ELM-RBF神經(jīng)網(wǎng)絡(luò)。Cheng等人［23］提出一種基于核極限學(xué)習(xí)機自動編碼器的多標簽學(xué)習(xí)算法，通過重構(gòu)標簽空間信息與自動編碼器網(wǎng)絡(luò)結(jié)合實現(xiàn)多種信息的融合，提高了多標簽分類精度。Liu等人［24］提出一種用于標簽增強和分布學(xué)習(xí)的雙向?qū)W習(xí)框架，結(jié)合雙向誤差利用缺失信息獲得更準確的學(xué)習(xí)結(jié)果。受上述成果啟發(fā)，考慮在多標簽學(xué)習(xí)中構(gòu)建一種具有反向重構(gòu)約束的雙向損失模型。

綜上考慮，本文提出一種綜合正向映射損失和反向重構(gòu)損失的雙向損失模型。具體地，首先構(gòu)建基本的多標簽分類框架，然后在基本線性分類框架中通過引入反向重構(gòu)損失潛在地從類別標簽空間重建實例特征空間，即最小化反向投影損失來優(yōu)化由于正向映射所導(dǎo)致的原始信息的丟失。進一步通過結(jié)合標簽相關(guān)性和實例相關(guān)性充分利用標簽之間的依賴關(guān)系和實例之間的關(guān)聯(lián)信息來壓縮模型的求解空間，更精確地尋找模型最優(yōu)解。最后，利用非線性核映射來提高雙向模型對非線性數(shù)據(jù)的處理能力。

1多標簽學(xué)習(xí)

1.1建立線性模型

設(shè)X=［x1，x2，…，xn］T∈n×d為樣本實例矩陣，其中n表示樣本數(shù)量，d表示實例維數(shù)，記xi=［xi1，xi2，…，xid］T為第i個實例的特征向量；設(shè)Y=［y1，y2，…，yn］T∈n×l是具有l(wèi)個標簽的標簽矩陣，第i個實例的標簽記為yi=［yi1，yi2，…，yil］，若實例xi具有第j個標簽，則yij=1，否則yij=0。通過線性回歸建立基礎(chǔ)多標簽分類模型，為降低模型復(fù)雜度，避免過擬合，采用Frobenius范數(shù)約束模型參數(shù)，目標函數(shù)為

minW12‖XW－Y‖2F+γ12‖W‖2F（1）

其中：W=［w1，w2，…，wl］∈d×l表示模型的回歸系數(shù);參數(shù)γ1gt;0控制模型復(fù)雜度，避免過擬合。

1.2雙向映射模型構(gòu)建

在1.1節(jié)中建立了多標簽分類的基本線性模型。如前所述，由實例特征空間X通過系數(shù)矩陣W映射到類別標簽空間Y來實現(xiàn)多標簽分類。在通常情況下，由于輸入實例特征空間的維數(shù)要遠高于類別標簽空間的維數(shù)，此時從X到Y(jié)的映射可以認為是一種有損的映射壓縮表示，在映射過程中由于維度的降低可能會造成在映射過程中鑒別信息的丟失［21］，遺漏了應(yīng)該從原始輸入空間繼承的基本信息，從而影響模型的分類性能。為了解決這個問題，考慮施加反向投影，最小化反向投影的損失函數(shù)，這個過程可以認為是一種重建特征空間X的步驟，即引入?yún)?shù)從輸出標簽空間Y中重建輸入特征空間X，構(gòu)建雙向映射模型，旨在從輸出數(shù)據(jù)潛在地重構(gòu)輸入數(shù)據(jù)。具體來說，首先建立從X到Y(jié)的投影來充分探索特征數(shù)據(jù)和標簽之間的映射關(guān)系，然后建立重構(gòu)映射f：Y→X，正向映射是學(xué)習(xí)實例特征到類別標簽關(guān)系的步驟，最小化重構(gòu)損失則表示反向映射的步驟，來補償前一步驟帶來的信息丟失。目標是從訓(xùn)練集中確定映射參數(shù)W和重構(gòu)參數(shù)，使預(yù)測標簽矩陣和原始標簽矩陣盡可能相似。目標函數(shù)表述如下：

minW，12‖XW－Y‖2F+γ12‖W‖2F+α2R（）+γ22Ω（）（2）

其中：第一項為映射損失，用于衡量預(yù)測標簽和真實標簽之間的距離；R（）表示數(shù)據(jù)重構(gòu)的損失函數(shù)，用于度量輸出標簽矩陣中輸入特征矩陣和重構(gòu)特征矩陣之間的相似性;基于嶺回歸思想添加Ω（）正則項，避免模型過擬合;α和γ2是兩個權(quán)衡參數(shù)。與正向映射損失函數(shù)類似，采用歐氏距離度量原始特征空間和重構(gòu)特征空間之間的差異，因此重構(gòu)損失函數(shù)定義如下：

R（）=‖YT－X‖2F（3）

文獻［25］提出一種基于編碼器—解碼器范式的對稱約束稀疏編碼機，通過加強編碼器和解碼器之間的對稱性以權(quán)值共享的方式進行權(quán)重綁定來實現(xiàn)線性濾波器的自動縮放。與此類似，為了簡化雙向映射模型，根據(jù)文獻［24，25］將權(quán)重綁定考慮如下：

*=WT（4）

其中：*是得到的最佳重構(gòu)參數(shù)。因此式（2）中的目標函數(shù)可簡化為

minW12‖XW－Y‖2F+α2‖YWT－X‖2F+γ12‖W‖2F+γ22Ω（W）（5）

其中：第二項為簡化后的重構(gòu)誤差。對于正則化項Ω（W），為控制模型復(fù)雜度，本文采用Frobenius范數(shù)來實現(xiàn)。

Ω（W）=‖W‖2F（6）

最終式（5）中的目標函數(shù)可重新表述為

minW12‖XW－Y‖2F+α2‖YWT－X‖2F+γ2‖W‖2F（7）

其中：γ是用于調(diào)節(jié)經(jīng)驗誤差和模型復(fù)雜度間的平衡參數(shù)。

1.3結(jié)合標簽相關(guān)性和實例相關(guān)性

文獻［26］認為兩個強相關(guān)的類標簽比兩個不相關(guān)或弱相關(guān)的類標簽共享更多的特征。因此，如果類標簽yi和yj具有較強的相關(guān)性時，對應(yīng)的系數(shù)向量wi和wj也具有較強的相似性。結(jié)合標簽相關(guān)性后的目標函數(shù)可表述為

minW12‖XW－Y‖2F+α2‖YWT－X‖2F+

β2tr（RWTW）+γ2‖W‖2F（8）

其中：模型參數(shù)βgt;0，權(quán)衡標簽相關(guān)性對系數(shù)矩陣W的影響。Rij=1－Cij，Cij為標簽yi和yj之間的余弦相似度，C∈l×l為標簽相關(guān)矩陣。

文獻［15］認為兩個實例在原特征空間中具有強相關(guān)性，它們對應(yīng)的標簽可能是相似的，可以共享相關(guān)的標簽子集信息。將實例相關(guān)性加入模型中得到目標函數(shù)為

minW12‖XW－Y‖2F+α2‖YWT－X‖2F+β2tr（RWTW）+

λ2tr（WTXTLXW）+γ2‖W‖2F（9）

其中：模型參數(shù)λgt;0用于平衡實例相關(guān)性對W的作用;L=D－S為K近鄰圖S的圖拉普拉斯矩陣，S∈n×n為實例相關(guān)矩陣，Dii=∑nj=1Sij為對角矩陣。Sij表示實例xi和xj之間的相似度，xi∈kNN（xj）表示xi是xj的一個近鄰。

Sij=1xi∈kNN（xj）或xj∈kNN（xi）

0其他（10）

綜上所述，一種結(jié)合標簽相關(guān)性和實例相關(guān)性的雙向映射多標簽學(xué)習(xí)模型如式（9）所示。然而現(xiàn)實中的大多數(shù)數(shù)據(jù)集往往都不是線性可分的，由式（9）得到的是一個線性模型，為了提高模型對非線性數(shù)據(jù)的學(xué)習(xí)和泛化能力，利用非線性特征映射φ（·）：d→H將原始的低維特征空間X∈d映射到一個更高維的希爾伯特空間φ（X）∈H。具體地，設(shè)κ是特征空間X上的核，φ（x）表示其相關(guān)的非線性特征空間映射，且f（X）=［φ（x1），…，φ（xn）］T，由文獻［27］的線性表示定理可知，W可以由輸入特征f（X）的線性組合表示。因此，問題式（11）的最優(yōu)解W*=［w*1，…，w*l］可以由式（12）（13）表示。

minW12‖f（X）W－Y‖2F+α2‖YWT－f（X）‖2F+

β2tr（RWTW）+λ2tr（WTf（X）TLf（X）W）+γ2‖W‖2F（11）

w*j=∑ni=1ajiφ（xi）（12）

W*=［φ（x1），φ（x2），…，φ（xn）］A（13）

其中：wj和aj=［aj1，…，ajn］T分別是W和A=［a1，…，al］的第j列。將式（12）（13）代入式（11）中，可以得到問題式（11）的一個等價優(yōu)化問題如下：

minA12‖KA－Y‖2F+α2‖YATf（X）－f（X）‖2F+

β2tr（RATKA）+λ2tr（ATKTLKA）+γ2tr（ATKA）（14）

其中：核矩陣K=f（X）f（X）T，f（X）=［φ（x1），…，φ（xn）］T。對問題式（14）中目標函數(shù)L（A）求導(dǎo)可得

L（A）（A）=（K+λLK）A+A（αYTY+βR+γI）－（Y+αY）（15）

令L（A）（A）=0，可得

（K+λLK）A+A（αYTY+βR+γI）－（Y+αY）=0（16）

由文獻［28］可知，式（16）是一個具有唯一解的Sylvester方程，可以采用經(jīng)典的Bartels-Stewart（B-S）算法［28］得到該方程數(shù)值穩(wěn)定的解A*。B-S算法通過對方程系數(shù)進行Schur分解將方程轉(zhuǎn)換為三角形式，利用代換法求解方程。算法1中給出了所提雙向映射學(xué)習(xí)的多標簽分類算法的具體步驟。

算法1給出了KBiML算法的完整步驟。對給定的多標簽數(shù)據(jù)集劃分訓(xùn)練集，首先由訓(xùn)練集分別計算標簽相關(guān)性矩陣和實例相關(guān)性矩陣，再對訓(xùn)練集的實例矩陣進行高斯核映射得到相應(yīng)的核矩陣（第2～4行）；之后，基于得到的標簽相關(guān)矩陣、實例相關(guān)矩陣和核矩陣計算式（16）中的方程系數(shù)矩陣（第5行）；最后，利用上一步驟中計算得到的方程系數(shù)矩陣求解模型的解A*，由于式（16）是Sylvester方程，所以使用MATLAB中的lyap（）函數(shù)進行求解（第6行）。在模型預(yù)測階段，同樣地對測試集實例矩陣進行核映射得到核矩陣，并根據(jù)訓(xùn)練好的模型對測試樣本進行標簽預(yù)測，對預(yù)測的分數(shù)矩陣進行閾值處理得到預(yù)測標簽矩陣（第8～10行）。

算法1基于雙向映射學(xué)習(xí)的多標簽分類算法（KBIML）

輸入：實例訓(xùn)練矩陣Xtrain∈n×d;標簽訓(xùn)練矩陣Ytrain∈n×l;正則化參數(shù)α、β、λ、γ;測試矩陣Xtest;閾值τ;交叉驗證次數(shù)CV。

輸出：模型系數(shù)矩陣A*∈n×l;分數(shù)矩陣Stest;預(yù)測標簽矩陣Ytest。

1 for j=1 to CV

2 利用余弦相似度構(gòu)造標簽相似矩陣C，并計算R，Rij←1－Cij；

3 根據(jù)式（10）計算圖拉普拉斯矩陣L←D－S；

4 進行非線性特征映射，構(gòu)造核矩陣Ktrain←f（Xtrain）f（Xtrain）T；

5 計算式（16）中的（K+λLK）、（αYTY+βR+γI）和－（Y+αY）；

6 利用MATLAB工具lyap（）對式（16）進行求解得到方程的解A*；

7 end for

8 構(gòu)造測試集核矩陣Ktest←f（Xtest）f（Xtest）T；

9 計算預(yù)測分數(shù)矩陣Stest←KtestA*；

10計算預(yù)測標簽矩陣Ytest←sign（Stest－τ）。

1.4算法復(fù)雜度分析

KBiML算法的時間復(fù)雜度計算如下：計算核矩陣K的時間復(fù)雜度為O（n2d），計算標簽相關(guān)性矩陣R的復(fù)雜度為O（nl2），計算實例相關(guān)性矩陣L的復(fù)雜度為O（n2d），計算式（16）中方程系數(shù)（K+λLK）和（αYTY+βR+γI）的時間復(fù)雜度分別為O（n3）和O（nl2+nl2）。求解Sylvester方程的復(fù)雜度為O（n3）。總的來說整個算法的復(fù)雜度為O（n3+n2d+nl2）。

2實驗結(jié)果與分析

2.1實驗設(shè)置

本文在12個多標簽數(shù)據(jù)集上進行了驗證評估，這些多標簽數(shù)據(jù)集及其詳細信息都可以從Mulan（http：//mulan. sourceforge.net/）和KDIS（http：//www.uco.es/kdis/mllresources/）網(wǎng)站上獲取。采用六種性能指標來對各算法的性能進行評估對比，即漢明損失（Hamming loss，HL）、平均精度（average precision，AP）、一次錯誤率（one error，OE）、排序損失（ranking loss，RL）、覆蓋率（coverage，CV）和宏觀適應(yīng)性（macro area under curve，AUC）。關(guān)于性能指標的具體描述和公式定義可以在文獻［6，29］中找到。其中AP和AUC值越大，分類器的泛化性能越好。HL、OE、RL和CV值越小，分類器的性能越好。

2.2對比算法

為驗證所提KBiML算法的有效性，本文與幾種主流的多標簽學(xué)習(xí)算法進行了性能對比評估。對比算法分別是LIFT［9］、LLSF［26］、LSF-CI［15］、LSML［13］、ML-LSS［16］和DM2L［19］。LIFT算法提出了用于多標簽學(xué)習(xí)的標簽特定特征的思想。LLSF算法以稀疏堆疊方式學(xué)習(xí)標簽特定特征進行多標簽分類。LSF-CI算法同時考慮標簽空間中的標簽相關(guān)性和特征空間中的實例相關(guān)性用于多標簽學(xué)習(xí)。LSML算法聯(lián)合進行分類任務(wù)和標簽矩陣恢復(fù)任務(wù)。ML-LSS算法利用樣本的局部相似度進行多標簽分類。DM2L算法聯(lián)合捕獲全局、局部低秩結(jié)構(gòu)和標簽判別信息進行多標簽學(xué)習(xí)。

對比算法均采用相應(yīng)文獻中給出的參數(shù)，例如：LLSF的參數(shù)α={2－10，2－9，…，210}，β={2－10，2－9，…，210}，γ={0.1，1，10}，閾值τ=0.5。對于KBiML算法，參數(shù)α、β、λ、γ的值均在{2－12，2－11，…，26}中取得，閾值τ=0.5，高斯核參數(shù)σ=1。

2.3實驗結(jié)果

表1～6列出了8種對比算法在12個數(shù)據(jù)集上進行五折交叉驗證后的平均結(jié)果（均值±方差），其中最佳結(jié)果用黑體加粗表示。觀察表1～6可得到以下結(jié)論：

在實驗的72種（12個數(shù)據(jù)集，6個性能指標）對比結(jié)果中，KBiML排名第一、第二和第三的占比分別為65.28%、29.17%、5.6%。在表1～3中，KBiML算法表現(xiàn)最優(yōu)。對比所有算法，KBiML在HL、AP、OE、RL、CV、AUC上的性能平均提升分別為17.68%、4.93%、17.01%、18.57%、12.92%、3.08%；從總體來看，KBiML在6種性能指標上的性能平均提升12.37%。

此外，為了進一步對算法的相對性能進行評估，采用Friedman檢驗［30］進行性能分析。表7給出了每個評價指標的Friedman統(tǒng)計值FF以及相應(yīng)的臨界值。如表7所示，在顯著水平ρ=0.05的情況下，對于每個指標，都明確拒絕零假設(shè)。因此，繼續(xù)使用Nemenyi檢驗［30］來比較各算法的相對性能。當(dāng)兩種對比算法在所有數(shù)據(jù)集上的平均排名的差值大于臨界差值（CD=qρk（k+1）/6N）時，認為兩種算法存在顯著性差異，否則不考慮顯著性差異。對于Nemenyi檢驗，顯著水平ρ=0.05時，qρ=3.031。因此，臨界差值為CD=3.031（算法數(shù)量為8，數(shù)據(jù)集數(shù)量為12）。圖1為各算法在六種評價指標上的平均排名對比，在每個子圖中，從右至左表示性能依次降低，通過實線相連接的算法，表明它們之間的性能沒有顯著性差異。

觀察圖1，可以得到以下結(jié)論：

a）LSF-CI、ML-LSS和LLSF雖然都是利用標簽特定特征來解決多標簽學(xué)習(xí)問題的，然而LSF-CI的性能在多數(shù)情況下都優(yōu)于其他兩種算法。這是因為LSF-CI在學(xué)習(xí)系數(shù)矩陣時，同時考慮到標簽空間中的標簽相關(guān)性和原始特征空間中的實例相關(guān)性。而KBiML和BiML在所有指標上都明顯優(yōu)于LSF-CI，因為KBiML和BiML在考慮標簽相關(guān)性和實例相關(guān)性的同時又加入了反向映射損失正則項。

b）BiML算法在全部性能指標上的平均排名都要優(yōu)于LLSF、ML-LSS、LSF-CI、LSML和DM2L，因為BiML算法不僅考慮了標簽相關(guān)性和實例相關(guān)性，同時還引入了反向映射損失正則項構(gòu)建雙向映射模型，用于補償正向映射所造成的信息丟失，說明了雙向映射模型的有效性。KBiML算法在所有評價指標上的平均排名都高于BiML算法，主要是因為KBiML進行了非線性核映射，從而提高了雙向模型對非線性數(shù)據(jù)的處理能力。

c）KBiML算法在全部性能指標上的平均排名都要優(yōu)于其他算法，表明了雙向映射模型結(jié)合標簽相關(guān)性和實例相關(guān)性在解決多標簽分類問題中的有效性。與同樣進行非線性核映射的DM2L算法相比，KBiML算法表現(xiàn)更優(yōu)，說明KBiML算法具有更強的非線性表征能力。

基于以上分析可以看出，KBiML算法與其他幾種算法相比具有較強的競爭力。大量的實驗結(jié)果驗證了雙向映射模型結(jié)合標簽相關(guān)性和實例相關(guān)性解決多標簽分類的有效性，而非線性擴展則提高了雙向映射模型對非線性數(shù)據(jù)的處理能力。

最后，在圖2 中給出了本文算法在自然場景圖像庫上的部分樣本分類結(jié)果進行案例驗證。該圖像庫來源于南京大學(xué)機器學(xué)習(xí)與數(shù)據(jù)挖掘研究所（http：//www.lamda.nju. edu.cn/MainPage.ashx），共2 000張樣本圖像和五種類別標記，分別是desert、mountains、sea、sunset、trees；其中單標記、雙標記和三標記圖像數(shù)量分別為1 543張、442張和15張。從圖2可以看出，在大多數(shù)情況下，所提算法都能夠?qū)D像標簽進行準確的預(yù)測，預(yù)測結(jié)果可以很好地與真實標簽匹配，如圖（a）～（e）、圖（g）～（k）、圖（m）～（q）所示。而在一些情況下無法準確地預(yù)測真實標簽，如圖（f）未預(yù)測到mountains標記，原因可能是圖像中mountains的形狀特征與desert較為相似導(dǎo)致誤判；圖（r）未預(yù)測到desert標記，原因可能是由于該類型的標記圖像數(shù)量過少，模型沒有很好地學(xué)習(xí)到該特征。而在另一些情況下，模型在預(yù)測到真實標記的基礎(chǔ)上還提供了更準確的預(yù)測結(jié)果，如圖（l），模型不僅預(yù)測到真實標記mountains和sunset，此外還多預(yù)測到一個sea標記，更加準確地描述了圖像的真實內(nèi)容。

2.4參數(shù)敏感性分析

KBiML算法有α、β、λ和γ四個基本參數(shù)。為了研究這四個參數(shù)對算法性能的影響，在arts數(shù)據(jù)集上進行了參數(shù)敏感性分析實驗。將三個參數(shù)的值固定為已知值，然后在{2－12，2－11，…，26}內(nèi)改變其中一個參數(shù)的值。圖3給出了在arts數(shù)據(jù)集上KBiML算法的六種性能指標值的變化情況。

由圖3可以看出，KBiML的性能對模型參數(shù)的取值相對敏感。其中α為平衡重構(gòu)損失正則項的參數(shù)，從整體上來看，當(dāng)α取某些較小的中間值時能夠得到不錯的性能指標。α過大或過小時都會降低模型性能，說明對重構(gòu)損失正則項分配合適的權(quán)重能提高模型的性能。參數(shù)β控制標簽相關(guān)性，當(dāng)β取某些中間值時，性能通常達到最好。β值過大時會使一些弱相關(guān)的類別標簽被認為是強相關(guān)的，進而導(dǎo)致模型性能下降；過小的β值可能無法獲得良好的標簽表示從而降低模型性能。參數(shù)λ控制實例相關(guān)性，從圖3可以看出λ與β對模型性能的影響具有相似的趨勢。當(dāng)λ取中間值時，模型會有較好的性能指標；λ值過大或過小時會導(dǎo)致無法獲得合適的實例相關(guān)性表示，從而降低模型性能。此外，參數(shù)γ控制模型的復(fù)雜度，調(diào)節(jié)模型在過擬合和欠擬合之間平衡性。當(dāng)γ取值過小時，會導(dǎo)致模型出現(xiàn)過擬合問題，當(dāng)γ過大時會出現(xiàn)欠擬合問題。

2.5成分分析

為了進一步驗證KBiML算法中重構(gòu)損失正則項、標簽相關(guān)性和實例相關(guān)性的有效性，在四個數(shù)據(jù)集上進行了額外的成分分析實驗。圖4中展示了在六種性能指標上的成分分析對比。KBiML算法及其變體算法定義如下：KBiML-B表示忽略重構(gòu)損失正則項，KBiML-LC表示忽略標簽相關(guān)性，KBiML-IC表示忽略實例相關(guān)性。從圖4中各個子圖的結(jié)果可以得到KBiML在所有的評價指標上都要優(yōu)于KBiML-B。主要在于KBiML引入了重構(gòu)損失正則項構(gòu)建雙向映射模型，這反映了重構(gòu)損失正則項的有效性和雙向映射模型對多標簽學(xué)習(xí)的有效性。

KBiML在所有的評價指標上幾乎都優(yōu)于KBiML-LC。與KBiML-LC相比，KBiML算法結(jié)合了標簽相關(guān)性，充分地挖掘了標簽之間的內(nèi)在依賴關(guān)系，共享更多的標簽特征，說明了標簽相關(guān)性在多標簽分類中的有效性和重要性。

KBiML在所有評價指標上都優(yōu)于KBiML-IC。原因在于KBiML算法結(jié)合了實例相關(guān)性，在學(xué)習(xí)系數(shù)矩陣時考慮了來自實例特征空間的信息，表明了實例相關(guān)性在多標簽分類中的重要作用。在幾乎所有情況下，KBiML都要優(yōu)于其變種算法，表明了雙向映射模型結(jié)合標簽相關(guān)性和實例相關(guān)性在解決多標簽分類問題中的有效性。

3結(jié)束語

本文提出了一種基于雙向映射學(xué)習(xí)的多標簽分類算法。在基本的多標簽分類框架中引入反向重構(gòu)損失構(gòu)建雙向映射模型，用于優(yōu)化由于正向映射所導(dǎo)致的鑒別信息丟失；并結(jié)合標簽相關(guān)性和實例相關(guān)性，利用多種相關(guān)性信息約束模型系數(shù)學(xué)習(xí)模型最優(yōu)解，實驗驗證了所提算法對多標簽學(xué)習(xí)的有效性。最后，利用非線性核映射將多標簽數(shù)據(jù)映射到高維空間，提高了雙向映射模型對非線性數(shù)據(jù)的處理能力。與多個主流算法相比平均性能提升了12.37%，具有更好的性能表現(xiàn)。由于采用的標簽相關(guān)性矩陣采取的是完備的標簽空間信息，面對缺失標簽問題可能效果不佳，所以采用不完備標簽空間信息的雙向映射多標簽學(xué)習(xí)將是本文未來要探索的方向。

參考文獻：

[1]Markatopoulou F， Mezaris V， Patras I. Implicit and explicit concept relations in deep neural networks for multi-label video/image annotation［J］.IEEE Trans on Circuits and Systems for Video Technology，2019，29（6）：1631-1644.

［2]溫雯，韋濱，杜文俊，等.基于雙視角投影空間表示的文本多標簽標注方法［J］.計算機應(yīng)用研究，2020，37（9）：2684-2688.（Wen Wen， Wei Bin， Du Wenjun， et al. Multi-label annotation of text via double-view projection representation［J］.Application Research of Computers，2020，37（9）：2684-2688.）

［3]Ando A， Masumura R， Kamiyama H， et al. Speech emotion recognition based on multi-label emotion existence model［C］//Proc of Interspeech.2019：2818-2822.

［4]Zhang Yongshan， Wu Jia， Cai Zhihua， et al. Multi-view multi-label learning with sparse feature selection for image annotation［J］.IEEE Trans on Multimedia，2020，22（11）：2844-2857.

［5]Guo Yumeng， Chung F L， Li Guozheng， et al. Multi-label bioinformatics data classification with ensemble embedded feature selection［J］.IEEE Access，2019，7：103863-103875.

［6]Zhang Minling， Zhou Zhihua. A review on multi-label learning algorithms［J］.IEEE Trans on Knowledge and Data Engineering，2014，26（8）：1819-1837.

［7]Boutell M R， Luo Jiebo， Shen Xipeng， et al. Learning multi-label scene classification［J］.Pattern Recognition，2004，37（9）：1757-1771.

［8]Zhang Minling， Zhou Zhihua. ML-KNN： a lazy learning approach to multi-label learning［J］.Pattern Recognition，2007，40（7）：2038-2048.

［9]Zhang Minling， Wu Lei. LIFT： multi-label learning with label-specific features［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2014，37（1）：107-120.

［10]Xu Suping， Yang Xibei， Yu Hualong， et al. Multi-label learning with label-specific feature reduction［J］.Knowledge-Based Systems，2016，104：52-61.

［11]Gong Chen， Tao Dacheng， Yang Jie， et al. Teaching-to-learn and learning-to-teach for multi-label propagation［C］//Proc of the 30th AAAI Conference on Artificial Intelligence.2016：1610-1616.

［12]Huang Jun， Li Guorong， Huang Qingming， et al. Joint feature selection and classification for multilabel learning［J］.IEEE Trans on Cybernetics，2017，48（3）：876-889.

［13]Huang Jun， Li Guorong， Huang Qingming， et al. Joint feature selection and classification for multilabel learning［J］.IEEE Trans on Cybernetics，2018，48（3）：876-889.

［14]He Zhifen， Yang Ming， Gao Yang， et al. Joint multi-label classification and label correlations with missing labels and feature selection［J］.Knowledge-Based Systems，2019，163：145-158.

［15]Han Huirui， Huang Mengxing， Zhang Yu， et al. Multi-label learning with label specific features using correlation information［J］.IEEE Access，2019，7：11474-11484.

［16]Zhu Wenfang， Li Weiwei， Jia Xiuyi. Multi-label learning with local similarity of samples［C］//Proc of International Joint Conference on Neural Networks.Piscataway，NJ： IEEE Press，2020：1-8.

［17]Jia Xiuyi， Zhu Saisai， Li Weiwei. Joint label-specific features and correlation information for multi-label learning［J］.Journal of Computer Science and Technology，2020，35（2）：247-258.

［18]吳安奇，高清維，孫冬，等.多類別相關(guān)性結(jié)合的類屬屬性多標簽學(xué)習(xí)［J］.模式識別與人工智能，2020，33（8）：705-715.（Wu Anqi， Gao Qingwei， Sun Dong， et al. Multi-label label-specific features learning combined with multi-category correlation information［J］.Pattern Re-cognition and Artificial Intelligence，2020，33（8）：705-715.）

［19]Ma Zhongchen， Chen Songcan. Expand globally， shrink locally： discriminant multi-label learning with missing labels［J］.Pattern Re-cognition，2021，111：107675.

［20]Wang Yibin， Zheng Weijie， Cheng Yusheng， et al. Two-level label recovery-based label embedding for multi-label classification with missing labels［J］.Applied Soft Computing，2021，99：106868.

［21]Li Junbing， Zhang Changqing， Zhu Pengfei， et al. SPL-MLL： selecting predictable landmarks for multi-label learning［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2020：783-799.

［22]Zhang Nan， Ding Shifei， Zhang Jian. Multi layer ELM-RBF for multi-label learning［J］.Applied Soft Computing，2016，43：535-545.

［23]Cheng Yusheng， Zhao Dawei， Wang Yibin， et al. Multi-label lear-ning with kernel extreme learning machine autoencoder［J］.Know-ledge-Based Systems，2019，178：1-10.

［24]Liu Xinyuan， Zhu Jihua， Zheng Qinghai， et al. Bidirectional loss function for label enhancement and distribution learning［J］.Know-ledge-Based Systems，2021，213：106690.

［25]Ranzato M A， Boureau Y L， LeCun Y. Sparse feature learning for deep belief networks［C］//Proc of the 20th International Conference on Neural Information Processing Systems.2007：1185-1192.

［26]Huang Jun， Li Guorong， Huang Qingming， et al. Learning label specific features for multi-label classification［C］//Proc of IEEE International Conference on Data Mining.Piscataway，NJ：IEEE Press，2015：181-190.

［27]Schlkopf B， Smola A J. Learning with kernels： support vector machines， regularization， optimization， and beyond［M］.Cambridge，MA：MIT Press，2001.

［28]Zhu Xiaofeng， Suk H I， Wang Li， et al. A novel relational regularization feature selection method for joint regression and classification in AD diagnosis［J］.Medical Image Analysis，2017，38：205-214.

［29]Zhang Jia， Li Candong， Cao Donglin， et al. Multi-label learning with label-specific features by resolving label correlations［J］.Knowledge-Based Systems，2018，159：148-157.

［30]Demar J. Statistical comparisons of classifiers over multiple data sets［J］.The Journal of Machine Learning Research，2006，7：1-30.

收稿日期：2021-10-13；

修回日期：2021-12-01

基金項目：國家自然科學(xué)基金資助項目（62071001）；安徽省自然科學(xué)基金資助項目（2008085MF183）；安徽省教育廳重點項目（KJ2018A0012）；安徽大學(xué)博士研究基金資助項目（J01003266）

作者簡介：王慶鵬（1994-），男，安徽阜陽人，碩士研究生，主要研究方向為機器學(xué)習(xí)；高清維（1965-），男（通信作者），安徽肥東人，教授，博導(dǎo)，博士，主要研究方向為機器學(xué)習(xí)、模式識別、數(shù)字圖像處理（qingweigao@ahu.edu.cn）；盧一相（1980-），男，安徽阜陽人，副教授，碩導(dǎo)，博士，主要研究方向為數(shù)字信號處理；孫冬（1983-），男，安徽亳州人，副教授，碩導(dǎo)，博士，主要研究方向為數(shù)字圖像處理.