基于結構性質保持和相關性學習的多標記分類算法

摘要：現(xiàn)有的多標記學習技術大多只考慮了相關性學習問題而忽略了數(shù)據(jù)因變換而引起的結構性質不一致問題，導致原始特征數(shù)據(jù)的結構性質因映射變換發(fā)生改變，從而影響了模型的分類性能。為了解決這一問題，提出了基于結構性質保持和相關性學習的多標記分類算法。首先，構造了線性映射函數(shù)以實現(xiàn)特征空間與標記空間的映射；然后借鑒圖正則化思想，引入基于特征數(shù)據(jù)的結構性質保持策略以降低特征數(shù)據(jù)因線性變換引起的結構性質差異；最后，針對標記數(shù)據(jù)引入基于標記對的相關性學習策略進一步優(yōu)化算法參數(shù)，以提高模型的分類性能。在不同規(guī)模的標準數(shù)據(jù)集上進行測試，結果表明所提算法與一些流行的多標記分類算法相比具有更優(yōu)的分類性能，驗證了所提算法的有效性。

關鍵詞：多標記分類； 相關性學習； 線性回歸； 結構性質保持

中圖分類號：TP391文獻標志碼：A

文章編號：1001-3695（2022）04-013-1037-06

doi：10.19734/j.issn.1001-3695.2021.09.0398

Multi-label classification with structural property preserving and correlation learning

Zhang Qiliang， Lou Hengrui， Ju Dianchun

（School of Electrical amp; Information Engineering， Jiangsu University of Science amp; Technology， Zhangjiagang Jiangsu 215600， China）

Abstract：Most of the existing multi-label learning techniques consider the correlation learning problem but ignore the inconsistency feature of structural properties， which can change the structural property of the label space obtained by function mapping and it can directly affect the classification performance. In order to deal with this problem， this paper proposed a multi-label classification algorithm based on structural property preserving policy and correlation learning policies. Firstly， the algorithm constructed a mapping function to realize the mapping between the feature space and the label space. Secondly， it used structural property preserving strategy based on feature data to reduce the difference between feature data caused by linear transformation. Finally， this paper introduced the correlation learning strategy based on label data to further optimize the parameters of the proposed algorithm to improve the classification performance. The experimental results through a group of benchmark instances show that compared with the other classical multi-label classification algorithm， the proposed algorithm is much superior in classification performance， and the algorithm has great effectiveness.

Key words：multi-label classification; correlation learning; linear regression; structural property preserving

0引言

多標記學習可以解決一個樣本可能同時隸屬于多個類別標記的學習問題。因為研究內容的廣泛性，多標記學習成為近幾年來機器學習研究的一大熱點，且已成功應用于音樂分類［1］、生物信息學［2，3］、圖像和視頻自動標注［4］、基因功能分析［5］、相關規(guī)則挖掘［6，7］以及多標記文本分類［8］等領域。

為了使多標記分類方法具有更好的分類性能，現(xiàn)有的多標記學習方法大多引入了相關性學習策略［9～14］。具體地，多標記相關性學習可分為建模標記子集之間的相關性以及建模標記對之間的相關性兩大主流。建模標記子集之間的相關性是指多標記方法通過同時考慮多個標記之間的相互作用來提高模型的分類性能。文獻［15］將相鄰實例的標記視為要預測實例標記的特征，并引入評估系數(shù)來量化標記之間的依賴關系，即采用評估系數(shù)來表示標記子集之間的相似度。文獻［16］提出了用于多標記分類的剪枝集方法，利用多標記數(shù)據(jù)集中最重要的標記關系修剪不經(jīng)常出現(xiàn)的標記子集。文獻［17］利用已有的二元分類器對標記空間中的每一個標記逐一進行二元分類，并將分類結果作為新特征加入特征空間，因此后一個標記的分類過程受到前面所有已分類標記的共同影響。建模標記對之間的相關性是指多標記方法通過考慮標記空間中任意兩個標記之間的相關性來提高模型的分類性能。文獻［18］通過最大化相關標記與不相關標記之間的間隔來實現(xiàn)標記對之間的相關性學習。文獻［19］將成對偏好學習和傳統(tǒng)相關性分類技術組合，引入人工校準標記將相關標記與無關標記進行分離。文獻［20］將標記空間中相鄰標記組合成標記對，因此存在標記對關系的兩個標記在學習時相互作用的性能。

現(xiàn)有的多標記分類方法通過引入上述標記相關性學習來提高模型的分類性能，但這些方法大多忽略了數(shù)據(jù)因映射變換引起的結構性質差異，忽略了原始多標記數(shù)據(jù)在映射變換中產(chǎn)生的信息損失，使得分類性能有待進一步提高。結合上述分析，本文提出了基于結構性質保持和相關性學習的多標記分類算法（multi-label classification with structural property preserving and correlation learning，MLC-SPP-CL）。該算法主要包含三個機制：設計了線性回歸以實現(xiàn)特征空間與標記空間之間的映射；采用圖正則化思想構造了基于特征數(shù)據(jù)的結構性質保持策略以維持樣本特征因數(shù)據(jù)變換產(chǎn)生的結構信息損失；引入了基于標記對的相關性學習機制以提高多標記學習的分類性能。

本文提出了一種基于結構性質保持和相關性學習的多標記分類算法（MLC-SPP-CL），采用線性回歸變換在特征空間與標記之間構建映射函數(shù)；為了減少特征數(shù)據(jù)因線性變換引起的結構性質損失，所提算法增加了基于特征的結構性質保持策略；為了提高多標記學習的分類性能，所提算法在線性回歸的基礎上引入了基于標記對的相關性學習策略。本文基于標準數(shù)據(jù)集進行測試，驗證了該算法的有效性。

1概念介紹

1.1多標記相關概念

在多標記學習應用場景下，給定數(shù)據(jù)集=（xi，yi）Ni=1，其中xi=［xi1，xi2，…，xiD］T∈D×1表示數(shù)據(jù)集中包含D個特征的第i個實例，yi=［yi1，yi2，…，yiL］T∈L×1表示實例xi對應的標記向量。如果實例xi與第j個標記相關，則yij=1，否則yij=0。記X=［x1，x2，…，xN］∈D×N為輸入矩陣，Y=［y1，y2，…，yN］∈L×N為輸出矩陣。本文的目標是研究出一個多標記分類算法，該算法通過學習多標記訓練數(shù)據(jù)能對新實例進行準確分類。

1.2結構性質保持

結構性質保持思想常用于空間降維方法中，如線性判別分析（linear discriminant analysis，LDA）［21］、局部線性嵌入（locally linear embedding，LLE）［22］和多維縮放（multidimensional sca-ling，MDS）［23］等。LDA的核心思想是使得樣本在投影空間中保持類內方差最小，且類間方差最大；LLE考慮到高維空間中的原始樣本受到其近鄰樣本的共同影響，因此將這種關系保留到低維的映射空間，使得樣本數(shù)據(jù)的結構性質得以保持；MDS在進行投影變換時保持樣本間的相似性不變。

2基于結構性質保持和相關性學習的多標記分類算法

本文提出了一種基于結構性質保持和相關性學習的方法，即MLC-SPP-CL。MLC-SPP-CL主要從三個方面建模多標記分類模型：a）在特征空間與標記空間之間構造映射函數(shù)；b）為了避免因數(shù)據(jù)變換引起的結構性質不一致性，算法需要對變換前后的特征數(shù)據(jù)增加結構性質保持約束；c）為提高模型的分類性能，算法需要基于標記數(shù)據(jù)進行相關性學習。因此，算法的目標公式可定義為

minφ1，φ2，φ3 line_reg（X，Y|φ1）+β stru_pro（X|φ2）+γ corr_lea（Y|φ3）（1）

其中：第一項表示基于特征空間與標記空間的線性回歸映射；第二項表示基于特征數(shù)據(jù)的結構性質保持；第三項表示基于標記對的相關性學習，超參數(shù)β和γ是用于平衡結構性質保持和相關性學習的權重。

2.1MLC-SPP-CL算法框架

MLC-SPP-CL算法框架由三個部分構成，如圖1所示。算法首先利用線性變換在特征空間與標記空間之間建立基礎映射函數(shù)；然后通過引入基于特征數(shù)據(jù)的結構性質保持策略降低特征數(shù)據(jù)因線性變換引起的結構性質差異；最后通過引入基于標記對的相關性學習策略提高算法的分類性能。

2.2線性回歸

因為簡單且高效的特點，本文將線性回歸作為特征空間與標記空間之間的映射函數(shù)。具體地，對于第i （1≤i≤L）個標記i，特征到標記之間的映射函數(shù)為

wiX=i（2）

其中：wi∈1×D;i為Y的第i行，即i=Yi，·∈1×N，表示標記空間中第i個標記。

相應地，在多標記學習場景中，基于線性變換的映射函數(shù)可定義為

line_reg（X，Y|φ1）=‖（Y－WX）T‖2，1+α‖W‖2F（3）

其中：W=［wT1，wT2，…，wTL］T∈L×D；L2，1范數(shù)具有結構稀疏性的特點，可以降低模型復雜度;超參數(shù)α用于平衡式（3）中兩項的權重。

2.3結構性質保持

為了緩解特征數(shù)據(jù)因線性變換引起的結構性質差異，算法利用圖正則化思想對近鄰樣本維持數(shù)據(jù)的結構性質。對于實例xi，它與近鄰樣本的相似度被定義為

ei，j=exp（-‖xi-xj‖2σ2）xi∈k（xj） or xj∈k（xi）

0otherwise

（4）

其中：k（xj）是樣本xj的k個最近鄰樣本集合。

考慮利用樣本間的相似度作為度量數(shù)據(jù)結構性質的基本方式，即實例xi和xj在原始特征空間中的結構性質應當與線性變換后Wxi和Wxj之間的結構性質保持一致，因此，所提方法中基于特征數(shù)據(jù)的結構性質保持策略被定義為

stru_pro（X|φ2）=∑Ni=1∑Nj=1‖Wxi－Wxj‖2ei，j=

Tr（WXLXTWT）（5）

其中：Tr（·）表示矩陣的跡;L=D－E∈N×N，E=［ei，j］∈N×N，D=［di，j］∈N×N是一個對角矩陣，且di，i=∑Nj=1ei，j。

2.4相關性學習

在多標記學習問題中，標記之間往往存在相關性。如果兩個標記之間緊密相關，則一個標記的判別特征對另一個標記的判別也有作用。相反，如果兩個標記不相關或弱相關，則一個標記的判別特征對另一個標記的影響較小。這說明兩個相關標記比兩個不相關或弱相關標記在特征集中能共享更多的特征。

在線性回歸上，對某一標記影響較大的特征，其相應的回歸系數(shù)為非零。因此，如果標記i（矩陣Y∈L×N的第i行，1≤i≤L，即第i個標記）和j（矩陣Y∈L×N的第j行，1≤j≤L，即第j個標記）是強相關的，那么這兩個標記對應的回歸權重wi（矩陣W∈L×D的第i行，1≤i≤L）和wj（矩陣W∈L×D的第j行，1≤j≤L）之間的相似度就大，反之，相似度就小。因此，基于標記的相關性學習表達式為

corr_lea（Y|φ3）=∑Li=1∑Lj=1ri，jwiwTj（6）

其中：ri，j=1－ci，j表示第i個標記與第j個標記之間的相關系數(shù);C=［ci，j］∈L×L是標記相關矩陣。本文利用余弦相似度計算標記的相關矩陣C。進一步地，式（6）等價于

corr_lea（Y|φ3）=Tr（RWWT）（7）

其中：R=［ri，j］∈L×L。

2.5算法目標函數(shù)

結合式（1）（3）（5）（7），所提算法的目標公式如式（8）所示。

minφ1，φ2，φ3 line_reg（X，Y|φ1）+β stru_pro（X|φ2）+γ corr_lea（Y|φ3）=

minW‖（Y-WX）T‖2，1+α‖W‖2F+β Tr（WXLXTWT）+γTr（RWWT）（8）

其中：α、β、γ為超參數(shù)，用來平衡每項的影響程度。求解W的具體過程如下：

式（8）對應的拉格朗日函數(shù)為

L（W）=‖（Y-WX）T‖2，1+α‖W‖2F+

β Tr（WXLXTWT）+γ Tr（RWWT）（9）

令LW=0，則有式（10）成立。

2WXDwXT－2YDwXT+2αW+2βWXLXT+2γRW=0（10）

其中：Dw∈N×N為對角矩陣，且Dw，ii=1/2‖（Y－WX）Ti‖。進一步，式（10）等于

W（XDwXT+αI+βXLXT）+γRW=YDwXT（11）

其中：I∈D×D為單位矩陣。

式（11）可通過MATLAB中Sylvester函數(shù)進行求解。Sylvester函數(shù)可通過方程AX+XB=C求解矩陣X，其中A∈m×m，B∈n×n，C∈m×n，X∈m×n。因此，式（11）的解為式（12），即求解出W。

W*=Sylvester（γR，XDwXT+αI+βXLXT，YDwXT）（12）

2.6算法描述

算法1MLC-SPP-CL

輸入：超參數(shù)α、β、γ、σ，迭代次數(shù)T，最小近鄰數(shù)k，訓練集=（xi，yi）Ni=1。

輸出：權重矩陣W。

初始化矩陣W0←（1/L）1L×D；

根據(jù)式（4）計算矩陣E；

根據(jù)di，i←∑Nj=1ei，j計算矩陣D；

L←D－E；

根據(jù)余弦相似度函數(shù)計算矩陣R←1－C；

for t=1，2，…，T do

根據(jù)Dw，ii←1/2‖（Y－WX）Ti‖，更新Dw；

運用Sylvester函數(shù)計算權重矩陣

W←Sylvester（γR，XDwXT+αI+βXLXT，YDwXT）；

W0←W；

核對目標函數(shù)收斂條件；

end for

3實驗結果和分析

3.1數(shù)據(jù)集

為了驗證所提算法的有效性，本文選取來自不同領域的10個基準多標記數(shù)據(jù)集對所提算法進行實驗?；鶞识鄻擞洈?shù)據(jù)集的具體信息如表1所示。

3.2評價指標

本文采用以下五種常用的多標記分類評價指標［24］對多標記算法的分類性能進行評估：

a）Hamming loss（HL）。HL指標衡量被誤分類的實例—標記對的個數(shù)，HL定義如式（13）所示。該指標值越小，模型的分類性能越好。

HL=1N′∑N′i=1XOR（i，j，i，j）L′（13）

其中：N′表示測試集樣本數(shù);L′表示測試集標記維度;yi，j是第i個實例對應的第j個真實標記;i，j是第i個實例對應的第j個預測標記;XOR表示異或操作。

b）one-error（OE）。OE指標用來評估預測結果中排序第一的標記不屬于真實相關標記的比例，OE定義如式（14）所示。該指標值越小，模型的分類性能越好。

OE=1N′∑N′i=1|［arg max f（xi，）］Yi|（14）

其中：f（xi，）表示模型對第i個實例的某一標記預測值;Yi表示與第i個實例真實相關的標記集合。

c）coverage（CV）。CV指標表示遍歷所有與實例xi真實相關的標記所需要的平均次數(shù)，CV的定義如式（15）所示。該指標值越小，模型的分類性能越好。

CV=1N′∑N′i=1max∈Y⌒irankf（xi，）－1（15）

其中：rankf（·）表示預測函數(shù)f（·）的排序函數(shù)，如果f（xi，i，j）≤f（xi，i，l），則rankf（xi，i，j）≥rankf（xi，i，l）成立。

d）ranking loss （RL）。RL指標統(tǒng)計相關標記的預測值比不相關標記預測值要小的平均次數(shù)，定義如式（16）所示。該指標值越小，模型的分類性能越好。

RL=1N′∑N′i=11|Yi||i|·|{（i，l′，i，l″）|f（xi，i，l′）≤

f（xi，i，l″），（i，l′，i，l″）∈Yi×i}|（16）

其中：i是Yi的補集。

e）average precision（AP）。AP指標衡量的是排序在某個標記之前的平均相關標記數(shù)，AP定義如式（17）所示。該指標值越大，模型的分類性能越好。

AP=1N′∑N′i=11|Yi||{y^′|rankf（xi，y^′）≤rankf（xi，），y^′∈Yi}|rankf（xi，）（17）

3.3實驗設置

為了驗證算法的優(yōu)越性，本文基于十個基準多標記數(shù)據(jù)集將所提算法與binary relevance（BR）［22］、classifier chains（CC）［17］、hybrid noise-oriented multilabel learning （HNOML）［25］、multi-label K-nearest neighbor （ML-KNN）［26］、learning label specific features（LLSF）［27］、multi-label learning with specific features（LIFT）［28］六個算法的分類結果進行比較。算法的參數(shù)設置如表2所示。另外，為了保證實驗結果的穩(wěn)定性，本文引入了五折交叉驗證策略。

3.4分類性能分析

基于十個基準多標記數(shù)據(jù)集，本文算法MLC-SPP-CL與其他對比算法在指標AP、HL、OE、RL、CV上的比較結果如表3～7所示。表中，每組實驗的最優(yōu)性能結果被加粗顯示。

由表3所示，本文算法除了在Bibtex數(shù)據(jù)集上低于LLSF算法、在scene數(shù)據(jù)集上低于ML-KNN算法、在emotions數(shù)據(jù)集上低于BR算法外，在七個數(shù)據(jù)集上的AP指標都要優(yōu)于其他算法，驗證了其有效性。

由表4所示，本文算法除了在scene數(shù)據(jù)集上低于ML-KNN算法、在flags數(shù)據(jù)集上低于HNOML算法外，在七個數(shù)據(jù)集上的HL指標都要優(yōu)于其他算法。

由表5所示，本文算法除了在scene數(shù)據(jù)集上低于ML-KNN算法、在bibtex數(shù)據(jù)集上低于LLSF算法、在birds數(shù)據(jù)集和flags數(shù)據(jù)集低于BR算法外，在七個數(shù)據(jù)集上的OE指標都要優(yōu)于其他算法。

由表6所示，本文算法除了在Rcv1s1數(shù)據(jù)集上低于ML-KNN算法、在CAL500數(shù)據(jù)集上低于HNOML算法、在emotions數(shù)據(jù)集上低于BR算法外，在七個數(shù)據(jù)集上的RL指標都比其他算法優(yōu)越。

由表7所示，本文算法除了在Rcv1s1數(shù)據(jù)集上低于ML-KNN算法外，在七個數(shù)據(jù)集上的CV指標都好于其他算法?？傮w上，MLC-SPP-CL算法在10個數(shù)據(jù)集上的分類性能要優(yōu)于其他六種算法。

3.5統(tǒng)計分析

為了詳細分析MLC-SPP-CL算法與其他六個對比算法之間的顯著性差異，本文引入了Friedman檢驗和Bonferroni-Dun檢驗。具體地，給定k種算法和n個數(shù)據(jù)集，規(guī)定rji為第i個算法在第j個數(shù)據(jù)集上的排名，Ri為第i個算法在所有數(shù)據(jù)集上的平均排名。這里，零假設表示為k種算法分別在AP、HL、OE、RL和CV上沒有顯著性差異。Friedman統(tǒng)計量服從于自由度為k-1的χ2F分布，如式（18）所示。

FF=（n－1）χ2Fn（k－1）－χ2F

where χ2F=12nk（k+1）（∑ki=1R2i－k（k+1）24），Ri=∑nj=1rji/n（18）

其中：FF遵循自由度為（k-1）和（k-1）（n-1）的Fisher分布。表8顯示五個指標的Friedman統(tǒng)計量FF均大于在顯著性水平α=0.05下的臨界值，表示MLC-SPP-CL與六種對比算法在五個指標上均有顯著性差異。

下面使用Bonferroni-Dun檢驗分別比較MLC-SPP-CL和其他六種算法之間的顯著性差異。將MLC-SPP-CL和比較算法之間的平均等級差異與臨界差異（CD）進行比較，其中CD定義為

CDα=qαk（k+1）/6n（19）

其中：顯著性水平α=0.05，qα=2.638，得到CD=2.548 6。圖2顯示了MLC-SPP-CL和六種對比算法在五個指標上的優(yōu)劣排序。從右（更優(yōu)）到左，按等級升序排列。排名的數(shù)值越小，該方法就越優(yōu)越。如果MLC-SPP-CL和某一方法的平均排名之差小于CD，則認為MLC-SPP-CL和此方法之間差異不明顯，用紅線連接（參見電子版）；否則表示差異明顯。

從圖2中可以得出以下結論：a）MLC-SPP-CL在AP、HL、OE上明顯優(yōu)于LIFT、CC算法，在RL、CV上明顯優(yōu)于CC、LIFT、LLSF算法；b）MLC-SPP-CL在五項指標上與ML-KNN雖然沒有明顯差異，但是總體上MLC-SPP-CL優(yōu)于ML-KNN。

3.6參數(shù)敏感性分析

為了分析本文模型對參數(shù)的敏感性，實驗對超參數(shù)α、β、γ進行敏感性分析。具體地，將超參數(shù)α、β、γ的取值范圍分別擴大到{0.001，0.01，0.1，1，10，100，1000}，當一個參數(shù)被分析時，其他兩個參數(shù)固定不變，例如當分析模型對α敏感性時，β和γ固定不變。實驗結果如圖3所示。

對于α，在區(qū)間［0.001，10］內，所提MLC-SPP-CL算法在10個基準多標記數(shù)據(jù)集上的AP指標值隨著α的增大而逐漸遞增，在區(qū)間［1，10］上AP性能較好。對于β，在區(qū)間［0.001，10］內，所提MLC-SPP-CL算法在10個多標記數(shù)據(jù)集上隨著β的增加而緩慢遞增，在β取值為10處，所提算法的性能達到最佳，所提算法在區(qū)間［1，100］上表現(xiàn)良好。對于γ，所提算法在區(qū)間［10，100］上取得的性能較優(yōu)。

總體上，所提算法對參數(shù)α、β、γ的敏感性不強，超參數(shù)逐漸增大時，所提算法的性能曲線波動較平緩，算法穩(wěn)定。

3.7收斂性分析

實驗還進一步對MLC-SPP-CL算法的收斂性進行了驗證。具體地，α、β、γ分別取固定值1、1、0.1，迭代次數(shù)固定為6次。所得實驗結果如圖4所示。由圖4可知，本文算法具有明顯的快速收斂能力，當?shù)螖?shù)大于2時，所提算法在各數(shù)據(jù)集上的分類性能變化幅度小，趨于穩(wěn)定。因此，本文算法具有良好的收斂性。

3.8相關性學習分析

為了探究MLC-SPP-CL中相關性學習策略對于提升模型分類性能的效果，本文針對目標函數(shù)式（8），設置兩組實驗，具體參數(shù)設置如下：a）group A，參數(shù)設置為MLC-SPP-CL模型經(jīng)過訓練得到的最優(yōu)參數(shù)；b）group B，相關性學習策略對應超參數(shù)α設置為0，其他超參數(shù)的設置與group A相同，即MLC-SPP-CL中相關性學習被忽略。

選取HL作為相關性學習分析的評價指標，實驗結果如圖5所示。由圖5可以得到如下結論：在相關性學習參與的10個數(shù)據(jù)集下得到的HL指標結果（group A）均優(yōu)于無相關性學習策略參與得到的指標結果（group B），主要原因是引入的基于標記對的相關性學習策略有助于回歸權重的學習。

3.9結構性質保持分析

為了探究MLC-SPP-CL中結構性質保持策略對于提升模型分類性能的效果，設置如下兩組實驗，具體參數(shù)設置如下：a）group A，參數(shù)設置為MLC-SPP-CL模型經(jīng)過訓練得到的最優(yōu)參數(shù)；b）group B，超參數(shù)β設置為0，其他超參數(shù)α、γ的設置與group A相同，即MLC-SPP-CL中結構性質保持被忽略。

選取AP作為結構性質保持分析的評價指標，實驗結果如圖6所示。由圖6可以得到如下結論：在結構性質保持參與的10個數(shù)據(jù)集下得到的AP指標結果（group A）比無結構性質保持參與得到的結果（group B）大，這意味著在MLC-SPP-CL中，結構性質保持策略有效。主要原因是基于特征的結構性質保持策略減少了線性變換造成的結構性質損失。

4結束語

本文提出基于結構性質保持和相關性學習的多標記分類算法MLC-SPP-CL。對于線性回歸機制，本文采用了應用范圍較廣的線性回歸模式；對于結構性質保持機制，本文基于圖正則化方法維持樣本經(jīng)線性變換前后的結構性質；對于相關性學習機制，本文利用余弦相似度度量方式計算標記的相關矩陣?；跇藴蕯?shù)據(jù)集進行測試，驗證了本文算法的有效性。但該算法在分類性能上還存在一定的提升空間，如算法通過線性回歸的方式構建回歸損失函數(shù)，但在真實場景中，多標記數(shù)據(jù)往往存在非線性可分情況。因此，未來將通過核函數(shù)等方法將樣本從原始空間映射到一個更高維的特征空間，使得樣本在高維特征空間內線性可分，提高算法的實際應用價值和更高的分類性能。

參考文獻：

[1]Weng Wei， Wang Dahan， Chen C L， et al. Label specific features-based classifier chains for multi-label classification［J］.IEEE Access，2020，8：51265-51275.

［2]Zhang Jingpu， Zhang Zuping， Wang Zixiang， et al. Ontological function annotation of long non-coding RNAs through hierarchical multi-label classification［J］.Bioinformatics，2018，34（10）：1750-1757.

［3]吳能光，王華珍，許曉泓，等.MLICP-CNN：基于CNN與ICP的多標記胸片置信診斷模型［J］.計算機應用與軟件，2019，36（7）：177-182.（Wu Nengguang， Wang Huazhen， Xu Xiaohong， et al. MLICP-CNN： multi-label chest X-ray confidence diagnosis model based on CNN and ICP［J］.Computer Applications and Software，2019，36（7）：177-182.）

［4]張靜，胡微微，陳志華，等.多模型融合的多標簽圖像自動標注［J］.計算機輔助設計與圖形學學報，2014，26（3）：472-478.（Zhang Jing， Hu Weiwei， Chen Zhihua， et al. Multi-model fused framework for image annotation［J］.Journal of Computer-Aided Design amp; Computer Graphics，2014，26（3）：472-478.）

［5]Yu Guoxian， Rangwala H， Domeniconi C， et al. Protein function prediction using multilabel ensemble classification［J］.IEEE/ACM Trans on Computational Biology and Bioinformatics，2013，10（4）：1045-1057.

［6]Herrera F， Ventura S， Bello R， et al. Multiple instance multiple label learning［M］//Multiple Instance Learning.Cham：Springer，2016：209-230.

［7]何志芬，楊明，劉會東.多標記分類和標記相關性的聯(lián)合學習［J］.軟件學報，2014，25（9）：1967-1981.（He Zhifen， Yang Ming， Liu Huidong. Joint learning of multi-label classification and label correlations［J］.Journal of Software，2014，25（9）：1967-1981.）

［8]Zhang Danqing， Li Tao， Zhang Haiyang， et al. On data augmentation for extreme multi-label classification［EB/OL］.（2020-09-22）.https：//arxiv.org/pdf/2009.10778v1.pdf.

［9]Dai Jianhua， Chen Jiaolong， Liu Ye， et al. Novel multi-label feature selection via label symmetric uncertainty correlation learning and feature redundancy evaluation［J］.Knowledge-Based Systems，2020，207（11）：106342.

［10]Deng Jiawen， Ren Fuji. Multi-label emotion detection via emotion-specified feature extraction and emotion correlation learning［J］.IEEE Trans on Affective Computing，2020，DOI：10.1109/TAFFC.2020.3034215.

［11]Weng Wei， Lin Yaojin，Wu Shunxiang， et al. Multi-label learning based on label-specific features and local pairwise label correlation［J］.Neurocomputing，2018，273（1）：385-394.

［12]Zhang Minling， Li Yukun， Li Xuying. Binary relevance for multi-label learning： an overview［J］.Frontiers of Computer Science，2018，12（2）：191-202.

［13]Yang Kehua， She Chaowei， Zhang Wei， et al. Multi-label learning based on transfer learning and label correlation［J］.Computers， Materials amp; Continua，2019，61（1）：155-169.

［14]呂靜，何志芬.一種基于正則化最小二乘的多標記分類算法［J］.南京大學學報：自然科學版，2015，51（1）：139-147.（Lyu Jing， He Zhifen. A multi-label classfication algorithm based on regularized least squares［J］.Journal of Nanjing University： Natural Sciences，2015，51（1）：139-147.）

［15]Cheng Weiwei， Hüllermeier E. Combining instance-based learning and logistic regression for multilabel classification［J］.Machine Learning，2009，76（9）：211-225.

［16]Read J， Pfahringer B， Holmes G. Multi-label classification using ensembles of pruned sets［C］//Proc of the 8th IEEE International Conference on Data Mining.Washington DC：IEEE Computer Society，2008.

［17]Read J， Pfahringer B， Holmes G， et al. Classifier chains for multi-label classification with incomplete labels［J］.Machine Learning，2013，85（6）：article No.333.

［18]Elisseeff A， Weston J. A kernel method for multi-labelled classification［C］//Proc of the 14th International Conference on Neural Information Processing Systems： Natural and Synthetic.Cambridge，MA：MIT Press，2001：681-687.

［19]Fürnkranz J， Hüllermeier E， Mencía E L， et al. Multilabel classification via calibrated label ranking［J］.Machine Learning，2008，73（11）：133-153.

［20]McCallum A， Ghamrawi N. Collective multi-label text classification［EB/OL］.（2004-06）.https：//web.cs.umass.edu/publication/docs/2004/UM-CS-2004-078.pdf.

［21]Riffenburgh R H， Clunies-Ross C W. Linear discriminant analysis［J］.Pacific Science，2013，3（6）：27-33.

［22]Krishnapriya V， Mohan A. Multi-label collective classification using link based label diffusion［J］.Procedia Computer Science，2018，143：157-164.

［23]Cheung K W， So H C. A multidimensional scaling framework for mobile location using time-of-arrival measurements［J］.IEEE Trans on Signal Processing，2005，53（2）：460-470.

［24]Zhang Minling， Zhou Zhihua. A review on multi-label learning algorithms［J］.IEEE Trans on Knowledge and Data Engineering，2014，26（8）：1819-1837.

［25]Zhang Changqing， Yu Ziwei， Fu Huazhu， et al. Hybrid noise-oriented multilabel learning［J］.IEEE Trans on Cybernetic，2020，50（6）：2837-2850.

［26]Zhang Minling， Zhou Zhihua. ML-KNN： a lazy learning approach to multi-label learning［J］.Pattern Recognition，2007，40（7）：2038-2048.

［27]Huang Jun， Qin Feng， Zheng Xiao， et al. Learning label-specific features for multi-label classification with missing labels［C］//Proc of IEEE International Conference on Data Mining.Piscataway，NJ：IEEE Press，2018.

［28]Zhang Minling， Wu Lei. LIFT： multi-label learning with label-specific features［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2015，37（1）：107-120.

收稿日期：2021-09-22；

修回日期：2021-11-15

基金項目：國家“十三五”重點研發(fā)計劃資助項目（2017YFB0603801）；國家自然科學基金青年項目（62106145）

作者簡介：張其亮（1979-），男（通信作者），山東濰坊人，副教授，博士，主要研究方向為機器學習、智能算法優(yōu)化（zql_just@just.edu.cn）；婁恒瑞（2001-），男，江蘇徐州人，主要研究方向為機器學習；居殿春（1981-），男，江蘇寶應人，碩導，博士，主要研究方向為機器學習.