融合語義差別和流型學習的偏標記學習方法

摘 要：偏標記學習是一種重要的弱監督學習框架。在偏標記學習中，每個實例與一組候選標記相關聯，它的真實標記隱藏在候選標記集合中，且在學習過程中不可獲知。為了消除候選標記對學習過程的影響，提出了一種融合實例語義差別最大化和流型學習的偏標記學習方法（partial label learning by semantic difference and manifold learning，PL-SDML）。該方法是一個兩階段的方法：在訓練階段，基于實例的語義差別最大化準則和流型學習方法為訓練實例生成標記置信度；在預測階段，使用基于最近鄰投票的方法為未知實例預測標記類別。在四組人工改造的UCI數據集中，在平均70%的情況下優于其他對比算法。在四組真實偏標記數據集中，相比其他對比算法，取得了0.3%～13.8%的性能提升。

關鍵詞：偏標記學習； 流型學習； 語義差別

中圖分類號：TP181 文獻標志碼：A

文章編號：1001-3695（2023）03-018-0760-06

doi： 10.19734/j.issn.1001-3695.2022.07.0371

Partial label learning by semantic difference and manifold learning

Zhao Lianga， Xiao Yanshana， Liu Bob， Gu Huimina

（a.School of Computers， b.School of Automation， Guangdong University of Technology， Guangzhou 510000， China）

Abstract：Partial label learning is a weakly supervised learning framework. In partial label learning， each instance is associa-ted with a set of candidate labels， and its ground-truth label is unknown to us during the training process. In order to eliminate the ambiguous of candidate labels， this paper put forward a novel partial label learning by semantic difference and manifold learning（PL-SDML） method， which combined the semantic difference maximization criterion of instances and manifold lear-ning for partial label learning. The PL-SDML method was a two-stage method that used semantic difference maximization criterion of instances and manifold learning to generate the labeling confidence for training instances in the training phase. Then， PL-SDML made predicts for unseen instances via a nearest neighbor voting-based approach in the predict phase. On the UCI datasets， PL-SDML is superior to other comparison algorithms in 70% cases. On the four real-world datasets， the classification performance of PL-SDML improves by 0.3%～13.8% compared with other baselines.

Key words：partial label learning; manifold learning; semantic difference

0 引言

不同于傳統的監督學習和非監督學習，偏標記學習是一種弱監督學習方法［1］。在偏標記學習問題中，每個實例與一組候選標記關聯，但在這其中僅有一個標記是實例的真實標記。以人臉自動命名任務為例，給定一則由圖片和文字標題組成的新聞，圖片中檢測到的人臉與標題中檢測到名字的對應關系是未知的。偏標記學習解決的問題就是找到圖片中的人臉與標題中名字的對應關系。在實際的學習問題中，由于訓練實例的真實標記難以獲得以及標注成本過高等，學習系統很難獲得具有單一明確標記的訓練實例。因此，如何學習從具有弱監督標記信息的數據中進行建模學習，成為機器學習領域的研究熱點［2～5］。

偏標記學習的難點在于每個實例的真實標記隱藏在候選標記集合中，候選標記集合中的錯誤標記會對學習算法的建模過程產生干擾。近年來，有相關學者針對偏標記學習問題提出了一些有效的偏標記學習方法。基于消歧的方法由于具有理論支撐，所以得到了廣泛的認可?；谙绲姆椒ㄖ饕ɑ谄骄南绮呗裕?，7］和基于識別的消歧策略［8～10］?；谄骄南绮呗酝ㄟ^平等地對待候選標記集合的標記，并使用現有分類方法對未見實例進行預測。該策略通過對近鄰樣本的候選標記集合進行加權投票來預測樣本的類別，即f（x）=argminy∈Y∑j∈N（x）Ⅱ（y∈Sj）?；谧R別的消歧策略將實例的真實標記當做隱藏變量，并通過迭代的方法獲得實例的真實標記。首先假定一個特定的參數模型F（x，y：θ），然后依據y=argmaxy∈SiF（x，y：θ）判別真實標記，最后通過優化基于最大似然準則函數構建的分類損失函數∑iln（∑y∈SiF（x，y：θ））或者基于最大間隔準則構建的分類損失函數∑i（maxy∈Si F（x，y：θ）-maxy∈i F（x，y：θ））來迭代優化真實標記。另外一些嘗試使用流型學習的方法來構建分類器，也被稱為基于實例的感知方法［10，11］。 基于實例的方法假定實例在特征空間的流型結構G=〈V，E〉會傳播到標記空間，即‖xi-∑j∈N（xi）sijxj‖22→‖fi-∑j∈N（xi）sijfj‖22。

現有基于實例感知的方法［10，11］取得了巨大成功，但是在這些基于實例感知的偏標記學習方法中，僅考慮使用實例的流型結構來為實例生成標記置信度，沒有考慮實例的標簽語義差別對實例標記的影響。因此，本文提出一種融合標記語義差別最大化和流型學習的偏標記學習方法PL-SDML，同時考慮使用流型學習約束和語義約束為實例生成標記置信度。具體來說，PL-SDML是一種兩階段的偏標記學習方法。首先，在訓練階段使用基于圖流型結構和標記語義差別最大化準則進行消歧操作，為實例生成標記置信度。然后，在測試階段使用最近鄰投票的方法為未見實例預測真實標記。標記語義差別最大化操作能夠增大語義不相關的實例之間標記置信度的差異，基于流型結構的學習方法使得相似的實例具有相似的標記置信度。本文設計了融合語義差別最大化和流型學習的偏標記學習目標函數，并采用ALM方法進行優化求解。

1 相關工作

目前關于偏標記學習的方法主要分為基于消歧的策略和非消歧的策略兩大類。

a）基于消歧的策略主要有基于平均的方法和基于識別的方法。基于平均的方法，現有方法賦予偏標記實例的各個候選標記相同的權重，通過平均模型的輸出來實現消歧操作。例如，Hüllermeier等人［6］將KNN方法擴展到偏標記學習中提出了PL-KNN方法，它將實例的所有候選標記看做真實標記并且使用最近鄰投票的方法對未見實例進行預測?；谧R別的方法，現有方法將實例的真實標記當做隱變量，然后通過迭代的方式優化含有隱變量的目標函數進行消歧。例如，Nguyen等人［8］基于最大間隔準則提出了PL-SVM方法，該方法直接對候選標記集合中最大輸出與非候選標記集中最大輸出之間的間隔進行優化；但PL-SVM算法沒有考慮實例的候選標記之間的差異。Yu等人［9］基于最大間隔準則提出了一種新的偏標記學習框架M3PL，該方法考慮了實例的候選標記之間的差異，并將實例的真實標記看做隱變量，將偏標記學習問題轉換為線性規劃問題進行求解，M3PL使用一個交替迭代的框架優化分類參數和識別實例的真實標記操作。Chai等人［10］同樣考慮了所有潛在的候選標記的間隔提出PL-LMANE方法，該方法設計了一種基于多分類SVM的凸損失函數，并提出一種新的cutting plane 方法來進行優化求解。此外，Zhang等人［11］設計了基于實例感知的偏標記學習框架PL-LEAF，該框架首先使用圖的流型結構為實例生成標記置信度進行消歧操作，然后學習一個多類回歸分類器為未知實例生成標記。Zhang等人［12］提出了基于實例感知的偏標記學習方法IPAL類，該方法嘗試通過迭代標記傳播過程識別實例的真實標記，然后基于最近鄰的最小誤差重建對未知實例進行分類。這些方法只考慮使用實例間的流型結構來更新實例的標記置信度矩陣，不能很好地進行標簽消歧操作。因此，Ni等人［13］提出了一種基于條件標簽感知消歧的部分標簽學習PL-CLA，該方法構建偽標簽過程中考慮了使用具有相同的候選標簽約束來利用特征空間的相似性和差異，然后消除噪聲標簽的歧義。另外，Xu等人［14］提出了一種基于標簽增強的PL-LE方法。該方法通過利用特征空間的拓撲信息來恢復廣義標簽分布，然后通過用廣義標簽分布擬合正則化多輸出回歸，學習多類預測模型。

b）基于非消歧策略的偏標記學習方法。Zhang等人［15］提出一種非消歧策略PL-ECOC方法，它將多類學習的糾錯輸出編碼應用到偏標記學習中，通過編碼的方式將偏標記學習問題轉換為多個二類學習問題，通過學習多個二類分類器解決偏標記學習問題。Wu等人［16］弱化了對編碼矩陣的依賴，提出了一種基于one-vs-one的分解偏標記學習方法PALOC。文獻［17］提出了基于三元糾錯輸出編碼的偏標記學習方法PL-TECOC，同樣使用糾錯編碼的方式將偏標記學習問題轉換為多個二類學習問題，并對學習得到的多個二類分類器進行最終集成。

本文提出一種兩階段的偏標記學習方法PL-SDML。首先，在訓練階段使用基于圖流型結構和標記語義差別最大化準則進行消歧操作，為實例生成標記置信度。然后，在測試階段基于最近鄰居投票的方法預測未見實例的真實標記。

2 融合語義差別最大化和流型學習的偏標記學習方法

2.1 相關定義

本節將介紹提出的融合語義差別最大化和流型學習的偏標記學習方法。在訓練階段，通過在訓練實例上建立圖結構G=〈V，E〉來捕捉實例之間的關系。其中，V是圖節點，代表訓練集上的n個實例；E是圖的邊，表示圖中節點的相似關系。在本文中，若實例xi和xj在圖上存在邊連接時，則它們對應邊的權重使用高斯核函數計算，計算公式如下：

其中：θ是核寬度參數。特別地，建立的圖結構G可以使用鄰接矩陣W來進行量化，當實例xi和xj不存在邊連接時，有wij=0。

假設實例在特征空間的相似信息會經由圖流型結構傳播至標記空間，這種假設也被稱做流型學習。使用流型假設為實例生成標記置信度，可以被形式化為

依據訓練集實例的候選標記集合構建標記語義指示矩陣R。將實例xi的標記向量化為yi=［1，1，0，0］ ，依據公式構造實例的標記語義指示矩陣：

由于實例的真實標記隱藏在它的候選標記集合中，這意味著當實例xi和xj擁有完全不同的真實標記時，rij=1。使用最大化標記的語義差別來為實例生成標記置信度，可以形式化為

2.2 訓練過程

融合語義差別最大化和流型學習的偏標記學習方法同時考慮了使用流型學習方法和語義差別最大化準則為實例生成標記置信度。使用向量P1，P2，…，Pn表示訓練實例x1，x2，…，xn的標記置信度，其中Pij表示實例xi屬于第j個類別的置信度。實例的標記置信度可由如下目標函數更新得

其中：第一項是基于流型學習的平滑損失，它使相似度wij較大的實例xi和xj具有相似的標記置信度，即Pi≈Pj；第二項是精確性損失項，它被用來消除非候選標記集合對實例的標記置信度的影響，確保實例的真實標記來自于候選標記集合，其中，Ωi表示實例的非候選標記集合，則當j∈Ωi時，有Pij=0；第三項是語義差別最大化損失，它通過最大化實例的標記語義差別來更新標記的置信度；第四項是判別正則損失，被用來離散化標記向量。

為了便于優化，將公式重新格式化為簡單的表示?；趫D結構G的鄰接矩陣W，進一步定義對角度矩陣DW，其中第i個對角元素表示i的度，即Dwii=∑jWij。因此，圖的拉普拉斯矩陣可以計算為LW=DW-W。同樣地，定義關于標記語義指示矩陣的圖拉普拉斯矩陣為LR=DR-R。公式可以被簡化為

使用增廣拉格朗日乘子法（augmented Lagrangian multiplier，ALM）來求解該帶有約束的優化問題［18］。相比于經典的拉格朗日乘子法，ALM向目標中添加了額外的二次罰函數，從而

其中：M=max{0m×q，-Λ1-σP}是輔助變量，它保證優化得到的實例標記置信度P是非負的;σ＞0是懲罰系數。

式（6）的最優解可以通過交替迭代地更新P，Λ1，Λ2，σ得到，其中Λ1，Λ2，σ可以依據ALM的規則更新。

然而，由于式（7）中存在非凸項，所以實例的標記置信度矩陣P的求解是困難的。因此，使用CCCP方法［19］來更新P。CCCP方法可以看做一種優化最小化算法，它將原始非凸問題作為凸優化序列求解。具體來說，CCCP的主要思想是將非凸目標函數J（P）分解為兩個凸函數J1（P）和J2（P）的差，即J（P）=J1（P）-J2（P）。 在迭代求解過程中，J2（P）被它的一階泰勒近似2（P）代替，然后原始的目標函數被近似為 （P）=J1（P）-2（P）。 理論分析表明，CCCP方法始終能夠收斂到局部極小值［20］。本文方法選用的兩個凸函數J1（P）和J2（P）為

因此，在第t次迭代中，本文可以在P（t）處通過其泰勒近似線性化J2（P）。最終，可以使用近似的目標函數（P）來更新P。

梯度下降法更新的規則為P=P-τ（P）。其中，τ表示步長。

基于ALM方法更新P的細節在算法1中給出。

算法1 使用ALM方法優化模型

輸入：偏標記數據集。

輸出：標記置信度P。

設置最大迭代次數ite_max=40，ε1=10-4。

依據公式計算Lw和Lr。

repeat

初始化P（0），設置最大迭代次數t_max=20，ε2=10-6。

repeat

通過式（11），最小化（P）。

until最大迭代次數或者模型收斂。

依據公式，更新Λ1。

依據公式，更新Λ2。

依據公式，更新σ。

until最大迭代次數 或者模型收斂。

2.3 測試過程

給定n個具有候選標記集合的訓練實例（xi，Si），對于未知的預測實例xt可以通過下面兩個步驟來得到實例xt的標記置信度。首先，找到實例xt在訓練實例中的k個近鄰，并且通過式（1）計算它們之間的相似度。然后，實例xt的標記置信度Ft可以通過Ft=∑iwtkFki得到。實例的類別標記yt=argmaxcFtc。

3 實驗及結果分析

3.1 實驗設置

在四個UCI數據集［21］和四個真實的偏標記數據集上進行了實驗。表1和2給出了UCI數據集和真實偏標記數據集的屬性描述，包括實例的數量、特征數量和類別數量。

由于UCI數據集不是標準偏標記數據集，本文在實驗中通過使用控制p和r的策略來生成偏標記數據集。其中p表示偏標記實例在整個數據集中的比例，r表示每個實例額外附加的偏標記（錯誤標記）數目。在實驗中，p從集合{0.2，0.3，0.4，0.5，0.6，0.7}中選取，r從集合{1，2，3}中選取，共生成18組數據集。

對于真實偏標記數據集，lost數據集［7］用于自動人臉識別任務，它包含16個人物的1 122張人臉圖像。每張人臉的候選標記集合是在同一鏡頭中出現的其他人物構成。MSRCv2數據［21］用于目標分類任務，它有23個不同類別，包含1 758張圖像，每張圖像的候選標記集合是由同一張圖片中出現的其他對象構成。Yahoo！ news數據集［22］有20 071張圖像，這些圖像有31 147張人臉圖像。實驗中保留了出現次數最多的218個人物。對于不屬于這218個人物但出現在這些圖像里的其他人物當做空類。 soccer player 數據集中一共有8 934張圖像，這些圖像中有1 579個人物。實驗中使用出現次數最多的170個人物，將不含這些人物的圖像去掉，對于不屬于這170個人物但出現在圖像中的其他人物作為空類［21］。bird song數據集用于鳥類聲音分類任務，它將鳥類的叫聲作為一個實例，而將在10 s期間出現的其他鳥類叫聲作為當前實例的候選標記集合［23］。FG-NET數據集［24］是年齡估計數據集，包含來自78個不同年齡階段的1 002張人臉圖像。每張圖像的候選標記集合由圖像中人物的不同年齡構成。

為了驗證提出方法的有效性，本文將和以下幾個常用的偏標記學習方法進行對比：

a）基于條件標簽感知消歧的部分標簽學習PL-CLA［13］。該方法構建偽標簽過程中考慮了使用具有相同的候選標簽約束來利用特征空間的相似性和差異，然后消除噪聲標簽的歧義。其中，參數λ，β，γ∈{0.001，…，0.1，0.5}。

b）基于標簽增強的PL-LE方法［14］。該方法通過利用特征空間的拓撲信息來恢復廣義標簽分布。然后，通過用廣義標簽分布擬合正則化多輸出回歸，學習多類預測模型。其中參數k=20，C1=1和C2=1。

c）基于實例感知的偏標記學習方法PL-LEAF（partial label learning via feature-aware disambiguation）［11］。一種基于實例感知的偏標記學習方法，測試階段使用基于流型學習為實例生成標記置信度，測試階段使用多類回歸模型對未見實例進行分類。其中，參數k∈{5，10，15，20}，C1∈{0.01，…，100}，C2∈{0.01，…，100}。

d）基于實例感知的偏標記學習方法IPAL（an instance-based partial label learning）［12］。一種基于實例感知的偏標記學習方法，測試階段使用基于流型學習的實例感知方法為實例生成標記置信度，測試階段使用KNN方法對未見實例進行分類。其中，參數α∈{0.01，…，1}，k∈{5，10，15，20}。

e）基于凸優化損失的偏標記學習方法（convex learning from partial labels，CLPL）［7］。一種基于平均消歧策略的偏標記學習方法，二分類器采用基于l2正則化鉸鏈損失的SVM算法，基于Liblinear工具包實現。

f）基于最大間隔的偏標記學習方法（partial label support vector machine，PL-SVM）［8］。一種基于識別策略的偏標記學習方法，在候選標記集合和非候選標記集合之間構建最大間隔。其中，正則化參數λ∈{0.01，…，1 000}，使用線性核。

g）基于平均策略的偏標記學習方法（partial label k nearest neighbor，PL-KNN）［6］。一種基于平均消歧策略的偏標記學習方法。參數k∈{5，10，15，20}。

3.2 評價指標

與文獻［10，25，26］一樣，本文使用在測試集上的分類準確準確率accuray指標對所提出的方法和其他對比方法進行評價。Acc指標的計算公式如下：

Acc=1N∑NiⅡ（yi=f^（xi））

其中：Ⅱ為指示函數，即yi=f^（xi）時為1，否則為0。

3.3 UCI數據集

圖1～3展示了PL-SDML和各種對比算法分別在r=1，2，3，p以步長0.1從0.2～0.7 變化時的分類準確率。圖（a）～（d）分別是在四個數據集（glass，segment，ecoli和dermatology）上對應的結果圖。

從圖1～3中可以得到以下結論：

a）與基于實例感知的方法相比，PL-SDML方法的分類性能分別在58%、59%、63%和72%的情況下優于PL-CLA、PL-LE、PL-LEAF和IPAL。

b）與基于其他策略的偏標記學習方法相比（CLPL、PL-SVM和PL-KNN），本文PL-SDML方法具有較高的分類準確率。

c）從圖1～3可以發現，隨著r和p的增大，雖然各算法的分類性能都有不同程度的下降，但PL-SDML下降的程度小于其他偏標記學習方法。

從以上結果可以看出，與基于實例感知的偏標記學習方法相比，本文融合語義差別和實例感知的偏標記學習方法具有更好的分類性能。與其他偏標記學習方法相比，本文方法比PL-SVM和PL-KNN具有更好的泛化性能。

3.4 真實偏標記學習數據集

依據前面章節的實驗設置，將本文PL-SDML算法與其他對比算法在真實偏標記數據集中進行實驗。 表3給出了各算法在真實偏標記數據集上的平均分類精度和標準差。從表3可以看出：

a）與基于流型方法的方法（PL-CLA、PL-LE、PL-LEAF和IPAL）相比，PL-SDML在lost數據集上的分類性能較差。在MSRCv2數據集中，PL-SDML的分類性能與PL-CLA和IPAL持平，高于PL-LEAF和PL-LE。在bird song數據集中，PL-SDML的分類性能與PL-CLA、PL-LE、PL-LEAF和IPAL性能持平。在FG-NET數據集上的分類性能與PL-LE和PL-LEAF持平，優于PL-CLA和IPAL。

b）與基于凸損失的CLPL相比，在lost數據集上，PL-SDML的分類準確率低于CLPL。在其他數據集（MSRCv2，Yahoo！ news，soccer player，bird song和FG-NET）上的分類準確率高于CLPL方法。

c）與最大間隔PL-SVM相比，在lost數據集上的分類性能較差。在其他數據集中，所提方法優于PL-SVM。

d）與基于平均策略PL-KNN相比，本文PL-SDML在所有數據集上的分類性能優于PL-KNN。

從上述實驗結果可以看出，本文方法在多數數據集上的分類性能優于僅依靠基于實例感知的偏標記學習方法，這表明融合語義最大化準則和實例感知的偏標記學習方法具有更好的分類性能。

3.5 敏感性分析

對PL-SDML關于參數α、β及γ的敏感性進行了分析，圖4展示了PL-SDML性能在不同參數設置下的變化情況。本文選擇了 MSRCv2和FG-NET數據集來進行參數的敏感性分析，對于其他的數據集也有類似的觀察結果。

3.6 收斂性分析

為了驗證本文方法在ALM迭代過程中的收斂性，給出了PL-SDML方法在lost、MSRCv2、bird song和FG-NET數據集上的收斂曲線。從圖5中可以看出，‖P（t）-P（t-1）‖的值隨著迭代次數的增加而降低。這是因為，當執行更多次的迭代時，優化函數的解更接近最優值，ALM過程通常在經過15～30次迭代之后會達到收斂狀態。

4 結束語

本文提出了一種融合標記語義差別最大化和流型學習的偏標記學習方法PL-SDML，該方法是一種兩階段的偏標記學習方法。在訓練階段，同時考慮使用標記語義差別最大化方法和流型學習方法為訓練實例生成標記置信度。在測試階段，使用基于最近鄰投票的方法為未見實例預測類別。在UCI數據集和真實偏標記數據集上進行了實驗，實驗結果證明了本文PL-SDML與現有的偏標記學習方法相比具有更好的分類性能。在后續的研究工作中，將嘗試設計一種基于深度學習的偏標記學習框架來解決偏標記學習問題，以提高偏標記學習任務的分類性能。

參考文獻：

［1］張敏靈. 偏標記學習研究綜述［J］.數據采集與處理， 2015，30（1）：77-87. （Zhang Minling. Research on partial label learning［J］. Journal of Data Acquisition and Processing， 2015，30（1）： 77-87.）

［2］Liu Liping， Dietterich T G. A conditional multinomial mixture model for superset label learning［C］//Proc of the 25th International Confe-rence on Neural Information Processing Systems. Red Hook，NY：Curran Associates Inc.，2012： 548-556.

［3］Jie Luo， Orabona F. Learning from candidate labeling sets， Idiap-RR-27-2011［R］. Red Hook，NY：Curran Associates Inc.， 2010.

［4］Chen C H， Patel V M， Chellappa R. Learning from ambiguously labeled face images［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2018，40（7）： 1653-1667.

［5］張敏靈，吳璇.非消歧偏標記學習［J］. 中國科學：信息科學， 2019，49（9）： 1083-1096. （Zhang Minling， Wu Xuan. Disambigua-tion-free partial label learning［J］. Science in China： Information Sciences， 2019，49（9）： 1083-1096.）

［6］Hüllermeier E， Beringer J. Learning from ambiguously labeled examples［M］//Famili A F， Kok J N， Pea J M， et al. Advances in Intelligent Data Analysis VI. Berlin：Springer， 1970： 168-179.

［7］Cour T， Sapp B， Taskar B. Learning from partial labels［J］. The Journal of Machine Learning Research， 2011，12： 1501-1536.

［8］Nguyen N， Caruana R. Classification with partial labels［C］//Proc of the 14th ACM SIGKDD International Conference on Knowledge Disco-very and Data Mining. New York：ACM Press， 2008： 551-559.

［9］Yu Fei， Zhang Minling. Maximum margin partial label learning［J］. Machine Learning， 2017，106： 573-593.

［10］Chai Jing， Tsang I W， Chen Weijie. Large margin partial label machine ［J］. IEEE Trans on Neural Networks and Learning Systems， 2020，31（7）： 2594-2608.

［11］Zhang Minling， Zhou Binbin， Liu Xuying. Partial label learning via feature-aware disambiguation［C］//Proc of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press， 2016： 1335-1344.

［12］Zhang Minling， Yu Fei. Solving the partial label learning problem： an instance-based approach［C］//Proc of the 24th International Joint Conference on Artificial Intelligence. Palo Alto，CA：AAAI Press，2015： 4048-4054.

［13］Ni Peng， Zhao Suyun， Dai Zhigang， et al. Partial label learning via conditional-label-aware disambiguation［J］. Journal of Computer Science and Technology， 2021，36（3）： 590-605.

［14］Xu Ning， Lyu Jiaqi， Geng Xin. Partial label learning via label enhancement［C］//Proc of the 33rd AAAI Conference on Artificial Intelligence and 31st Innovative Applications of Artificial Intelligence Conference and 9th AAAI Symposium on Educational Advances in Artificial Intelligence. Palo Alto，CA：AAAI Press，2019： article No. 681.

［15］Zhang M L， Yu Fei， Tang C Z. Disambiguation-free partial label learning［J］. IEEE Trans on Knowledge and Data Engineering， 2017，29（10）： 2155-2167.

［16］Wu Xuan， Zhang Minling. Towards enabling binary decomposition for partial label learning［C］//Proc of the 27th International Joint Confe-rence on Artificial Intelligence.Palo Alto，CA：AAAI Press，2018： 2868-2874.

［17］周斌斌， 張敏靈， 劉胥影. 基于三元糾錯輸出編碼的偏標記學習算法［J］. 計算機科學與探索， 2018，12（9）： 1444-1453. （Zhou Binbin， Zhang Minling， Liu Xuying. Ternary error-correcting output codes based partial label learning algorithm［J］. Journal of Frontiers of Computer Science amp; Technology， 2018，12（9）： 1444-1453.）

［18］Bertsekas D P. Constrained optimization and Lagrange multiplier me-thods［M］. ［S.l.］： Academic Press， 1982.

［19］Yuille A L， Rangarajan A. The concave-convex procedure［J］. Neural Computation， 2003，15（4）： 915-936.

［20］Sriperumbudur B K， Lanckriet G R G. On the convergence of the concave-convex procedure［C］//Proc of the 22nd International Conference on Neural Information Processing Systems. 2009： 1759-1767.

［21］Winn J， Criminisi A， Minka T. Object categorization by learned universal visual dictionary［C］//Proc of the 10th IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2005： 1800-1807.

［22］Guillaumin M， Verbeek J， Schmid C. Multiple instance metric lear-ning from automatically labeled bags of faces［C］//Proc of European Conference on Computer Vision. Berlin： Springer， 2010： 634-647.

［23］Briggs F， Fern X Z， Raich R. Rank-loss support instance machines for MIML instance annotation［C］//Proc of the 18th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York：ACM Press，2012： 534-542.

［24］Panis G， Lanitis A. An overview of research activities in facial age estimation using the FG-NET aging database［M］//Agapito L， Bronstein M， Rother C. Computer Vision. Cham： Springer， 2014： 737-750.

［25］Wang D B， Zhang M L， Li Li. Adaptive graph guided disambiguation for partial label learning［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2022，44（12）： 8796-8811.

［26］Yu Fei， Zhang Minling. Maximum margin partial label learning［C］//Proc of Asian Conference on Machine Learning. 2016： 96-111.

［27］Asuncion A， Newman D. UCI machine learning repository［EB/OL］. （2018-09-24）. https：//archive.ics.uci.edu/ml/index.php.

［28］Zeng Zinan， Xiao Shijie， Jia Kui，et al. Learning by associating ambiguously labeled images［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2013： 708-715.

收稿日期：2022-07-25；修回日期：2022-09-19 基金項目：國家自然科學基金資助項目（62076074）

作者簡介：趙亮（1994-），男，山東諸城人，博士研究生，主要研究方向為機器學習；肖燕珊（1981-），女（通信作者），廣東中山人，教授，博士，主要研究方向為機器學習（Lyons_2021@163.com）；劉波（1978-），男，河南鶴壁人，教授，博士，主要研究方向為支持向量機；古慧敏（1998-），女，廣東梅州人，碩士研究生，主要研究方向為多實例學習．