結(jié)合集成學習與遷移學習的標簽比例學習方法

摘要：標簽比例學習（LLP）是一種將實例放入包中的機器學習方法，它只提供包中的實例信息和標簽比例信息，而不提供標簽信息。針對多個相關(guān)任務的LLP問題，提出了一種基于遷移學習的標簽比例集成學習模型，簡稱AT-LLP，該模型通過在任務之間構(gòu)建共享參數(shù)來連接相關(guān)任務，將源任務中學習到的知識遷移到目標任務中，從而提高目標任務的學習效率。同時該算法引入了集成學習算法，在分類器多輪迭代的學習過程中，不斷調(diào)整訓練集的權(quán)重系數(shù)，進一步將弱分類器訓練為強分類器。實驗表明，所提AT-LLP模型比現(xiàn)有LLP方法具有更好的性能。

關(guān)鍵詞：機器學習；標簽比例學習；遷移學習；集成學習

中圖分類號：TP311文獻標志碼：A文章編號：1001-3695（2023）05-021-1422-06doi：10.19734/j.issn.1001-3695.2022.09.0481

0引言

近年來，標簽比例學習（LLP）問題越來越受到人們的關(guān)注，它屬于機器學習領(lǐng)域的一種新范式［1］。在標簽比例學習中，所有實例都分布在多個包中，只知道包中實例標簽所占的比例，而不知道每個實例的真實標簽。標簽比例學習的目標是學習分類器來正確分類包中的實例。迄今為止，標簽比例學習已廣泛應用于藥物管制、收入預測、政治選舉分析、輿論監(jiān)測等領(lǐng)域。例如，Sun等人［2］使用一種消息傳遞方法建立LLP分類模型，來用于美國總統(tǒng)選舉分析；Quadrianto等人［3］提出可以使用標簽比例學習根據(jù)城市污水中代謝物的濃度并結(jié)合人口統(tǒng)計信息對個人使用受管制藥物的傾向進行更詳細的推斷；Yu等人［4］進行了一個通過人口普查數(shù)據(jù)預測個人收入的案例研究，以證明LLP在真實世界數(shù)據(jù)上的可行性。Ardehaly等人［5］使用LLP模型從推特數(shù)據(jù)中挖掘政治情緒和人口統(tǒng)計等屬性來進行輿情監(jiān)測。

目前，學者們提出了許多LLP方法，大致可分為基于概率模型的方法和基于支持向量機（SVM）的方法兩類，它們都有著比較悠久的歷史［6，7］。在基于概率模型的方法中，其通常建立一個概率模型，然后計算實例屬于概率模型中標簽的概率，最后根據(jù)概率對實例進行分類。例如，Quadrianto等人［1］使用每一類的比例信息來計算一致估計量，從而一致地重建數(shù)據(jù)集的標簽。對于基于支持向量機的方法，通常在特征空間中構(gòu)建一個基于支持向量機的分類器，然后使用該分類器對實例進行分類。例如，Yu等人［7］提出了一種比例SVM模型，該模型將不確定標簽的實例與標簽比例相結(jié)合，然后利用比例SVM模型對未知實例進行分類。盡管近年來標簽比例學習取得了很大進展，但以往的研究大多只關(guān)注單個任務，沒有考慮相關(guān)任務之間的知識轉(zhuǎn)移，這在實踐中被稱為遷移學習［8］。事實上，相關(guān)任務之間的相關(guān)信號可以提供有用的先驗信息，使該模型可以更好地學習和總結(jié)目標任務。另一方面，遷移學習為每個任務構(gòu)造了一個輸出函數(shù)，不僅對任務進行了總結(jié)和簡化，而且保留了每個任務的唯一性，因此遷移學習模型的準確性也很高。如今，遷移學習被廣泛認為是一種學習方式。例如，Zhang等人［9］考慮在多個任務之間共享有用信息，并為目標集群分配正確的類標簽，以便共同學習源分類器和目標分類器。與以往對單任務環(huán)境下LLP問題的研究不同，本文研究了多個LLP任務，其中每個任務都包含相關(guān)的標簽比例問題，并通過共享模型參數(shù)將源任務的知識傳遞給目標任務。此外，集成學習是一種可以提高學習模型準確性的方法［10］，它通過從數(shù)據(jù)中組合多個弱分類器來生成強分類器。集成學習中的AdaBoost算法通過多輪迭代訓練不同的弱分類器，并使用權(quán)重因子將其組合成強分類器。考慮到AdaBoost具有適應性廣、不過度擬合的優(yōu)點，本文將AdaBoost引入到標簽比例學習模型中。

1相關(guān)工作

1.1標簽比例學習

基于概率模型的方法通常建立一個概率模型，然后根據(jù)概率對未標記實例進行分類。Hernández等人［6］將基于結(jié)構(gòu)期望最大化（SEM）的策略引入貝葉斯網(wǎng)絡(luò)分類器，并對未標記實例進行分類。此外，其開發(fā)了基于SEM的方法的四個競爭版本，以處理各種復雜的LLP方案［11］。Pérez-Ortiz等人［12］通過線性判別分析估計類的分布，并將其推廣到多類問題。Ardehaly等人［5］提出了一種加權(quán)標簽正則化LLP模型，用于將用戶的包分組為更小的子包。然后，他們利用該模型挖掘美國總統(tǒng)選舉中的政治情緒。楊歡等人［13］提出了一種基于生成對抗性網(wǎng)絡(luò)GAN算法，通過生成對抗性網(wǎng)絡(luò)來解決信貸客戶分類問題。Shi等人［14］提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的標簽比例學習算法，該算法可以有效利用隨機抽樣所產(chǎn)生的標記樣本，將比例信息和標記樣本結(jié)合起來，以提高LLP分類器的學習效率。Liu等人［15］基于深度學習算法提出了一種具有端到端結(jié)構(gòu)的LLP-GAN算法，該算法通過生成一個概率分類器來對未標記的實例進行分類，并且可適用于大規(guī)模的LLP問題。

對于基于支持向量機的方法，通常在特征空間中構(gòu)建一個基于支持向量機的分類器，然后使用該分類器對實例進行分類。Wang等人［16］提出了一種新的雙支持向量機模型來對包中未知標簽的實例進行分類。為了解決非凸問題，提出了一種求解最優(yōu)問題的替代算法。Cui等人［17］使用遞歸算法構(gòu)建比例學習框架，該框架將拉普拉斯術(shù)語引入框架中，以挖掘數(shù)據(jù)點的幾何信息。Ding等人［18］使用基于支持向量機的方法進行圖像分類，并引入網(wǎng)格標記以確保訓練數(shù)據(jù)的真實性?？紤]到網(wǎng)格標記可能會增加標簽的不確定性，他們提出了一種基于標簽一致性和標簽比例的近似推理算法。Chen等人［19］提出了一種用于標簽比例的非平行支持向量機方法，該方法解決了非平行超平面的二次規(guī)劃問題。Qi等人［20］提出了一種LLP-NPSVM算法，該算法使用兩個非平行超平面來標記每個實例，而不是采用歸納學習方式，然后通過兩條快速順序最小優(yōu)化路徑迭代求解LLP-NPSVM。石勇等人［21］提出了一種基于LapESVR的標簽比例模型，該模型同時引入了流形學習，用于處理大規(guī)模數(shù)據(jù)的分類問題。

1.2遷移學習

近年來，遷移學習在無監(jiān)督學習、人臉識別、圖像處理等領(lǐng)域取得了廣泛的關(guān)注和發(fā)展。在無監(jiān)督學習領(lǐng)域，Chang等人［22］提出了一種多尺度卷積稀疏編碼模型，該模型可以自動學習不同尺度的濾波器組，并將知識傳遞給目標任務。Dai等人［23］提出了一種基于遷移學習的自適應模型，以解決混合域自適應問題并減少學習過程中的信息丟失。黃楊茹［24］提出了一種無監(jiān)督遷移學習算法來解決跨攝像機拍攝中的行人重識別問題。

在人臉識別中，為了解決開放集人臉識別問題，Xie等人［25］使用深度遷移學習將源任務的人臉模型特征轉(zhuǎn)移到特定任務中，并使用極值統(tǒng)計來識別未知人群。Bian等人［26］提出了一種基于自適應模型的特征提取方法，該方法可以通過轉(zhuǎn)移學習快速提取多個人臉特征，從而提高自適應模型初始化和回歸階段的準確性。張烈平等人［27］構(gòu)建了一種基于YOLOv2的目標檢測模型進行口罩佩戴檢測，該模型通過遷移學習可以顯著降低網(wǎng)絡(luò)模型的訓練時間。

在圖像處理方面，Liang等人［28］使用遷移學習方法來解決圖像分割和融合問題，將不同的圖像分割視為多個任務，提取任務之間的相似信息，并設(shè)計一種策略來整合分割后的圖像。Li等人［29］提出了一種轉(zhuǎn)移合作線性回歸模型來解決圖像分類問題，該模型將分類問題轉(zhuǎn)換為多目標回歸問題，以便更好地了解類之間的潛在共享結(jié)構(gòu)。張德軍等人［30］提出了一種基于圖像處理和深度遷移學習的圖像識別模型，用于識別芒果果實病狀。

盡管遷移學習已經(jīng)在許多領(lǐng)域得到應用，但很少有人用它來解決LLP問題。然而，在實際應用中，本文可以通過遷移學習的方式來處理LLP問題，希望通過同時學習多個任務并將公共知識轉(zhuǎn)移到目標任務來提高分類器的學習效率。本文提出了一種新的基于集成學習的標簽比例遷移學習方法，該方法將訓練包分為多個任務同時進行訓練，并在模型中引入了AdaBoost算法，通過多次迭代將弱分類器訓練為強分類器。

2標簽比例遷移學習模型構(gòu)建

3.2數(shù)據(jù)集和實驗設(shè)置

為了探索AT-LLP方法的性能，本文在多個數(shù)據(jù)集上實現(xiàn)了所提方法和基線。這些數(shù)據(jù)集包括文本數(shù)據(jù)集和圖像數(shù)據(jù)集。文本數(shù)據(jù)集有20個新聞組數(shù)據(jù)集和路透社21578數(shù)據(jù)集；圖像數(shù)據(jù)集有MNIST和Multi-PIE數(shù)據(jù)集。在20個新聞組數(shù)據(jù)集中，數(shù)據(jù)以層次結(jié)構(gòu)分布。有幾個頂級類別和20個子類別，每個子類別有1000個樣本。路透社21578是文本分類研究中使用最廣泛的測試集。同樣，路透社21578中的文章分為五大類和多個子類。MNIST是一個手寫數(shù)字數(shù)據(jù)庫，有60000個樣本訓練集和10000個樣本測試集，這些手寫數(shù)字保存在固定像素圖像中。Multi-PIE數(shù)據(jù)集包括337人拍攝的超過75萬張照片，其中同一個人具有的不同視角、照明和表情的照片可以被視為相關(guān)任務。由于這些數(shù)據(jù)集不能直接用于LLP問題的實驗，需要對這些數(shù)據(jù)進行預處理，使其適用于AT-LLP框架和基線。

對于20個新聞組數(shù)據(jù)集，由于它有幾個頂級類別，本文首先選擇一個頂級類別a，并將類別a下的子類別a（1）視為正類，其他子類別為負類。然后，分別從正類和負類中提取相同數(shù)量的實例，形成源任務。為了確保任務之間的相關(guān)性，目標任務在相同的頂級類別a下提取實例。與源任務不同的是，目標任務將子類別a（2）視為正類，將其他子類別視為負類來提取實例。路透社21578、MNIST和Multi-PIE數(shù)據(jù)集也使用類似的方法進行處理。

關(guān)于特征提取，本文使用尺度不變特征變換（SIFT）算法提取圖像特征，使用術(shù)語頻率逆文檔頻率（TF-IDF）算法提取文本特征。按上述方式處理后生成了10個子數(shù)據(jù)集，數(shù)據(jù)集的基本信息如表1所示。

實驗設(shè)置方面，本文參考了之前LLP工作中的實驗操作。首先，針對每個子數(shù)據(jù)集，設(shè)計了六個不同容量的包，分別為2、4、8、16、32和64，隨機選擇實例加載到固定大小的包中。根據(jù)包的容量，對每個數(shù)據(jù)集進行了六次實驗。實驗中的核函數(shù)采用線性核函數(shù)k（xi，xj）=xi·xj。實驗中的算法參數(shù)設(shè)置如下。在AT-LLP方法中，由于實驗中使用的數(shù)據(jù)集中任務之間的高度相關(guān)性，設(shè)置λ2gt;λ1，εti∈［0，1］，Ct∈［2－2，27］。對于其他基線，設(shè)置的實驗與他們自己的工作類似。然后，進行五倍交叉驗證實驗，并通過精度指標來評估所提方法的性能。

3.3實驗結(jié)果與分析

表2顯示了在10個數(shù)據(jù)集和不同包容量下，六個基線和所提方法的平均準確度和標準偏差。表格的第2列顯示了實驗中使用的方法，第3～8列顯示了這些方法在實驗中的平均準確度和標準偏差。從這些數(shù)據(jù)可以看出，在大多數(shù)情況下，提出方法的精度優(yōu)于其他六個基線。在袋大小為64的數(shù)據(jù)集2、袋大小為16的數(shù)據(jù)集4、袋大小為4、8的數(shù)據(jù)集7和袋大小為16的數(shù)據(jù)集8中可以看到，雖然本文方法不是最高精度，但也非常接近最高精度。這是因為其他方法都是針對單個任務提出的，它們只通過目標任務構(gòu)建分類器，而AT-LLP方法可以有效地利用任務之間的相關(guān)信息構(gòu)建分類器，從而使分類器更加準確。此外本文發(fā)現(xiàn)，在大多數(shù)數(shù)據(jù)集上，AT-LLP方法的標準偏差小于其他方法。這意味著所提AT-LLP方法比其他LLP方法更穩(wěn)定。

同時，本文使用非參數(shù)統(tǒng)計威爾科克森符號秩檢驗來比較AT-LLP和其他LLP方法之間的差異。通常，當測試值低于0.05時，表明參與測試的方法之間存在很大差異。表3顯示了AT-LLP方法和其他LLP方法的測試結(jié)果。結(jié)果表明，所提方法和其他方法的測試值均小于0.05的置信水平，即所提方法與其他方法有顯著的不同，并且比其他方法具有更好的性能。

圖2展示了這些方法在不同包容量下的平均錯誤率。從圖中可以看出，在包大小為2、4、8、16和32的實驗中，該方法的平均錯誤率明顯低于其他方法。因此，可以得出結(jié)論，本文所提出的AT-LLP方法比其他方法具有更好的性能。

4結(jié)束語

本文探討了基于遷移學習的標簽比例學習問題。當需要解決多個類似的LLP問題時，可以考慮使用遷移學習方法同時解決這些問題，而不是逐個解決單個問題。這樣做的好處是可以有效地利用源任務的信息來求解目標任務，從而提高分類器的精度?；谶@一思想，本文建立了標簽比例遷移學習模型，該模型利用任務之間的共享參數(shù)連接多個相關(guān)的LLP問題并同時學習，以提高分類器的性能。最后，使用AdaBoost算法將弱分類器進一步提升為強分類器。基于上述過程，本文構(gòu)建了AT-LLP框架，并在多個數(shù)據(jù)集上進行了實驗來驗證該方法的性能。根據(jù)實驗結(jié)果可以得出結(jié)論，與大多數(shù)LLP方法相比，AT-LLP方法具有更好的性能。本文研究了基于二值分類遷移學習的標簽比例學習問題。未來將研究數(shù)據(jù)流環(huán)境下的標簽比例學習問題。

參考文獻：

［1］QuadriantoN，SmolaAJ，Caetano，etal.Estimatinglabelsfromlabelproportions［J］.TheJournalofMachineLearningResearch，2009，10（3）：2349-2374.

［2］SunTao，SheldonD，O’connorB.Aprobabilisticapproachforlear-ningwithlabelproportionsappliedtotheUSpresidentialelection［C］//ProcofIEEEInternationalConferenceonDataMining.Pisca-taway，NJ：IEEEPress，2017：445-454.

［3］QuadriantoN，SmolaAJ，CaetanoTS，etal.Estimatinglabelsfromlabelproportions［C］//Procofthe25thInternationalConferenceonMachineLearning.NewYork：ACMPress，2008：776-783.

［4］YuFX，ChoromanskiK，KumarS，etal.Onlearningfromlabelproportions［EB/OL］.（2014-02-11）.https：//arxiv.org/abs/1402.5902.

［5］ArdehalyEM，CulottaA.MiningthedemographicsofpoliticalsentimentfromTwitterusinglearningfromlabelproportions［C］//ProcofIEEEInternationalConferenceonDataMining.Piscataway，NJ：IEEEPress，2017：733-738.

［6］HernándezJ，IInza.LearningnaiveBayesmodelsformultiple-instancelearningwithlabelproportions［C］//Procofthe14thInternationalConferenceonAdvancesinArtificialIntelligence：SpanishAssociationforArtificialIntelligence.Berlin：Springer-Verlag，2011：134-144.

［7］YuFX，LiuDong，KumarS，etal.∞SVMforlearningwithlabelproportions［C］//Procofthe30thInternationalConferenceonInternationalConferenceonMachineLearning.2013：504-512.

［8］TanBen，SongYangqiu，ZhongErheng，etal.Transitivetransferlearning［C］//Procofthe21stACMSIGKDDInternationalConfe-renceonKnowledgeDiscoveryandDataMining.NewYork：ACMPress，2015：1155-1164.

［9］ZhangJing，LiWanqing，OgunbonaP.Unsuperviseddomainadaptation：amulti-tasklearning-basedmethod［J］.Knowledge-BasedSystems，2019，186：104975.

［10］FreundY，SchapireRE.Ashortintroductiontoboosting［J］.JournalofJapaneseSocietyforArtificialIntelligence，1999，14（5）：771-780.

［11］Hernández-GonzálezJ，InzaI，LozanoJA.LearningBayesiannetworkclassifiersfromlabelproportions［J］.PatternRecognition，2013，46（12）：3425-3440.

［12］Pérez-OrtizM，GutiérrezPA，Carbonero-RuzM，etal.Adaptinglineardiscriminantanalysistotheparadigmoflearningfromlabelproportions［C］//ProcofIEEESymposiumSeriesonComputationalIntelligence.Piscataway，NJ：IEEEPress，2016：1-7.

［13］楊歡，范子祎.基于生成對抗網(wǎng)絡(luò)比例標簽學習在信貸客戶分類中的應用［J］.信息與電腦：理論版，2020，32（20）：137-139.（YangHuan，F(xiàn)anZiyi.Researchontheclassificationofcreditcustomerbasedonlearningwithlabelproportionandgenerativeadversarialnets［J］.InformationandComputer：TheoreticalEdition，2020，32（20）：137-139.）

［14］ShiYong，LiuJiabin，WangBo，etal.Deeplearningfromlabelproportionswithlabeledsamples［J］.NeuralNetworks，2020，128：73-81.

［15］LiuJiabin，WangBo，HangHanyuan，etal.LLP-GAN：aGAN-basedalgorithmforlearningfromlabelproportions［J/OL］.IEEETransonNeuralNetworksandLearningSystems.（2022-02-21）.https：//ieeexplore.ieee.org/document/9718021.

［16］WangBo，ChenZhensong，QiZhiquan.LineartwinSVMforlearningfromlabelproportions［C］//ProcofIEEE/WIC/ACMInternationalConferenceonWebIntelligenceandIntelligentAgentTechnology.Piscataway，NJ：IEEEPress，2015：56-59.

［17］CuiLimeng，ChenZhensong，MengFan，etal.LaplacianSVMforlearningfromlabelproportions［C］//Procofthe16thInternationalConferenceonDataMiningWorkshops.Piscataway，NJ：IEEEPress，2016：847-852.

［18］DingYongke，LiYuanxiang，YuWenxian.LearningfromlabelproportionsforSARimageclassification［J］.EURASIPJournalonAdvancesinSignalProcessing，2017，2017：articleNo.41.

［19］ChenZhensong，QiZhiquan，WangBo，etal.Learningwithlabelproportionsbasedonnonparallelsupportvectormachines［J］.Know-ledge-BasedSystems，2017，119：126-141.

［20］QiZhiquan，WangBo，MengFan，etal.LearningwithlabelproportionsviaNPSVM［J］.IEEETransonCybernetics，2017，47（10）：3293-3305.

［21］石勇，孟凡，齊志泉.基于LapESVR的比例標簽學習模型［J］.管理評論，2019，31（6）：135-143.（ShiYong，MengFan，QiZhiquan.ScalelabellearningmodelbasedonLapESVR［J］.ManagementReview，2019，31（6）：135-143.）

［22］ChangHang，HanJu，ZhongCheng，etal.Unsupervisedtransferlearningviamulti-scaleconvolutionalsparsecodingforbiomedicalapplications［J］.IEEETransonPatternAnalysisandMachineIntelligence，2018，40（5）：1182-1194.

［23］DaiYong，ZhangJian，YuanShuai，etal.Atwo-stagemulti-tasklearning-basedmethodforselectiveunsuperviseddomainadaptation［C］//ProcofInternationalConferenceonDataMiningWorkshops.Piscataway，NJ：IEEEPress，2019：863-868.

［24］黃楊茹.基于無監(jiān)督遷移學習的行人重識別算法研究［D］.北京：北京交通大學，2020.（HuangYangru.Researchonpedestrianrecognitionalgorithmbasedonunsupervisedtransferlearning［D］.Beijing：BeijingJiaotongUniversity，2020.）

［25］XieHao，DuYunyan，YuHuapeng，etal.Opensetfacerecognitionwithdeeptransferlearningandextremevaluestatistics［J］.InternationalJournalofWavelets，MultiresolutionandInformationProcessing，2018，16（4）：1850034.

［26］BianPeng，XieZhengnan，JinYi.Multi-taskfeaturelearning-basedimprovedsuperviseddescentmethodforfaciallandmarkdetection［J］.Signal，ImageandVideoProcessing，2018，12（1）：17-24.

［27］張烈平，李智浩，唐玉良.基于遷移學習的輕量化YOLOv2口罩佩戴檢測方法［J］.電子測量技術(shù)，2022，45（10）：112-117.（ZhangLieping，LiZhihao，TangYuliang.AlightweightYOLOv2maskwearingdetectionmethodbasedontransferlearning［J］.ElectronicMeasurementTechnology，2022，45（10）：112-117.

［28］LiangXianpeng，HuangDeshuang.Imagesegmentationfusionusingweaklysupervisedtrace-normmulti-tasklearningmethod［J］.IETImageProcessing，2018，12（7）：1079-1085.

［29］LiAo，WuZhiqiang，LuHuaiyin，etal.Collaborativeself-regressionmethodwithnonlinearfeaturebasedonmulti-tasklearningforimageclassification［J］.IEEEAccess，2018，6：43513-43525.

［30］張德軍，周學成，楊旭東.基于圖像處理和深度遷移學習的芒果果實病狀識別［J］.華南農(nóng)業(yè)大學學報，2021，42（4）：113-124.（ZhangDejun，ZhouXuecheng，YangXudong.Mangofruitdiseaserecognitionbasedonimageprocessinganddeeptransferlearning［J］.JournalofSouthChinaAgriculturalUniversity，2021，42（4）：113-124.）

［31］PlattJ.Probabilisticoutputsforsupportvectormachinesandcomparisonstoregularizedlikelihoodmethods［J］.AdvancesinLargeMarginClassifiers，1999，10（3）：61-74.

［32］田英杰.支持向量回歸機及其應用研究［D］.北京：中國農(nóng)業(yè)大學，2005.（TianYingjie.Supportvectorregressionanditsapplication［D］.Beijing：ChinaAgriculturalUniversity，2005.）

［33］孫德山.支持向量機分類與回歸方法研究［D］.長沙：中南大學，2004.（SunDeshan.Theresearchonsupportvectormachineclassificationandregressionmethod［D］.Changsha：CentralSouthUniversity，2004.）