基于不確定比例標簽信息的多視角學習

摘 要：針對現實應用中所獲取的比例標簽數據存在噪聲污染而標注困難的局限性，提出將多視角學習應用到不確定比例標簽學習中以提高分類器的準確率和穩定性。首先，所提出的方法利用核方法映射多視角信息到特征空間以及引入超實例標簽表示比例標簽信息，在將多視角信息與比例標簽信息結合的同時將不確定比例標簽數據的局限性考慮在內，以此構建基于不確定比例標簽信息的多視角學習模型；而后利用拉格朗日方法將目標模型轉換為對偶形式求解，并引入一個迭代框架解決目標模型以獲取多視角分類器。最后，將所提出的方法應用于文本分類的數據集。實驗結果表明提出的方法比已有的單一視角比例標簽學習方法更具優越性，具體表現在更高的分類準確率和更不易受數據噪聲影響等方面。

關鍵詞：多視角學習； 比例標簽學習； 不確定數據； 核函數

中圖分類號：TP391

文獻標志碼：A

文章編號：1001-3695（2023）07-018-2039-06

doi：10.19734/j.issn.1001-3695.2022.11.0636

Uncertain label proportions information-based multi-view learning

Lai Jiantao^a， Liu Bo^b?

（a.School of Computer Science amp; Technology， b.School of Automation， Guangdong University of Technology， Guangzhou 510006， China）

Abstract：It is difficult to label the label proportions data contaminated by noise in practical applications. This paper applied multi-view learning to uncertain learning with label proportions to improve classifier both performance and stability. Firstly， the proposed method introduced kernel function and super instance label for the representation of multi-view knowledge and label proportions information respectively， and considered the limitation of uncertain label proportions data to construct the model of uncertain label proportions information-based multi-view learning. Then， it transformed the model to its dual forms by the Lagrange method for solving the problem and introduced an iterative framework to obtain the classifiers of multiple views. Finally， this paper applied the proposed method to datasets of text categorization. Extensive experiments show that the proposed method outperforms the existing single-view learning with label proportions methods in accuracy and noise sensitivity.

Key words：multi-view learning; learning with label proportions; uncertain data; kernel function

0 引言

比例標簽學習（learning with label proportions，LLP）^［1，2］是弱監督學習中的一種，該學習模型的研究對象包含若干樣本的數據包，數據包的標簽以包中目標樣本占包內總樣本的比例形式呈現，而包中樣本的具體標簽是未知的。比例標簽學習模型的目的則是通過包層面的比例信息訓練分類器，并通過分類器最終獲取每個樣本的標簽信息。圖1展示了比例標簽學習在二元分類問題中的應用，其中比例標簽包中具有若干的未標記樣本與目標樣本的比例信息，經過比例標簽學習后將未標記樣本標記為正樣本或者負樣本。在大數據時代下，現實生活中所產生的數據體量的爆發增長也使得數據的類型變得多樣，傳統的基于可獲取全部樣本標簽條件下的學習方法，如有監督學習方法，受到極大限制^［3，4］，因此近年來研究人員逐漸將目光投向了弱監督學習領域。比例標簽學習作為弱監督學習中的新興范式吸引了國內外眾多研究者對其進行研究，同時比例標簽學習也被成功應用到許多現實領域，如總統選舉^［5］、銀行客戶分類^［6，7］、破產預測^［8］、民意統計挖掘^［9］和隱私保護^［10］等。在民意統計挖掘中，Ardehaly等人^［9］利用比例標簽學習方法挖掘推特的每日數據中潛藏的政治情緒人口統計信息，該方法替代了已有的有監督學習方法，利用比例標簽學習無須知道具體的樣本標簽的特性，克服了所獲取數據中存在非可用信息的困難，大大節約了數據標注成本。

自從比例標簽學習的概念^［1］提出以來，研究人員建立了一系列有效的比例標簽學習模型，并可以大致分為基于概率論的、基于支持向量的和基于神經網絡三種主要的比例標簽學習模型。例如，在基于概率論的比例標簽模型中，Hernández等人^［11］通過引入期望最大化模型的擴展方法構建一個樸素的貝葉斯模型，用于解決比例標簽場景下的問題。在基于支持向量的比例標簽模型中，Rueping^［2］通過每個包中的比例標簽獲取對應的軟標簽，并利用支持向量回歸與反向分類器校準的方法構建InvCal模型以獲取實例級的分類器，將未知的實例分類為正類或者負類。在基于神經網絡的比例標簽模型中，Kotzias等人^［12］提出一種促進基于實例級標簽相似性推斷出實例級標簽平滑性的方法，將卷積神經網絡應用于比例標簽環境下的文本分類問題。對于這三種主要模型，其中基于概率的方法通常會將數據可獲取的已知信息與比例標簽信息結合，以構建概率估計模型對未知的實例標簽進行概率映射，但是獲取的分類器的精度不足；基于支持向量的方法通常先聯系比例標簽信息與未知的實例標簽構建軟標簽，再利用最大化邊界的方法結合軟標簽訓練得到分類器，可獲取具有較高分類準確率的分類器；基于神經網絡的方法相對于基于概率的和基于支持向量的方法通常需要較大的數據量進行訓練，以獲取實例間潛在的相似性，因此具有在數據量不夠大時無法得到較理想分類器的局限性。

雖然目前已經提出很多先進的方法來解決比例標簽學習問題，但是所提出的方法都將比例標簽學習問題看做單一視角的問題而忽略了數據的特征多樣性。比例標簽學習作為弱監督學習問題，由于訓練數據中存在許多無標簽的樣本使得學習模型存在分類準確率不高和表現不穩定的問題，所以如何更充分地利用數據本身的特征信息是提升模型表現的關鍵。同時，現實中獲取到的數據集往往不是理想的目標數據，而是具有干擾因素的不確定數據，這對模型的表現同樣造成影響。多視角學習不依賴于樣本標簽而利用數據本身特征信息的特點，使其能在弱監督學習領域和抗噪聲影響中發揮出色的作用。例如，Xiao等人^［13］將多視角學習應用于同樣作為弱監督學習問題的多示例學習中構建了一種基于相似性的兩視角多示例學習模型，提升了多示例學習模型的分類準確率和穩定性。從以上角度考慮，則可利用多視角學習首先學習數據不同的視角特征，并利用一組數據集中學習到的不同特征具有一致性與互補性的特點，將獲取到的具有多視角知識的分類器應用于比例標簽學習以提高模型的準確率和抗噪聲能力。

本文提出了一種基于不確定比例標簽信息的多視角學習（uncertain label proportions information-based multi-view lear-ning，ULPI-MVL）模型。該模型將多視角知識與比例標簽學習相結合并利用一個迭代框架求解不確定比例標簽信息下的學習問題，以獲得更準確的分類器，將未標記的實例分類為正類或負類。本文的主要貢獻可以總結為如下幾個方面：

a）提出利用多視角學習的方法彌補比例標簽學習模型由于缺乏樣本標簽信息而導致的分類準確率與穩定性不足問題，將現實數據中存在的不確定數據因素考慮到模型的構建中，降低了模型對數據噪聲的敏感度。

b）利用核函數的方法將多視角信息映射到特征空間從而將多視角學習應用到比例標簽學習，以構建基于不確定比例標簽信息的多視角學習的目標模型；而后引入拉格朗日方法將目標模型轉換為其對偶形式進行求解，最后利用一個迭代方法解決目標模型，當達到迭代閾值則結束迭代獲取到多視角分類器。

本文將提出的方法應用到現實數據集中與比例標簽學習中的先進方法進行對比，實驗結果顯示本文方法與其他基線方法相比具有更加有效且穩定的表現。

1 相關工作

1.1 比例標簽學習

近年來，比例標簽學習問題受到了越來越多的關注，研究人員提出了許多先進的方法來解決比例標簽問題。Quadrianto 等人^［14］提出一種基于概率的方法MeanMap來解決比例標簽問題，該方法首先利用每個包的平均值和比例標簽信息估計每個類別的平均值，而后利用這些估計以估計最大化似然對數。MeanMap方法依賴于包的類條件分布具有獨立性，因此在更多的現實數據中無法獲得更高的準確率。Rueping ^［2］提出一種支持向量回歸的方法InvCal來解決比例標簽學習問題，首先設置了每個比例標簽對應的軟標簽，即超實例標簽，并結合最大化邊界的方法以解決比例標簽學習問題，該方法相較于直接利用最大化邊界方法解決比例標簽問題的方法具有更高的準確率。Yu等人^［10］將潛在的未知實例標簽與可獲取的包的比例標簽顯式地建模在一個大邊界框架提出了Alter-pSVM和Conv-pSVM兩個p-SVM模型，利用最大化邊界與迭代優化的方法解決比例標簽學習問題。Chen等人^［8］利用集成學習中的提升和裝袋學習方法提出Boosted-pSVM和Bagged-pSVM方法解決比例標簽學習問題，該方法通過結合多個弱分類器最終構建一個強分類器提高了比例標簽學習模型的準確率，然而該方法利用集成學習方法結合的是多個單一視角的弱分類器，在現實數據的應用中對學習模型的準確率提升有限。

在研究過程中發現所提出的方法雖然具有許多優越性，但僅關注到單一視角的比例標簽學習問題，如何利用多視角學習的方法研究比例標簽問題是應被考慮到的。由于實際應用中的比例標簽數據不僅僅有單一的數據特征，使得單一視角的分類器存在準確率不高的局限性。另外在比例標簽數據中由于樣本的具體標簽無法獲取而導致用于訓練的信息不足的問題，多視角學習更充分地考慮數據本身的特征信息進而彌補了這一局限，所以提出運用多視角學習的方法來研究比例標簽問題。

1.2 多視角學習

多視角學習中的視角往往指的是一組數據集中利用不同的特征提取方法而獲得的不同特征子集；另外也可以是描述同一組對象中不同來源的數據，例如描述同一件事物的文字和圖像。由于多個視角間具有一致性與互補性的特點，應用多視角學習到機器學習的其他方法中可以更加綜合地利用到數據本身的特征。

多視角學習被廣泛應用于機器學習的許多領域以提升分類器的表現。Farquhar等人^［15］提出了一種基于兩視角學習的支持向量機模型，采用核規范相關性分析與支持向量機相結合的方法提升分類精確度。Meng等人^［16］將基于兩視角學習的支持向量機模型應用于情感識別領域，該應用中通過融合外觀表示和面部表情以構建新特征并將此特征用于訓練基于兩視角學習的支持向量機分類器，相較于單一視角的學習模型具有魯棒的表現。Fang等人^［17］提出了一種魯棒的潛在子空間學習模型，通過將特征學習與分類相結合的方式在圖像分類的子空間中獲得高區分度的數據表示。李勇振等人^［18］提出一種基于圖卷積神經網絡的多視角聚類方法，將多視角聚類與卷積神經網絡相結合，利用多視角數據間的互補特性與一致特性并加以約束而獲得多視角表達式用于提升聚類表現。Xiao等人^［13］將多視角學習的方法應用到弱監督學習領域中的多示例學習中，提出基于相似性的兩視角多示例學習方法，該方法在基于相似性的多示例學習方法基礎上添加了多視角學習的思想并將該方法應用到現實領域的文本和圖像數據集中進一步提升了學習模型的準確率和抗噪聲能力，這對同樣作為弱監督學習方法之一的比例標簽學習起到了啟示作用。

國內外的研究人員充分利用多視角學習可以將數據本身豐富的特征進行綜合考慮的特性，用于提升機器學習方法與現實數據應用領域中分類器的表現。而在弱監督學習的領域由于數據對象往往是無法直接獲取到具體實例標簽的數據包對象，能利用數據本身特征信息進行考慮的多視角學習對于提升弱監督學習模型的準確率具有優越性。同時結合了更豐富的信息的多視角分類器被證明是一種能有效降低數據噪聲影響的方法，這在現實數據的應用中起到了有效的作用。

2 基于不確定比例標簽信息的多視角學習模型

2.1 模型定義與設置

2.1.1 比例標簽包設置

在比例標簽數據集中利用（B_I，P_I）表示，I=1，2，…，l表示，其中B_I表示第I比例標簽包，P_I表示B_I包中正類實例占包中總實例數的比例信息，即比例標簽。比例標簽包中的實例利用（x_i，y_i）表示，i=1，2，…，|B_I|，其中x_i表示在包B_I中的第i實例，而y_i表示實例x_i未知的真實標簽。在比例標簽包中的比例標簽P_I有如下定義：

本文主要針對二元分類問題，則設置實例x_i的真實標簽為y_i∈{-1，+1}。由于在比例標簽環境中無法獲取到實例的真實標簽，引入文獻［2］中的做法利用Platt尺度^［19］構建包的比例標簽P與實例標簽y的聯系得到超實例標簽如下：

比例標簽學習的目標是構建線性分類器f（x）=w^Tx+b對比例標簽包中的實例進行分類，由于比例標簽包中單個實例的標簽與包的比例標簽P存在較大差異，為了能在比例標簽學習中獲得更好的分類效果，引入文獻［2］中的做法，利用支持向量回歸的方法得到線性分類器，則要求f預測y平均滿足

2.1.2 多視角學習設置

對于多視角學習的設置，假設（S^v，φ_v，K_v）表示多視角的特征空間S^v，v=1，2，…，V，該特征空間通過相應的特征投影φ_v與核方法K_v表示，成對的多視角數據可表示為

其中：每個不同的投影φ_v描述對應視角的特征向量。針對實驗選用的文本分類的經典數據集，線性核方法在該應用領域有著良好的表現^［20］，因此核方法選用線性核K（v，x）=φ（v）φ（x）。將多視角學習結合比例標簽學習，假設f_v（x）=w^T_vφ_v（x）+b_v表示第v視角的線性分類方法超平面，則在比例標簽數據包B_I與訓練第v視角分類器下要求f_v（x）預測y滿足

圖2展示了所應用的多視角學習模型的基本概念，其中黑色圓圈代表未標記的樣本，實線表示線性分類超平面，與實線相同顏色的虛線表示對應的ε-不敏感區域的邊界。例如，藍色實線（見電子版）表示第v視角的線性分類超平面w^T_vφ_v（x）+b_v=0，對應的藍色虛線表示第v視角的ε-不敏感區域的邊界w^T_vφ_v（x）+b_v=ε與w^T_vφ_v（x）+b_v=-ε。假設已解得各視角的分類器，則可根據多視角學習中被廣泛應用的方法^［21］利用多視角分類器的概率投票結果將未標記樣本分類為正類或者負類。

2.1.3 不確定比例標簽數據設置

對于比例標簽數據中存在的不確定數據的設置，本文采取文獻［22］的做法，假設樣本x_i的噪聲向量為Δx_i，則有樣本邊界分數如下：

假設采用的數據噪聲為高斯噪聲模型，則有如下關系：

2.2 模型構建與求解

綜合2.1節中的模型定義與設置構建基于不確定比例標簽信息的多視角學習模型如下：

對于上述模型具有以下說明：

a）引入φ（·）表示映射函數，將輸入數據映射到特征空間，利用K（v，x）=φ（v）·φ（x）表示核函數。

b）參數C_v為懲罰參數，用于平衡第v視角分類器的邊界；ξ_vi與ξ^*_vi為第v視角的松弛變量，用于表示偏離ε-不敏感區域的實例；ε_v表示第v視角的不敏感區域邊界，而針對每個包需要由比例標簽確定更具體的不敏感區域，根據文獻［2］的做法，利用ε_vi表示B_i包對應的不敏感區域邊界。

引入文獻［23］中對不確定數據的處理方法，則可假設Δx_j為零向量代入式（8）中使得Δx_j滿足約束，而后通過求解出的w_v和b_v回代得到最終的Δx_j。通過引入拉格朗日乘子α_vi≥0，α^*_vi≥0，γ_vi≥0，γ^*_vi≥0轉換為式（8）所示的優化問題：

而后對w_v、b_v、ξ_v、ξ^*_v求偏導并假設偏導式為零獲取L的最小化：

由于問題式（8）是二次規劃問題，可將式（10）～（13）代入式（9）中，則將式（8）轉換為其對偶形式求解：

2.3 算法步驟

算法1 ULPI-MVL算法

輸入參數：C_v，ε_v，迭代次數n=0。

輸出：w_v，b_v。

a）根據式（2）初始化所有樣本（B_I，P_I）的超實例標簽y_i；

b）初始化Δx_j=0；

c）初始化特征空間以及核方法（S^v，φ_v，K_v）；

d）n=n+1；

e）將Δx_j代入到式（8）中，而后利用拉格朗日方法將問題式（8）轉換為其對偶形式式（12）進行求解；

f）根據式（10）～（13）計算出f_v（x）并代回到式（8）中求得Δx_j；

g）設置F_max=max（|F（n-1）|，|F（n）|）；

h）若滿足|F（n）|-|F（n-1）|＜ε|F_max|則迭代結束，否則返回步驟d）。

算法1中描述了ULPI-MVL算法的一輪迭代，其中F（n）表示第n次迭代時的目標模型式（8）。通過引入文獻［24］中的迭代停止標準，則在（|F（n）|-|F（n-1）|）/F_max小于閾值ε時滿足線性時間的最大化邊界的標準，并獲得多視角分類器f_v（x）=w_vφ_v（x）+b_v，v=1，2，…，V。根據多視角學習中廣泛應用的概率投票方法^［21］，多個視角的分類器的投票結果將用于標注實例的二元標簽。

2.4 算法時間復雜度分析

本節在理論上對算法1的時間復雜度進行分析。在訓練線性SVM分類器中，首先假設對于數目為n的樣本的訓練時間為O（n²）。在所提出的ULPI-MVL模型中，目標模型式（8）的解決與訓練中所用到的樣本數目為l×|BI|，其中l表示比例標簽包的數量，|BI|表示在第I包中樣本的數量。假設迭代方法經過N次迭代后停止，綜上所述可以得出算法1的時間復雜度為N×O（l×|BI|）。

3 實驗與分析

3.1 基線方法

本文將ULPI-MVL應用到文本分類的數據集中來評估其有效性。為了驗證本文方法的有效性，使用以下四種在比例標簽學習中的先進方法作為基線進行對比：

a）MeamMap^［14］。該方法憑借每個包的平均值和比例標簽的信息建立一致的估計量來估計每個類的平均值。

b）InvCal^［2］。該方法將每個包的平均值替換為超實例標簽，以呈現與比例標簽相對應的軟標簽，并通過支持向量機和反向分類器校準訓練分類器。

c）Alter-pSVM^［10］。該方法通過交替優化方法迭代優化分類器，避免對數據作出限制性假設。

d）Boosted-pSVMp^［8］。該方法將提升學習方法應用到比例標簽學習中，通過結合多個弱分類器獲取最終的強分類器。

3.2 數據集設置

本文采用在文本分類中廣泛使用的數據集路透社-21578（Reuters-21578，http：//kdd.ics.uci.edu/databases/reuters21578/reuters21578.html）和20新聞組（20 Newsgroups，http：//qwone.com/～jason/20Newsgroups/）數據集。路透社-21578數據集來源于路透通信社的文章，其中包含21 578個實例，并被歸類為exchanges、orgs、people、places和topics五個大類，每個大類下有若干子類。20新聞組包含20 000條新聞文檔，被平均分類為20個組別，在本文中對其歸為comp、rec、sci和talk四個大類進行實驗。引入文獻［25］中的實驗設置，表1中展示了將數據集重新組織為適用于比例標簽學習的數據集的做法，其中采用一對多的策略，即每個數據集選中其中一個類別的數據作為目標正類（positive），其他類作為負類（negative）。

根據比例標簽學習方法中被廣泛使用的比例標簽包的組織方法設置不同比例標簽包的大小從小到大遞增，本文將數據集組織成包大小為4、24、44和64進行實驗。最后進行5折交叉驗證并重復五次用于獲取ULPI-MVL與各基線方法的平均準確率和標準差并進行比較。

3.3 實驗設置

所有的基線方法均采用原始文獻中建議的參數進行設置。對于ULPI-MVL，為了避免加入視角信息過多而產生抖動的現象，本文選用三種在文本分類中被廣泛使用且被證明有效的特征提取方法獲取三個視角的特征信息：a）TF-IDF^［26］方法用于生成第一個視角，該方法通過詞或短語在文章中出現的頻率對其賦予權重，用于找出具有良好類別區分度的詞或短語；b）利用CNN^［27］方法生成第二個視角，該方法利用卷積神經網絡生成n-gram特征，該特征被廣泛用于文本分類問題；c）MMR^［28］方法通過TP（true positives）和FP（1 positives）的極大—極小比率以及區別得到MMR特征，該特征被證明在文本分類中有良好的表現。而后將獲取到的三個視角的知識分別利用特征函數φ₁、φ₂和φ₃映射到特征空間并應用于所提出的學習模型。模型在參數設置方面依照三個視角的情況，設置ε_v∈［0，1］，C_v∈［2^-2，25］，v=1，2，3。由于基線方法的輸入數據僅需單一視角的特征，將三種特征單獨地輸入到基線方法中獲取平均準確率。

對于不確定數據生成，本文引入文獻［29］中的噪聲添加方法模擬不確定比例標簽數據，該方法中利用均值為零的高斯分布方法產生數據噪聲。假設一個樣本x_j已被添加噪聲，則有如下形式：

其中：d表示樣本x_j的維度數；σ_i表示隨機從［0，2σ⁰_i］中選取的高斯噪聲的標準差；σ^x_ji（i=1，…，d）代表被添加到了樣本的第i維。

圖4展示了添加噪聲到樣本x_i的示意圖，其中將噪聲向量隨機添加到樣本x_i的若干維度模擬不確定數據。根據不確定數據模擬中的經典方法^［30］，首先在實驗的比例標簽數據中選擇10%的包添加噪聲模擬現實中的不確定數據，而后在噪聲比例為0～32%的比例標簽數據包中比較本文方法與基線方法的噪聲敏感度。

3.4 實驗結果

表2中展示了ULPI-MVL與各基線方法在包含10%的噪聲的不確定比例標簽數據下進行實驗的準確率和標準差。根據表2中各方法在各數據集下實驗的準確率可以看出，本文方法在不確定的比例標簽信息下相比于各基線方法具有更高的準確率。另外表2中也列出了標準差情況，本文方法在實驗中的標準差絕大部分低于各個基線方法，反映了模型的穩定性。為了更直觀地展示各方法，圖5給出了各個方法的平均準確率，其中所提出方法的表現明顯高于其他基線方法。其原因是MeamMap、InvCal、Alter-pSVM和Boosted-pSVM方法只考慮到了比例標簽的單一視角問題而忽略了數據的特征多樣性，然而本文提出的ULPI-MVL模型將比例標簽信息的多個視角以及現實數據中常出現的不確定數據情況進行綜合考慮，因此收獲了更高的準確率和更好的穩定性。

3.5 噪聲敏感度分析

本節首先設置包含噪聲的比例標簽包的數量從0～32%遞增，而后在實驗中比較在不同比例的包含噪聲數據包下本文方法與各個基線方法的平均準確率。

圖6展示了ULPI-MVL與各個基線方法在實驗數據集中針對不同比例的噪聲包的平均表現的變化。從圖6可以看出，隨著包含噪聲數據的比例增加而各模型的平均準確率均有所下降。相比于各基線方法，所提出的模型仍然具有更高的準確率與穩定性，例如MeamMap、InvCal、Alter-pSVM和Boosted-pSVM方法在包含32%的噪聲數據中的平均準確率比在包含0噪聲數據中的平均準確率降低了14.1%、13.4%、15.4%和15.1%，所提出的ULPI-MVL僅下降了9.2%。可以看出，本文方法結合了數據本身的多視角特征信息構建分類器，因此相對于單一視角信息的分類器具有更強的免疫噪聲影響的能力。

4 結束語

本文提出了一種基于不確定比例標簽信息的多視角學習方法。該方法考慮到了現實生活中獲取到的比例標簽數據可能被噪聲污染的情況與已有的比例標簽研究僅僅利用數據的單一視角特征構建學習模型的兩個局限性，通過將多視角學習與不確定的比例標簽信息學習相結合構建學習模型提升了分類器的準確率和穩定性。本文方法首先將多視角的知識與通過比例標簽信息獲得的超實例標簽進行組織并考慮到不確定數據的情況以構建學習模型，而后通過拉格朗日方法將目標模型轉換為其對偶形式進行求解，最后引入一個迭代框架解決目標模型以獲取多視角分類器。將本文方法與比例標簽學習研究中四種先進方法進行比較，實驗結果表明本文方法相比其他方法具有更高的準確率且更不易受數據噪聲的影響。然而所提出的方法在訓練過程中需要進行迭代以獲取優化分類器而消耗了時間，因此如何在更短的時間內獲取優秀的分類器是后續研究的方向。

參考文獻：

［1］Kück H， De Freitas N. Learning about individuals from group statistics［C］//Proc of the 21st Conference on Uncertainty in Artificial Intelligence. Arlington， VA： AUAI Press， 2005： 332-339.

［2］Rueping S. SVM classifier estimation from group probabilities［C］//Proc of the 27th International Conference on Machine Learning. Madison， WI： Omnipress， 2010： 911-918.

［3］石勇， 孟凡， 齊志泉. 基于LapESVR的比例標簽學習模型［J］. 管理評論， 2019，31（6）：135-143. （Shi Yong， Meng Fan， Qi Zhiquan. Learning with proportions based on LapESVR［J］. Management Review， 2019，31（6）： 135-143.）

［4］楊歡， 范子祎. 基于生成對抗網絡比例標簽學習在信貸客戶分類中的應用［J］. 信息與電腦， 2020，32（20）： 137-139. （Yang Huan， Fan Ziyi. Research on the classification of credit customer based on learning with label proportion and generative adversarial nets［J］. China Computer amp; Communication， 2020，32（20）：137-139.）

［5］Sun Tao， Sheldon D， O’Connor B. A probabilistic approach for learning with label proportions applied to the US presidential election［C］//Proc of IEEE International Conference on Data Mining. Pisca-taway， NJ： IEEE Press， 2017： 445-454.

［6］石勇， 馬福海， 齊志泉， 等. 基于比例標簽學習的商業銀行重要基金客戶識別研究［J］. 數學的實踐與認識， 2017，47（19）： 291-302. （Shi Yong， Ma Fuhai， Qi Zhiquan， et al. Research on the classification of commercial banks’ fund clients based on learning with label proportions［J］. Mathematics in Practice and Theory， 2017，47（19）： 291-302.）

［7］Qian Yaxing， Tong Qiang， Wang Bo. Multi-class learning from label proportions for bank customer classification［J］. Procedia Computer Science， 2019，162： 421-428.

［8］Chen Zhensong， Chen Wei， Shi Yong. Ensemble learning with label proportions for bankruptcy prediction［J］. Expert Systems with Applications， 2020，146（5）：113155.

［9］Ardehaly E M， Culotta A. Co-training for demographic classification using deep learning from label proportions［C］//Proc of IEEE International Conference on Data Mining. Piscataway， NJ： IEEE Press， 2017： 1017-1024.

［10］Yu Felix， Liu Dong， Kumar S， et al. ∝SVM for learning with label proportions［C］//Proc of the 30th International Conference on Machine Learning. 2013： 504-512.

［11］Hernández J， Inza I. Learning naive Bayes models for multiple-instance learning with label proportions［C］//Proc of the 14th International Conference on Advances in Artificial Intelligence： Spanish Association for Artificial Intelligence. Berlin： Springer-Verlag， 2011： 134-144.

［12］Kotzias D， Denil M， De Freitas N， et al. From group to individual labels using deep features［C］//Proc of the 21st ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2015： 597-606.

［13］Xiao Yanshan， Yin Zijian， Liu Bo. A similarity-based two-view multiple instance learning method for classification［J］. Knowledge-Based Systems， 2020，201（8）： 105661.

［14］Quadrianto N， Smola A J， Caetano T S， et al. Estimating labels from label proportions［J］. Journal of Machine Learning Research， 2009，10： 2349-2374.

［15］Farquhar J， Hardoon D， Meng Hongying， et al. Two view learning： SVM-2K， theory and practice［C］//Proc of the 18th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2006： 355-362.

［16］Meng Hongying， Romera-Paredes B， Bianchi-Berthouze N. Emotion recognition by two view SVM_2K classifier on dynamic facial expression features［C］//Proc of IEEE International Conference on Automatic Face amp; Gesture Recognition. Piscataway， NJ： IEEE Press， 2011： 854-859.

［17］Fang Xiaozhao， Teng Shaohua， Lai Zhihui， et al. Robust latent subspace learning for image classification［J］. IEEE Trans on Neural Networks and Learning Systems， 2018，29（6）： 2502-2515.

［18］李勇振， 廖湖聲. 基于圖卷積神經網絡的多視角聚類［J］. 計算機工程與應用， 2021，57（5）： 115-122. （Li Yongzhen， Liao Hu-sheng. Multi-view clustering via graph convolutional neural network［J］. Computer Engineering and Applications， 2021，57（5）：115-122.）

［19］Platt J C. Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods［C］//Advances in Large Margin Classifiers. Cambridge， MA： MIT Press， 1999： 61-74.

［20］Sebastiani F. Machine learning in automated text categorization［J］. ACM Computing Surveys， 2002，34（1）： 1-47.

［21］Zheng Xin， Liang Shouzhi， Liu Bo， et al. Subgraph feature extraction based on multi-view dictionary learning for graph classification［J］. Knowledge-Based Systems， 2021，214（2）： 106716.

［22］Liu Bo， Xiao Yanshan， Yu P S， et al. Uncertain one-class learning and concept summarization learning on uncertain data streams［J］. IEEE Trans on Knowledge and Data Engineering， 2012，26（2）： 468-484.

［23］Xiao Yanshan， Wang Huaipei， Liu Bo. A new transfer learning-based method for label proportions problem［J］. Information Sciences， 2020，541（12）： 391-408.

［24］Wang Fei， Zhao Bin， Zhang Changshui. Linear time maximum margin clustering［J］. IEEE Trans on Neural Networks， 2010，21（2）： 319-332.

［25］Zhong Erheng， Fan Wei， Peng Jing， et al. Cross domain distribution adaptation via kernel mapping［C］//Proc of the 15th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2009： 1027-1036.

［26］Zhao Guifen， Liu Yanjun， Zhang Wei， et al. TFIDF based feature words extraction and topic modeling for short text［C］//Proc of the 2nd International Conference on Management Engineering， Software Engineering and Service Sciences. New York： ACM Press， 2018： 188-191.

［27］Wang Shiyao， Huang Minlie， Deng Zhidong. Densely connected CNN with multi-scale feature attention for text classification［C］//Proc of the 27th International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 4468-4474.

［28］Rehman A， Javed K， Babri H A， et al. Selection of the most relevant terms based on a max-min ratio metric for text classification［J］. Expert Systems with Applications， 2018，114（12）： 78-96.

［29］Aggarwal C C， Yu P S. Outlier detection with uncertain data［C］//Proc of SIAM International Conference on Data Mining. Atlanta， GA： Society for Industrial and Applied Mathematics， 2008： 483-493.

［30］Aggarwal C C， Philip S Y. A framework for clustering uncertain data streams［C］//Proc of the 24th IEEE International Conference on Data Engineering. Piscataway， NJ： IEEE Press， 2008： 150-159.