多視角半監督分類算法比較及研究進展

郭文忠，姚杰，王石平

(福州大學計算機與大數據學院，福建 福州 350108)

0 引言

科技的發展促使信息傳播速度越來越快，傳播范圍越來越廣，數據也更容易獲得. 但是數據所包含的信息量也越來越龐大，僅僅通過單個視角已經不足以全面描述所得到的數據，因此需要從多個不同的視角來處理獲得的數據. 真實世界中的多視角數據已經相當普遍，而多視角學習(multi-view learning)也成為了機器學習(machine learning)以及圖像處理(image processing)中的一個重要研究方向.

根據是否使用樣本的標簽信息, 傳統的機器學習方法可以劃分為全監督學習方法(supervised learning)以及無監督學習方法(unsupervised learning). 在處理真實世界任務時，所得到的數據一般只帶有少量的標簽信息，因而進行全監督學習時，需要對大量未帶標簽的樣本進行標注，這需要付出較多的人力與物力成本. 無監督學習雖然不需要數據的標簽信息，但多數情況下不足以滿足性能需求，如圖像分類任務等. 為此半監督學習(semi-supervised learning)結合了全監督學習以及無監督學習，只需要少量的帶標簽的樣本就能獲得不錯的性能，引起了眾多學者的注意[1-2].

隨著多視角學習和半監督學習技術的發展，多視角半監督學習也迎來了長足的進展. 本研究整理并實驗比較了近年來一些先進的多視角半監督分類算法，旨在為從事相關領域的研究人員提供一定借鑒及啟示, 以便能更快和詳盡地了解這一領域的發展近況.

1 多視角學習

面對真實世界的問題時，如圖像分類、 文本分類等，獲得的數據通常有多個特征源，每一個特征源對應于一個視角(view)，該數據稱作多視角數據. 例如可以從一張圖像中提取多個不同的視覺特征； 又如一張RGB圖像可以從紅綠藍三個顏色通道中提取3個不同的特征. 以上所述的這些數據都可以稱作多視角數據.

多視角學習的目標是對每一個視角進行建模，然后聯合優化所有視角的模型以提高學習性能[3]. 多視角學習被廣泛地應用在多視角聚類[4-15]、 多視角分類[16-22]、 多任務多視角學習[23-26]等問題上. 多視角問題的一個簡單解決方法就是將所有視角的數據融合成一個視角，從而將多視角問題轉化為一個單視角問題來解決. 但是這種解決方法并沒有考慮到多視角數據之間的互補性與一致性，只是簡單地把多視角數據合并成單視角的數據，會增加數據的冗余，通常實驗性能也并不理想. 與此相反的是，針對一個單視角的數據集，使用多個不同的特征提取算法從單視角數據中提取出多個不同維度的特征來生成多視角數據，再使用多視角算法來解決該問題，最終實驗性能相比于單視角算法能夠有所提升.

近年來，為解決某些特定的機器學習任務，學者們先后提出多種基于多視角學習的算法. Fu等[27]通過典型相關分析在多視角嵌入空間建立了一個超圖解決零次學習任務. Cao等[28]考慮了多視角子空間上的排序學習問題，并提出了相應的有效算法. Xue等[29]提出一種基于支持向量機的線性多視角學習框架用以解決多標簽分類問題. Kan等[30]提出一種多視角判別分析算法, 對所有視角尋求一個共同的判別空間進行對象識別.

以上所述的這些方法，將是否使用樣本的標簽信息作為分類依據，這些多視角學習算法大致可總結為兩類： 多視角無監督學習和多視角監督學習. 其中多視角監督學習又可以根據標簽信息的多少細分為多視角半監督學習和多視角全監督學習. 本研究主要針對多視角半監督學習中的分類算法進行介紹和總結.

2 多視角半監督分類研究現狀分析

整理了近年來提出的多視角半監督分類算法，將這些算法粗略總結為四種主流范式： 基于圖的方法、 基于子空間的方法、 基于回歸的方法, 以及基于分歧的方法.

1) 基于圖的方法. 為每一個視角的數據都構建一個圖，然后以某種算法將所有的圖融合成一個一致圖，在該圖上進行標簽信息的傳播.

2) 基于子空間的方法. 旨在通過子空間學習為所有的視角學習一個共同的子空間，然后在該子空間上進行標簽傳播.

3) 基于回歸的方法. 為每個視角都建立一個回歸模型，并使用指示矩陣作為所有回歸函數共同的回歸目標，最后聯合優化所有的回歸函數.

4) 基于分歧的方法. 利用標簽信息在每個視角建立一個分類器，各個分類器之間互相學習直到收斂, 或者達到預先設置的迭代次數.

2.1 基于圖的半監督分類算法

基于圖的半監督分類算法這幾十年來一直吸引著眾多學者的注意. Zhu等[33]提出一種基于高斯場和調和函數的算法(GFHF)，該算法將標簽信息從帶標簽的頂點傳播到未帶標簽的頂點. Jiang等[34]提出一種圖卷積學習網絡(GLCN)聯合了圖學習和圖卷積來解決半監督分類問題. Kang等[35]在構造圖時捕獲了數據的全局結構以及局部結構，并通過添加秩約束項保證了構造圖的連通分支個數與樣本的類別數一致.

(1)

2.1.1自權重多視角學習模型

對于基于圖的方法，如何以合適權重融合每個視角的信息是一個關鍵問題.Nie等[36]通過擴展傳統的譜聚類方法提出一種自權重多視角學習模型(auto-weighted multiple graph learning，AMGL)，該方法能夠自動地學習每個視角的權重而不需要任何超參數.

考慮樣本的標簽信息，譜聚類算法轉變為一個直推式半監督學習問題，可以表示為：

(2)

上式中F=[f1, …,fl,fl+1, …,fn]T∈Rn×c為指示矩陣，fi=[fi1,fi2, …,fic]∈R1×c指示了第i個樣本所屬的類別，與標簽矩陣類似，將指示矩陣劃分為F=[Fl,Fu]T. AMGL算法將其擴展到多視角情形：

(3)

為解決公式(3)中帶約束的最小值問題，可以使用拉格朗日乘子法進行求解.

2.1.2自適應鄰居的多視角學習算法

在處理具體的學習任務時，獲得的原始數據往往是帶有噪聲的，由此導致原始的圖構造是不可靠的. 為此，一種自適應鄰居的多視角學習算法(multi-view learning with adaptive neighbors，MLAN)[37]被提出，其直接從原始數據中學習一個相似圖，不需要在每個視角都構造一個圖.

考慮一個單視角問題，對于輸入的每一個樣本xi，將所有的樣本點都視為xi的一個鄰居.使用sij來表示兩個樣本之間的相似程度，則相似矩陣S=(sij)n×n∈Rn×n可以視為如下最小化問題的解：

(4)

針對多視角問題，需對每個視角都分配一個權重α(v)，并引入正則項使得權重分布更平滑：

(5)

其中：γ是超參數.

2.2 基于回歸的半監督分類算法

回歸分析是一種建立兩種或兩種以上變量關系的預測方法. 在解決單視角問題時，算法的目標函數為：

(6)

其中：f(·)是分類器； loss(·)是損失函數；Ω(·)是一個正則化項.以上問題可以擴展到多視角情形：

(7)

基于回歸的方法在每個視角都學習一個投影矩陣W(v)并使用指示矩陣F作為共同的回歸目標.

2.2.1自適應鄰居的多視角半監督分類算法

自適應鄰居的多視角半監督分類算法(multi-view semi-supervised classification via adaptive regression，MVAR)[38]使用最小二乘損失作為算法的損失函數并使用Frobenius范數對投影矩陣添加約束. 為便于理解，先討論單視角情形下的MVAR算法，算法的目標函數如下：

(8)

以上方法只是將每個樣本的損失簡單地疊加在一起而忽略了樣本的標簽信息. 在半監督分類中帶標簽的樣本與不帶標簽的樣本扮演著不同的角色，因此對每個樣本添加一個得分ri來衡量不同樣本的重要性：

(9)

將上式擴展成多視角半監督分類算法，那么MVAR算法的目標函數為：

(10)

上式中t>1的取值用來調整權重的分布[39].

2.2.2聯合一致性和多樣性的多視角半監督分類模型

多數基于回歸的方法都面臨著損失項不準確的問題[40]. 聯合一致性和多樣性的多視角半監督分類模型(joint consensus and diversity for multi-view semi-supervised classification，JCD)[41]使用了二次折頁損失作為損失函數克服了該問題，并擴展文獻[42]中的方法, 提出了一個新穎的回歸目標.

(11)

(12)

(13)

2.3 基于子空間學習的半監督分類算法

子空間學習(subspace learning，SL)是一種將原始數據的高維特征投影到低維子空間，在低維子空間中保留特定的統計屬性來解決機器學習任務的方法[43]. 考慮多視角問題時，子空間學習的目的是尋找一個共同的潛在子空間，并在這個子空間上使用某種算法來學習數據的結構表示[44].

對于多視角半監督分類問題，基于子空間的方法先從原始數據中學習一個子空間表示，再根據得到的子空間表示來構造鄰接矩陣，最后使用基于圖的方法來求解. 基于子空間的方法有以下形式：

(14)

式中：Z(v)，E(v)分別為第v個視角的重構系數矩陣和重構損失矩陣.

2.3.1超拉普拉斯正則化多線性多視角自表示模型

傳統的多視角子空間學習方法假定數據分布在某個線性流形上，但是在真實世界的問題中，數據特征可能是來自多個非線性的子空間. 為此Xie等[45]提出了超拉普拉斯正則化多線性多視角自表示模型(hyper-Laplacian regularized multilinear multi-view self-representation model，HLR-M2VS)，該方法分別在張量空間和特定視角的自表示特征空間中學習各個視角之間的相關性以及數據的局部幾何結構.

HLR-M2VS算法是在一種基于多視角子空間聚類的張量奇異值分解模型(t-SVD-MSC)[46]的基礎上考慮了數據的局部幾何結構并將算法擴展到半監督分類，該算法的目標函數可以表示為以下形式：

(15)

上式的等式約束問題可以通過增廣拉格朗日乘子法(ALM)[47]求解.

2.3.2張量多視角子空間表示學習

大部分基于子空間學習的多視角方法只捕獲了多視角數據之間成對的相關性，忽略了數據的高階相關性. 為此Zhang等[48]提出張量多視角子空間表示學習(tensorized multi-view subspace representation learning，TMSRL)方法. TMSRL在t-SVD-MSC的基礎上引入必連約束[49]，該約束構造了一個判別性的矩陣以確保具有相同標簽的樣本有同樣的子空間表示.

假定l個帶標簽的樣本屬于c個集合，其中同一個集合中的樣本屬于同一個類別，那么每一個集合都有一個必連約束，剩余的n-l個不帶約束的樣本被看作是屬于n-l個不同的集合.則n個樣本被分為n-l+c個集合，且在相同集合中的樣本屬于一個共同的子空間.基于此可以構造一個約束矩陣Q∈Rn×(n-l+c)，其中當第i個樣本屬于第j個集合時Qij=1.為保證同一個集合中的樣本能分到同一個類，對每個視角都引入了輔助矩陣U(v)∈Rn×(n-l+c)，令Z(v)=U(v)Q.則目標函數可以表示為：

(16)

由定理1，公式(16)可以簡化為：

(17)

以上問題同樣可以采用增廣拉格朗日乘子法求解.

2.4 基于分歧的半監督分類算法

基于分歧的方法源于協同訓練[50], 協同訓練要求輸入的每個視角的數據是充分冗余且相互獨立的，也就是說各個視角之間是互補的. 當輸入的數據只有兩個視角時，協同訓練方法先在兩個視角上使用帶標簽的樣本各自學習一個分類器，再從兩個分類器的未帶標簽樣本中取置信度最高的樣本分配“偽標簽”放入另一個分類器中，以此達到擴大訓練集的目的. 再使用擴大后的訓練集各自更新分類器，不斷地迭代這一過程直至收斂或者達到先前定義的訓練次數[51].

基于分歧的方法也可以用來解決單視角問題. 在同一個數據集上訓練多個分類器，分類器之間互相學習以達到更好的分類性能. 例如Zhou等[52]在單視角數據上訓練了三個不同的分類器，使用投票機制來確定樣本的偽標簽. Chen等[53]提出了Tri-Net模型從原始數據生成了三個深度神經網絡，在訓練過程中通過微調各個網絡來保證每個模型的差異性以達到互相學習的目的.

對于多視角數據，基于分歧的方法對每一個視角都訓練一個分類器，利用各個分類器之間的差異性來互相學習. Li等[54]通過在每一個視角建立一個圖卷積網絡(graph convolution network，GCN)并聯合拉普拉斯矩陣來挖掘多視角信息，提出了基于協同訓練的圖卷積網絡(Co-GCN). 其中每個圖卷積神經網絡的傳播規則為:

(18)

(19)

3 對比實驗

在實驗中選擇12個常用的數據集： 3Source、 BBCnews、 BBCsports、 ALOI、 Caltech101-7、 Caltech101-20、 Caltech101-all、 NUS-WIDE、 Youtube、 HW、 MNIST、 MSRC-v1. 實驗中一共對比了10個算法，為體現單視角算法與多視角算法的區別，選取了3個經典的單視角半監督分類算法，分別是隨機森林(random forest，RF)[56]、 支持向量機(support vector machine，SVM)[57]和K最近鄰算法(K-nearest neighbor，KNN)[58]. 同時選擇了基于圖的方法AMGL和MLAN，基于回歸的方法MVAR和JCD，基于子空間學習的方法HLR-M2VS，基于分歧的方法Co-GCN以及自權重判別性回歸(AWDR)[59]作為對比算法. 所有的實驗均在CPU為E5-2620以及內存為128G的服務器上實現且均未使用GPU.

3.1 數據集描述

以下簡要介紹本研究使用的每個數據集：

3Source數據集. 由948篇發布在三家在線新聞網站上的新聞報道組成, 實驗中選擇了同時發布在三家新聞網站上的169篇報道作為實驗數據，這些新聞報道包含了6個主題.

BBCnews數據集. 由來自英國廣播公司新聞網站對5個熱點話題的新聞報道，分別是： 商業、 娛樂、 政治、 體育、 科技，共有685篇報道，對每篇新聞報道提取了4類語義特征.

BBCsports數據集. 由英國廣播公司體育網站上的544篇體育報道組合，這些報道囊括了5個競技項目： 田徑、 板球、 足球、 橄欖球、 網球，對每篇體育報道提取了2類語義特征.

ALOI數據集. 包含1 000個小物件的彩色圖像，每個物件有近100張在不同相機視角和光照顏色下的圖像. 選擇了10個物件共1 080張圖像進行實驗，每張圖像提取4個圖像特征.

Caltech101圖像數據集. 包含101個對象類別和一個背景類別的圖像. 實驗中選取了該數據集的3個子集進行實驗，分別選取了該數據集中的7個類別Caltech101-7，20個類別Caltech101-20以及所有類別Caltech101-all的圖像，對應的圖像張數分別為1 474張、 2 386張和9 144張，對每張圖像提取6類圖像特征.

NUS-WIDE數據集. 一個真實世界的數據集，包含了269 648張共81個類別的圖像. 本次實驗選擇了其中8個類別共1 600張圖像，對每一張圖像都提取了6類低維特征.

Youtube數據集. 由Google發布的人臉圖像數據集，選擇了該數據集中10個類別共2 000張圖像進行實驗，其中對每一張圖像都提取了6類視覺特征.

HW數據集. 由2 000個手寫數字圖像構成，分成0～9共10個類別，每個類都有200個數據，同時針對每一張圖像都提取了6類相關特征.

MNIST數據集. 包含0到9的60 000張手寫數字圖像，本次實驗中對每個類別都選擇了200張圖像進行實驗，對每張圖像都提取了3類特征.

MSRC-v1數據集. 包含240張8個類別的圖像, 選擇了其中7個類別的圖像進行實驗，每個類別有30張圖像，從每張圖像中提取了5類視覺特征.

3.2 實驗結果及分析

本次實驗的監督率范圍為0.05～0.80，即帶標簽的數據占樣本數據總數的5%～80%. 性能評價指標為分類準確率(ACC)，各算法在每個數據集上都運行了10次并對結果取均值. 對于算法中出現的參數，采取原論文中提供的值. 其中對于單視角算法，將多視角數據拼接成一個單視角數據進行實驗. 當監督率的取值為0.05、 0.10時的實驗結果見表1～2，表中加粗的字體表示最優性能，帶下劃線的表示為次優性能.

表1 對比算法在監督率為0.05時的分類準確率Tab.1 Classification accuracy of compared algorithms when the supervision rate is 0.05

觀察表1～2，可以得出以下兩個結論:

1) 相比于單視角半監督分類算法RF、 SVM、 KNN，多視角半監督分類算法所有數據集下都達到了最優或者次優的性能，這也論證了利用多視角數據之間的互補性能夠達到更優的分類性能. 因此多視角半監督分類算法是具有潛力及研究意義的.

2) 就監督率為0.05、 0.10時多視角半監督分類算法的分類精度而言. 可以發現基于回歸的方法JCD以及基于子空間的方法HLR-M2VS達到最優分類精度的次數是最多的，同時還可以注意到基于分歧的方法Co-GCN在絕大多數數據集上都能達到較高的分類精度.

為觀察分類精度隨監督率變化時的變化情況，統計了當監督率從0.1變化到0.8時，以上10種算法在所有數據集上的圖像分類精度的變化情況，繪制而成的折線圖如圖1所示.

(a) 3Source

(b) BBCnews

(c) BBCsports

(d) ALOI

(e) Caltech101-7

(f) Caltech101-20

(g) Caltech101-all

(h) NUS-WIDE

(i) Youtube

(j) HW

(k) MNIST

(l) MSRC-v1圖1 對比算法在監督率為0.1～0.8時在所有數據集上性能變化Fig.1 The performance change of the compared algorithms on all datasets when the supervision rate is 0.1～0.8

觀察圖1，可以發現單視角算法的分類精度普遍低于多視角分類算法，且在監督率低于0.4時，分類精度受監督率的影響較大，而當監督率大于0.4時，分類精度增加的幅度不明顯. 同時可以發現JCD算法在多個數據集上都能達到最高的分類精度； HLR-M2VS與Co-GCN算法比較穩定，在所有數據集上都能達到比較高的分類精度； 基于圖的方法AMGL與MLAN在不同的數據集上的分類精度落差較大； 基于回歸的方法MVAR與JCD在部分數據集上的監督率較低時分類精度會有起伏.

3.3 運行時間分析

除了分類精度之外，時間復雜度也是算法在實際應用中需要重點考慮的. 為此統計了在監督率為0.1時，上述10種算法在12個數據集上的運行時間，如圖2所示.

圖2 實驗算法在多個數據集上的運行時間比較Fig.2 Runtime of the experimental algorithms on multiple datasets

由柱狀圖可見，相比于單視角算法，多視角算法的時間成本普遍比較高. 而就多視角算法而言，JCD與AWDR算法的時間成本較低，其次是AMGL、 MLAN與MVAR算法，而Co-GCN與HLR-M2VS算法的時間成本一般會高于其他方法. 因此在處理現實世界中的分類任務時，可以根據自身需求結合算法的分類精度以及運行時間選擇適當的分類算法. 例如在Caltech101-all這個數據集上，HLR-M2VS算法的時間成本最高，但同時該算法的分類精度也較為理想.

4 挑戰與發展趨勢

多視角半監督分類是一種結合多視角學習與半監督學習的圖像分類方法，適用于數據有多個特征源或者多個模態且只有少量帶標注的樣本的圖像分類任務. 多視角半監督分類方法也能用于解決單視角分類任務，且實驗論證了在大多數情況下多視角半監督分類算法的分類性能相比于單視角半監督分類算法有所提升.

目前看來有以下四個潛在方向值得進一步研究與探討：

1) 深度共享神經網絡. 如何學習多個視角的潛在特征是一個值得研究的問題. 在文章的第二部分討論了基于子空間學習的方法，該方法通過學習一個共同的子空間表示來學習數據的子空間表示，Co-GCN算法則是對每個視角都建立了圖卷積神經網絡. 更一般地，可以對每個視角都建立一個深度神經網絡來學習每個視角數據的潛藏特征，并通過共享權重或者共享隱藏層的方式來挖掘多視角學習中的一致性，這是一個值得探索的方向.

2) 偽標簽學習. 多視角半監督學習面臨著在監督率較低時，某一類或者某幾類的標注樣本過少的問題. 除了人工標注外，第二部分所述的協同訓練方法也不失為一種解決方式，但該方法需要保證能從帶標注的樣本中學習到判別性強的分類器. 如何為樣本添加高置信度的偽標簽達到擴展或增強訓練集的目的，也需要更進一步的研究.

3) 聚類指導. 在多視角半監督分類問題中，大部分方法都只使用帶標注的樣本構建分類器，而大量未帶標注的樣本所攜帶的信息被忽視了. 在處理現實世界的任務時，與帶標注的樣本相比未帶標注的樣本是非常容易獲取的. 因此若能利用未帶標注的樣本建立聚類模型，使用聚類標簽來指導分類任務是個有潛力的方向.

4) 不完整的多視角半監督分類. 處理多視角任務時，獲得的多視角數據在某個視角或者某些視角的數據缺失情況是非常普遍的. 針對這些數據的分類任務被稱作不完整的多視角半監督分類，該問題的研究工作對實際應用非常有意義，因此不完整的多視角半監督分類也是一個值得研究的方向.

5 結束語

隨著人工智能技術的發展，在計算機視覺領域已經涌現出了許多優秀的圖像分類算法. 多視角半監督分類作為一種圖像分類方法在很多圖像分類問題上都取得了不錯的性能. 本文整理了近五年間發表的一些優秀的算法并探討了多視角半監督分類算法的研究現狀，同時對該方向未來的發展進行了展望，希望能為該方向的讀者提供一定的借鑒和啟示.