聯合線性重構與非負稀疏表示的標記分布學習算法

彭 興李 嬋吳其林程一元

（1.巢湖學院 信息工程學院，安徽 巢湖 238024；2.巢湖學院 數學與統計學院，安徽 巢湖 238024）

0 引言

標記學習是機器學習研究領域的熱點之一，傳統的標記學習包括單標記學習和多標記學習[1]。單標記學習是指一個示例分配一個標記，多標記學習是指一個示例分配多個標記。近年來多標記學習在很多領域都得到了充分應用，比如網頁分類領域、視頻分類領域、生物醫學圖像領域等。通過大量的研究表明多標記學習框架能夠處理許多標記多義性問題，是一種有效的學習范式[2]。多標記學習對于一個示例允許標上多個標記，但只能關注相應的標記與示例相關或不相關，而不能表達每個標記如何描述該示例[3]。例如，自然場景圖像被標記了“樹”“水”“天空”“云”“陸地”，傳統標記學習認為這些標記具有相同的重要程度，用1，0表示“有”“沒有”。但經過仔細觀察和思考，可以發現這些標記在具體描述圖像時所體現的重要程度并不一樣，圖1可以看到“水”和“天空”占據主要地位。

圖1 自然場景圖像實例

在現實世界中也更有可能會出現有的標記很重要，而有的標記相對而言沒有那么重要。為了描述這種標記的不同重要程度，Geng[4]提出標記分布學習（LDL）新范式。該范式不僅提出了標記分布學習的完整學習框架和適合的衡量標準，還根據不同的設計策略提出了許多的標記分布學習算法[5-7]。這些標記分布學習算法根據不同的設計思路，可以分為算法適應、問題轉換和專門的算法[4]。算法適應類標記分布學習算法是指延拓某些已有的標記學習算法，使算法能夠適應標記分布問題，例如AA-BP算法和AA-kNN算法。問題轉換類的標記分布學習算法是通過將學習任務轉換為現有的單示例學習或者多示例多標記學習的問題，再利用相應領域的已有算法進行處理，最后將輸出的標記換算為相應的標記分布[8]，例如PT-SVM算法和PT-Bayes算法。專用的標記分布學習算法是指直接通過邏輯回歸或者條件概率等概率思想建立模型，以概率分布數據作為輸出，例如 LDLogitBoost算法[9]和 BFGS-LDL 算法[4]。另外，也有研究者將已有算法進行改造和優化以處理標記分布型數據作為標記分布學習專門算法，例如 IIS-LDL算法[6]。

線性重構[10]與非負稀疏表示[11]標記分布中的數據呈連續性，表示對示例的描述程度，通過與原標記描述程度的相似性或者距離度量來進行驗證。針對標記分布數據的此類特性，并受線性重構[10]與非負稀疏表示[11]的啟發，提出聯合線性重構與非負稀疏表示的標記分布學習算法（LRNSRLDL）。首先考慮到特征空間本身的相關性，利用特征的自我表示屬性[12]，通過矩陣變換的方式重構原始樣本空間，獲得特征相似矩陣，以最小損失建立兩者關系；然后考慮到特征空間與標記空間的相關性，令轉化之后的樣本空間擬合標記分布空間，以最小損失建立模型；最后融合非負矩陣約束和l2，1-范數正則化項求解模型[13]，并在6個公開數據集上與3種算法進行對比實驗，最終的結果表明所提出的標記分布學習算法預測的標記分布具有一定的優勢。

1 標記分布

標記分布學習中標記的數值特點與傳統的有標記數據有所不同，在包含多個標記存在與否的同時，還能夠具體反映標記對示例的描述度。與多標記學習的輸出有所不同，不再是“0”“1”集合，而是0～1的任意常數。例如圖1中的自然場景，不僅能像多標記一樣表示標記的“有”“無”，還可以表示為圖2中的標記分布信息，體現每個標記的重要程度。類似的應用場景還有很多，如：面部表情的識別[3]、人臉面部年齡的識別[5]以及酵母菌基因表達水平問題等[6]，這些數據都更加適合用標記分布學習范式來處理。具體地，將樣本集定義為 X=[x1，x2，…xn]T，其中 xi∈Rd表示樣本集的第 i個實例，i=1，2，…，n。相應的示例集的特征空間表示為 X=[f1，f2，…fd]，fj∈Rn表示第j個特征，j=1，2，…，d。對應的標記集表示為 Y=[y1，y2，…，yc]，其中 yk∈Rn表示第 k 個標記，k=1，2，…，c。樣本所對應的標記分布集表示為D=[D1，D2，…Dn]T，表示實例xi的標記分布集，表示實例xi對應標記yk的標記分布。根據相關定義，，且，因此標記分布類似于一個概率分布的數值形式。標記分布學習的訓練集表示為 S=[（x1，D1），…，（xi，Di），…，（xn，Dn）]T。在測試過程中，測試集樣本信息定義為，測試集標記分布定義為，預測標記分布定義為

圖2 自然場景圖像相應的標記分布圖像

根據三類不同設計策略算法的已有效果，一些問題轉換和算法適應有不俗的表現，但專用算法在實際應用中比問題轉換和算法適應更具優勢。設計標記分布學習專用算法時，主要從三個部分入手：目標函數的建立，輸出模型的選擇和相關算法的優化[14]。目標函數常通過KL散度（Kullback-Leibler divergence）建立參數模型，如BFGS-LDL算法，輸出模型通常利用最大熵和邏輯回歸等不同模型[15-17]。在進一步研究中也有許多研究者將其他損失模型或者近鄰算法等進行優化應用于標記分布學習中，例如，邵佳鑫等[14]提出的樣本稀疏表示標記分布學習算法，姚成亮和朱慶生[18]提出的自然鄰居標記分布學習算法。目前部分專門算法也通過標記分布之間的相關信息來提高學習模型的性能，例如Jia等[19]借助距離度量來研究標記之間的相關性，已取得了較好的效果。然而這個過程在某種程度上未能同時考慮到特征空間的內在相關性以及特征空間與標記空間之間相關性。本研究充分考慮特征空間與標記空間相關性，提出了一種基于特征之間線性關系和特征與標記空間相關性的標記分布學習算法。

2 模型提出

聯合線性重構與非負稀疏表示的標記分布學習算法（LRNSR-LDL）模型，首先用特征的自我表示屬性，獲得特征相似空間；然后利用特征和標記之間的相關性，將標記分布用特征相似空間表示，并分別用損失函數建立優化模型；最后引入l2，1-范數約束，降低離群點的不良影響，同時增加模型的泛化能力。

根據樣本特征的自我表達屬性，每個特征向量都可以被全體特征向量線性表示，那么對于每個特征向量有公式（1）的關系式成立：

其中Tjl為特征相似系數。對于給定的數據矩陣有公式（2）成立，其中 T=[Tjl]∈Rd×d為特征相似矩陣：

X作為研究中的樣本集，一般情況下樣本個數大于維度，即n＞d。顯然，對于公式（2）此時的未知量T無解。為了避免該問題，引入最小二乘損失函數有：

根據文獻[18]，當矩陣 L= （I-T）（I-T）'，I為單位矩陣，公式（3）等價于公式（4），其中 Tr表示矩陣的秩：

1）考慮到特征空間和標記空間的高度相關性，利用特征相似空間與標記空間的相關性構造兩個空間的線性關系。用非負矩陣分解令標記分布矩陣D=AW，特征相似空間A=XT，特征轉換矩陣 W=[Wjk]∈Rd×c，損失函數最小化如公式（5）：

2）若直接對最小二乘損失進行求解，所求得數據缺乏穩定性與可靠性，同時造成過擬合問題。因此，在特征轉換矩陣W上加入l2，1-范數：

這里wi表示特征轉換矩陣W的第i行向量，當 wi為非零向量時，有||wi||2≠0（i=1，2，…，d），這意味著||W||2，1可導。

結合三個方面的綜合考慮，得到聯合線性重構與非負稀疏表示的標記分布學習的目標函數公式（7），其中 α，β為平衡參數：

根據文獻[20]，l2，1-范數可通過迭代更新求解。公式（7）可利用拉格朗日乘子法構造拉格朗日函數，處理后得到公式（8）：

本研究提出聯合線性重構與非負稀疏表示的標記分布學習算法具體步驟如表1所示。

表1 基于線性重構與非負矩陣分解的標記分布學習算法LRNSR-LDL算法

3 實驗

這部分通過對比實驗驗證所提出的聯合線性重構與非負稀疏表示的標記分布學習（LRNSRLDL）算法是有效的。實驗在6個公開數據集上進行，將結果與3種現有標記分布學習算法對比，并應用5種相關評價指標進行比較[6-7]，本研究算法具有一定的優勢。

3.1 評價指標

標記分布學習不同于單標記和多標記學習，實驗的輸出是一個標記分布，數據形式類似于一個概率分布。因此，評價方法也不同于傳統的單標記和多標記學習。研究者們針對這樣的數據形式，由文獻[4]提出以原始標記分布和預測標記分布距離和相似度作為評價指標。根據文獻[6，21]所提出的篩選規則以及實驗條件限制選出5種評價方法。評價方法的具體計算公式和相應屬性如表2 所示，其中分別為原始標記分布和預測標記分布。

表2 評價指標

3.2 實驗設置

為了進一步探究算法的性能，實驗過程采用十折交叉法將本研究算法與3種標記分布學習算法在6個公開的標記分布數據集上開展實驗。對比算法選自三種不同的設計策略，分別是PT-SVM算法、AA-kNN算法和IIS-LDL算法①http://cse.seu.edu.cn/PersonalPage/xgeng/LDL/index.htm。預測結果用三種距離指標和兩種相似性指標進行度量評價，最終輸出結果為測試集的預測標記分布值與原始標記分布值之間的距離或者相似度的期望與標準差。實驗用到的6個公開數據集①分別為SBU_3DFE數據集，Yeast-alpha數據集，Yeastcold數據集，Yeast-diau數據集，Yeast-elu數據集和Yeast-spo數據集，數據集的簡要信息如表3所示。第1個數據集來自人臉表情數據集BU_3DFE，包含2500張人臉表情圖像作為樣本集，每個樣本通過特征提取得到243維的特征信息[6]，標記信息中包含6種情感。對于一個樣本圖像請若干實驗參與者在6個標記下分級打分，再進行歸一化獲得相應的標記分布。第2～6個數據集是關于酵母菌的基因表達，酵母菌的2465種酵母基因作為樣本，由24維的系統發育譜向量表示特征，標記分布表示不同時間節點基因表達的強度。

表3 實驗數據集描述

3.3 實驗結果分析

基于線性重構與非負稀疏表示的標記分布學習算法LRNSR-LDL涉及兩個平衡參數，統一設置為{103，102，101，1，10-1，10-2，10-3}，分別通過實驗進行參數調整，記錄平均結果，并選取平均結果最優值對應的參數[12]。其他對比算法的算法設置和相關參數設置均與文獻[4]所提供的實驗一致。每次實驗輸出相應的測試集預測標記分布與原始標記分布之間的距離或者相似度。將十折交叉的10次結果均值作為實驗效果估計。考慮到算法的穩定性，同時輸出相應的標準差，以“平均值±標準差”表示。

表4至表9分別列出算法在不同數據集上的結果（平均值±標準差）。各表中的前三個指標是距離指標，平均值越小表示預測效果越好；后兩個指標是相似性指標，值越大表示算法預測效果越好，標準差都是越小越好。對于各表中的值用粗體表示平均值最優結果，下劃線表示次優結果。根據實驗結果可以得出以下結論。

表4 數據集SBU_3DFE的實驗結果

表5 數據集Yeast-alpha的實驗結果

表6 數據集Yeast-cold的實驗結果

表7 數據集Yeast-diau的實驗結果

表8 數據集Yeast-elu的實驗結果

表9 數據集Yeast-spo的實驗結果

（1）從表4可以看出，LRNSR-LDL算法在評價指標 Clark↓、Cosine↑、Intersec↑下相較于其他算法取得了最好的結果，在其余兩種評價指標的衡量下均值僅取得了次好的結果。主要原因是該數據集中特征數較多，在計算特征的自我表示屬性時存在部分誤差。另外從標準差看，所提出的LRNSR-LDL算法相較于其他三種算法有最好的表現，說明LRNSR-LDL算法在該數據集上具有更好的適應性和穩定性。

（2）表5至表9為5種酵母菌數據集上實驗結果，可以看出LRNSR-LDL算法在5種評價指標下表現較好，僅在Yeast-spo數據集中Cosine指標次優，但是差距很小，幾乎可以忽略不計。說明該算法在絕大部分情況下均為有效算法，具備較強的泛化能力。

4 結語

標記分布學習是比單標記和多標記學習適應性更加廣泛的機器學習范式，能夠處理復雜的標記多義性問題和標記模糊性問題。針對標記分布型數據包含多個標記的特點，充分考慮樣本的特征空間與標記空間之間的線性關系，提出了一種聯合線性重構與非負稀疏表示的標記分布學習算法（LRNSR-LDL）。算法根據特征的自我表示屬性重構原始樣本空間，用非負矩陣分解建立特征空間與標記空間的關系式，引入l2，1-范數正則項訓練轉換矩陣。實際問題中，通過運用設計算法在訓練階段學習獲得轉換矩陣，然后以轉換矩陣和測試集特征數據矩陣乘積構造測試集標記信息，從而學得測試集的預測標記分布。實驗部分在6個真實的數據集上進行，通過比較不同算法學習所預測的標記分布與原始標記分布的距離和相似度進行驗證。結果表明本研究提出的算法在適當調整參數的情況下，都能有較為理想的效果。但在算法速度上還有提升空間，后續研究中一方面將進一步優化模型求解過程，另一方面將考慮增加高維數據的降維處理環節，從而提高算法在高維數據空間中的效率。