基于最大相關(guān)熵準(zhǔn)則的魯棒度量學(xué)習(xí)算法①

謝林江, 尹 東

(中國(guó)科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院, 合肥 230027)

各種機(jī)器學(xué)習(xí)算法[1–3]的效果與輸入空間給定的度量[4]息息相關(guān). 例如K-means、KNN、SVM等算法需要已知的度量來(lái)反映數(shù)據(jù)間的相互關(guān)系. 比如人臉?lè)诸惖膯?wèn)題, 假設(shè)要計(jì)算不同人臉之間的相似度或距離, 用于聚類或分類, 這時(shí)就需要構(gòu)建一個(gè)距離函數(shù)去強(qiáng)化合適的特征如發(fā)色和臉型等;而如果目標(biāo)是識(shí)別姿勢(shì), 那么就需要構(gòu)建一個(gè)捕獲姿勢(shì)相似度的距離函數(shù). 為了處理各種各樣的特征相似度, 可以在特定的任務(wù)通過(guò)選擇合適的特征并手動(dòng)構(gòu)建距離函數(shù). 然而這種方法會(huì)需要很大的人工投入, 也可能對(duì)數(shù)據(jù)的改變非常不魯棒[5]. 度量學(xué)習(xí)作為一個(gè)理想的替代, 可以根據(jù)不同的任務(wù)來(lái)自主學(xué)習(xí)出針對(duì)某個(gè)特定任務(wù)的距離度量函數(shù).

度量學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)基本問(wèn)題. 它對(duì)許多真實(shí)世界的應(yīng)用程序至關(guān)重要. 度量學(xué)習(xí)方法廣泛應(yīng)用于人臉識(shí)別[6]、物體識(shí)別、音樂(lè)的相似性、人體姿勢(shì)估計(jì)、信息檢索、語(yǔ)音識(shí)別、手寫(xiě)體識(shí)別等領(lǐng)域. 目前已經(jīng)有許多用于距離度量學(xué)習(xí)的算法被提出來(lái)了. 它們通常分為兩類:無(wú)監(jiān)督度量學(xué)習(xí)和有監(jiān)督度量學(xué)習(xí)[7,8]. 無(wú)監(jiān)督的距離度量學(xué)習(xí), 亦稱為流形學(xué)習(xí)[9],其中經(jīng)典的算法有等距映射ISOMAP[10], 局部線性嵌入Local Linear Embedding (LLE)以及拉普拉斯特征映射(Laplacian Eigenmap, LE)[11]等等. 而有監(jiān)督距離度量學(xué)習(xí)方面, 其中一部分有監(jiān)督距離度量學(xué)習(xí)充分利用數(shù)據(jù)的標(biāo)簽信息來(lái)學(xué)習(xí)距離度量, 比如Informationtheoretic metric learning(ITML)[12], Mahalanobis Metric Learning for Clustering (MMC)和Maximally Collapsing Metric Learning (MCML)[13], 還有的有監(jiān)督距離度量學(xué)習(xí)會(huì)同時(shí)考慮數(shù)據(jù)的標(biāo)簽信息和數(shù)據(jù)點(diǎn)之間的幾何關(guān)系, 比如 Neighbourhood Components Analysis(NCA)[14], Large-Margin Nearest Neighbors (LMNN)[15],Relevant Component Analysis (RCA)[16], Local Linear Discriminative Analysis (Local LDA)[17]. 另外還有曾經(jīng)提出過(guò)在線學(xué)習(xí)算法的Regularized Distance Metric Learning (RDML)[18]. 本文主要關(guān)注有監(jiān)督的距離度量學(xué)習(xí).

雖然在有監(jiān)督的度量學(xué)習(xí)領(lǐng)域已經(jīng)有上述這么多的研究成果, 但是很少的方法可以有效地處理噪聲環(huán)境. 這些已有的算法魯棒性受到現(xiàn)實(shí)中各種噪聲環(huán)境的影響, 分類準(zhǔn)確率往往不盡人意, 這時(shí)就需要一種具有良好魯棒性的度量學(xué)習(xí)算法來(lái)對(duì)抗噪聲影響. 本文結(jié)合信息論[19]中的最大相關(guān)熵準(zhǔn)則(Maximum Correntropy Criterion, 以下簡(jiǎn)稱MCC)[20], 提出了一種基于最大相關(guān)熵準(zhǔn)則的距離度量學(xué)習(xí)算法. 最大相關(guān)熵準(zhǔn)則在信息論中用來(lái)處理受到各種噪聲影響的信號(hào)分析, 可以有效地提高信號(hào)分析的魯棒性. 本文旨在通過(guò)將最大相關(guān)熵準(zhǔn)則的核心高斯核函數(shù)引入到度量學(xué)習(xí)中, 通過(guò)學(xué)習(xí)得到具有良好魯棒性的距離度量矩陣,再使用學(xué)習(xí)到的距離度量矩陣解決一些受到各種噪聲影響的分類問(wèn)題. 本文將在機(jī)器學(xué)習(xí)常用數(shù)據(jù)集UCI還有人臉數(shù)據(jù)集YALEB上進(jìn)行驗(yàn)證實(shí)驗(yàn). 實(shí)驗(yàn)結(jié)果表明, 通過(guò)基于最大相關(guān)熵準(zhǔn)則的度量學(xué)習(xí)方法學(xué)習(xí)到的距離度量矩陣擁有良好的魯棒性, 可以有效提高噪聲環(huán)境下的各種數(shù)據(jù)集的分類準(zhǔn)確率.

1 相關(guān)理論

1.1 度量學(xué)習(xí)

那么向量空間 χ上的映射D:就被稱為度量(metric). 嚴(yán)格來(lái)說(shuō), 如果一個(gè)映射只滿足前三個(gè)特性而不滿足第四個(gè), 就被稱為半度量(pseudometric).但是, 為了簡(jiǎn)化接下來(lái)的問(wèn)題, 通常就把半度量認(rèn)為等同于度量, 只在必須要指出不同的時(shí)候點(diǎn)明.

將這個(gè)公式展開(kāi)之后會(huì)有:

通過(guò)這樣的變化得到的M一定是一個(gè)正的半正定矩陣[21], 也就是不含有負(fù)的特征值. 將公式(4)帶入公式(3)之后得到基于這樣的M的平方距離:

這種形式的半度量被稱為馬氏度量. 通常, 這個(gè)名詞被用來(lái)描述高斯分布的二次形式, 其中矩陣M是協(xié)方差矩陣的轉(zhuǎn)置. 但是這里,M用來(lái)指代任何正的半正定矩陣. 公式中的距離可以被看作歐氏距離的一般化.實(shí)際上, 如果把M設(shè)置為單位陣I, 那么馬氏距離也就變?yōu)榱藲W氏距離.

于是, 在求解馬氏距離度量時(shí), 可以從兩方面來(lái)求解, 分別是矩陣L以及矩陣M. 如果直接求解L, 那么對(duì)于L沒(méi)有額外的限制, 但是如果直接求解M, 需要注意M一定是正的半正定矩陣. 其中,M或者L也被稱為度量矩陣, 度量學(xué)習(xí)就是對(duì)M或者L進(jìn)行學(xué)習(xí).

1.2 相關(guān)熵

在實(shí)際計(jì)算機(jī)視覺(jué)情境中, 物體識(shí)別、人臉識(shí)別等常常會(huì)受到各種噪聲的干擾, 主要是因?yàn)樵肼曉斐刹豢深A(yù)測(cè)的自然偏差. 這也就意味著當(dāng)這樣的偏差或者噪聲存在于樣本中時(shí), 會(huì)對(duì)計(jì)算機(jī)預(yù)測(cè)它們的分類造成嚴(yán)重干擾. 這些偏差無(wú)法忽視, 需要特別處理.

在信息論中, 相關(guān)熵的概念被提出用于處理受到噪聲干擾的場(chǎng)景. 相關(guān)熵實(shí)際上和用于預(yù)估數(shù)據(jù)分布的二次熵有關(guān). 比如:兩個(gè)隨機(jī)變量A和B之間的局部相似度度量為:

在這里,kσ(·)是一個(gè)核函數(shù),E是一個(gè)求期望運(yùn)算.它利用核方法將輸入空間向高維空間做非線性映射.不同于傳統(tǒng)的核方法, 它只與樣本對(duì)有關(guān). 實(shí)際應(yīng)用中,函數(shù)A和函數(shù)B的聯(lián)合概率密度函數(shù)通常是未知的,只有有限的數(shù)據(jù)可以使用. 因此, 相關(guān)熵可以被估算為:

基于公式(7), 可以進(jìn)一步擴(kuò)展基于樣本對(duì)的相關(guān)熵準(zhǔn)則. Liu等[20]進(jìn)一步提出相關(guān)熵推導(dǎo)度量(correntropy induced metric), 也就是 CIM. 這里的CIM和本文的度量學(xué)習(xí)并不是同一個(gè)概念. 本文關(guān)注的是進(jìn)一步推導(dǎo)出來(lái)的最大相關(guān)熵準(zhǔn)則.

對(duì)于任意兩個(gè)同維向量A=(a1,a2, … ,am)和B=(b1,b2, … ,bm), 相減得到E=A–B=(e1,e2, … ,em). 其中ej=aj-bj.

其中,ej的相關(guān)熵即

被稱為最大相關(guān)熵準(zhǔn)則(Maximum Correntropy Criterion, 縮寫(xiě)為MCC). 相關(guān)熵的核心在于高斯核函數(shù).

2 本文方法

大部分的度量學(xué)習(xí)目標(biāo)都是學(xué)習(xí)到一個(gè)合適的馬氏距離, 學(xué)習(xí)到的馬氏距離可以進(jìn)一步用于機(jī)器學(xué)習(xí)中的聚類和分類等基本問(wèn)題, 可以有效提高K-means、KNN、SVM等算法效果. 但是已有的各種度量學(xué)習(xí)方法沒(méi)有針對(duì)現(xiàn)實(shí)存在的各種噪聲進(jìn)行深入研究, 而噪聲往往會(huì)造成不可預(yù)測(cè)的自然偏差, 這些偏差無(wú)法忽視, 需要采用一定的方法來(lái)消除它們帶來(lái)的不良影響.

在信息論中, 最大相關(guān)熵準(zhǔn)則用來(lái)處理受到各種噪聲影響的信號(hào)分析. 如果可以將它引入到度量學(xué)習(xí)中, 那么理論上是可以學(xué)習(xí)到一個(gè)具有良好魯棒性的度量矩陣. 本文嘗試將最大相關(guān)熵準(zhǔn)則引入到度量學(xué)習(xí)中, 主要在于利用它的核心, 也就是高斯核函數(shù),構(gòu)建度量學(xué)習(xí)的目標(biāo)損失函數(shù), 然后采用梯度下降法, 學(xué)習(xí)到一個(gè)魯棒度量矩陣.

2.1 損失函數(shù)

假設(shè)向量A,B是給的樣本對(duì)的特征向量.

公式(10)表示向量X是樣本對(duì)的特征向量的差,如果有k個(gè)樣本, 那么就會(huì)有k×(k–1)/2個(gè)樣本對(duì), 用m來(lái)表示樣本對(duì)的數(shù)量, 用n表示樣本的特征數(shù). 與之對(duì)應(yīng)的Y表示原來(lái)的兩個(gè)樣本是否是同一類, 如果是同一類,Y=1,如果不是同一類,Y=-1.

在將最大相關(guān)熵準(zhǔn)則引入度量學(xué)習(xí)之后,優(yōu)化目標(biāo)函數(shù)為

為保證穩(wěn)定性[21,22], 同時(shí)防止過(guò)擬合, 加入稀疏項(xiàng)(目標(biāo)矩陣的F范式的平方)后得到優(yōu)化目標(biāo)函數(shù)為:

或者用求最小化目標(biāo)函數(shù)來(lái)表示為:

(xt,yt)是處理后的樣本集,xt是兩個(gè)個(gè)體之差異. 當(dāng)兩個(gè)個(gè)體是同類時(shí),yt=1;當(dāng)兩個(gè)個(gè)體是異類時(shí),yt=-1.

2.2 優(yōu)化方法

梯度下降法在求解機(jī)器學(xué)習(xí)算法的模型參數(shù), 即無(wú)約束優(yōu)化問(wèn)題時(shí), 梯度下降(Gradient Descent)是最常采用的方法之一. 在機(jī)器學(xué)習(xí)算法中,在最小化損失函數(shù)時(shí), 可以通過(guò)梯度下降法來(lái)一步步的迭代求解, 得到最小化的損失函數(shù)和模型參數(shù)值.

梯度下降法和梯度上升法是可以互相轉(zhuǎn)化的. 比如我們需要求解損失函數(shù)f(θ)的最小值, 這時(shí)我們需要用梯度下降法來(lái)迭代求解. 但是實(shí)際上, 我們可以反過(guò)來(lái)求解損失函數(shù) -f(θ)的最大值, 這時(shí)梯度上升法就派上用場(chǎng)了. 但是這里, 我們采用的是梯度下降法, 同時(shí)采用的損失函數(shù)也是公式(13).

梯度下降法的算法過(guò)程:

(1)確定當(dāng)前位置的損失函數(shù)的梯度, 對(duì)于 θi,其梯度表達(dá)式如下:

(2)用步長(zhǎng)a乘以損失函數(shù)的梯度, 得到當(dāng)前位置下降的距離, 即a??f(θ1,θ2,···,θn)/?θi.

(3)確定是否所有的 θi, 其梯度下降的距離都小于ε, 如果小于ε則算法終止,當(dāng)前所有的θi(i=1,2,···,n)即為最終結(jié)果. 否則就進(jìn)入步驟(4).

(4)更新所有的 θ, 對(duì)于 θi, 其更新表達(dá)式如下. 更新完畢后繼續(xù)轉(zhuǎn)入步驟(1).

在將梯度下降法用于損失函數(shù)的處理中,為了合理的使用梯度下降法, 采用min形式的目標(biāo)函數(shù).

將高斯核函數(shù)(14)代入公式(13)中最后得到的損失函數(shù)是:

對(duì)這個(gè)損失函數(shù)求梯度, 也就是對(duì)目標(biāo)度量矩陣的每一行求偏導(dǎo), 得到:

2.3 模型具有良好魯棒性原因分析

相關(guān)熵的核心在于高斯核函數(shù), 高斯函數(shù)的形狀如圖1所示.

圖1 高斯函數(shù)

變量x1和x2的高斯核函數(shù)是這樣的:

不妨設(shè)定D2= ∥x1-x2∥2.

從圖1中, 可以明顯看出σ 可以控制損失函數(shù)對(duì)距離的敏感程度, 是一個(gè)重要參數(shù).

分析相關(guān)熵?fù)碛辛己玫聂敯粜缘脑?假如x1和x2是同類, 但是x2有噪聲, 那么D2= ∥x1-x2∥2是遠(yuǎn)大于0的, 我們?cè)谔荻雀鹿?16)中可以看到, 求導(dǎo)后包含項(xiàng)的, 由于D2是遠(yuǎn)大于0的, 那么這一項(xiàng)是趨于0的, 從圖1中也可以看出. 因此帶有噪聲的個(gè)體對(duì)于梯度更新影響是很小的, 因此最大相關(guān)熵準(zhǔn)則擁有良好的魯棒性.

2.4 算法設(shè)計(jì)

算法1. 基于最大相關(guān)熵準(zhǔn)則的魯棒度量學(xué)習(xí)算法輸入:樣本,學(xué)習(xí)速率r, 收斂條件, 正則化項(xiàng)系數(shù).輸出:L1) 樣本轉(zhuǎn)化為樣本對(duì), 當(dāng)樣本對(duì)中兩個(gè)樣本是同類時(shí),;當(dāng)兩個(gè)樣本是異類時(shí), .2) 初始化L為單位陣I, 依據(jù)公式(15)計(jì)算初始損失函數(shù)值loss.3) 選擇學(xué)習(xí)速率r開(kāi)始梯度下降, 得到新的目標(biāo)度量矩陣L_new和損失函數(shù)loss1.4) 再次梯度下降, 得到新的目標(biāo)度量矩陣和損失函數(shù)loss2.5) 重復(fù) 2)、3)步驟, 直到滿足.6) 最后得到的L_new也就是需要的最后輸出L.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 參數(shù)設(shè)置

通過(guò)公式可以看出, 實(shí)驗(yàn)有4個(gè)主要參數(shù),分別是正則化項(xiàng)系數(shù)λ , 控制對(duì)距離的敏感程度高斯參數(shù)σ , 學(xué)習(xí)速度r, 收斂判斷條件ε .

λ作為正則項(xiàng)系數(shù), 可以控制模型的復(fù)雜程度. σ作為高斯核參數(shù), 可以控制損失函數(shù)對(duì)距離變化的敏感程度, 學(xué)習(xí)速度r可以調(diào)整模型的擬合時(shí)間, 好的速度可以使模型快速擬合, 又不至于過(guò)擬合或者陷入死循環(huán), 收斂判定條件 ε可以給定合適的擬合臨界點(diǎn), 使得擬合的模型更好的收斂, 更好的完成分類任務(wù).

最開(kāi)始判定的正則項(xiàng)系數(shù) λ與高斯參數(shù)σ 范圍是[10–6,103]之間, 采用10的指數(shù)階變化;學(xué)習(xí)速度r變化范圍在[10–5,1]之間, 同樣采用10的指數(shù)階變化;收斂條件 ε取損失函數(shù)的當(dāng)前迭代變化的絕對(duì)值除以總的變化的絕對(duì)值, 范圍在[10–5,10–2]之間, 也采用 10 的指數(shù)階變化.

由于有4個(gè)主要參數(shù)需要調(diào)整, 實(shí)驗(yàn)中先調(diào)整變化范圍小的r和 ε, 然后將其固定, 再調(diào)整變化范圍大的 λ 和σ . 經(jīng)過(guò)在car evaluation database、teaching assistant evaluation database, balance scale weight &distance database, glass identification evaluation database這四個(gè)數(shù)據(jù)集上的多次反復(fù)試驗(yàn), 通過(guò)取定不同的r和 ε, 測(cè)試變化范圍內(nèi)的λ 和σ .發(fā)現(xiàn)最佳分類準(zhǔn)確率往往在這4個(gè)核心參數(shù)設(shè)置在如下變化范圍內(nèi):正則項(xiàng)系數(shù) λ與高斯參數(shù)σ 范圍是[10^–4,10^2]之間采用10的指數(shù)階變化;學(xué)習(xí)速度r基本可以設(shè)定為10^–4;收斂條件取損失函數(shù)的相對(duì)變化, 基本可以設(shè)定為10^–3. 經(jīng)過(guò)實(shí)驗(yàn)確定了參數(shù)范圍后, 將可以極大地降低metric學(xué)習(xí)時(shí)間, 同時(shí)學(xué)習(xí)到魯棒性更好的metric.

3.2 對(duì)比實(shí)驗(yàn)簡(jiǎn)介及對(duì)應(yīng)參數(shù)設(shè)置

與本文中所提出的基于最大相關(guān)熵準(zhǔn)則的度量學(xué)習(xí)算法做對(duì)比實(shí)驗(yàn)的是ITML、LMNN和RDML三種算法.

ITML是Davis JV等人在文獻(xiàn)[12]中提出的與信息論相關(guān)的度量學(xué)習(xí)算法. 算法的思想是在距離函數(shù)約束條件下將兩個(gè)多元高斯之間的差分相對(duì)熵(KL散度)最小化, 從而形成待解問(wèn)題. 然后將這個(gè)問(wèn)題轉(zhuǎn)化為一個(gè)特定的Bregman優(yōu)化問(wèn)題來(lái)表達(dá)求解. 實(shí)驗(yàn)中需要設(shè)置的參數(shù)是松弛系數(shù). 實(shí)驗(yàn)時(shí)設(shè)置松弛系數(shù)按10的指數(shù)階變化, 然后通過(guò)驗(yàn)證集選出最佳松弛系數(shù),最后應(yīng)用到測(cè)試集中. 由于ITML每次實(shí)驗(yàn)得到的結(jié)果并不固定,因此每組做10次實(shí)驗(yàn), 然后取平均值.

LMNN是Weinberger KQ等人在文獻(xiàn)[15]中提出的經(jīng)典度量學(xué)習(xí)算法. 算法的核心思想在于, Metric是以k個(gè)最近鄰總是屬于同一個(gè)類, 而不同類的例子是大幅分開(kāi)為目標(biāo)來(lái)進(jìn)行訓(xùn)練的. 另外此方法在處理多分類的問(wèn)題時(shí)不需要修改或擴(kuò)展. 實(shí)驗(yàn)中該方法的參數(shù)直接通過(guò)驗(yàn)證集學(xué)習(xí)到, 然后應(yīng)用到測(cè)試集中. 由于LMNN每次實(shí)驗(yàn)得到的結(jié)果也不固定, 同樣每組做10次實(shí)驗(yàn), 然后取平均值.

RDML是Jin R等在文獻(xiàn)[18]中提出的度量學(xué)習(xí)算法. 算法提出在適當(dāng)?shù)募s束下, 正則化距離度量學(xué)習(xí)可以獨(dú)立于維度, 使其適合處理高維數(shù)據(jù). 在實(shí)驗(yàn)中需要設(shè)置的參數(shù)是正則項(xiàng)系數(shù). 實(shí)驗(yàn)時(shí)設(shè)置正則項(xiàng)系數(shù)按10的指數(shù)階變化, 然后通過(guò)驗(yàn)證集選出最佳正則項(xiàng)系數(shù), 最后應(yīng)用到測(cè)試集中.

3.3 UCI標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

數(shù)據(jù)預(yù)處理:為了模擬實(shí)際噪聲影響, 本文在實(shí)驗(yàn)中給實(shí)驗(yàn)數(shù)據(jù)集全部加了高斯噪聲.具體的加噪方法是:先選擇需要加噪的樣本和特征維度, 求取對(duì)應(yīng)特征維度的平均值mean和方差std, 利用Matlab中的隨機(jī)函數(shù)normrnd, 給這些樣本的對(duì)應(yīng)維度的特征加上[0,std]之間的噪聲. 加噪樣本數(shù)量比例是50%, 加噪特征比例是50%. 在專用的機(jī)器學(xué)習(xí)數(shù)據(jù)集UCI上選取了4個(gè)數(shù)據(jù)集car evaluation database, teaching assistant evaluation database, balance scale weight &distance database, glass identification evaluation database (下載地址:http://archive.ics.uci.edu/ml/index.php), 在這四個(gè)數(shù)據(jù)集上分別進(jìn)行實(shí)驗(yàn). 其中car evaluation database是汽車評(píng)價(jià)數(shù)據(jù)集, 有6個(gè)特征, 分別是購(gòu)買(mǎi)價(jià)格、維修價(jià)格、車門(mén)數(shù)量、座位數(shù)、后備箱大小以及安全性. 汽車種類共有4類, 一共1728個(gè)樣本. Teaching assistant evaluation database是助教評(píng)價(jià)數(shù)據(jù)集, 一共5個(gè)特征,分別是助教母語(yǔ)、課程指導(dǎo)員、課程、是否夏季課程以及班級(jí)大小. 該數(shù)據(jù)集一共分3類, 一共151個(gè)樣本.Balance scale weight &distance database是天平傾向數(shù)據(jù)集, 有4個(gè)特征, 分別是左邊重量、左邊距中心距離、右邊重量、右邊距中心距離. 天平傾向種類一共3類, 共625個(gè)樣本. Glass identification evaluation database是玻璃杯評(píng)價(jià)數(shù)據(jù)集, 一共10個(gè)特征. 玻璃杯種類一共分7類, 一共214個(gè)樣本.

進(jìn)行對(duì)比實(shí)驗(yàn)的是上文中提到的度量學(xué)習(xí)中領(lǐng)先的三種各具特色的方法ITML,LMNN,RDML. 將這三種方法與本文提出的算法應(yīng)用到上述4個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集中,分別學(xué)習(xí)到合適的度量矩陣, 最后使用簡(jiǎn)單的KNN分類中, 比較實(shí)驗(yàn)結(jié)果. 實(shí)驗(yàn)結(jié)果如表1、2、3、4所示.

表1 在car evaluation database上的實(shí)驗(yàn)結(jié)果

表2 在teaching assistant evaluation database上的實(shí)驗(yàn)結(jié)果

表3 在balance scale weight &distance database上的實(shí)驗(yàn)結(jié)果

表4 在glass identification evaluation database 上的實(shí)驗(yàn)結(jié)果

如表1、2、3、4所示, 在car evaluation database,teaching assistant evaluation database, balance scale weight &distance database, glass identification evaluation database這四個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明本文提出的基于最大相關(guān)熵準(zhǔn)則的度量學(xué)習(xí)算法相比已有的度量學(xué)習(xí)算法LMNNRDMLITML在處理有噪聲的數(shù)據(jù)集時(shí)分類準(zhǔn)確率更高. 雖然在表1的car evaluation database上的實(shí)驗(yàn)出現(xiàn)偶爾的RDML的領(lǐng)先情況, 然而任何方法都不能保證在所有的數(shù)據(jù)集上都有效, 出現(xiàn)較小的波動(dòng)是很正常的事情. 可能這個(gè)數(shù)據(jù)集更適合RDML或者本次隨機(jī)加噪的結(jié)果剛好對(duì)RDML的影響較小, 使得RDML的分類準(zhǔn)確率沒(méi)有下降很多. 實(shí)驗(yàn)中更需要關(guān)注的是多次實(shí)驗(yàn)的平均結(jié)果,很明顯的是在平均結(jié)果方面, 本文算法都對(duì)另外三種算法保持領(lǐng)先優(yōu)勢(shì).

表1、2、3、4已經(jīng)證明了本文提出的算法在處理受到高斯噪聲的影響的標(biāo)準(zhǔn)數(shù)據(jù)集分類問(wèn)題時(shí), 可以有效地提高分類準(zhǔn)確率. 接下來(lái), 詳細(xì)地拓展實(shí)驗(yàn),在glass identification evaluation database上進(jìn)行2組進(jìn)階實(shí)驗(yàn), 觀察比較隨著噪聲的變化, 不同的度量學(xué)習(xí)算法對(duì)比本文提出的算法, 分類準(zhǔn)確率的變化趨勢(shì).

進(jìn)階試驗(yàn)1, 固定加噪樣本數(shù)量比例為50%, 在不同加噪特征比例上進(jìn)行試驗(yàn), 不同比例均進(jìn)行3次實(shí)驗(yàn), 然后取平均值, 實(shí)驗(yàn)結(jié)果如圖2所示.

圖2 分類準(zhǔn)確率隨加噪特征百分比變化圖

從圖2中可以看出, 隨著加噪特征百分比的增多,本文的算法通常都領(lǐng)先其他算法, 而且隨著加噪特征百分比的增多, 識(shí)別準(zhǔn)確率的變化不像其他算法那樣有較大的波動(dòng), 識(shí)別準(zhǔn)確率依然保持穩(wěn)定, 說(shuō)明本文算法的魯棒性良好.

進(jìn)階試驗(yàn)2, 固定加噪特征比例為50%, 在不同加噪樣本數(shù)量比例上進(jìn)行實(shí)驗(yàn), 同樣的不同比例均進(jìn)行3次實(shí)驗(yàn), 然后取平均值.實(shí)驗(yàn)結(jié)果如圖3所示.

圖3 分類準(zhǔn)確率隨著加噪樣本數(shù)量百分比變化圖

從圖3中可以看出, 隨著加噪樣本數(shù)量百分比的增多, 本文的算法的分類準(zhǔn)確率逐漸開(kāi)始領(lǐng)先其他算法, 并且隨著夾雜噪聲的樣本數(shù)量的增加, 分類準(zhǔn)確率并不會(huì)產(chǎn)生較大的波動(dòng), 變化較為平穩(wěn). 這說(shuō)明本文的算法對(duì)噪聲的魯棒性是更好的.

3.4 人臉數(shù)據(jù)集YALEB實(shí)驗(yàn)

在上述UCI的4個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上驗(yàn)證算法有效性之后, 接下來(lái)將在標(biāo)準(zhǔn)人臉數(shù)據(jù)庫(kù)上驗(yàn)證. 實(shí)驗(yàn)選定YALEB數(shù)據(jù)集(下載地址:http://vision.ucsd.edu/～leekc/ExtYaleDatabase/ExtYaleB.html或者h(yuǎn)ttp://download.csdn.net/download/fantacy08/8077733). 數(shù)據(jù)集由耶魯大學(xué)提供, 該數(shù)據(jù)集經(jīng)常用于人臉檢測(cè)和人臉識(shí)別. 數(shù)據(jù)集一共包含38個(gè)人, 每個(gè)人有不同光照條件下的64張人臉圖片, 每張圖片經(jīng)過(guò)裁剪后是32×32的圖片.下載的人臉圖片需要進(jìn)行一定的預(yù)處理, 本文的處理方法分為兩步. 其一是加噪部分, 仍然和上述4個(gè)小數(shù)據(jù)集的加噪方法一樣, 加噪樣本數(shù)量百分比和加噪特征百分比都選擇50%;其二是降維部分, 本文選擇PCA降維處理, 提取前100個(gè)特征用于接下來(lái)的分類實(shí)驗(yàn).

表5 在YaleB上的實(shí)驗(yàn)結(jié)果

從表5中也可以看出, 本文提出的算法相比已有的LMNN, RDML, ITML, 在處理這樣的加噪人臉時(shí),分類準(zhǔn)確率同樣得到了提高. 并且實(shí)驗(yàn)結(jié)果比較穩(wěn)定,基本不會(huì)因受到噪聲的干擾而產(chǎn)生較大的波動(dòng). 說(shuō)明了本文算法的魯棒性經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證是成功的. 雖然在表5中的實(shí)驗(yàn)二出現(xiàn)偶爾的ITML領(lǐng)先的情況, 實(shí)驗(yàn)中要考慮到ITML每次實(shí)驗(yàn)的結(jié)果不固定, 通常是10次實(shí)驗(yàn)的平均值, 因此可能出現(xiàn)選中的10次實(shí)驗(yàn)的分類準(zhǔn)確率都較高, 進(jìn)而引起平均準(zhǔn)確率的提升. 另外單次的實(shí)驗(yàn)無(wú)法反映一般性, 多次實(shí)驗(yàn)的平均值是更為重要的判斷依據(jù). 從表5中可以明顯看出4次實(shí)驗(yàn)的平均值中, 本文的算法保持領(lǐng)先優(yōu)勢(shì).

接下來(lái), 與上述glass數(shù)據(jù)集一樣, 進(jìn)行拓展試驗(yàn),觀察人臉?lè)诸悳?zhǔn)確率隨著加噪特征百分比的變化趨勢(shì).實(shí)驗(yàn)結(jié)果如圖4所示.

圖4 人臉?lè)诸悳?zhǔn)確率隨人臉加噪特征百分比變化圖

從圖4可以看出, 本文提出的算法在處理加噪人臉圖像時(shí), 分類準(zhǔn)確率往往保持領(lǐng)先, 同時(shí)對(duì)比另外三種度量學(xué)習(xí)方法, 分類準(zhǔn)確率變化很穩(wěn)定, 不會(huì)大幅度變化, 魯棒性良好.這說(shuō)明本文算法不僅在處理UCI上的一些小型數(shù)據(jù)集有很好的效果, 對(duì)于大型的人臉數(shù)據(jù)集同樣有良好的效果.

4 總結(jié)

本文引入信息論中的最大相關(guān)熵準(zhǔn)則, 提出了基于最大相關(guān)熵準(zhǔn)則的魯棒度量學(xué)習(xí)算法. 經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證, 該方法在處理噪聲環(huán)境中的分類問(wèn)題時(shí), 有優(yōu)秀的表現(xiàn), 是一個(gè)可行的算法. 之后, 我們計(jì)劃將MCC引入深度學(xué)習(xí), 也可以將MCC與深度學(xué)習(xí), 度量學(xué)習(xí)三者結(jié)合起來(lái), 期望得到效果更好的魯棒度量學(xué)習(xí)方法或者深度學(xué)習(xí)框架.