基于粒子群算法尋最優屬性關聯下的零樣本語義自編碼器

蘆楠楠 張欣茹 歐 倪

①(中國礦業大學信息與控制工程學院 徐州 221116)

②(北京理工大學信息與電子學院 北京 100081)

③(北京理工大學自動化學院 北京 100081)

1 引言

在圖像分類任務中，為保證測試集與數據集類別相同，在每次增加新的圖像類別時需要對模型重新進行訓練。從而，傳統的圖像識別方法在大量新類別出現時圖像分類效果會顯著下降。為解決現實生活中海量類別的存在，使計算機具有知識遷移的能力，“零樣本學習”成為研究焦點[1-4]。基于屬性的零樣本分類是通過對不同類別之間的共享屬性進行學習，從而實現從訓練類別到測試類別的遷移。在零樣本發展的前期階段，對屬性的考察僅僅停留在二值[5]層面，“1”表示具有該屬性的性質，“0”則表示不具有。采用二值屬性對于共享屬性層描述過于簡單，從而使該模型對語義的理解存在偏差，因此相對屬性(Relative Attribute, RA)[6]這一概念被提出，并在零樣本圖像分類中取得了良好的分類效果[7]。相對屬性的屬性值是連續的，其大小可以表示為樣本具有該屬性的相對強弱程度，從而提高了屬性信息的準確性。作為樣本的另一種表示，屬性攜帶的語義信息可以建立起已知類別與未知類別的聯系。鑒于深度神經網絡的特征學習能力，將語義信息用于引導底層特征學習過程，從而獲得具有鑒別性信息的共享特征[8,9]。語義自編碼器(Semantic AutoEncoder, SAE)[10]將屬性作為隱藏層，實現了零樣本圖像底層特征到語義屬性的映射，取得了突破性進展。然而，從深度神經網絡學習的圖像底層特征中提取出的共享屬性信息用作零樣本分類時，會使屬性之間固有的相關性信息丟失，如何對丟失信息進一步補償成為零樣本圖像分類的重要研究內容。

在傳統的屬性學習[11-13]方法中，很少考慮到這些相關性信息并予以補償。隨著對零樣本學習研究的逐漸深入[14-16]，現有的屬性相關性的研究證明了屬性相關性的挖掘有利于屬性分類器性能的提高[17-22]。Liu等人[17]采用屬性相關性矩陣與原始共享屬性進行運算從而將相關性信息引入屬性層。Wang等人[18]利用互信息對屬性間關系進行衡量。Biswas等人[19]提出將語義屬性相關性引入嵌入空間的跨越空間結構。Quercia等人[20]發現，應該對不同城市感知屬性之間的相關性進行建模，以通過適當共享視覺知識來實現更有效和準確的相對屬性學習。Min等人[21]提出了一種多任務深度相對屬性學習網絡，通過多任務連體網絡同時學習所有相對屬性，解決了成對排名算法獨立學習每個感知屬性時造成的不同屬性之間的關系的丟失。通過將屬性相關性向多維度擴展，Qiao等人[22]研究了多個屬性之間的相關性，從而構造屬性鏈，結果表明當屬性鏈長為2時屬性分類器性能達到最優。因此，本文重點研究二元屬性相關性，將屬性相關性引入共享屬性層中，以提升零樣本圖像分類時的信息量和準確度。

本文提出一種自動尋找最優屬性相關方法，彌補SAE在屬性學習中缺少的屬性相關性信息，對屬性進行相關性信息補償。該方法將屬性相關性求解轉化為參數尋優，使用經典啟發式粒子群優化算法(Partial Swarm Optimization, PSO)尋找最優的嵌入屬性相關性信息的新屬性。首先，學習屬性與屬性間的相關性，在原始的共享屬性層中加入相關性變量。考慮到參數與目標之間的單向可解性，利用PSO平衡原始屬性與相關性變量間的關系。在每次分類過程中都要對新的屬性進行排序，然后將預測的屬性值映射到標簽。通過交叉驗證下的雙向損失函數來衡量本次迭代過程中求解的映射矩陣性能，將此函數作為PSO算法尋優的適應度函數。實驗結果表明，該方法在零樣本圖像分類數據集的性能相較于其他方法可以得到明顯提升。

2 基于語義自編碼器的零樣本圖像分類

語義自編碼器[10]是一種特殊的自編碼器，其最顯著的特點是中間隱藏層為一層語義層。網絡結構如圖1所示。其中，輸入層為基礎的特征向量空間，隱藏層是一層語義層。可將輸入層特征向量空間進行壓縮編碼和解碼，輸出層為經過隱藏層處理后恢復出來的特征向量空間。在進行編解碼的過程中，使用原始數據對編碼器和解碼器進行額外的約束，使得編碼后的數據盡可能恢復成為原來的數據。

為了簡化模型，加上限制條件WX=S，其中S為數據特征X對應的屬性向量。對式(1)做W?=WT變換，進一步轉換為優化問題：

因此，變換后的目標函數式(2)是凸函數， κ為大于0的權重系數。改寫式(2)，可得

由于需要求式(3)的極值，所以需要對其進行求導操作，導數為零便可獲得相應的結果

圖1 SAE結構框架

該方程為西爾韋斯特方程，可以通過Bartels-Stewart算法求解得出。

SAE可以通過學習訓練樣本(X, Y)中的屬性知識完成從底層特征到屬性值的映射，用屬性共享機制將學習到的知識遷移到未知類別中，實現類別邊界的突破。在用SAE進行零樣本分類時，SAE的中間層為訓練圖像相對屬性的分數值。在使用SAE編碼器模型的時候，就可以獲取到從視覺底層特征到語義共享屬性層的映射矩陣W。在測試的過程中，使用訓練得到的W可以將測試圖像的底層特征映射成相對屬性分數值，然后利用高斯分布的概念來統計計算得出均值和方差，最后利用最大似然估計來預測出其測試樣本標簽。

3 基于粒子群算法尋最優屬性關聯下的零樣本語義自編碼器

3.1 語義屬性相關性分析

基于描述類別的屬性的可共享性，共享屬性層的屬性與屬性之間存在一定的語義相關性[23]。如在描述動物時，“會飛”與“有翅膀”以及“會游泳”與“無皮毛”大多數情況總是相關聯的。將這些相關屬性予以結合或者引入相關性信息可以對分類起到積極作用，彌補共享屬性層的信息丟失。為表述這些屬性之間的正負相關性以及相關程度，根據類別、屬性以及訓練樣本個數，計算訓練樣本屬性-屬性的相關性，將其記作相關性矩陣。

假設數據中共有 N個訓練樣本，ani為第n個樣本的第i個屬性值。如果用Rij表 示屬性ai, aj間的相關性，其計算公式可表示為

3.2 粒子群優化屬性相關性下的語義自編碼器(PSOSAE, PSA)

在零樣本分類中，K, L為訓練集和測試集樣本數，樣本總數為K+L。樣本有H個相對屬性，則樣本表示為 H ×(K+L)的屬性矩陣，記作Score ∈RH×(K+L)。 屬性關系為H ×H的相關性矩陣，記作 R L ∈RH×H。在原始屬性的基礎上，為引入屬性相關性且保持原始屬性維度，采用式(7)定義新屬性S core?。

其中， λ , μ 為兩個權重系數，λ 為乘性因子，對屬性相關信息做調整； μ為加性因子，對原始屬性信息保留。

考慮到參數與目標之間的單向可解性，本文采用PSO[26,27]尋找合適的 λ , μ，提出將PSO算法與SAE算法結合，簡稱PSA。粒子群算法是一種基于群體迭代的群算法，依據粒子在解空間追隨最優的粒子的方法進行搜索，以使粒子能夠飛向解空間并在最好解處降落。

將PSO算法嵌入屬性尋優過程中，其搜索步驟如下：

步驟 1 初始化D維粒子群，設定群體規模n、每個粒子的位置 Gi與 速度Vi。 將乘性因子λ 與加性因子μ 作為規模大小為250組的粒子群G，并用隨機數設定初始位置。

步驟 2 計算每個粒子的適應度值Fit[Gi]。適應度函數Fitness是經過每組粒子群確定新屬性值下SAE求解最佳映射矩陣時的優化目標：

步驟 6 如果滿足誤差結束條件或者最大循環次數則退出循環迭代，否則返回步驟2。

3.3 類別高斯圖像分類

本文采用直接屬性預測模型(Direct Attribute Prediction, DAP)[11]實現零樣本分類，通過屬性分類器的學習，建立屬性值到類別標簽的映射。在DAP模型中，先將數據從特征空間映射到中間層的屬性向量層，屬性向量層的屬性標簽是通過收集來的每一類特征的總結，通過利用數據預測屬性，再通過屬性映射到類別標簽來實現對于未知類別的預測。分類過程中，針對 m個已知類別，對應地用一個生成模型表示該類別的特征。根據圖像相對屬性取值的連續性，本文采用高斯模型來估計類別特征，采用最大似然估計實現高斯模型的參數估計。而未知類別的模型參數則通過與已知類別間的相對模型來進行指導學習。在判斷標簽類別時本文采用高 斯貝葉斯計算最大后驗概率來實現。

4 實驗仿真與分析

4.1 數據集

實驗選用數據集Pubfig[28]和OSR[29]。Pubfig是公開人臉數據集，包括8位名人的772幅圖像，擁有11個語義屬性。OSR是戶外場景識別數據集，包括8個戶外場景共2688幅圖像，擁有6個語義屬性。

在實際處理時，針對Pubfig和OSR數據集，本實驗設定不同訓練類別數目和測試類別數目來驗證方法，采用交叉驗證的方法增大實驗量，求取所有情況的平均值來驗證方法有效性。本實驗討論PSA的零樣本分類結果，并采用DAP[11], Relative[6]與SAE[10]方法做比較。

4.2 屬性相關性分析

為了直觀地分析屬性相關性，采用相關性圖對屬性相關性強弱進行可視化表示。圖2展示了Pubfig和OSR數據集的屬性正負相關性及強弱信息。如圖所示，藍色和紅色表示正、負相關。屬性相關性強弱由顏色深淺來表示，顏色越深表示相關性越強，白色則表明兩屬性之間不存在相關性。根據H個屬性兩兩相關性度量，可構建相關性矩陣RH×H。例如，就OSR的6個相對屬性，構建兩兩屬性間的相關性中，屬性size-large與diagonal-plane有較強的正相關性，其相關性系數可高達0.9333；而屬性perspective與natural有較強的負相關性，相關性系數為-0.9491。可見，屬性中嵌入相關性，可有效對 原數據集屬性值進行信息補償。

表1 PSA算法偽代碼

圖2 OSR和Pubfig數據集屬性相關性相比

4.3 參數λ , μ分析

根據建立的屬性相關性，利用PSO對屬性參數尋優。PSO的具體參數設置如表2所示。

圖3給出Pubfig數據集(訓練和測試類別數為6和2情況下的第9組交叉驗證組合的情況)中，PSO在第1代與最后一代的粒子分布情況。起初250組粒子均勻地分布在設定的位置范圍內，隨著迭代次數增加，最終適應度值下粒子所處的位置集中，并未出現在所設置的范圍邊界處，粒子分布隨著代數增加可以很好地聚集收斂，證明PSO整體參數設置合理。

此外，表3給出了Pubfig數據集中PSO尋優參數下對應的測試精度(訓練和測試類別數分別為6和2，共計=28次交叉驗證)。對于每一次類別組合，均可以采用PSA算法對其尋求最優的乘性因子和加性因子的參數組合，并計算該組合下引入相關性的屬性值，將訓練集屬性作為SAE輸入求得最優目標下的映射矩陣。對訓練集屬性值進行重新排序，利用求解出的映射矩陣計算出測試集的屬性值，再構建高斯分布，根據最大后驗概率分配標簽，計算測試集的精度。

由表3可以看出PSO在尋最優 λ , μ時，其值都落在所設定的位置范圍內，即再一次證明了采用PSO進行參數設置的合理性，而對應參數下引入相關性的新屬性值在Pubfig數據集中的分類結果也得到 了提高。

4.4 零樣本圖像分類

PSA將得到的最優參數用來更新屬性值，利用SAE求解映射矩陣計算測試類別屬性值，對不可見類構建高斯分布求解最大后驗概率完成標簽映射。根據訓練類別數m與測試類別數M的不同組合，完成每一組下的交叉驗證的分類精度(Accuracy, Acc)與ROC曲線下面積(Area Under Curve, AUC)[30,31]。其中，分類精度能夠真實地反映出分類正確的樣本數與測試樣本總數的關系。AUC可以反映誤判率(把實際為假值的樣本判定為真值的概率)與靈敏度(把實際為真值的樣本判定為真值的概率)之間的關系，以便更好地對分類效果進行評價。表4和表5分別給出了Pubfig和OSR數據集中6組交叉驗證的Acc和AUC值。

由表4和表5結果可見，兩種數據集的平均測試結果Acc和AUC整體均有不同程度提升，其中Acc提升明顯。特別是在 m /M =2/6和m/M =6/2時，對于Acc, PSA在OSR上可提升10%以上，在Pubfig上也有近10%提升。而且，隨著訓練類別增加，Acc逐漸升高。然而對于Pubfig中m/M =4/4和m/M =5/3兩種情況，PSA并沒有取得顯著優勢的分類精度；在O S R 數據集中 m/M =4/4時，PSA的分類精度略微降低。總體來說，在與經典算法比較時，PSA可以得到較好的分類效果，尤其是在訓練、測試類別不均衡的情況下。因此，PSA更加適用于處理訓練和測試類別不均衡的情況。這是由于，當訓練組別和測試組別數目相差較大而造成兩類樣本不均衡且交叉驗證組別較少時，屬性之間相關性的建立能夠較大程度緩解零樣本分類的強偏問題。此外，在優化屬性相關性時，PSA所采用的PSO是一種進化算法，進化算法的優化過程本身所具有的隨機性，難以確保所有情況下PSO找到的參數都是全局最優，而PSO現有的尋優能力已經顯著改善了零樣本分類效果。對于AUC，從表4和表5的結果來看，PSA相較于SAE略有提升。但是在OSR數據集上 m /M =4/4時，AUC值略低于SAE。這是由于PSO的優化目標是訓練集的Acc，并未將

AUC作為優化目標進行參數尋優，因此得到的新參數并不一定滿足AUC更高的效果。本文之所以采用了單目標優化而未優化AUC指標，目的是更大幅度地提升Acc指標，提高分類性能。

表2 PSO的參數設置

圖3 PSO粒子始末分布圖

表3 PSO尋優參數及測試精度(Pubfig數據集 測試類別數：2)

表4 OSR數據集的分類精度和AUC值

為了進一步分析PSA的詳細分類表現，本文分別給出了PSA與SAE在混淆矩陣上的實驗結果。本文隨機選取m /M =3/5 和m /M =5/3兩種分組下交叉驗證的其中一組混淆矩陣結果。圖4和圖5給出PSA和SAE兩種方法在OSR和Pubfig兩組數據集上的混淆矩陣分類結果，其中縱坐標表示真實標簽，橫坐標表示預測標簽。每個方格內的小數代表測試分配標簽個數與該標簽的真實個數的百分比，顏色越深數值越小，顏色越淺對應的數值越大。表征分類結果的好壞時，對角線上的數值越大越好，即對角線上的方格顏色越淺越好。對比圖4(c)和圖4(d)，Insidecity與Opencountry兩種戶外的場景分類中，SAE錯分率較高，且兩者在分類過程中，互相錯分的概率很大，而PSA 因為相關性的信息引入，分類精度大幅度提升，使得這兩種場景分類具有更強的辨別度。同樣地，對比圖4(a)和圖4(b)，SAE在Forest類別上的分類精度很低，易錯分為Opencountry。在引入相關性分析后，PSA提高了Coast, Opencountry及Forest 3種場景的分類精度。然而，其在Insidecity和Street上的分類精度卻略有降低。這是由于PSA是在訓練集上優化屬性相關性信息，所得到的屬性相關性并不能完全符合每種類別樣本的描述。甚至某種類別的屬性相關性信息與樣本平均的屬性相關性信息的正負相關性是相反的，從而相關性信息的引入會對個別類別樣本的分類產生消極影響。但是，通過交叉驗證實驗可以看到，屬性相關性信息的引入促使整體分類精度得到了顯著提高，在多種訓練、測試類別組合中獲得較穩定的分類效果。對比圖5(a)和圖5(b)，對于JaredLeto與MileyCyrus兩人圖像，SAE分類的正確率較低，而PSA分類精度在一定程度上有明顯改善。混淆矩陣的實驗結果進一步證明了在相同的算法架構下，引入屬性相關性的信息補償可以有效地改進分類精度，并且通過屬性多元化可以對共享層的屬性信息進行進一步挖掘。

表5 Pubfig數據集的分類精度和AUC值

圖4 分類結果混淆矩陣(OSR數據集)

圖5 分類結果混淆矩陣(Pubfig數據集)

5 結束語

本文致力于對零樣本圖像分類中構建的共享屬性層進行丟失信息的補償，通過PSO引入最優屬性相關性信息，提升零樣本圖像分類的分類效果。針對特征到屬性的映射層采用SAE，針對屬性到標簽的歸類采用對不可見類構建高斯分布。該方法在Pubfig和OSR數據集上可獲得良好的分類效果，并與經典的零樣本圖像分類方法相比有明顯提升。從而驗證了PSA方法的有效性。該方法使用PSO尋優屬性相關性參數具有很好的移植性和靈活性。屬性多元信息化有利于在已有屬性基礎上提取圖像的鑒別性信息。在未來的工作中將重點探討復雜圖像分類中的屬性鏈的動態提取。