秩優化的張量嶺回歸算法

張建光 劉潔晶 石龍

[摘 要] 本文基于張量CP（CANDECOMP/PARAFAC）分解提出了秩優化的張量嶺回歸模型。通過模型中引入結構性稀疏項L（2，1）-范數，可以在模型參數訓練過程中自動選擇CP分解的秩，得到準確的張量分解形式。為了驗證本文算法的有效性，在2個多媒體數據集上進行實驗。實驗結果表明本文的算法與對應的向量算法相比，取得了更準確的分類結果。

[關鍵詞]張量；CP（CANDECOMP/PARAFAC）分解；L（2，1）-范數

[中圖分類號]TP391.41 [文獻標識碼]A

1 引言

目前，很多基于向量的分類方法被提出，比如：K最近鄰（K-NearestNeighbor，KNN）分類算法，嶺回歸（Ridge Regression，RR）分類算法等。由于這些基于向量的分類算法具有簡單有效的歸納特性，因此被廣泛的用來處理多媒體分類的問題。但是這些方法需要按照一個指定的排列規則，把張量多媒體數據或多媒體特征簡單的排列成一個高維向量。這樣做不僅會破壞多媒體的空間結構，也會導致高維向量的產生。

如何構建有效的張量學習算法成為多媒體分類的重要研究內容。本文在CP分解后，通過定義因子矩陣轉置后的L（2，1）-范數，得到因子矩陣的列稀疏結構，由于因子矩陣的列數目與張量的秩是相等的，通過刪除因子矩陣中的稀疏列可以實現張量秩的自動選擇。本文提出的算法是對向量嶺回歸的張量擴張，因此稱為秩優化的張量嶺回歸回歸模型（Rank optimization for Tensor Ridge Regression，RoTRR）。

2 秩選擇的張量嶺回歸算法

每一個多媒體數據可以表示為一個階張量，第階的維度為。多媒體數據對應的分類標簽為。因此個多媒體數據可以表示成張量數據集。可對傳統嶺回歸進行張量擴展得到：

（1）

其中為模型的張量權值參數，為范數作為正則化項防止過擬合，為正則化項系數。

對式（1）的張量參數進行CP分解，可以得到個因子矩陣。每一個因子矩陣的列數是相同的，而且與初始假定的張量秩相等。由于初始的張量秩是較大的，因此CP分解后的結果包含大量的噪聲或者冗余信息。首先定義一個組合因子矩陣。的列數與張量的秩是相等的，值得注意的是的每一列對應的是一個秩-1張量的所有因子向量，如果某一列出現稀疏也就意味著這一列對應的秩-1張量是冗余或者噪聲信息，應該刪除掉，反之，應該保留。通過這種方式，我們可以最終獲得包含主要判別信息的秩-1張量。最終剩下的秩-1張量數目，即的列數就是張量的秩。這樣通過訓練學習可以自動獲得CP分解后張量的秩，解決了張量秩不唯一的問題。Tan提出采用范數作為正則化項，可以獲得張量分解后的稀疏結構，但是并不能在列方向上產生結構化的稀疏結果，這樣就不能自動的選擇張量的秩。Han指出，采用范數可以在矩陣中產生行方向的稀疏。因此我們采用轉置的范數作為正則化項，可以達到秩選擇的目的。綜上所述，我們可以得到：

（2）

因為式（2）中有個參數需要進行訓練估計，式（2）對個參數不是聯合凸函數，但是當固定其他參數，式（2）對任意一個參數是凸函數，所以我們采用交叉優化的方法對式（2）進行優化。

3 實驗結果及分析

本文在兩個2階圖像數據集（binary alpha digits（BAd），USPS）構造實驗。實驗中每一幅灰度圖的大小被定義為個像素。為了估計算法在少數訓練數據的性能，每一類隨機選取1一個圖像作為訓練數據，其他圖像作為測試數據。隨機測試5次，以5次的平均值作為最終結果。

實驗的對比算法為：KNN算法，嶺回歸（RR）算法。所有類的平均準確率（Average accuracy）作為評價法則評估算法的分類效果。算法RoTRR與RR參數調試范圍為，每一個算法的最優的結果作為該算法的最終結果。算法KNN的參數k設置為10。

3.1 實驗數據集

4 結論

本文提出秩優化的張量嶺回歸算法，解決了張量CP分解中秩不唯一的問題，可以更有效地利用張量中的相關信息。在兩個圖像數據集上構造實驗，以所有類的平均準確率為衡量標準，分析了本文算法的性能與相關參數。通過實驗分析得出本文提出的算法可以取得更優的分類結果。

[參考文獻]

[1] Shakhnarovich，G.，Indyk，P.，Darrell，T. Nearest-neighbor methods in learning and vision：theory and practice. Cambridge Massachusetts，MIT Press，2006 .

[2] Hoerl，A.E.，Kennard，R.W.，Ridge regression：biased estimation for nonorthogonal problems. Technometrics，1970，12（1），55–67.

[4] X. Cai，F. Nie，H. Huang，and C. Ding. Multiclass l1，2-norm support vector machine//Proceedings of the International Conference on Data Mining，Vancouver，Canada，2011：91–100.

[5] Tan，Xu and Zhang，Yin and Tang，Siliang and Shao，Jian and Wu，Fei and Zhuang，Yueting. Logistic tensor regression for classification. Intelligent Science and Intelligent Data Engineering. 2012，573--581.

[6] Han，Yahong and Yang，Yi and Zhou，Xiaofang. Co-regularized ensemble for feature selection//Proceedings of the international joint conference on Artificial Intelligence，Beijing，China，2013：1380--1386.