一種快速低秩的判別子字典學(xué)習(xí)算法及圖像分類

趙雅 王順政 呂文濤 王成群

摘?要：本文提出了一種快速低秩的判別子字典學(xué)習(xí)算法。在訓(xùn)練階段，構(gòu)造一個(gè)子字典的低秩約束項(xiàng)和拉普拉斯矩陣正則化項(xiàng)，加入判別字典學(xué)習(xí)的目標(biāo)函數(shù)中。將原始樣本映射到一個(gè)新的空間中，使同一類別的相鄰點(diǎn)彼此靠近，同時(shí)增強(qiáng)子字典對(duì)同類樣本的重構(gòu)能力，針對(duì)每類樣本的判別性特征，學(xué)習(xí)出相應(yīng)的學(xué)習(xí)字典。在測(cè)試階段，利用kNN分類器估計(jì)測(cè)試樣本的類別標(biāo)簽。同時(shí)，將算法應(yīng)用在3種數(shù)據(jù)集上，與其他的字典學(xué)習(xí)算法進(jìn)行比較，取得了較好的分類結(jié)果。

關(guān)鍵詞： 子字典;判別字典;拉普拉斯矩陣;圖像分類

文章編號(hào)： 2095-2163（2021）01-0051-04 中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A

【Abstract】This paper proposes a fast， low-rank discriminative sub-dictionary learning algorithm. In the training phase， the low-rank constraint terms of the sub-dictionary and the Laplacian matrix regularization terms are constructed， and the objective function of the discriminative dictionary learning is added. The original sample is mapped to the new space so that adjacent points of the same category are closed to each other. At the same time， the sub-dictionary's ability is enhanced to reconstruct similar samples， and the corresponding learning dictionary is learnt according to the discriminative characteristics of each sample. In the testing phase， the kNN classifier is used to estimate the class label of the test sample. Finally， the algorithm are applied to three public data sets compare with other dictionary learning algorithms. The proposed algorithm has achieved better classification results.

【Key words】sub-dictionary; discriminant dictionary; Laplacian matrix; image classification

0 引?言

判別字典學(xué)習(xí)是稀疏表示問題的一個(gè)研究分支，主要是通過重構(gòu)訓(xùn)練樣本得到樣本的學(xué)習(xí)字典，并通過構(gòu)造不同的約束項(xiàng)模型來增加字典的判別性能。字典學(xué)習(xí)包括無監(jiān)督字典學(xué)習(xí)和有監(jiān)督字典學(xué)習(xí)。其中，無監(jiān)督字典學(xué)習(xí)主要是通過所有訓(xùn)練信號(hào)重建并優(yōu)化字典，而不給出任何標(biāo)簽信息。典型的無監(jiān)督字典學(xué)習(xí)有KSVD算法[1]，MOD算法[2]等。Zheng等人[3]給出了使用拉普拉斯算子的無監(jiān)督字典的圖形正則化稀疏編碼，并驗(yàn)證了其在分類和聚類上的有效性。但該類算法無法有效利用樣本的標(biāo)簽信息，分類性能不一定是最佳的。相應(yīng)地，有監(jiān)督字典學(xué)習(xí)根據(jù)訓(xùn)練樣本的標(biāo)簽信息學(xué)習(xí)出判別性字典。例如文獻(xiàn)[4-7]，就是典型的有監(jiān)督學(xué)習(xí)字典。文獻(xiàn)[5]提出了一個(gè)LSDDL算法，針對(duì)樣本的局部特征和幾何結(jié)構(gòu)，結(jié)合樣本的標(biāo)簽信息進(jìn)行字典學(xué)習(xí)。但該算法容易受到訓(xùn)練樣本個(gè)數(shù)的影響，且該方法僅有一個(gè)被所有類別共享的字典，會(huì)使字典元素和類別間產(chǎn)生誤差。

針對(duì)這種情況，研究提出了一種快速低秩的判別子字典學(xué)習(xí)算法。在判別字典學(xué)習(xí)的目標(biāo)函數(shù)的基礎(chǔ)上，構(gòu)造一個(gè)子字典的低秩約束項(xiàng)和拉普拉斯矩陣正則化項(xiàng)。將原始樣本映射到一個(gè)新的空間中，使同一類別的相鄰點(diǎn)彼此靠近，同時(shí)增強(qiáng)子字典對(duì)同類樣本的重構(gòu)能力，針對(duì)每類樣本的判別性特征，學(xué)習(xí)出相應(yīng)的學(xué)習(xí)字典。然后，利用現(xiàn)有的分類器估計(jì)測(cè)試樣本的類別標(biāo)簽，得到算法的分類準(zhǔn)確率。本文在3種數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明了該方法的有效性。

1 基本理論

1.1 字典學(xué)習(xí)

設(shè)DC=[d1，…，dK]∈Rn×K表示第C類樣本的學(xué)習(xí)字典。針對(duì)樣本集，令ZC=[ZC1，…，ZCNC]∈Rn×NC為第C類訓(xùn)練樣本，其中ZCi（i=1，…，NC）表示C類樣本中具有n維維數(shù)的第i個(gè)圖像樣本。同時(shí)，令VC=[VC1，…，VCNC]∈RK×NC表示為ZC在DC上的稀疏表示矩陣?？梢缘玫絺鹘y(tǒng)的字典學(xué)習(xí)模型：

模型第一項(xiàng)為訓(xùn)練樣本的誤差重構(gòu)項(xiàng)，第二項(xiàng)是稀疏正則項(xiàng)，λ>0為約束系數(shù)?！ぁ琾為lp范數(shù)，當(dāng)p=1，表示lasso稀疏模型;當(dāng)p=2，表示嶺回歸。由于公式（1）中的DC或VC都可以單獨(dú)得到相關(guān)的凸函數(shù)，但不能同時(shí)得到兩者的凸函數(shù)，因此通常保持一個(gè)變量不變，交替求解另一個(gè)變量，通過迭代求得最優(yōu)解。

1.2 拉普拉斯矩陣

定義一個(gè)頂點(diǎn)數(shù)量為N的無向圖G的拉普拉斯矩陣L為：

其中，W為圖G的鄰接矩陣，維度是N×N，用于表示節(jié)點(diǎn)之間的鄰接關(guān)系。將鄰接矩陣W的每一列元素加起來得到N個(gè)數(shù)，再以其為對(duì)角線構(gòu)造一個(gè)維度是N×N的對(duì)角矩陣M，該對(duì)角矩陣M則被稱為圖的度矩陣。由公式（2）可以看出，拉普拉斯矩陣L是一個(gè)對(duì)稱的半正定矩陣，即對(duì)于任何向量V，L都能滿足VLV′≥0。

2 本文算法

2.1 算法流程

為了設(shè)計(jì)一個(gè)具有判別性的字典，令來自同一類別的樣本可以具備更為相近的稀疏表示，提出了一種基于子字典的判別字典學(xué)習(xí)算法。算法的整體流程如圖1所示。

2.2 訓(xùn)練過程

基于上述字典學(xué)習(xí)算法，本文提出以下判別字典學(xué)習(xí)算法模型：

其中，前兩項(xiàng)為字典學(xué)習(xí)的基礎(chǔ)模型，后兩項(xiàng)分別為子字典的低秩約束項(xiàng)和拉普拉斯矩陣正則化項(xiàng)。β>0和γ>0為相應(yīng)的稀疏系數(shù)。

由于目標(biāo)函數(shù)現(xiàn)在是非凸的，因此通過迭代更新字典和稀疏表示得到學(xué)習(xí)字典。首先固定字典，更新稀疏表示矩陣。即第C類樣本的稀疏表示VC有：

2.3 測(cè)試過程

在訓(xùn)練過程得到總字典D=[D1，…，DC]后，通過求解嶺回歸得到測(cè)試樣本z的稀疏表示V，即：

將訓(xùn)練樣本和測(cè)試樣本的稀疏表示輸入kNN分類器中，估計(jì)測(cè)試樣本的類別標(biāo)簽并得到算法的分類準(zhǔn)確度。

3 實(shí)驗(yàn)結(jié)果與分析

本文在3種數(shù)據(jù)集（http：//users.umiacs.umd.edu/～zhuolin/projectlcksvd.html）上進(jìn)行實(shí)驗(yàn)，具體是：Extended YaleB、AR和織物疵點(diǎn)數(shù)據(jù)集。根據(jù)每個(gè)數(shù)據(jù)集的特征，通過交叉驗(yàn)證對(duì)參數(shù)進(jìn)行調(diào)整，本文使用的最佳參數(shù)設(shè)置見表1。同時(shí)，將實(shí)驗(yàn)結(jié)果與FDDL[8]、LC-KSVD[9]、LRSDL[7]、LSDDL[5]算法進(jìn)行對(duì)比。所有實(shí)驗(yàn)均在Windows 7 的電腦上進(jìn)行，電腦處理器Intel（R）Core（TM） i5-6500 CPU@ 3.20GHz，內(nèi)存4 G，使用的軟件為Matlab。下文將對(duì)數(shù)據(jù)集和實(shí)驗(yàn)結(jié)果進(jìn)行詳細(xì)的闡釋與分析。

（1）Extended YaleB數(shù)據(jù)集[10]：由來自38個(gè)人在64種照明條件下的2 414張人臉圖像組成。所有圖像尺寸均調(diào)整為192×168。每類圖像均選取32張圖片進(jìn)行訓(xùn)練，其他圖片作為測(cè)試集。隨機(jī)人臉特征的維數(shù)為504，實(shí)驗(yàn)重復(fù)10次，并將結(jié)果的平均值作為分類準(zhǔn)確度。實(shí)驗(yàn)結(jié)果見表2，可以看出，本文提出的方法比FDDL、LC-KSVD、LRSDL和LSDDL算法具有更高的精度。

（2）AR數(shù)據(jù)集[10]：由126個(gè)人的4 000多張彩色人臉圖像組成。每人都有26張正面人臉圖。本文選用50名女性，50名男性、共2 600張圖像，隨機(jī)選取每類20張作為訓(xùn)練集，其余的用于測(cè)試。AR數(shù)據(jù)集的隨機(jī)人臉特征維數(shù)為540，結(jié)果同樣由10次重復(fù)試驗(yàn)的平均值得到。由表2可以看出，本文所提出的方法獲得了更好的性能。

（3）織物疵點(diǎn)數(shù)據(jù)集：是由20類不同的疵點(diǎn)、共3 300張圖像組成。幾種典型的織物疵點(diǎn)圖像如圖2所示。本文選擇每類30個(gè)樣本用于訓(xùn)練，剩余樣本用于測(cè)試。研究中使用灰度共生矩陣、方向梯度直方圖及局部二值模式對(duì)該數(shù)據(jù)集進(jìn)行特征提取?？椢锎命c(diǎn)圖像的特征維數(shù)為108。實(shí)驗(yàn)結(jié)果見表2，本文的方法再次取得最佳結(jié)果。

4 結(jié)束語

本文提出了一種基于子字典的判別字典學(xué)習(xí)算法，并在3個(gè)公開數(shù)據(jù)集中驗(yàn)證了算法的有效性。該算法針對(duì)每類樣本得到對(duì)應(yīng)的學(xué)習(xí)字典，加入子字典的重構(gòu)誤差項(xiàng)，同時(shí)利用了原始特征的判別結(jié)構(gòu)，通過拉普拉斯矩陣正則化項(xiàng)提高相同類別稀疏表示的相似性。通過仿真實(shí)驗(yàn)結(jié)果可以看出，本文提出的算法與一些現(xiàn)有算法相比，能夠獲得更高的分類性能。后續(xù)工作可以在對(duì)象分類、紋理識(shí)別等更廣泛的分類任務(wù)中，結(jié)合多種映射函數(shù)進(jìn)行研究。

參考文獻(xiàn)

[1]AHARON M， ELAD M， BRUCKSTEIN A. K-SVD： An algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing， 2006， 54（11）：4311-4322.

[2]OLSHAUSEN B A， FIELD D J. Sparse coding with an overcomplete basis set： A strategy employed by V1？[J]. Vision Research， 1997， 37（23）：3311-3325.

[3]ZHENG M， BU J， CHEN C A， et al. Graph regularized sparse coding for image representation[J]. IEEE Transactions on Image Processing， 2011， 20（5）：1327-1336.

[4]毛麗珍， 湯紅忠， 范朝冬， 等. 低秩判別性字典學(xué)習(xí)及組織病理圖像分類算法[J]. 小型微型計(jì)算機(jī)系統(tǒng)， 2019， 40（9）：1881-1885.

[5]GUO Jun， GUO Yanqing， LI Yi， et al. Locality sensitive discriminative dictionary learning[C]// 2015 IEEE International Conference on Image Processing. Quebec， Canada： IEEE， 2015：1558-1562.

[6]LV Wentao， DAI Kaiyan， WU Long， et al. Runway detection in SAR images based on fusion sparse representation and semantic spatial matching[J]. IEEE Access， 2018， 6：27984-27992.

[7]VU T H， MONGA V. Fast low-rank shared dictionary learning for image classification[J]. IEEE Transactions on Image Processing， 2017， 26（11）：5160-5175.

[8]YANG Meng， ZHANG Lei， FENG Xiangchu， et al. Fisher discrimination dictionary learning for sparse representation[C]// ICCV'11：Proceedings of the 2011 IEEE International Conference on Computer Vision. Barcelona， Spain： IEEE， 2011：543-550.

[9]JIANG Zhuolin， LIN Zhe， DAVIS L S. Label consistent K-SVD： Learning a discriminative dictionary for recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（11）：2651-2664.

[10]CHEN Yefei， SU Jianbo. Sparse embedded dictionary learning on face recognition[J]. Pattern Recognition ， 2017，64：51-59.