基于結構化多視圖稀疏限定的監督特征選擇算法研究

史彩娟，段昌鈺，谷志斌

?

基于結構化多視圖稀疏限定的監督特征選擇算法研究

史彩娟，段昌鈺，谷志斌

(華北理工大學，河北 唐山 063210)

為了有效利用多視圖數據信息提升監督特征選擇的性能，構建了一種結構化多視圖稀疏限定，并基于該稀疏限定提出了一種監督特征選擇方法，即結構化多視圖監督特征選擇方法(SMSFS)。該方法在特征選擇過程中能夠同時考慮不同視圖特征的重要性以及同一視圖中不同特征的重要性，從而有效的結合多視圖數據信息，提升監督特征選擇的性能。SMSFS目標函數是非凸的，設計了一個有效的迭代算法對目標函數進行求解。將所提結構化多視圖監督特征選擇方法SMSFS應用到了圖像標注任務，在NUS-WIDE和MSRA-MM2.0圖像數據庫上進行了實驗，并與其他特征選擇算法進行了比較，實驗結果表明該算法能夠有效結合多視圖數據信息，提升特征選擇性能。

多視圖學習；結構化稀疏限定；監督特征選擇

近年，隨著信息技術以及計算機視覺技術的迅猛發展，圖像、視頻等數據被表示為不同類型的特征，如形狀特征、顏色特征、紋理特征等。每一種類型的特征都是從某一特定空間對圖像及視頻數據進行了描述，傳統上把這種由不同類型特征組成的數據稱為多視圖數據[1]。然而，這些多視圖數據中包含許多不相關特征，甚至是噪聲，因此，如何有效去除多余特征及噪聲，從而降低“維數災難”的特征選擇技術成為當前的研究熱點。面對多視圖數據，傳統的單一視圖特征選擇算法已不能獲得較好的特征選擇效果，許多多視圖特征選擇方法被廣泛研究和提出。其中，最直接的方法就是將多視圖特征直接串接成一個長的特征向量，然后采用單一視圖特征選擇方法進行特征選擇[2-3]。該方法思路簡單，但將多視圖特征直接串接為一個長向量之后再進行特征選擇，破壞了不同視圖特征間的潛在關聯，同時也缺乏物理解釋，使特征選擇的性能受到了影響。

近年來，多視圖學習被廣泛應用到特征選擇算法之中，利用不同視圖之間的互補性及一致性來提升特征選擇的性能[1,4-5]。然而，現有的多視圖特征選擇方法基本上是將一個視圖數據看作一個整體，在特征選擇過程中僅僅考慮每一個視圖特征整體的重要性，而忽略了同一視圖中不同特征的重要性，使特征選擇性能受到影響。如果在多視圖稀疏特征選擇過程中，不僅考慮每一個視圖的重要性，選擇最具判別性的視圖特征外，同時考慮同一視圖中每一個特征的重要性，必將能夠更好地結合多視圖數據信息，從而提升特征選擇的性能。文獻[6]提出了組1范數(1-范數)，能夠很好地判定同一視圖中不同特征的重要性。文 獻[7]通過引入組1范數(1-范數)提出了一種稀疏多模態學習方法來整合多視圖異質特征。文獻[8]基于1范數(1-范數)提出了一種新的非監督深度稀疏特征選擇方法，特征選擇性能得到了提升。

因此，為了更好地利用多視圖數據信息，本文提出了一種基于結構化多視圖稀疏限定的監督特征選擇算法，即結構化多視圖監督特征選擇(structured multi-view supervised feature selection，SMSFS)。結構化多視圖稀疏限定能夠使SMSFS在特征選擇過程中不僅考慮每一個視圖的重要性，同時考慮同一視圖中不同特征的重要性。SMSFS算法被應用到了圖像標注任務中，并在圖像數據庫NUS-WIDE[9]和MSRA-MM 2.0[10]上進行了實驗，結果表明該算法優于其他特征選擇算法，能夠更好地結合多視圖數據信息來提升特征選擇的性能。

1 相關工作

本文相關工作為多視圖學習和結構化稀疏限定。

1.1 多視圖學習

現實中存在許多多視圖數據，如圖像經常被表示為形狀、顏色、紋理等不同的視覺特征，視頻被表示為視覺特征及聲音特征，網頁被表示為網頁內容及相關鏈接等等。每一個視圖數據都具有一定的特征空間，具有特定的物理意義和統計特性。近年，多視圖學習得到廣泛研究，能夠揭示多視圖數據間的關聯及有效地結合不同視圖數據間的信息。根據多視圖間信息結合方式的不同，可以將現有的多視圖學習算法大致分成3類：①將多視圖數據直接串接為一個特征向量，然后采用單一視圖方法的多視圖學習算法[11-12]。該算法實現簡單，但不能有效揭示不同視圖特征之間的關聯及補充信息，既沒有考慮不同視圖特征的重要性，也沒有考慮同一視圖中不同特征的重要性。②將每一個視圖特征看成一個整體，將同一視圖中的所有特征賦予相同的系數。雖然該算法能夠很好的利用不同視圖特征之間的關聯性和互補性[13-16]，但沒有考慮同一視圖特征中不同特征的重要性。③在學習過程中能夠同時考慮不同視圖的重要性以及同一視圖中不同特征的重要性[7-8]。

1.2 結構化稀疏限定

近年來，多種結構化稀疏限定被廣泛研究并被應用到特征選擇算法之中。文獻[17]對現有的特征選擇方法進行了綜述，根據所采用的兩種不同的結構化稀疏限定1范數(LASSO)[18]和l，p(0<≤1)矩陣范數[17]，將特征選擇方法分成了基于向量的特征選擇方法和基于矩陣的特征選擇方法。1范數作為懲罰項對特征選擇系數施以約束，能夠使被選擇的特征盡可能稀疏，使訓練的模型具有稀疏性和可解釋性，因此被廣泛應用到特征選擇方法中。對于l,p(0<≤1)矩陣范數，當=2，=1，即為2,1范數[19]。NIE等[20]將2,1范數應用到了特征選擇之中，該限定能夠保證在特征選擇過程中充分考慮不同特征之間的關聯，聯合的選取特征。WANG和CHEN[21]提出了2,p(0<≤1)矩陣范數，并指出當=1/2時，即2,1/2矩陣范數具有最好的性能。文 獻[2]基于2,1/2矩陣范數提出了一種圖拉普拉斯半監督稀疏特征選擇方法。

2 SMSFS算法

本節提出一個新的基于結構化多視圖稀疏限定的監督特征選擇框架，既結構化多視圖監督特征選擇(structured multi-view supervised feature selection，SMSFS)。首先介紹結構化多視圖稀疏限定，然后提出了SMSFS算法，最后給出求解目標函數的迭代算法。

2.1 結構化多視圖稀疏限定

映射矩陣的組1-范數(1范數)定義為

映射矩陣的2,1/2矩陣范數定義為

因此，由2,1/2范數和1-范數構建的用于特征選擇的結構化多視圖稀疏限定可以表示為

結構化多視圖稀疏限定中1-范數強調每一個視圖的重要性，而2,1/2矩陣范數可以很好地考慮不同特征的重要性。因此，結構化多視圖稀疏限定能夠保證在特征選擇的過程中不僅考慮每一個視圖的重要性，同時考慮每一個視圖中不同特征的重要性，更好地結合多視圖數據信息，從而達到很好的特征選擇性能。

2.2 SMSFS算法

特征選擇框架一般可以表示為求解下面的最小化經驗誤差

本文損失函數選擇最簡單的最小二乘函數，正則項為結構化多視圖稀疏限定，因此，本文提出的結構化多視圖監督特征選擇算法SMSFS的目標函數可以表示為

2.3 優化求解

由于2,1/2范數是非凸的，因此本文提出的結構化多視圖監督特征選擇框架式(5)也是非凸的，下面提出了一個有效迭代方法來求解目標函數。

此時目標函數式(5)可以寫成

因此，可得到

算法1. SMSFS 算法給出了求解目標函數式(5)的迭代算法。

②重復計算對角矩陣

對于g(1≤≤)，

=+1；

直到收斂；

3 實 驗

將SMSFS算法應用到圖像標注任務中，并在兩個大規模圖像數據庫NUS-WIDE[9]和MSRA- MM 2.0[10]上進行了實驗。

3.1 數據庫及實驗設置

NUS-WIDE數據庫包含269 648幅圖像，81個概念；MSRA-MM2.0數據庫包含50 000幅圖像，100個概念。實驗中對于兩個數據庫，均選用144維的顏色相關圖、128維的小波紋理和73維(NUS-WIDE數據庫)或者75維(MSRA-MM2.0數據庫)的邊緣方向直方圖和3種底層視覺特征作為圖像的3種視圖特征。

實驗中隨機采樣3 000個圖像形成訓練數據集，剩余數據作為測試集。隨機進行10次試驗，將10次結果平均作為最終的標注結果。目標函數式(5)中的正則化參數和設定為{0.00001，0.001，0.1，1，10，1000，100000}，采用交叉驗證方法記錄最好結果。

實驗中將算法SMSFS與算法SMML[6]和SFUS[3]進行了比較。采用3種評估準則來評價算法性能，即平均準確率均值(mean average precision，MAP)，ROC曲線下面積AUC的兩種情況MicroAUC和MacroAUC。

3.2 與其他特征選擇算法的性能比較

實驗中將本文算法SMSFS與另外兩種監督特征選擇算法SFUS和SMML進行了比較，在兩個數據庫上進行了實驗，結果見表1，最好結果用黑體標識。

表1 不同特征選擇方法性能比較

從表1可以看出，無論是基于MAP，還是MacroAUC和MicroAUC，本文算法SMSFS性能優于SFUS和SMML算法，說明SMSFS算法能夠利用結構化多視圖稀疏限定有效的結合多視圖數據信息，從而選取更具判別性的稀疏特征，獲得更好的特性選擇性能。

3.3 選擇特征個數的影響

本實驗驗證所選特征數目對標注性能的影響。設定所選特征數目分別為100、150、200、250和300以及全部特征(對于NUS-WIDE數據庫是345維，對于MSRA-MM數據庫是347維)。采用MAP作為評估準則，實驗結果如圖1所示。

圖1顯示了算法SMSFS標注性能隨著所選特征數目變化而變化的情況。從圖1可以看出：①當所選用的特征數很少時(如特征數為100)對應的MAP要低于不進行特征選擇時(特征數為345或347)的MAP。這歸因于選擇的特征數很少時，一些有用信息被丟失。②當采用所有底層視覺特征(特征數為345或347)的時候，標注性能并不是最好，說明最初的底層視覺特征中包含一些冗余特征，影響了標注性能。③在兩個數據庫上，3種算法達到最好性能時所選用的特征數目均為250，但是算法SMSFS性能優于另外兩種算法。因此，與另外兩種特征選擇算法相比，本文算法SMSFS能夠有效結合多視圖數據信息，選取更具判別性的特征，從而獲得最好的特征選擇性能，降低噪聲影響。

圖1 性能MAP隨著選擇特征數目的變化而變化情況

3.4 參數敏感性測試

在目標函數式(5)中存在兩個正則化參數和，本節通過交叉驗證的方式驗證這兩個正則化參數對特征選擇性能的影響，其大小設定為{0.00001，0.001，0.1，1，10，1000，10000}。采用MAP作為評估準則，實驗結果如圖2所示。

從圖2可以看出，不同的和組合對應不同的MAP結果，該算法對于參數和比較敏感。對于NUS-WIDE數據庫，當=1000、=10時具有最好的性能；對于MSRA-MM數據庫，當==10時性能最好。

圖2 正則化參數敏感性分析

4 結束語

本文提出了一個新的基于結構化多視圖稀疏限定的監督特征選擇算法SMSFS。本文算法能夠在特征選擇過程中同時考慮不同視圖的重要性以及同一視圖中不同特征的重要性，有效結合多視圖數據信息，從而提升特征選擇的性能。其目標函數是非凸的，本文設計了一個有效的迭代算法對目標函數進行求解。將該算法應用到了圖像標注任務中，并在兩個圖像數據庫上進行了實驗，結果表明該算法優于現有的特征選擇算法，很好地實現了特征選擇。

[1] FENG Y F, XIAO J, ZHUANG Y T, et al. Adaptive unsupervised multi-view feature selection for visual concept recognition [C]//11th IEEE Asian Conference on Computer Vision (ACCV), 2012. New York: IEEE Press, 2012: 343-357.

[2] SHI C J, RUAN Q Q, AN G Y, et al. Sparse feature selection based on graph Laplacian for web image annotation [J]. Image and Vision Computing, 2014, 32(3): 189-201.

[3] MA Z G, NIE F P, YANG Y, et al. Web image annotation via subspace-sparsity collaborated feature selection [J]. IEEE Transactions on Multimedia, 2012, 14(4): 1021-1030.

[4] SHI C J, RUAN Q Q, AN G Y, et al. Semi-supervised sparse feature selection based on multi-view laplacian regularization [J]. Image and Vision Computing, 2015, 33(41): 1-10.

[5] XU X X, LI W, XU D, et al. Co-labeling for multi-view weakly labeled learning [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2016, 38(6): 1113-1125.

[6] WANG H, NIE F P, HUANG H, et al. Identifying disease sensitive and quantitative trait-relevant biomarkers from multidimensional heterogeneous imaging genetics data via sparse multimodal multitask learning [J]. Bioinformatics, 2012, 28(12): 1127-1136.

[7] WANG H, NIE F P, HUANG H, et al. Heterogeneous visual features fusion via sparse multimodal machine [C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2013. New York: IEEE Press, 2013: 3097-3102.

[8] CONG Y, WANG S, FAN B J, et al. UDSFS: unsupervised deep sparse feature selection [J]. Neurocomputing, 2016, 196: 150-158.

[9] CHUN T, TANG JH, HONG R, et al. NUS-WIDE: a real-world web image dataset from National University of Singapore [C]//Proceeding of the ACM International Coference on Image and Video Retrieval (CIVR), 2009. New York: ACM Press, 2009: 1-9.

[10] LI H, WANG M, HUA X S. MSRA-MM2. 0: a large-scale web multimedia dataset [C]//IEEE International Conference on Data Mining Workshops (ICDMW), 2009. New York: IEEE Press, 2009: 164-169.

[11] MA Z G, NIE F P, YANG Y, et al. Discriminating joint feature analysis for multimedia data understanding [J]. IEEE Transactions on Multimedia, 2012, 14(6): 1662-1672.

[12] LIU W F, TAO D C, Multiview hessian regularization for image annotation [J]. IEEE Transactions on Image Processing, 2013, 22(7): 2676-2687.

[13] WANG S P, GUO W Z. Sparse multi-graph embedding for multimodal feature representation [J]. IEEE Transactions on Multimedia, 2017, 19(7): 1454-1466.

[14] XUE X W, NIE F P, WANG S, et al. Multi-view correlated feature learning by uncovering shared component [EP/OL]. [2-18-01-10]. https://aaai.org/ ocs/index.php/AAAI/AAAI17/paper/view/14439.

[15] JING X Y, WU FI, DONG X W, et al. Semi-supervised multi-view correlation feature learning with application to webpage classification [EP/OL]. [2018-01-20]. https://aaai.org/ocs/index.php/AAAI/AAAI17/paper/view/14582.

[16] SHI C J, RUAN Q Q, AN G Y, et al. Semi-supervised sparse feature selection based on multi-view laplacian regularization [J]. Image and Vision Computing, 2015, 41(C): 1-10.

[17] GUI J, SUN Z N, JI S W, et al. Feature selection based on structured sparsity: a comprehensive study [J]. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(7): 1490-1507.

[18] SCH?LKOPF B, PLATT J, HOFMANN T. Sparse multinomial logistic regression via bayesian1regularisation [C]//Advances in Neural Information Processing Systems 19: Proceedings of the 2006 Conference. New York: MIT Press, 2006: 209-216.

[19] DING C, ZHOU D, HE X F, et al.1-PCA: rotational invariant1-norm principal component analysis for robust subspace factorization [C]//ICML’06 Proceedings of the 23rd International Conference on Machine Learning (ICML), 2006. New York: ACM Press, 2006: 281-288.

[20] NIE F P, XU D, HUNG T, et al. Flexible manifold embedding: A framework for semi-supervised and unsupervised dimension reduction [J]. IEEE Transactions on Image Processing. 2010, 19 (7): 1921-1932.

[21] WANG L P, CHEN S G.2, pmatrix norm and its application in feature selection [EP/OL]. [2018-01-08].

https://www.researchgate.net/publication/301850380_l_2p_Matrix_Norm_and_Its_Application_in_Feature_Selection.

Research of Supervised Feature Selection Algorithm Based on Structured Multi-View Sparse Regularization

sHI caijuan, DUANChangyu, GU Zhibing

(North China University of Science and Technology, Tangshan Hebei 063210, China)

In order to effectively utiliz the multi-view data information and enhance the feature selection performance, the structured multi-view sparse regularization was constructed, based on which a novel supervised feature selection method, namely structured multi-view supervised feature selection (SMSFS), was proposed. SMSFS could simultaneously consider the importance of each view features and the importance of individual feature in each view to combine the multi-view data information effectively in the feature selection process, and then to boost the supervised feature selection performance. Because theobjective function of SMSFS is non-convex, an effective iterative algorithm was proposed to solve the objective function. The proposed structured multi-view supervised feature selection method SMSFS was applied into image annotation task and extensive experiments were performed on NUS-WIDE and MSRA-MM2.0 image datasets. The proposed method SMSFS was compared with other feature selection methods and the experimental results demonstrated the effectiveness of SMSFS, which means that it could effectively utilize the multi-view data information to boost the feature selection performance.

multi-view learning; structured sparse regularization; supervised feature selection

TP 391.4

10.11996/JG.j.2095-302X.2018061036

A

2095-302X(2018)06-1036-06

2018-04-16；

2018-07-24

國家自然科學基金項目(61502143)；河北省自然科學基金面上項目(F2016209165)；華北理工大學杰出青年基金項目(JQ201715)；華北理工大學博士科研啟動基金(201510)；河北省高等學校科學技術研究項目(QN2018115)

史彩娟(1977-)，女，河北豐潤人，副教授，博士。主要研究方向為圖像處理與分析、多媒體內容分析、計算機視覺、機器學習等。E-mail：scj-blue@163.com