基于類內方差和位置敏感哈希的多經驗核學習

摘 要：多隨機經驗核學習機（multiple random empirical kernel learning machine，MREKLM）選取少量樣本來構造經驗特征空間，但在投影時沒有考慮數據的分布信息，并且樣本選擇時間長。為了利用樣本的分布信息，引入了類內散度矩陣，提出了基于類內方差的多經驗核學習（ICVMEKL），使得樣本在投影時能考慮樣本類內信息，強化了分類邊界，提高了分類精度。進一步，為了降低樣本選擇時間，利用了基于位置敏感哈希的邊界點提取方法（BPLSH）來選擇樣本，提出了基于位置敏感哈希算法改進的ICVMEKL（ICVMEKL_I），使構建經驗核的樣本不再需要從候選集中獲取，降低了訓練時間。多個數據集上的實驗結果表明，ICVMEKL能有效提高精度，ICVMEKL_I能大幅降低訓練時間，兩者都表現出了良好的泛化性能。

關鍵詞：多核學習；經驗核映射；模式識別；核方法；機器學習

中圖分類號：TP181 文獻標志碼：A

文章編號：1001-3695（2022）11-022-3340-06

doi：10.19734/j.issn.1001-3695.2022.04.0171

Multiple empirical kernel learning based on intra-class variance and locality-sensitive hashing

Huang Jinbo，Su Xingwang，Wu Lin，Xu Ruyu，Wang Xiaoming（School of Computer amp; Software Engineer，Xihua University，Chengdu 610039，China）

Abstract：MREKLM selects a small number of samples to construct the empirical feature space，but does not take into account the distribution of data when projecting，and takes a long time to select samples.In order to utilize the distribution information of samples，this paper introduced the intra-class dispersion matrix，and proposed an intra-class variance based multiple empirical kernel learning （ICVMEKL），which enabled samples to take into account the intra-class information when projecting.The method enhanced the classification boundary and improved the classification accuracy.Further，in order to reduce the selection time of samples，this paper proposed an improved ICVMEKL （ICVMEKL_I） based on locality-sensitive hashing algorithm by using the border point extraction based on locality-sensitive hashing （BPLSH） to select samples，so that the samples for constructing the empirical kernel no longer needed to be obtained from the candidate set，and the method reduced the training time.Experiments on multiple datasets show that ICVMEKL can effectively improve the accuracy，ICVMEKL_I can significantly reduce the training time，both of which show good generalization performance.

Key words：multiple kernel learning；empirical kernel mapping；pattern recognition；kernel method；machine learning

基金項目：四川省自然科學基金資助項目（2022NSFSC0533）

作者簡介：黃金玻（1998-），男，四川廣元人，碩士研究生，主要研究方向為機器學習、模式識別（hjb820@qq.com）；粟興旺（1996-），男，四川成都人，碩士研究生，主要研究方向為計算機視覺、圖像處理；吳琳（1999-），女，四川萬源人，碩士研究生，主要研究方向為計算機視覺、圖像處理；許茹玉（1997-），女，山西永濟人，碩士研究生，主要研究方向為計算機視覺、圖像處理；王曉明（1977-），男，四川簡陽人，副教授，碩導，博士，主要研究方向為模式識別、機器學習、圖像處理、計算機視覺．

0 引言

近年來，核方法在模式識別^［1］、圖像處理^［2］和數據挖掘^［3］等領域展現出了強大的性能。而隨著核方法的發展，隱式核和經驗核^［4］的概念被提了出來。使用內積形式表示的核映射被稱為隱式核映射（implicit kernel mapping，IKM），它以內積的形式將樣本隱式映射到特征空間。然而，IKM中內積的必要性限制了其他不滿足核化要求的方法，這很容易導致核函數中因為不正確的特征選擇而導致更差的可分性^［5］。考慮到隱式映射的這種局限性，研究人員引入了一種顯式表示的映射算法，稱為經驗核映射（empirical kernel mapping，EKM）。EKM可以顯式地將樣本映射到經驗特征空間，這意味著大多數算法都可以直接進行核化處理。

而隨著核方法的使用，研究人員發現為特定的問題選擇合適的內核是很困難的。為了選擇合適的內核，文獻［6～8］都提出了自己的方法。然而，即使選擇了合適的內核，單核的局限性也會導致其無法處理越加復雜多變的問題。在這種背景下，多核學習（multiple kernel learning，MKL）^［9］被提了出來。MKL采用多個候選核的組合來優化訓練期間的核權重。與使用單個內核相比，MKL在處理涉及多個異構數據源的問題^［5］時表現出了靈活性。LMKAD^［10］、EasyMKL^［11］和MKLearn ^［12］等算法都是常見的應用多核方法的算法。MKL的主要研究方向是如何獲得合適的核權重，為了解決這個問題，近年來出現了各種求解MKL的算法。其中半定規劃（semi-definite programming，SDP）^［13］、二次約束二次規劃（quadratically constrained quadratic program，QCQP）^［14］和半無限線性規劃（semi-infinite linear programming，SILP）^［15］等方法是常見的求解方法。

在引入多核思想后，可以利用EKM重新構造經驗特征空間，這種方法被稱為多經驗核學習（MEKL）^［16］。盡管MEKL兼具MKL和EKM的優點，但其本身構造多個經驗特征空間需要耗費大量時間。這會帶來嚴重的計算負擔，導致MEKL在大規模數據中的應用更加困難。在這種背景下，Fan等人^［17］提出了一種多隨機經驗核學習機（multiple random empirical lear-ning machine，MREKLM）。MREKLM采用基于隨機投影（random projections，RP）^［18］技術的隨機經驗核映射，將樣本映射到計算復雜度較低的多個低維經驗特征空間，使得構造經驗特征空間的時間減少。

雖然MREKLM降低了空間構造時間，但當樣本映射到經驗特征空間時，它只保留數據的結構信息，而不處理數據的分布信息，并且在處理大規模數據集時，隨機選擇樣本的時間仍然很長。為了解決上述問題，本文提出了一種基于類內方差的多經驗核學習（intra-class variance based multiple empirical kernel learning，ICVMEKL），它可以在數據映射到經驗核空間時保留數據的分布信息。此外，在后續優化ICVMEKL時，本文使用了一種新的大規模數據集實例選擇方法，稱為基于位置敏感哈希的邊界點提取方法（border point extraction based on locality-sensitive hashing，BPLSH）^［19］來選擇投影樣本。此方法將隨機投影優化為固定投影，從而減少了樣本選擇時間。優化后的ICVMEKL被稱之為ICVMEKL_I，其訓練時間更少，更適合較低配置的硬件使用。

1 相關工作

1.1 隱式核

可以發現，式（8）與（4）有一些共同之處，^Ti-1_j與SVM對偶形式中構建的核函數形式是一樣的。那么式（8）就可以通過式（4）的形式得到，這意味著經驗核其實就是來源于SVM，但是可以應用于因為內積限制而難以核化的算法中。

2 基于類內方差的多經驗核學習（ICVMEKL）

2.1 算法模型

傳統的經驗核繼承于SVM，因此同時具有SVM的部分缺陷，即在進行投影時僅考慮最大化邊界，而未考慮樣本的總體分布信息，這會使得樣本在投影時丟失部分分布信息。對于異構數據而言，其同類樣本之間的離散程度并不相同甚至差異較大，在投影時若未考慮分布信息，會損失部分精度。為了解決這個問題，本節將把分布信息引入到經驗核。受MCVSVM^［23］和MCVMKL^［24］的啟發，在引入分布信息后，定義新的經驗核映射函數如下所示。

2.2 求解分類器

從式（9）可以得到帶有樣本分類信息的新的經驗核。通過經驗核，本節將介紹ICVMEKL的分類器。

將經驗映射樣本代入到分類器，就能得到最終預測的分類結果。

3 基于位置敏感哈希算法改進的ICVMEKL（ICVMEKL_I）

式（9）中K_i=［k（x_i，x₁）…k（x_i，x_P）］^T，其本質是x_i向P個訓練樣本構建的投影空間進行投影。MREKLM采用了隨機選擇P個樣本構建特征空間的方法來減少訓練時間，但其隨機性過強。與ICVMEKL不同，ICVMEKL_I通過一個位置敏感哈希算法（BPLSH）來選擇部分樣本來構建經驗特征空間。

BPLSH選擇一個樣本x_i作為樣本實例，計算其余樣本與x_i的相似度指數^［19］。如果樣本x_i的鄰域樣本是同一類的，且鄰域樣本的相似性指數較大，則刪除這部分鄰域樣本。如果x_i的鄰域樣本屬于不同類別，相似性指數大，空間距離近，則保留鄰域樣本。如果x_i的鄰域樣本是不同類別的樣本，相似性指數大，空間距離遠，則刪除樣本x_i周圍的同類鄰域樣本，保留不同種類的鄰域樣本。相似性指數較小的樣本未進行處理。然后重復上述過程直到所有樣本都被檢索。BPLSH保留了實例邊界，并以這種方式減少了訓練數據的數量。

BPLSH本來用途是用來減少樣本數量，然后用于SVM分類器進行訓練，減少訓練時間。但在經驗核中，被用來選擇構建投影空間的樣本。在使用BPLSH算法選擇了構建經驗特征空間的樣本后，重構式（14），新經驗核如下所示。

需要注意的是，是一個P×N的矩陣，其中_i=［k（x_i，x₁）…k（x_i，x_P）］^T。核函數中的［x₁…x_P］是通過BPLSH算法進行選擇而得到的。（L^T）是一個半正定的矩陣，為了方便計算，將該矩陣進行特征分解：

其中：是一個由（L^T）的特征向量組成的P×P的矩陣；是一個由（K^LK^）特征值組成的P×P的對角矩陣，由對應特征向量的特征值組成。那么經驗核^e（x_i）可以重寫為

其中：λ₁…λ_r是（L^T）的正特征值，即經驗核映射函數^e（x_i）包含了（P-r） 個零實體，刪除這部分實體，重組映射函數為

則^e（x_i）表示為由P個樣本構成的r維經驗映射空間；^e（x_i）也是本文得到的最終的經驗核。

算法1 基于位置敏感哈希算法改進的ICVMEKL（ICVMEKL_I）

輸入：訓練樣本{（x_i，y_i）|i=1，…，N}；M個核{k_l（x_i，x_j）}^M_l=1。

輸出：增廣權重向量Γ。

選擇M個子空間，每個空間由BPLSH算法選擇P個樣本構建。

對每個子空間，通過式（25）計算生成其對應的經驗核映射^e（x_i）。

計算增廣經驗特征向量{^e₁（x_i），…，^eM（x_i）}^Ni=1。

通過式（18）構造訓練樣本的目標矩陣T。

通過式（20）計算增廣權重向量Γ。

為了進一步說明ICVMEKL_I和ICVMEKL的不同點，本節設計了圖1，從圖中看出，ICVMEKL和ICVMEKL_I的求解模型是相同的。只有在進行經驗核投影時，其選擇樣本算法是不相同的。ICVMEKL仍然是隨機映射，但ICVMEKL_I選擇樣本時的算法是BPLSH算法。因此，在求解ICVMEKL_I時同樣使用2.2節的分類模型，這里就不再贅述。

4 實驗及分析

4.1 實驗設置

本節將介紹相關算法的參數設計，本節所有的參數設計將會應用于4.1節之后的所有實驗設計，如果有進行參數修改，將會在每一節中單獨提出。除了本文設計的兩個算法，還包括其余對比算法的參數設計，主要涉及到ICVMEKL、ICVMEKL_I、MREKLM、MEKL、IBMPEKL^［20］和CGMKL^［27］。以上算法都是有核算法，核函數選擇為高斯核k （x_i，x_j）=exp（-‖x_i-x_j‖²2σ²），σ²=β·1N²∑i，j∈I‖x_i-x_j‖²，其中N為訓練樣本數量，核參數β∈{10^-2，10^-1，10⁰，10¹，10²}。核的數量選擇均為M=3，SVM的正則化參數選擇為C∈{10^-2，10^-1，10⁰，10¹，10²}。IBMPEKL的學習率設置為0.99，CGMKL的學習率設置為1，正則化參數C和λ的范圍設置為{10^-2，10^-1，10⁰，10¹，10²}。對于BPLSH，哈希函數的數量選擇為q∈{10，30，50，70，90，110}，哈希族的數量為m∈{10，20，30，50}。

ICVMEKL和MREKLM都涉及到P（P≤N）個樣本的選擇問題，其選擇比例為P/N，其中P是選擇的樣本數量，N是訓練樣本數量。根據文獻［17］的實驗，P/N比例高于0.5時，并不會顯著提高精度，但訓練時間會大幅度增加。因此，本文選擇P/N∈{0.01，0.03，0.05，0.07，0.09，0.1，0.2，0.3，0.4，0.5}。對于以上參數，采用五折交叉驗證法^［28］獲得最佳參數組合。實驗設備為i5-10300H，2.50 GHz，16 GB內存，操作系統為Windows 10，MATLAB版本為R2021a。所有實驗均在此設備上運行。

4.2 樣本選擇的比例對ICVMEKL的影響

2.1節使用了與MREKLM同樣的策略將隨機樣本引入了ICVMEKL，而文獻［17］則證實了P/N比例是會影響MREKLM的精度，基于此推測P/N比例同樣也會影響ICVMEKL的精度。為了探究隨機樣本選擇的比例對于ICVMEKL精度的影響，本節將選擇不同比例的P/N進行實驗，其中P/N候選集為P/N∈{0.01，0.03，0.05，0.07，0.09，0.1，0.2，0.3，0.4，0.5}。本節實驗的數據集為Iono、Optdigits、Twonorm、Pendigits，均取自于UCI數據集^［29］。每個數據集隨機抽取50%進行訓練，其余進行測試。然后，實驗結果如圖2所示。

從圖2中可以發現，隨著P/N比例的增大，四個數據集的分類精度均呈上升趨勢，這意味著使用更多的訓練樣本來構造經驗特征空間是可以保留更多的判別信息的，從而使得分類精度更高。但是當選擇的樣本上升到某個值之后精度就開始基 本不變，也就是說，在選擇了大于某個比例的樣本數量之后，這部分樣本能夠基本保留原有的數據分類信息。因此，在使用了這部分樣本構建特征空間之后，其精度將不再有太大的變化。

從圖2同樣可以看出，樣本選擇比例對于MREKLM和ICVMEKL來說，其影響趨勢是相同的，即精度先升高后不變，但無疑ICVMEKL的精度更高一些。這也進一步證實了一個結論，在投影到經驗特征空間的時候，引入樣本的分布信息確實能夠有效地提高精度。

因此，本節可以得出結論，只要采用一小部分的訓練樣本去構造經驗特征空間，就足夠得到一個分類性能較好的分類器。在實驗中，大概20%～30%的訓練樣本構造的經驗核，就足以在大多數數據集上獲取很可觀的分類性能，這無疑能夠大幅度降低訓練時間。

4.3 基準數據集上驗證算法的有效性

為了初步驗證本文算法ICVMEKL和ICVMEKL_I的性能，本節將在十個相對較小的數據集上進行實驗。實驗數據集取自于UCI數據集，如表1所示，主要包括Iono、heart、ILPD、CMC、Bupa、Wdbc、Wpbc、iris、wine、knowledge十個數據集。實驗對比算法為ICVMEKL、ICVMEKL_I、MREKLM、MEKL、IBMPEKL、CGMKL。本節取二十次實驗結果的平均值和標準差作為最終實驗結果，參數設置參考4.1節，實現結果如表2所示，其中加粗數據為最高精度。表3為訓練時間，加粗數據為最少訓練時間。

表2展示了本節實驗的各個算法在十個數據集上面的精度比較，與MREKLM相比，ICVMEKL和ICVMEKL_I的分類精度更高，這無疑是因為ICVMEKL和ICVMEKL_I在設計算法時進一步考慮了數據的分布信息。此外，從表2可以發現，ICVMEKL在分類性能方面更強，說明隨機映射的算法雖然耗費的時間更長，但確實是能夠提高精度的。而ICVMEKL_I的精度相較于ICVMEKL而言確實是有所降低的，但比較其他算法來說仍然提高了許多。

相較于MREKLM而言，ICVMEKL的訓練時間并未顯著增加，這意味著ICVMEKL在沒有增加訓練時間的情況下提高了分類精度。然而，由于數據集過小，其本身的訓練時間很短，無法明顯看出ICVMEKL_I訓練時間到底降低了多少。因此，為了驗證ICVMEKL_I對于訓練時間的減少效果以及ICVMEKL的泛化性能，在下一節中將進一步地在大規模數據集上進行實驗。

4.4 大規模數據上的算法精度對比

由于4.3節的數據集太小，只能初步驗證本文算法的有效性。為了進一步驗證ICVMEKL的泛化能力以及ICVMEKL_I對于訓練時間的減少量，本節將在八個相對較大的數據集中進行實驗。實驗數據集仍取自于UCI數據集，主要包括magic、Twonorm、Optdigits、Coil-2000、EEG、letter、Pendigits、polish，其詳細信息如表4所示。考慮到大規模數據集的訓練時間，總計做五次實驗取平均，參數設置參考4.1節，實現精度如圖3所示，訓練時間如表5所示。

從圖3可以看出，即使在大規模數據集上，ICVMEKL和ICVMEKL_I也具有顯著的效果，這進一步證實了兩個算法的有效性。就精度比較而言，ICVMEKL的精度要比MREKLM的精度高很多。這是由于ICVMEKL在投影時考慮了數據的分布信息，引入了類內散度矩陣，這進一步強化了分類樣本的邊界實例，所以ICVMKEL的精度會比MREKLM的精度要高。同樣是考慮了樣本的分布信息，ICVMEKL_I的精度也比MREKLM的精度要高許多，但ICVMEKL_I的精度又比ICVMEKL的精度低一些。也就是說在使用了一種樣本選擇算法后，ICVMEKL_I的精度略有下降，但仍然比其他算法的精度要高。

從表5來看，ICVMEKL的訓練時間與MREKLM相差不大，而ICVMEKL_I的訓練時間又比MREKLM少很多。這無疑說明改進后的ICVMEKL_I是有效果的，確實能夠有效地降低訓練時間，同時還能保留良好的精度。由于本節的訓練時間取的是得到最好精度的五次實驗的平均時間，并未計算其余參數實驗的時間，這樣計算會出現一定的誤差。為了減少實驗誤差，在下一節中，將繼續實驗進行ICVMEKL和ICVMEKL_I兩個算法的程序運行總時間比較，也就是所有參數選擇得到的所有精度的總時間。

4.5 算法程序運行總時間和效率比較

本節實驗將研究ICVMEKL_I相對于ICVMEKL和MREKLM來說總時間的減少量，以此來驗證ICVMEKL_I是否能在更低的硬件條件下保持訓練精度。為了更加具體地量化幾個算法的相對時間，這里計算程序運行的總時間，即所有參數選擇耗費的總時間，也就是總的訓練時間。

本次實驗將在六個數據集上面進行比較，主要包括Iono、heart、Bupa、Wpbc、iris、Twonorm。其中，參數設置參考3.1節。表6是ICVMEKL、ICVMEKL_I和MREKLM在這六個數據集上的運行時間和精度的比較。由于本文算法是在MREKLM的基礎上改進的，所以這里只與MREKLM比較。其中精度填寫的是其他算法與ICVMEKL_I的差值，訓練時間填寫的是其他算法的運行時間與ICVMEKL_I的倍數比較。從表6的精度比較能夠發現，ICVMEKL_I相較于ICVMEKL和MREKLM來講，其運行時間減少了七到三十五倍，而樣本的數據量越大，減少的時間占比也會更多一些。

表6的運行時間比較表明ICVMEL_I在縮短了程序運行時間的情況下，仍然能夠保留良好的訓練精度。這意味著改進后的ICVMEKL_I確實能夠有效地減少訓練時間，尤其是針對一些需要大規模計算但硬件條件很差的情況， ICVMEKL_I無疑是比ICVMEKL和MREKLM更適合用來訓練的。

從表6來看，對于較小的數據集，ICVMEKL無疑還是更合適的。由于數據集本身較小，其耗費的時間本身就短，在追求精度的情況下，ICVMEKL是更適合的。而如果需要盡可能地減少算法耗費時間并且盡量保留精度的話，ICVMEKL_I才是最適合的。

4.6 驗證類內方差和位置敏感哈希兩個模塊的作用

ICVMEKL使用了類內方差，而ICVMEKL_I使用了類內方差和位置敏感哈希兩個模塊，為了說明這兩個模塊的作用，本節將在五個數據集上進行驗證，包括Iono、iris、CMC、Twonorm、EEG五個數據集。使用算法為原本的經驗核（EKM），使用了類內方差的經驗核（EKM+Sw），使用了位置敏感哈希的經驗核（EKM+BPLSH），同時使用類內方差和位置敏感哈希的經驗核（EKM+Sw+BPLSH）。統計數據為每個算法在各個數據集上的訓練時間比較和分類精度比較。取50%數據來訓練，剩下50%的數據來測試，結果取平均值，表7加粗數據為最高精度，表8加粗數據為最少訓練時間。

從表7可以看出，EKM+Sw的組合精度最高，這意味著，在單獨引入類內方差后，經驗核的精度得到了有效的提升，可以證實Sw的作用就是提高精度。而在單獨引入BPLSH后，EKM的精度略有下降，這里排除了BPLSH對于分類精度的影響，證實了EKM+Sw+BPLSH組合中，只有Sw是用來提高精度的。

從表8來看，如果只是對于EKM使用BPLSH，其訓練時間是最低的，BPLSH起到的作用就是降低訓練時間。而只是引入Sw的經驗核，其訓練時間略有上升，Sw并不會降低訓練時間。綜合來看，同時使用Sw和BPLSH，經驗核分類精度和訓練時間都會有較好的效果。

4.7 蛋白質亞細胞定位數據集的實驗

為了進一步驗證本文算法的實用性和推廣價值，本節選擇了在三個蛋白質亞細胞定位數據集上評估算法性能。三個數據集plant、PsortPos和PsortNeg，它們分別由4、4和5類，940、541和1 444個數據點組成。取其中的50%數據進行訓練，再取剩下的50%數據進行測試，其余參數設計參考4.1節。

從圖4可以看出，在實際應用中，ICVMEKL和ICVMEKL_I的表現效果都很不錯。其中ICVMEKL的分類精度最高，ICVMEKL_I的精度第二高，與之前幾節的測試實驗結果吻合。也就是說，ICVMEKL和ICVMEKL_I是能夠進行應用推廣的，而非僅僅是理論上的算法。兩個算法的泛化性能都很不錯，ICVMEKL的精度更高。

5 結束語

本文的ICVMEKL在原有的經驗核基礎上引入了樣本分類信息，使得樣本在空間投影時能夠考慮樣本類內距離，從而保持了良好的分類效果。而ICVMEK_I是在ICVMEKL的基礎上將隨機映射改為基于BPLSH算法的直接映射，大幅度降低了訓練時間，這無疑能讓經驗核在較低的硬件條件下也能加快訓練，能夠取得較好的分類效果。根據實驗可以得出結論：硬件條件好，可以使用ICVMEKL花費更多的訓練時間得到更高的精度，而硬件條件差，則可以使用ICVMEKL_I花費更少的訓練時間得到很不錯的精度。但是本文算法仍然有些不足，ICVMEKL_I的精度即使比其他算法的精度高，但相比ICVMEKL來講仍然是下降了一些，可以考慮重新設計一個更好的選擇樣本的算法，以此達到既能夠減少訓練時間，又能不降低精度的目的。

參考文獻：

［1］Althloothi S，Mahoor M H，Zhang Xiao，et al.Human activity recognition using multi-features and multiple kernel learning［J］.Pattern Recognition，2014，47（5）：1800-1812.

［2］Zhu Hongfei，Yang Lianhe，Fei Jianwu，et al.Recognition of carrot appearance quality based on deep feature and support vector machine［J］.Computers and Electronics in Agriculture，2021，186（11）：106185.

［3］Maldonado S，López J.Imbalanced data classification using second-order cone programming support vector machines［J］.Pattern Recognition，2014，47（5）：2070-2079.

［4］Wang Zhe，Hong Sisi，Yao Lijuan，et al.Multiple universum empirical kernel learning［J］.Engineering Applications of Artificial Intelligence，2020，89：103461.

［5］Nazarpour A，Adibi P.Two-stage multiple kernel learning for supervised dimensionality reduction［J］.Pattern Recognition，2015，48（5）：1854-1862.

［6］Wang Tingting，Su Huayou，Li Junbao.DWS-MKL：depth-width-sca-ling multiple kernel learning for data classification［J］.Neurocompu-ting，2020，411（18）：455-467.

［7］Liu Chang，Tang Lixin，Liu Jiyin.Least squares support vector machine with self-organizing multiple kernel learning and sparsity［J］.Neurocomputing，2019，331：493-504.

［8］Jiang He，Tao Changqi，Dong Yao，et al.Robust low-rank multiple kernel learning with compound regularization［J］.European Journal of Operational Research，2021，295（2）：634-647.

［9］Cui Binge，Zhong Liwei，Yin Bei，et al.Hyperspectral image classification based on multiple kernel mutual learning［J］.Infrared Physics amp; Technology，2019，99：113-122.

［10］Gautam C，Balaji R，Sudharsan K，et al.Localized multiple kernel learning for anomaly detection：one-class classification［J］.Know-ledge-Based Systems，2019，165：241-252.

［11］Aiolli F，Donini M.EasyMKL：a scalable multiple kernel learning algorithm［J］.Neurocomputing，2015，169（2）：215-224.

［12］Strazˇar M，Curk T.Approximate multiple kernel learning with least-angle regression［J］.Neurocomputing，2019，340：245-258.

［13］Jian Ling，Xia Zhonghai，Liang Xijun，et al.Design of a multiple kernel learning algorithm for LS-SVM by convex programming［J］.Neural Networks，2011，24（5）：476-483.

［14］Lanckriet G，Cristianini N，Bartlett P，et al.Learning the kernel matrix with semidefinite programming［J］.Journal of Machine Learning Research，2004，5（1）：27-72.

［15］Sonnenburg S，R?tsch G，Sch?fer C.A general and efficient algorithm for multiple kernel learning［J］.Advances in Neural Information Processing Systems，2005，17：1-8.

［16］Wang Zhe，Wang Bolu，Zhou Yangming，et al.Weight-based multiple empirical kernel learning with neighbor discriminant constraint for heart failure mortality prediction［J］.Journal of Biomedical Informatics，2020，101：103340.

［17］Fan Qi，Wang Zhe，Zha Hongyuan，et al.MREKLM：a fast multiple empirical kernel learning machine［J］.Pattern Recognition，2016，61：197-209.

［18］Arriaga R I，Vempala S.An algorithmic theory of learning：robust concepts and random projection［C］//Proc of the 40th Annual Symposium on Foundations of Computer Science.Piscataway，NJ：IEEE Press，1999：616-623.

［19］Aslani M，Seipel S.Efficient and decision boundary aware instance selection for support vector machines［J］.Information Sciences，2021，577：579-598.

［20］Zhu Zonghai，Wang Zhe，Li Dongdong，et al.Multiple partial empirical kernel learning with instance weighting and boundary fitting［J］.Neural Networks，2020，123：26-37.

［21］Vapnik V N.The nature of statistical learning theory［M］.New York：Springer，1995.

［22］Sch?lkopf B.Smola A J.Learning with kernels［M］ .Cambridge，MA：MIT Press，2002.

［23］Zafeiriou S，Tefas A，Pitas I.Minimum class variance support vector machines［J］.IEEE Trans on Image Processing，2007，16（10）：2551-2564.

［24］Wang Xiaoming，Wang Shitong，Du Yajun，et al.Minimum class variance multiple kernel learning［J］.Knowledge-Based Systems，2020，208（5）：106469.

［25］謝超宇，秦玉，張開放，等.基于最小類內方差的偽三維殘差網絡［J］.計算機應用研究，2021，38（12）：3801-3807.（Xie Chaoyu，Qin Yu，Zhang Kaifang，et al.Pseudo-3D residual network based on minimum intra-class variance［J］.Application Research of Computers，2021，38（12）：3801-3807.）

［26］Lagoudakis M G，Parr R.Least-squares policy iteration［J］.Journal of Machine Learning Research，2003，4（6）：1107-1149.

［27］Wang Zhe，Zhu Zonghai，Li Dongdong.Collaborative and geometric multi-kernel learning for multi-class classification［J］.Pattern Recognition，2020，99：107050.

［28］Oneto L.Model selection and error estimation in a nutshell［M］.Cham：Springer，2020.

［29］Dheeru D，Casey G.UCI machine learning repository［EB/OL］.（2019）［2022-03-20］.https：//archive.ics.uci.edu/ml.