魯棒的模糊最小二乘雙參數(shù)間隔支持向量機(jī)算法

摘 要：針對最小二乘雙參數(shù)間隔支持向量機(jī)（LSTPMSVM）對噪聲敏感且在分類過程中易受異常值影響的問題，提出了一種魯棒的模糊最小二乘雙參數(shù)間隔支持向量機(jī)算法（RFLSTPMSVM）.該算法利用松弛變量的2范數(shù)使得優(yōu)化問題具有強(qiáng)凸性，再根據(jù)隸屬度為每個樣本分配相應(yīng)的權(quán)重，有效降低異常值帶來的影響.同時，在目標(biāo)函數(shù)中引入K-近鄰加權(quán)，考慮樣本之間的局部信息，提高模型的分類準(zhǔn)確率.此外，通過求解簡單的線性方程組來優(yōu)化該算法，而不是求解二次規(guī)劃問題，使模型具有較快的計算速度.在UCI（university of California irvine）數(shù)據(jù)集上對該算法進(jìn)行性能評估，并與TWSVM、LSTSVM、LSTPMSVM和ULSTPMSVM 4種算法進(jìn)行比較.數(shù)值實驗結(jié)果表明，該算法具有更好的泛化性能.

關(guān)鍵詞：雙參數(shù)間隔支持向量機(jī)；孿生支持向量機(jī)；模糊隸屬度；K-近鄰

中圖分類號：TP181"" 文獻(xiàn)標(biāo)志碼：A"" 文章編號：10001565（2024）06065313

Robust fuzzy least squares twin parametric-margin support vector machine algorithm

YANG Guiyan1， HUANG Chengquan2， LUO Senyan1， CAI Jianghai1， WANG Shunxia1， ZHOU Lihua1

（1.School of Data Science and Information Engineering， Guizhou Minzu University，Guiyang 550025，China; 2. Engineering Training Center， Guizhou Minzu University， Guiyang 550025， China）

Abstract： As least squares twin parameter-margin support vector machines （LSTPMSVM） are sensitive to noise and susceptible to outliers in the process of classification， a robust fuzzy least squares twin parameter-margin support vector machine （RFLSTPMSVM） algorithm is proposed. The algorithm uses 2-norm of the slack variables to make the optimization problem strongly convex， and then assigns appropriate weights to each data sample based on the fuzzy affiliation values， which reduces the influence of outliers effectively. At the same time， the algorithm introduces K-nearest neighbour weighting into the objective function， considering the local information of samples and improving the accuracy of the model. In addition， the algorithm is optimised by solving a simple system of linear equations， rather than solving quadratic programming problems， giving the model a faster computational speed. The proposed algorithm is assessed and compared with TWSVM， LSTSVM， LSTPMSVM and ULSTPMSVM on some UCI datasets.

The numerical experiments results show that the proposed algorithm has better generalization performance.

Key words： twin parametric-margin support vector machine; twin support vector machine; fuzzy membership; K-nearest neighbor（K-NN）

收稿日期：20240606;修回日期：20240710

基金項目：

國家自然科學(xué)基金資助項目（62062024）；貴州省省級科技計劃項目（黔科合基礎(chǔ)-ZK［2021］一般342）；貴州省教育廳自然科學(xué)研究項目（黔教技［2022］015）；貴州省模式識別與智能系統(tǒng)重點實驗室2022年度開放課題（GZMUKL［2022］KF03）

第一作者：楊貴燕（1997—），女，貴州民族大學(xué)在讀碩士研究生，主要從事機(jī)器學(xué)習(xí)、模式識別等研究. E-mail：2393350042@qq.com

通信作者：黃成泉（1976—），男，貴州民族大學(xué)教授，博士，主要從事機(jī)器學(xué)習(xí)、模式識別、圖像處理等研究. E-mail：hcq@gzmu.edu.cn.

支持向量機(jī)（support vector machine， SVM）^［1］由于其高泛化能力和結(jié)構(gòu)風(fēng)險最小化特性而廣受歡迎，被應(yīng)用于多個領(lǐng)域，如人臉識別^［2］、異常檢測^［3］、醫(yī)療診斷^［4］等，但其求解二次規(guī)劃（quadratic programming problem， QPP）的計算成本高，在處理復(fù)雜數(shù)據(jù)時仍有許多限制.為克服SVM存在的不足，研究者們提出了許多基于經(jīng)典SVM的其他算法.拉格朗日支持向量機(jī)^［5］（Lagrangian support vector machines， LSVM）、ν-支持向量機(jī)^［6］（v-support vector machines，ν-SVM）和模糊支持向量機(jī)^［7］（fuzzy support vector machines， FSVM）是經(jīng)典SVM的一些變體.

雖然支持向量機(jī)具有很高的泛化能力，但在求解過程中所耗費的計算成本較高，為解決這一問題一種稱為孿生支持向量機(jī)^［8］（twin support vector machines， TWSVM）的有效方法被提出，以降低訓(xùn)練成本并提高泛化性能，目標(biāo)是找到2個非平行的超平面，使每個超平面盡量靠近其所屬類別，同時盡可能遠(yuǎn)離其他類別.在運行速度上，TWSVM算法比SVM算法大約快4倍.針對大規(guī)模數(shù)據(jù)集時，該算法效果并不佳，因此，研究人員對TWSVM進(jìn)行了一些改進(jìn)，以便在更短的計算時間內(nèi)實現(xiàn)更高的分類準(zhǔn)確性.最小二乘孿生支持向量機(jī)^［9］（least squares twin support vector machines， LSTSVM）在計算時間上得到大大提升，利用了等式約束的方式替代不等式約束來得到目標(biāo)函數(shù)，與TWSVM相比速度更快.此外，雙參數(shù)間隔支持向量機(jī)^［10］（twin parametric-margin support vector machine， TPMSVM）針對數(shù)據(jù)中有異方差噪聲的結(jié)構(gòu)的情況做了進(jìn)一步優(yōu)化，該算法找到了靈活的參數(shù)間隔超平面，但其仍存在計算復(fù)雜度高且易受異常值影響的問題.為了降低TPMSVM的計算復(fù)雜度，最小二乘雙參數(shù)間隔支持向量機(jī)^［11］（least squares twin parametric-margin support vector machine， LSTPMSVM）試圖解決TPMSVM的2個二次規(guī)劃問題，用等式約束的方式求解一對線性方程組，大大減少了計算成本.由于TPMSVM采用了鉸鏈損失函數(shù)，使得其對特征噪聲敏感并且對于重采樣不穩(wěn)定，一種具有截斷彈球損失的雙參數(shù)間隔支持向量機(jī)算法^［12］（twin-parametric margin support vector machine with truncated pinball loss， TPin-TSVM）的提出解決了該問題，它可以同時保持稀疏性和特征噪聲不敏感性，并且大多數(shù)正確分類的樣本被給予相等的懲罰，使模型具有稀疏性.一種基于角度的雙參數(shù)間隔支持向量機(jī)^［13］（angle-based twin parametric-margin support vector machine， ATP-SVM）的提出，確定了2個非平行的參數(shù)間隔超平面，以使它們的法線之間的角度最大化，可以有效地處理異方差噪聲數(shù)據(jù).基于模糊的拉格朗日雙參數(shù)間隔支持向量機(jī)^［14］（fuzzy based Lagrangian twin parametric-margin support vector machine， FLTPMSVM）的提出有效減少了異常值在分類過程中的影響，通過模糊隸屬度的值為每一個數(shù)據(jù)樣本分配對應(yīng)的權(quán)重，以此減小異常值的影響.然而，LSTPMSVM仍對噪聲敏感，因此Richhariya等^［15］提出了一種新的基于universum的最小二乘雙參數(shù)間隔支持向量機(jī)（universum least squares twin parametric-margin support vector machine， ULSTPMSVM），利用universum數(shù)據(jù)，引入了數(shù)據(jù)分布的先驗知識，提高了模型的泛化性能.

盡管ULSTPMSVM是一種新穎的二分類算法，但由于其計算復(fù)雜度增加，對于大規(guī)模數(shù)據(jù)集存在局限性.除此之外，在分類過程中對異常值敏感且忽略了樣本的局部信息，使得每個樣本在構(gòu)造分離超平面時共享相同的權(quán)重，事實上，它們對分離超平面有不同的影響.受ULSTPMSVM和K-近鄰^［16］的啟發(fā)，為了進(jìn)一步提高LSTPMSVM算法的性能，本文提出了一種魯棒的模糊最小二乘雙參數(shù)間隔支持向量機(jī)算法（Robust fuzzy least squares twin parametric-margin support vector machine， RFLSTPMSVM）.在該算法中，數(shù)據(jù)樣本根據(jù)其屬于各自類別的程度獲得模糊隸屬度值.此外，與松弛變量相乘的隸屬度值使得決策表面對數(shù)據(jù)集中存在的異常值和噪聲不敏感.同時，通過為所有樣本查找K個最近鄰來考慮樣本之間的局部信息，構(gòu)建了一種新的非平行平面分類器.為了驗證所提出的方法的有效性，在17個數(shù)據(jù)集上進(jìn)行了實驗，給出了RFLSTPMSVM與TWSVM、LSTSVM、LSTPMSVM和ULSTPMSVM的性能比較分析.

1 相關(guān)工作

1.1 最小二乘雙參數(shù)間隔支持向量機(jī)

假設(shè)在給定的Rn空間上的訓(xùn)練數(shù)據(jù)集為T={（x1，y1），（x2，y2），…，（xn，yn）}，其中xi∈Rn是所輸入的樣本，yi∈{+1，-1}，i=1，2，…，m為樣本的標(biāo)簽.集合T中包含m個訓(xùn)練樣本，每個樣本有n個特征，其中屬于正類的樣本點有m1個，屬于負(fù)類的樣本點有m2個，A和B分別代表維數(shù)為m1×n和m2×n的正負(fù)類樣本矩陣.

最小二乘雙參數(shù)間隔支持向量機(jī)試圖解決TPMSVM的2個對偶問題，用等式約束代替不等式約束，簡化為求解2個線性方程組，與算法TPMSVM相比，LSTPMSVM算法提高了求解效率.LSTPMSVM的優(yōu)化問題為

minw1，b1，ξ12（‖w1‖2+b21）+v1eT2（Bw1+e2b1）+c12ξTξ，

s.t. Aw1+e1b1+ξ=e1，

（1）

minw2，b2，η12（‖w2‖2+b22）-v2eT2（Aw2+e1b2）+c22ηTη，

s.t. Bw2+e2b2+η=-e2，

（2）

其中：ci、vi為正參數(shù)，i=1、2;ξ、η為表示松弛變量;e1、e2表示適當(dāng)維度的單位列向量.

對式（1）和式（2）中的w1、b1、w2、b2求偏導(dǎo)，并整理求解得到

w1b1=（c1HTH+I）^-1（c1HTe1-v1GTe2），

（3）

w2b2=（c2GTG+I）^-1（c2GTe2+v2HTe1），（4）

其中：G=［B，e2］;H=［A，e1］.

1.2 基于universum的最小二乘雙參數(shù)間隔支持向量機(jī)

Richhariya等^［15］利用universum數(shù)據(jù)提出了一種新的分類算法，稱為基于universum的最小二乘雙參數(shù)間隔支持向量機(jī)算法.該算法在LSTPMSVM優(yōu)化問題中引入數(shù)據(jù)分布的先驗信息以提高模型的分類準(zhǔn)確率.ULSTPMSVM的優(yōu)化問題為

minw1，b1，η1，ξ112（‖w1‖2+b21）+v1eT2（Bw1+e2b1）+c12ηT1η1+cu2ξT1ξ1，

s.t. Aw1+e1b1=η1，

Uw1+eub1+（1-ε）eu=ξ1，

（5）

minw2，b2，η2，ξ212（‖w2‖2+b22）-v2eT1（Aw2+e1b2）+c22ηT2η2+cu2ξT2ξ2，

s.t. Bw2+e2b2=η2，

Uw2+eub2-（1-ε）eu=ξ2，（6）

其中：ci、vi、cu為正參數(shù)，i=1、2;ηi、ξi為表示松弛變量，i=1、2.

對式（5）和式（6）中的w1、b1、w2、b2求偏導(dǎo)，并整理求解得

w1b1=-（c1HTH+cuOTO+I）^-1（v1GTe2+（1-ε）cuOTeu，

（7）

w2b2=（c2GTG+cuOTO+I）^-1（v2HTe1+（1-ε）cuOTeu），（8）

其中：H=［A，e1］;G=［B，e2］;O=［U，eu］.

2 魯棒的模糊最小二乘雙參數(shù)間隔支持向量機(jī)

將模糊隸屬度、K-近鄰加權(quán)引入到最小二乘雙參數(shù)間隔支持向量機(jī)（LSTPMSVM）中，并推導(dǎo)了在線性情況和非線性情況下的公式.

2.1 模糊隸屬函數(shù)

在某些實際情況中，一些事物可能存在一種非黑即白的概念，特別是在復(fù)雜情況下，很難明確地進(jìn)行歸屬判斷，而通過隸屬度值在不確定情況下做出更好的決策判斷.隸屬度函數(shù)可以用于評估輸入樣本對其所屬類別的歸屬程度.隸屬度值越高，意味著樣本點對該類別的歸屬程度越高.本文受文獻(xiàn)［17］的啟發(fā)，將模糊函數(shù)引入到LSTPMSVM中，以下模糊函數(shù)將模糊隸屬度的范圍保持在（0.5，1）內(nèi).隸屬函數(shù)描述為

f（xi）=1-0.5|xi-cj|rj+δ，

（9）

其中：xi為屬于具有中心cj的j類的數(shù)據(jù)點；|xi-cj|表示數(shù)據(jù)點到類中心的距離，i=1、2、…、m，j=1、2；rj是距j類的數(shù)據(jù)點的類中心的最大距離，δ是一個非常小的正值，以避免被零除.

根據(jù)模糊隸屬度值為不同的數(shù)據(jù)樣本賦予權(quán)重，并且訓(xùn)練偏向于感興趣的樣本，其中隸屬度值根據(jù)數(shù)據(jù)點與該類中心的距離分配.將上述模糊函數(shù)中模糊隸屬度的范圍選擇為（0.5，1），是為了在分類器的形成中保持大多數(shù)數(shù)據(jù)點的顯著貢獻(xiàn).此外，離群值的貢獻(xiàn)也相應(yīng)減少.

2.2 K-近鄰法

在LSTPMSVM分類算法中未考慮訓(xùn)練樣本重要性的變化，導(dǎo)致局部信息被忽略，意味著所有訓(xùn)練樣本在約束函數(shù)上扮演相同的角色.因此，本文利用K-近鄰^［16］來計算每個訓(xùn)練樣本附近的緊密相鄰樣本的數(shù)量.

給定m個數(shù)據(jù)點x1、x2、…、xm（其中xi∈Rn來自底層子曲面M），構(gòu)建一個近鄰圖D來模擬M的局部幾何結(jié)構(gòu).對于每個數(shù)據(jù)點xi，找到其K個最近鄰，并在與其近鄰之間添加一條邊.讓N（xi）={x1i，x2i，…，xki}成為其K個近鄰的集合.因此，D的權(quán)重矩陣可以定義如下：

wij=1， 如果xi是xj的K個最近鄰或者xj是xi的K個最近鄰，

0， 其他.

對于每個樣本，都會引入一個新變量di=∑mj=1wij（i=1，2，…，m）來表示一個樣本點的重要性.di值越大，表示第i個樣本擁有的鄰居越多，這意味著第i個樣本越重要.

2.3 線性情況

在線性可分的情況下，所提RFLSTPMSVM算法所構(gòu)造的2個不平行的超平面分別為f1（x）=wT1x+b1=0和f2（x）=wT2x+b2=0.線性RFLSTPMSVM的優(yōu)化問題為

minw1，b1，η1，ξ212（‖w1‖2+b21）+c12ηT1D1η1+v1eT2（Bw1+e2b1）+c22（S2ξ2）TS2ξ2，

s.t. Aw1+e1b1=η1，

-（Bw1+e2b1）+ξ2=e2，

（10）

minw2，b2，η2，ξ112（‖w2‖2+b22）+c22ηT2D2η2-v2eT1（Aw2+e1b2）+c12（S1ξ1）T（S1ξ1），

s.t. Bw2+e2b2=η2，

（Aw2+e1b2）+ξ1=e1，

（11）

其中：ci、vi為正參數(shù)，i=1、2;ηi、ξi表示松弛變量，i=1、2;Si是模糊隸屬度值，i=1、2;Di為一個權(quán)重矩陣，i=1、2.

分別將式（10）和式（11）中的等式約束條件代入到各自的目標(biāo)函數(shù)中得到

minw1，b112（‖w1‖2+b21）+c12‖D1（Aw1+e1b1）‖2+v1eT2（Bw1+e2b1）+

c22‖S2e2+S2Bw1+S2e2b1‖，

（12）

minw2，b212（‖w2‖2+b22）+c22‖D2（Bw2+e2b2）‖2-v2eT1（Aw2+e1b2）+

c22‖S1e1-S1Aw2-S1e1b2‖.（13）

對式（12）中的w1和b1求偏導(dǎo)，并令其為0，得到

w1+c1ATD1（Aw1+e1b1）+v1BTe2+c2BTST2S2（e2+Bw1+e2b1）=0，

（14）

b1+c1eT1D1（Aw1+e1b1）+v1eT2e2+c2eT2ST2S2（e2+Bw1+e2b1）=0.

（15）

結(jié)合式（14）和式（15）求解，以如下矩陣形式排列：

w1b1+c1ATeT1D1［A，e1］w1b1+v1BTeT2e2+c2BTeT2ST2S2e2+［B，e2］w1b1=0.（16）

對式（16）整理得最優(yōu)分類超平面為

w1b1=-（I+c1HTD1H+c2（S2G）TS2G））^-1（v1GTe2+c2（S2G）TS2e2），（17）

其中：H=［A，e1］;G=［B，e2］.

同理，對式（13）進(jìn)行求解得最優(yōu)分類超平面為

w2b2=（I+c2GTD2G+c1（S1H）TS1H）^-1（v2HTe1+c1（S1H）TS1e1）.

（18）

在優(yōu)化式（10）和式（11）之后，算法RFLSTPMSVM在線性情況下的決策函數(shù)為

f（x）=argminw1x+b1‖w1‖，w2x+b2‖w2‖.

（19）

2.4 非線性情況

對于線性情況下不可分的情況，無法在原始空間上得到最優(yōu)的分類超平面，此時使用核函數(shù)K（Xi，Xj）=（φ（Xi），φ（Xj）），將輸入樣本映射到更高維的特征空間中，使非線性問題轉(zhuǎn)換為線性問題進(jìn)行求解.2個非平行的核生成的平面分別為K（X，CT）w1+b1=0和K（X，CT）w2+b2=0，其中CT=［AT，BT］，K是適當(dāng)選擇的核.由此，非線性的RFLSTPMSVM優(yōu)化問題如下：

minw1，b1，η1，ξ212（‖w1‖2+b21）+c12ηT1D1η1+v1eT2（K（X2，CT）w1+e2b1）+c22（S2ξ2）T（S2ξ2），

s.t. K（X1，CT）w1+e1b1=η1，

-（K（X2，CT）w1+e2b1）+ξ2=e2，

（20）

minw2，b2，η2，ξ112（‖w2‖2+b22）+c22ηT2D2η2-v2eT1（K（X1，CT）w2+e1b2）+c22（S1ξ1）T（S1ξ1），

s.t. K（X2，CT）w2+e2b2=η2，

（K（X1，CT）w2+e1b2）+ξ1=e1，

（21）

與線性情況下的求解類似，對式（20）中的w1和b1求偏導(dǎo)，并令其為零，即

w1+c1K（X1，CT）TD1（K（X1，CT）w1+e1b1）+v1K（X2，CT）Te2+

c2K（X2，CT）TST2S2（e2+K（X2，CT）w1+e2b1）=0

（22）

b1+c1eT1D1（K（X1，CT）w1+e1b1）+v1eT2e2+

c2eT2ST2S2（e2+K（X2，CT）w1+e2b1）=0（23）

結(jié)合式（22）和式（23）求解得到

［w1，b1］T=-（I+c1RTD1R+c2（S2F）TS2F）^-1（v1FTe2+c2（S2F）TS2e2），（24）

其中：R=［K（x1，CT），e1］；F=［K（X2，CT），e2］.

以同樣的方法，對式（21）進(jìn)行求解得到

［w2，b2］T=（I+c2FTD2F+c1（S1R）TS1R）^-1（v2RTe2+c1（S1R）TS1e1）.

（25）

在優(yōu)化式（20）和式（21）之后，RFLSTPMSVM算法在非線性情況下的決策函數(shù)為

f（x）=argminK（X1，CT）w1+b1wT1K（C，CT）w1，K（X2，CT）w2+b2wT2K（C，CT）w2.

（26）

非線性情況下，RFLSTPMSVM算法的步驟如算法1所示.

算法1：非線性RFLSTPMSVM算法

輸入：訓(xùn)練樣本集T={（x1，y1），（x2，y2），…，（xn，yn）}，隸屬度函數(shù)中的參數(shù)δ和預(yù)測樣本點x.

輸出：測試數(shù)據(jù)樣本的類別

1）選擇核函數(shù)K，利用網(wǎng)格搜索法，選取懲罰參數(shù)ci，vi（i=1，2），高斯核參數(shù)μ；

2）根據(jù)式（9）計算隸屬度，以及使用K-近鄰加權(quán)的權(quán)重矩陣；

3）根據(jù)式（20）、（21）分別求解（w1，b1）和（w2，b2）的最優(yōu)解；

4）根據(jù)K（X，CT）w1+b1=0和K（X，CT）w2+b2=0構(gòu)造非平行超平面；

5）使用式（26）判別樣本x的所屬類別.

2.5 時間復(fù)雜度分析

假設(shè)樣本的總數(shù)為m，SVM的時間復(fù)雜度為O（m3），而TWSVM求解的是2個較小規(guī)模的QPP，因此計算成本約為SVM的1/4，即TWSVM的時間復(fù)雜度約為O（m3）/4.與TWSVM接近，TPMSVM算法的時間復(fù)雜度約為O（m3）/4.相較于求解二次規(guī)劃問題，LSTPMSVM利用等式約束來代替不等式約束，通過求解一對線性方程組，大大減少了計算成本，所以計算成本低于TWSVM，即LSTPMSVM的時間復(fù)雜度小于O（m3）/4.由于ULSTPMSVM算法考慮了復(fù)雜的universum數(shù)據(jù)，導(dǎo)致計算成本增加，時間復(fù)雜度高于LSTPMSVM.與求解QPP的TWSVM相比，所提RFLSTPMSVM算法是求解線性方程組，從而降低了計算成本，時間復(fù)雜度更低.同時，由于增加了額外的模糊隸屬和K-近鄰的計算，使得所提RFLSTPMSVM的時間復(fù)雜度略高于LSTPMSVM.

3 實驗結(jié)果與分析

為了評估針對二分類任務(wù)提出的RFLSTPMSVM算法的性能，將所提算法與TWSVM、LSTSVM、LSTPMSVM和ULSTPMSVM進(jìn)行性能比較分析.

3.1 數(shù)據(jù)集

本文在來自UCI機(jī)器學(xué)習(xí)知識庫^［18］的17個真實世界數(shù)據(jù)集上進(jìn)行實驗，數(shù)據(jù)集的相關(guān)信息如表1所示.

3.2 實驗裝置

所有實驗均是在使用Windows 10操作系統(tǒng)64位、3.40 GHz英特爾酷睿i7-3700處理器、8 GB內(nèi)存和MATLAB R2020a環(huán)境的PC上進(jìn)行的.為了使結(jié)果更具說服力，本文所提算法和所有對比算法進(jìn)行了5重交叉驗證，利用網(wǎng)格搜索法^［19］以獲得最佳超參數(shù).對于UCI數(shù)據(jù)集上的實驗，50%的數(shù)據(jù)用于訓(xùn)練.在本實驗中，使用高斯核實現(xiàn)了非線性情況下的所有方法，該高斯核由下式給出：

K（xi，xj）=exp-‖xi-xj‖22σ2.

（27）

算法RFLSTPMSVM對比算法TWSVM、LSTSVM、LSTPMSVM和ULSTPMSVM中所涉及的懲罰權(quán)重的正則化參數(shù)c1、c2、v1、v2參數(shù)選擇范圍為{10^-5，10^-4，…，10⁴，10⁵}，高斯核參數(shù)μ的選擇范圍為{2^-5，2^-4，…，2⁴，2⁵}.

3.3 實驗結(jié)果

下面通過實驗來驗證RFLSTPMSVM算法的有效性.用訓(xùn)練時間和準(zhǔn)確率（ACC）作為所有算法的分類性能的評估標(biāo)準(zhǔn)，準(zhǔn)確率的計算公式如下：

ACC=TP+TNTP+FP+TN+FN，

（28）

其中TP、TN、FN、FP分別表示正確分類的正類樣本數(shù)、正確分類的負(fù)類樣本數(shù)、錯誤分類的負(fù)類樣本數(shù)以及錯誤分類的正類樣本數(shù).

為了驗證所提算法的性能，在17個數(shù)據(jù)集上做了線性情況和非線性情況下的實驗比較.圖1給出了線性情況下5種算法的分類準(zhǔn)確率情況.由圖1可以看出，所提RFLSTPMSVM算法在Ecoli-0-2-6-7_vs_3-5、Ecoli-0-3-4-6_vs_5、yeast3、segment0等12個數(shù)據(jù)集上有最高的分類準(zhǔn)確率，在其他數(shù)據(jù)集上也有和對比算法相當(dāng)或更好的表現(xiàn).

表2列出了非線性情況下5種算法的分類準(zhǔn)確率和訓(xùn)練時間.從訓(xùn)練時間看，TWSVM算法的時間是最長的，這是因為與其他4種基于最小二乘的算法中的線性方程組相比，TWSVM的求解涉及一對二次規(guī)劃問題，更耗時.而本文提出的RFLSTPMSVM算法需要花費的訓(xùn)練時間與LSTSVM、LSTPMSVM和ULSTPMSVM算法相當(dāng)或更長，這是由于本文的模型中使用K-近鄰法加權(quán)利用樣本的類內(nèi)局部信息和模糊隸屬度值增加了額外的計算.就分類準(zhǔn)確率而言，由表2可以看出，在非線性情況下，所提算法RFLSTPMSVM在17個數(shù)據(jù)集上有13個的準(zhǔn)確率是最佳的，并且在沒有獲得準(zhǔn)確率最優(yōu)的數(shù)據(jù)集上表現(xiàn)也與其他算法相當(dāng)或者更好，尤其是在數(shù)據(jù)集Ecoli-0-1_vs_5、Ecoli-0-6-7_vs_3-5和Glass4中，與其他對比算法的最佳結(jié)果相比，RFLSTPMSVM的準(zhǔn)確率提高了1.60%、2.52%和1.84%.同時在Pima數(shù)據(jù)集上，LSTPMSVM的表現(xiàn)最好，準(zhǔn)確率達(dá)到了75.5844%.并且RFLSTPMSVM在Ripley、segment0、abalone19等6個相對規(guī)模較大的數(shù)據(jù)集上，有4個數(shù)據(jù)集獲得了最高準(zhǔn)確率，并且數(shù)據(jù)集Abalone19上5種算法的準(zhǔn)確率一樣.可見與已有的算法相比，所提算法在較大規(guī)模數(shù)據(jù)集上的分類效果較好.

表2的最后一行計算了5種算法的平均準(zhǔn)確率，可以看到所提算法RFLSTPMSVM的平均準(zhǔn)確率是最高的.綜合平均準(zhǔn)確率來看，RFLSTPMSVM相較于其他對比算法，分別提高了 4.3%、4.78%、1.8%、0.87%，說明了本文算法的有效性.總體來說，RFLSTPMSVM算法在多數(shù)情況下優(yōu)于其他算法，因此，本文所提算法在一定程度上提高了模型的泛化能力.實驗結(jié)果表明，將模糊函數(shù)和K-近鄰引入到最小二乘雙參數(shù)間隔支持向量機(jī)中，能得到較好的分類結(jié)果.

為了檢測RFLSTPMSVM算法的抗噪性能，在每個數(shù)據(jù)集上分別加入了5%、10%、15%和20%的噪聲，并在5種算法上進(jìn)行了實驗，得到實驗結(jié)果如圖2所示.由圖2可以看出，在添加4種不同比例的噪聲之后，5種算法的分類準(zhǔn)確率都有一定的變化.因為噪聲的存在導(dǎo)致了數(shù)據(jù)樣本分布變得混亂，使得兩類樣本的邊界變得不明確，從而引起超平面的偏移，分類準(zhǔn)確率有所變化.同時可以看到TWSVM和LSTSVM在部分?jǐn)?shù)據(jù)集上準(zhǔn)確率沒有變化，相對來說有更好的穩(wěn)定性，但整體分類準(zhǔn)確率并不高.而RFLSTPMSVM則表現(xiàn)出較為穩(wěn)定的性能，并在大多數(shù)數(shù)據(jù)集上的準(zhǔn)確率優(yōu)于其余對比算法.

在Pima數(shù)據(jù)集上，沒有添加噪聲時，RFLSTPMSVM的分類準(zhǔn)確率低于LSTPMSVM，但在加入添加噪聲之后，其準(zhǔn)確率超過了所有對比算法.在Ecoli-0-3-4-6_vs_5數(shù)據(jù)集上，無噪聲情況下和添加5%噪聲時，RFLSTPMSVM和ULSTPMSVM的分類準(zhǔn)確率一樣，而隨著噪聲不斷增加，RFLSTPMSVM的分類準(zhǔn)確率高于ULSTPMSVM.總體來看，當(dāng)添加噪聲至20% 時，RFLSTPMSVM在4個數(shù)據(jù)集上分類準(zhǔn)確率在所有算法中表現(xiàn)最佳，實驗表明所提RFLSTPMSVM算法具有一定的抗噪性能.

3.4 統(tǒng)計分析

從表2中可以看出，所提算法的分類準(zhǔn)確率并沒有在所有數(shù)據(jù)集上都優(yōu)于對比算法.為了進(jìn)一步評估，采用統(tǒng)計分析對5種算法對實驗結(jié)果進(jìn)行Friedman檢驗^［20］.在Friedman檢驗中，每個分類器在每個數(shù)據(jù)集上都被分配了1個等級，表現(xiàn)較差的分類器將獲得較高的等級，反之亦然.Friedman檢驗統(tǒng)計量的計算如下：

χ2F=12Nk（k+1）∑kj=1R2j-k（k+1）24，（29）

其中：N表示數(shù)據(jù)集的數(shù)量;k表示算法的數(shù)量;Rj表示在第j個分類器上的平均等級.由于弗里德曼的χ2F過于保守，采用了一個更好的統(tǒng)計量FF來分析，F(xiàn)F是服從自由度為（k-1）和（k-1）（N-1）的分布，F(xiàn)F分布為

FF=（N-1）χ2FN（k-1）-χ2F.（30）

為此，計算了非線性情況下5種算法的平均等級，得到結(jié)果如表3所示，其中等級是根據(jù)分類準(zhǔn)確率計算的.由表3可以看到，TWSVM、LSTSVM、LSTPMSVM，ULSTPMSVM和RFLSTPMSVM算法的平均等級分別為3.66、4.32、3.23、2.42和1.44.在Friedman檢驗中，假設(shè)在零假設(shè)下每種算法的平均等級相等，并且表現(xiàn)出相似的性能.根據(jù)式（29）和式（30）計算各算法的平均等級計算χ2F和FF值得到

χ2F=12×175（5+1）∑5j=1R2j-5（5+1）24=

12×175（5+1）3.662+4.322+3.232+2.422+1.442）-5（5+1）24≈36.845 9，

FF=（17-1）×36.845 817×（5-1）-36.845 8≈18.923 1.

F（4，64）的臨界值在顯著性水平時為2.515，F(xiàn)F值遠(yuǎn)大于臨界值，所以拒絕零假設(shè)，說明5種算法之間存在顯著差異.并且從表3中平均等級排名可以看出，所提出的模型在非線性情況下具有最低的平均等級，顯示了其優(yōu)越的性能，結(jié)果表明RFLSTPMSVM優(yōu)于TWSVM、LSTSVM、LSTPMSVM和ULSTPMSVM算法.

采用Nemenyi事后檢驗對模型進(jìn)行成對差異比較.根據(jù)Nemenyi檢驗，如果2個模型的平均等級差異大于臨界差異，則它們存在顯著差異，其中臨界差異（CD）的計算公式為

CD=qαk（k+1）6N.（31）

在非線性情況下，對于在α=0.05的顯著性水平下，計算得到算法之間的平均等級至少應(yīng)該相差臨界值CD（1.48）.由表3之間的平均等級可知，RFLSTPMSVM與TWSVM、LSTSVM、LSTPMSVM、ULSTPMSVM之間的差值均大于CD值1.48，但與ULSTPMSVM算法之間的差值小于CD值1.48.非線性情況下RFLSTPMSVM與不同算法之間的成對差異結(jié)果如表4所示.結(jié)果表明，所提算法RFLSTPMSVM與TWSVM、LSTSVM、LSTPMSVM算法之間的性能在統(tǒng)計上是存在明顯差異的，而與ULSTPMSVM算法之間的差異在統(tǒng)計上不顯著.

3.5 不敏感性分析

為了分析超參數(shù)值對所提RFLSTPMSVM算法的準(zhǔn)確率的影響，本文選取了2個數(shù)據(jù)集Votes和glass4進(jìn)行不敏感性分析.圖3顯示了RFLSTPMSVM在2個數(shù)據(jù)集上參數(shù)的準(zhǔn)確率變化.

圖3中cvs1表示參數(shù)c=c1=c2，muvs表示高斯核參數(shù)μ.對于數(shù)據(jù)集Votes（圖3a），當(dāng)參數(shù)c的值為最小值10^-5時，RFLSTPMSVM的準(zhǔn)確率最低，隨著c值的增大，參數(shù)μ也逐漸增大時，RFLSTPMSVM的準(zhǔn)確率隨著上升，并且趨于一個穩(wěn)定值.對于數(shù)據(jù)集glass4（圖3b），當(dāng)參數(shù)c的值為最小值10^-5時，RFLSTPMSVM的準(zhǔn)確率達(dá)到最低.隨著c值逐漸增大，參數(shù)μ不管怎么變化，RFLSTPMSVM的準(zhǔn)確率趨于一個穩(wěn)定值.當(dāng)c值為104，μ值為22時，RFLSTPMSVM的準(zhǔn)確率達(dá)到最大值96.296 3.

4 結(jié)語

提出了一種魯棒的模糊最小二乘雙參數(shù)間隔支持向量機(jī)算法（RFLSTPMSVM）用于二分類問題.通過將模糊隸屬度值引入訓(xùn)練數(shù)據(jù)樣本，并將松弛變量的2范數(shù)平方與隸屬度值相乘，使所提算法對數(shù)據(jù)中存在的異常值和噪聲變得不敏感.同時，在目標(biāo)函數(shù)中利用樣本的局部信息加權(quán)，使每個樣本在構(gòu)造分離超平面時根據(jù)其重要性獲得相應(yīng)的權(quán)重，有效提高預(yù)測精度.此外，所提RFLSTPMSVM具有靈活的參數(shù)間隔超平面，使其適用于異方差結(jié)構(gòu).在17個數(shù)據(jù)集上的數(shù)值實驗驗證了RFLSTPMSVM的可行性和有效性.從本文提供的性能比較分析可以看出，與其他已有4種算法相比，RFLSTPMSVM提供了相當(dāng)或更好的分類準(zhǔn)確率，具有更好的泛化性能.但該算法只涉及到二分類問題，因此，將二分類問題擴(kuò)展到多分類問題是下一步的主研究方向.

參 考 文 獻(xiàn)：

［1］ CORTES C， VAPNIK V. Support-vector networks［J］. Mach Learn， 1995， 20（3）： 273-297. DOI： 10.1007/ bf00994018.

［2］ SUBUDHIRAY S， PALO H K， DAS N. Effective recognition of facial emotions using dual transfer learned feature vectors and support vector machine［J］. Int J Inf Technol， 2023， 15（1）： 301-313. DOI：10.1007/s41870-022-01093-7.

［3］ PANG J X， PU X K， LI C G. A hybrid algorithm incorporating vector quantization and one-class support vector machine for industrial anomaly detection［J］. IEEE Trans Ind Inform， 2022， 18（12）： 8786-8796. DOI：10.1109/TII.2022.3145834.

［4］ YI L， XIE G J， LI Z H， et al. Automatic depression diagnosis through hybrid EEG and near-infrared spectroscopy features using support vector machine［J］. Front Neurosci， 2023， 17： 1205931." DOI：10.3389/fnins.2023.1205931.

［5］ MANGASARIAN O L， MUSICANT D R. Lagrangian support vector machines［J］. J Mach Learn Research， 2001， 1（Mar）： 161-177. DOI：10.1162/15324430152748218.

［6］ SCHLKOPF B， SMOLA A J， WILLIAMSON R C， et al. New support vector algorithms［J］. Neural Comput， 2000， 12（5）： 1207-1245. DOI：10.1162/089976600300015565.

［7］ LIN C F， WANG S D. Fuzzy support vector machines［J］. IEEE Trans Neural Netw， 2002， 13（2）： 464-471. DOI：10.1109/72.991432.

［8］ JAYADEVA， KHEMCHANDANI R， CHANDRA S. Twin support vector machines for pattern classification［J］. IEEE Trans Pattern Anal Mach Intell， 2007， 29（5）： 905-910. DOI：10.1109/ TPAMI. 2007.1068

［9］ ARUN KUMAR M， GOPAL M. Least squares twin support vector machines for pattern classification［J］. Expert Syst Appl， 2009， 36（4）： 7535-7543. DOI：10.1016/j.eswa.2008.09.066.

［10］ PENG X J. TPMSVM： a novel twin parametric-margin support vector machine for pattern recognition［J］. Pattern Recognit， 2011， 44（10/11）： 2678-2692. DOI：10.1016/j.patcog.2011.03.031.

［11］ SHAO Y H， WANG Z， CHEN W J， et al. Least squares twin parametric-margin support vector machine for classification［J］. Appl Intell， 2013， 39（3）： 451-464. DOI：10.1007/s10489-013-0423-y.

［12］ WANG H R， XU Y T， ZHOU Z J. Twin-parametric margin support vector machine with truncated pinball loss［J］. Neural Comput Appl， 2021， 33（8）： 3781-3798. DOI：10.1007/s00521-020-05225-7.

［13］ RASTOGI NéE KHEMCHANDANI R， SAIGAL P， CHANDRA S. Angle-based twin parametric-margin support vector machine for pattern classification［J］. Knowl Based Syst， 2018， 139： 64-77. DOI：10.1016/j.knosys. 2017.10.008.

［14］ GUPTA D， BORAH P， PRASAD M. A fuzzy based Lagrangian twin parametric-margin support vector machine （FLTPMSVM）［C］//2017 IEEE Symposium Series on Computational Intelligence （SSCI）， Honolulu， HI， USA. IEEE， 2017： 1-7. DOI：10.1109/SSCI.2017.8280964.

［15］ RICHHARIYA B， TANVEER M. Universum least squares twin parametric-margin support vector machine［C］//2020 International Joint Conference on Neural Networks （IJCNN）， Glasgow， UK， IEEE， 2020： 1-8. DOI： 10.1109/IJCNN48605.2020.9206865.

［16］ TANVEER M， SHUBHAM K， ALDHAIFALLAH M， et al. An efficient regularized K-nearest neighbor based weighted twin support vector regression［J］. Knowl Based Syst， 2016， 94： 70-87. DOI： 10.1016/j.knosys.2015.11.011.

［17］ RICHHARIYA B， TANVEER M， FOR THE ALZHEIMER’S DISEASE NEUROIMAGING INITIATIVE. A fuzzy universum least squares twin support vector machine （FULSTSVM）［J］. Neural Comput Appl， 2022， 34（14）： 11411-11422. DOI：10.1007/s00521-021-05721-4.

［18］ DUA D， TANISKIDOU E K. UCI machine learning repository， 2017［DB/OL］.［2022-10-16］. http：//archive. ics. uci. edu/ml/.

［19］ 劉小生， 章治邦.基于改進(jìn)網(wǎng)格搜索法的SVM參數(shù)優(yōu)化［J］.江西理工大學(xué)學(xué)報， 2019， 40（1）： 5-9. DOI： 10.13265/j.cnki.jxlgdxxb.2019.01.002.

［20］ BENAVOLI A， CORANI G， DEMSAR J， et al. Time for a change： a tutorial for comparing multiple classifiers through Bayesian analysis［J］. J Mach Learn Research， 2017， 18（77）： 1-36. DOI：10. 48550/arXiv.1606.04316.

（責(zé)任編輯：孟素蘭）