PCA-SS-LSSVM算法研究

董 超，胡艷珍，李晨光

（1.天津理工大學 天津市復雜系統控制理論及應用重點實驗室，天津 300384；2.中國石油化工股份有限公司 天津分公司，天津 300271）

PCA-SS-LSSVM算法研究

董 超1，胡艷珍1，李晨光2

（1.天津理工大學 天津市復雜系統控制理論及應用重點實驗室，天津 300384；2.中國石油化工股份有限公司 天津分公司，天津 300271）

近年來，支持向量機被廣泛地運用于許多行業進行分類、預測分析工作，并取得了很好的效果。雖然標準支持向量機在解決小樣本、非線性及高維模式識別中表現出許多特有的優勢，但仍存在一定的不足，如計算速度慢、精度不高、資源占用多等。針對上述問題，在總結研究相關算法優缺點基礎上，提出了一種新型的組合算法，即PCA-SS-LSSVM算法。結果表明該算法能有效彌補標準支持向量機的不足，具有更好的適應性和應用可行性。

支持向量機；分散搜索算法；主成分分析

0 引言

支持向量機是Corinna Cortes和Vapnik于1995年提出的一種具有很強自學習能力的算法。其比神經網絡具有更好的泛化能力、模型精度不會因使用者的知識差異而不同以及能避免局部最優等優勢，因而在許多行業得到了廣泛的應用。例如2016年廣東電網有限責任公司電力調度控制中心的王寧等人使用支持向量機回歸組合模型對中長期降溫負荷進行了預測[1]。2016年湖南大學的喻勝華、龔尚花利用Lasso和支持向量機對糧食價格進行了預測[2]。2016年華南理工大學周璇等人使用小波分解和支持向量機對辦公建筑空調負荷進行了預測[3]。2015年吉林大學生物與農業工程學院的任順等人將支持向量機應用于葉綠素熒光預測光能利用效率的研究中[4]。2015年河海大學的張秀菊等人利用支持向量機對水質進行了預測[5]。雖然標準支持向量機有很多優勢，能夠解決很多行業的預測、分類問題，但是其仍然存在一些弊端。主要表現為損失函數的限制以及懲罰因子、核函數寬度參數的優化組合等問題。這些問題會降低預測的精度、收斂速度，增加模型計算的資源占用等。而目前學者們使用的大都是GA、PSO等方式來優化支持向量機，但是GA有其弊端，即無法動態跟蹤，PSO容易導致局部最優，因此本文提出選用SS算法對其參數進行尋優，并提出了組合狀態的支持向量機PCA-SS-LSSVM算法。

1 PCA-SS-LSSVM

PCA-SS-LSSVM是一種標準支持向量機的改進組合算法。采用最小二乘線性方程代替傳統標準向量機中ε不敏感損失函數，從而將原來的非線性約束轉變為線性約束。利用分散搜索算法（SS）對懲罰因子和核函數寬度進行尋優，從而找到最優組合來提高模型的精度。由此就形成了擴展的向量機SS-LSSVM。在大多數研究使用中，分析結果總是同時受到很多因素的共同影響作用。而在建模時，輸入量過多將會影響其模型的收斂速度以及占用大量資源。為了解決這一問題，該算法引入了PCA對輸入變量進行降維得到主成分。且得到的主成分能盡可能保留原參數的信息。其算法結構框圖如圖1所示。

圖1 PCA-SS-LSSVM算法結構框圖

由圖1可知該算法的輸入變量在經過PCA降維處理之后得到主成分，并將其作為模型的輸入進行訓練建模。其中模型的參數尋優由SS得到。經過SS-LSSVM的建模預測之后輸出變量，當輸出變量的誤差允許值超過設定范圍，則返回輸入重新計算。該算法的流程圖如圖2所示（Pr為PCA降維以后得到的成分）。

圖2 算法流程圖

2 算法分布介紹

2.1 主成分分析（PCA）

在該算法中主成分分析的主要作用是對輸入樣本數據進行降維處理，從而提高計算速度等。主成分分析是把各變量之間互相關聯的復雜關系進行簡化分析的方法。在力求數據信息丟失最少的原則下，對高維的變量空間降維，即研究指標體系的少數幾個線性組合，并且這幾個線性組合所構成的綜合指標將盡可能多地保留原來指標變異方面的信息。這些綜合指標就稱為主成分。主成分分析的具體計算步驟流程圖如圖3所示。

圖3 PCA計算步驟流程圖

2.2 支持向量機（SVM）

支持向量機是主體算法，其作用是實現非線性的多元回歸預測。

支持向量機方法是建立在統計學習理論的VC維理論和結構風險最小原理基礎上在模型的復雜性（即對特定訓練樣本的學習精度）和學習能力（即無錯誤地識別任意樣本的能力）之間尋求最佳折衷，以期獲得最好的推廣能力，能夠很好地克服前者訓練時間長、訓練結果存在隨機性和過學習等不足，因此越來越廣泛地被用于復雜非線性系統的建模中。

SVM算法步驟為：

1）設訓練集為：

2）求解最優化問題的最優解：

4）構造線性最優分類超平面，得出決策函數：

由于SVM收斂速度慢，所需資源多，因此使用最小二乘線性方程代替原始的損失函數，形成最小二乘支持向量機LS-SVM。其特點是通過映射將原空間的不等式約束轉化成特征空間中的等式約束，轉化后的對偶問題為求解一組線性方程組，相比于原始的SVM，LSSVM具有計算代價小，泛化能力好，不易陷入局部極小等優點[6]。

在LSSVM回歸算法中，利用非線性映射函數將樣本映射到高維特征空間，將原樣本空間的非線性函數估計問題轉化為高維特征空間的線性函數估計問題：

這一回歸問題是根據結構風險最小化原理，并綜合考慮函數復雜度和擬合誤差，表示為一個等式約束優化問題，其目標優化為：

R為懲罰因子數，ei為誤差值，b為偏差量。

將上述優化問題，建立拉格朗日等式，把約束優化問題轉為無約束優化問題：

其中K(x,xi)為核函數。

在LSSVM中實現非線性映射主要依靠核函數實現，目前通用的核函數主要有以下四個。

多項式核函數：

高斯徑向基核函數：

Sidmoid核函數：

Fourier核函數：

2.3 分散搜索算法（SS）

在本算法中SS主要是為了優化支持向量機的懲罰因子、核函數寬度兩個參數，尋找最優化組合來提高模型的精度。在以往的研究中多用GA、PSO來優化參數，但是GA無法動態跟蹤，PSO容易導致局部最優，因此選用SS算法對其參數進行尋優。

分散搜索的中心思想最初由FredGlover于1977年的提出，留一小部分參考解的種群或稱為參考集，然后合并這些參考解生成新的解。分散搜索算法具有很多不同的算法組成而只需要稍加修改就可以應用于不同優化問題的通用算法框架。相比于其他進化算法，如遺傳算法，SS算法由于其共參考集的記憶能力，使其可以動態跟蹤當前的搜索情況，以調整其搜索策略。同時SS具有柔性的框架，其中的每種機制都可以用多種方法予以實現。SS算法整合了多種有效機制，包括多樣性生成方法、局部搜索方法、以及路徑重連方法等，這使得該算法可以快速的得到滿意解。

SS算法實現步驟為：

1）算法從一個參考集的創建開始。首先使用多樣化生成方法diversification generation method生成具有多樣性的解。然后通過優化解方法改進這些解；

按照石油裝備企業在現代經濟建設發展中的績效管理控制因素實施來看，石油裝備企業建設管理中的績效管理考核體系構建還存在著很多的缺陷，由于這些缺陷性的存在制約了石油裝備企業的績效管理。要想提升整體的石油裝備企業績效管理就應該在績效管理工作的開展中，將其績效管理工作的開展和HU績效管理考核內生性需求結合在一起，這樣才能在二者的結合過程中，及時按照績效管理因素的控制將對應的績效管理工作實踐好。因此，在這種背景下，按照HU績效考核內生性方法的應用，將其考核中的管理因素歸納為以下幾點：一是基數管理；二是平均管理；三是超額管理；四是漏報管理；五是多報管理。

2）建立參考集，參考集的大小通常是20個解，而哪些要放入參考集中都要根據其質量及多樣性來進行選擇。在參考集中的解將用來建立解的子集。每一個子集中的解都是用于合并的候選解，其中最簡單的情況是大小為20的子集兩個個體相結合。子集的解都要進行合并，每一個新生成的解都通過優化解方法得到改進并可能取代參考集中的一個解。子集生成解合并和優化解方法不斷重復直到參考集不再改變或滿足某種條件為止[7]。分散搜索算法的結構流程如圖4所示。

圖4 SS算法流程圖

3 算法應用

PCA-SS-LSSVM算法中，PCA的主要作用是針對應用中輸入參數維數過高的問題進行降維處理，以提高模型的計算速度，并不會影響算法的精度。因此本文的例子省略了降維處理這一步驟。將算法運用于普通線性、非線性函數的預測實現中，實例中輸入為X =10[-1:2/(N-1):1]'（N=101），輸出分別為y1 = sin(abs(X))./abs(X)，y2=0.1.X+1.5，同時采用目前性能較好的PSOLSSVM算法與本文算法進行比較，在MATLAB中進行仿真其結果如圖5所示。

圖5 仿真結果對比圖

PSO-LSSVM與SS-LSSVM的誤差以及運行結果如表1所示。

表1 SS-LSSVM與PSO-LSSVM預測的絕對誤差和運行時間對比圖

由表1可得與PSO-LSSVM相比，本文的算法無論在誤差還是計算時間方面都有其優勢，其中絕對誤差減少了27.9%，運行時間提高了22.6%，故SS-LSSVM有更好的性能。

4 結論

本文針對標準向量機自身參數所帶來的收斂速速、模型精度不高等缺點，在研究學習相關算法的基礎上，提出了改進，利用最小二乘線性方程和分散搜索算法對其缺點進行針對性的改進，提出了改進算法SSLSSVM。同時考慮了實際應用中輸入參數多而帶來的計算速度緩慢的問題，引入了PCA，最終形成組合算法PCA-SS-LSSVM。該算法擁有如下的優點：

1）對于解決小樣本、非線性問題有很強的針對性。

2）泛化能力好，對樣本適應性強。

3）模型中的參數為最優組合，因此模型精度高、收斂速度快。

該算法提出的目的是為了解決一些復雜的非線性問題，通過上述實例也簡單驗證了其可行有效性。在后續的研究中，擬將該算法用于石化循環冷卻水腐蝕結垢的預測中。循環冷卻水系統是一個復雜多學科交叉的非線性問題，同時影響腐蝕結垢的因素眾多。故此該算法可以很好地解決這些問題，并預期可以達到很好的預測效果，為石化實際安全可靠運行生產提供科學的理論依據。

[1] 王寧,謝敏,鄧佳梁,等.基于支持向量機回歸組合模型的中長期降溫負荷預測[J].電力系統保護與控制,2016,44(03):92-97.

[2] 喻勝華,龔尚花.基于Lasso和支持向量機的糧食價格預測[J].湖南大學學報,2016,30(01):71-75.

[3] 周璇,劉慶典,閆軍威.基于小波分解和支持向量機的辦公建筑空調負荷預測[J].暖通空調,2016,46(05):114-117,107.

[4] 任順,于海業,周麗娜.基于支持向量機的葉綠素熒光預測光能利用效率研究[J].農業機械學報,2015,46(04):273-275,251.

[5] 張秀菊,安煥,趙文榮,等.基于支持向量機的水質預測應用實例[J].中國農村水利水電.2015,01:85-89.

【】【】

[6] 顧燕萍,趙文杰,吳占松.最小二乘支持向量機的算法研究[J].清華大學學報,2010,07:1063-1066,1071.

[7] 王曉晴,唐加福,韓毅.分散搜索算法研究進展[J].系統仿真學報,2009.11:3155-3159.

[8] 侯振雨,蔡文生,邵學廣.主成分分析-支持向量回歸建模方法及應用研究[J].分析化學研究報告.2006,05:617-620.

[9] 徐蓓蓓,蔣鐵錚,易宏.基于GA-LS-SVM的風電場小時風速預測[J].水電與新能源,2012,01:74-76.

[10] YongshengZhao,Xiangping Zhang,Liyuan Deng, Suojiang Zhang.Prediction of viscosity of imidazolium-based ionic liquids using MLR and SVM algorithms[J].Elsevier Journal,2016.09.02:37-42.

[11] Wei Huang, Fengchen Huang, Jing Song.WaterQuality Retrieval and PerformanceAnalysisUsingLandsat Thermatic Mapper Imagery Based on LS-SVM[J].Journal of Software,2011,6(8).

[12] Burak Gokalp,H.Metin Ertunc, Murat Hosoz et al.. Performance prediction of a CI engine using artificial neural network for various SME and diesel fuel blends[J].Int.J.of Vehicle Design,2010,54(2).

[13] Sun Bo Liu, Ping An Shi, Lei Wu. Short-Term Prediction of Ship Motion Based on EMD-SVM[J].Applied Mechanics and Materials,2014,3253(571).

[14] Lu Rongxiu,Yang Hui,Zhang Kunpeng. Component Content Soft-Sensor of SVM Based on Ions Color Characteristics[J].TELKOMNIKA Indonesian Journal of Electrical Engineering,2012,10(6).

[15] Kyumann Im, Woonchul Ham. ANALYSIS AND PROGRAMMING OF KERNEL FOR EMBEDDED SYSTEMS[J].Inventi Impact Embedded Systems,2015,2015.

[16] Jian-qiang Gao,Li Li,Li-ya Fan et al.ANAPPLICATION OF WEIGHTED KERNELFUZZY DISCRIMINANT ANALYSIS[J].Inventi Impact Computational Mathematics,2014,2014.

[17] Yang H, Wang Y, Dai J.Instance selection and SVM ensembles for underwater acoustic target recognition[J].Xibei Gongye Daxue Xuebao Journal of Northwestern Polytechnical University,2014, 32(3).

Study of PCA-SS-LSSVM algorithm

DONG Chao1, HU Yan-zhen1, LI Chen-guang2

TP181

：A

1009-0134(2017)07-0088-04

2017-03-20

董超（1978 -），男，山東人，副研究員，碩士研究生，主要研究方向為過程控制。