基于PCA和PSO-SVM的手寫數字識別應用研究

張校非，白艷萍，郝 巖

(中北大學 理學院， 太原 030051)

?

基于PCA和PSO-SVM的手寫數字識別應用研究

張校非，白艷萍，郝 巖

(中北大學 理學院， 太原 030051)

針對當前手寫數字識別正確率較低這一不足，提出了一種主成分分析(PCA)和粒子群算法優化支持向量機(PSO-SVM)的手寫數字識別方法。首先，利用PCA降低輸入數據的維數，然后把降維的數據作為SVM的輸入，用PSO不斷優化SVM中的核函數參數g和懲罰因子c，以提高分類精度。實驗結果表明：同傳統的SVM、GA-SVM、網格搜索算法、卷積神經網絡(CNN)相比，PSO-SVM方法分類方法具有最高的識別準確率且運算效率也較高，達98.2%，性能上優于其他幾種分類算法。

主成分分析；粒子群算法；支持向量機；手寫數字識別

在模式識別的領域中，手寫數字識別是其中的一個重要方面。隨著計算機和信息技術的日益發展，特別是大數據時代的到來，對手寫數字識別的準確度提出了更高的要求。人眼對不同的手寫數字識別能力有限，目前對各類數字字體識別，特別是在脫機手寫數字識別方面仍處在發展階段，識別效果仍然不夠好[1]。因此，對于手寫數字識別的研究具有重大現實意義。

目前，應用于手寫數字識別的算法很多,例如有貝葉斯算法[2]、k-means算法[3]、神經網絡算法[4-5]、支持向量機(SVM)[6-7]等，其中SVM 分類算法有很好的泛化能力與學習能力[8-10]。SVM 分類算法是以結構風險最小化為目標，所求得的解是全局最優解,該算法克服“維數災難”問題，使分類算法的效率大大增加，被廣泛應用于信號分類、人臉識別、文本分類、垃圾郵件過濾、手寫體的識別等領域[11]。

支持向量機在性能優化上還存在很大的問題，為了使其性能達到最優，本文首先用主成分分析(PCA)將手寫數字數據進行降維，其次將支持向量機(SVM)與粒子群算法(PSO)相結合，用PSO優化SVM中的相關參數(主要是懲罰參數c和核函數參數g)，避免了欠學習及過學習狀態的發生。與傳統的SVM、GA-SVM、卷積神經網絡(CNN)相比，粒子群算法(PSO-SVM)的識別正確率有顯著提高。

1 主成分分析法和PSO-SVM基本原理

1.1 主成分分析(PCA)

主成分分析(principal component analysis，PCA)又稱主分量分析，是由皮爾遜(Pearson)于1901年首先引入，后來由霍特林(Hotelling)在1933年進行了發展[1-13]。PCA是一種通過降維方法，把多個變量化為少數幾個變量主成分的多元統計方法，這些主成分能夠反映原始變量的大部分信息，通常用原始變量的線性組合來表示，為使這些主成分所包含的信息互不重疊，要求各主成分之間相互無關。

主成分分析降維的過程其實就是坐標系旋轉變換的過程，新坐標系的各個坐標軸方向是原始數據變差最大的方向，各主成分表達式就是新舊坐標系的轉換關系式[14]。

1.2 粒子群算法(PSO)

粒子群優化算法(particle swarm optimization,PSO)最早由Kenney和Eberhart于1995年提出，PSO算法源于對鳥類捕食行為的研究。在鳥類捕食時，每只鳥類找到食物最簡單有效的方法就是搜尋當前距離食物最近的鳥類的周圍區域[15-17]。

PSO的尋優步驟為：首先隨機初始化粒子的位置X和粒子的速度v,然后通過迭代來尋找空間中的最優解。在每次迭代過程中，粒子通過個體極值和全局極值來更新自身的速度和位置，更新公式如下：

(1)

(2)

式中，w為慣性權重；d=1,2,…是種群的維數；i=1,2,…,m是種群的規模；t為當前迭代次數；Vid為粒子的速度；Pid和Pgd分別代表粒子的個體最優值和全局最優值；a1和a2為正的非負常數，稱為加速因子；r1和r2為分布在[0,1]之間的隨機數。

1.3 PCA和PSO-SVM算法優化步驟

由于手寫數字數據集中的每一個數據為一個28×28像素點的圖像，一共784維數據，這意味著每個樣本有784維數據，這樣不但使計算時間增加，而且冗余的信息還會降低分類的精度，所以采用PCA進行降維。

懲罰因子c和核函數參數g對SVM預測精度的影響較大，因此本文將識別正確率當作PSO的適應度函數來不斷優化參數c、g，使適應度函數的值達到最大。故提出一種基于粒子群算法的支持向量機優化算法(PSO-SVM)，算法步驟如下：

1) 首先用PCA將手寫數字特征進行降維，將降維后的數據作為SVM中的輸入；

2) 初始化SVM的懲罰因子c和核函數參數g；

3) 初始化種群的位置和速度，以SVM算法所求得的準確率作為粒子的適應度函數；

4) 用PSO算法對個體粒子進行更新，產生新的粒子并計算其適應度函數值；

5) 判斷當前粒子的個體極值是否為種群的全局最優解。若是，則將當前的個體極值替換為全局最優解；若不是，則返回步驟4；

6) 將優化后的參數用于SVM手寫數字分類器進行訓練，并用手寫數字測試集進行測試。

算法主要步驟偽代碼如下：

%數據預處理

[Train_data,Test_data,ps]=scaleForSVM(train_data,test_data,0,0.1);

[Train_data,Test_data]=pcaForSVM(Train_data,Test_data,85);

%% 選擇最佳的SVM參數c&g

[bestacc,bestc,bestg] = psoSVMcgForClass(train_data_label,data_train);

% 利用最佳的參數進行SVM網絡訓練

cmd = ['-c ',num2str(bestc),' -g ',num2str(bestg)];

model = svmtrain(train_data_label,data_train,cmd);

%% 子函數 psoSVMcgForClass.m

[bestCVaccuarcy,bestc,bestg,pso_option=psoSVMcgForClass(train_data_label,train,pso_option)

%個體最優更新

if fitness(j) < local_fitness(j)

local_x(j,:) = pop(j,:);

local_fitness(j) = fitness(j);

end

if abs(fitness(j)-local_fitness(j) )<=eps && pop(j,1) < local_x(j,1)

local_x(j,:) = pop(j,:);

local_fitness(j) = fitness(j);

end

%群體最優更新

if fitness(j) < global_fitness

global_x = pop(j,:);

global_fitness = fitness(j);

end

% SVM網絡預測

[predict_label,accuracy] = svmpredict(test_label,test_data,model);

2 仿真實驗

2.1 PCA降維處理

實驗的數據來自于MNIST數據庫，共有70 000個樣本，從中挑選出60 000個樣本作為PSO-SVM訓練數據、1 000個樣本作為測試數據，有的數字人眼很難區分，部分樣本如圖1所示。

圖1 手寫數字樣本

首先進行歸一化，經過反復實驗對比，將樣本數據歸一化至[0,0.1]區間時，分類效果最好。數據集中每個樣本大小均為28×28，即784維數據，這意味著每個樣本均有784維數據，這不僅會增加樣本的訓練時間，也影響到分類器的處理性能。所以，首先要進行PCA降維，除去樣本中的冗余信息，同時增加分類器的效率。提取輸入數據85%的貢獻率，由784維降到59維，降低了92.5%的維數。降維后的前10個特征貢獻率如圖2所示。

圖2 PCA提取出的前10個主成分

從圖2中可以看出：前10個特征的累積貢獻率達50%以上，與初始的數據維數相比，降低了98.7%，即用1.3%的數據量代表了數據50%以上的特征，這大大降低了數據的復雜度，提高了算法的運算效率。

2.2 PSO-SVM仿真實驗

將PCA降維后的數據輸入SVM中，利用PSO算法優化SVM，初始種群為20，進化代數為200，c1=1.5，c2=1.7。首先對PSO-SVM進行訓練，適應度曲線如圖3所示。

圖3 PSO尋找最佳參數的適應度(準確率)曲線

圖中x軸代表進化代數，y軸代表訓練集的準確率，可以看出：訓練過程中粒子的最佳正確率達98.4%，此時懲罰因子c和核函數參數g分別為66.188 8和0.803 34。

下面對測試集進行測試，實驗結果如圖4所示：

圖4 測試結果

通過測試可知：本文所用的方法對手寫數字的識別正確率達98.2%，只錯分了18個數字，其中對0、1兩個數字的識別正確率更是高達100%。又對每種分類器進行50次實驗，取50次的平均值：分別與SVM、GA-SVM、網格搜索算法、卷積神經網絡(CNN)等幾種方法進行了對比，對比結果見表1。

表1 各類算法分類性能對比

從表1中可以看出：PSO-SVM對手寫數字數據集在這5種算法中的分類正確率最高，達98.2%。從運行時間上來看，PSO-SVM僅次于SVM，效率高于GA-SVM、網絡搜索算法、CNN等3種算法。因此，PSO-SVM算法有更高的精度，且在運算時間上也有很大的優勢，具有一定的適用性。

3 結束語

本文首先通過PCA將手寫數字集進行降維，其次用PSO算法對SVM中的參數c、g反復訓練，不斷提升SVM分類器的性能。實驗結果表明：PSO-SVM算法對手寫數字集的正確識別率有一定的提高，且運算效率較高。同其他幾種算法相比，該方法在手寫數字識別上有較好的應用前景。

[1] 陳浩翔,蔡建明,劉鏗然,等.手寫數字深度特征學習與識別[J].計算機技術與發展,2016(7):19-23.

[2] 何巖.統計稀疏學習中的貝葉斯非參數建模方法及應用研究[D].杭州:浙江大學,2012.

[3] 王偉.Kmeans聚類與多波譜閾值相結合的云檢測和煙檢測算法研究[D].合肥:中國科學技術大學,2011.

[4] 韓力群.人工神經網絡教程[M].北京:北京郵電大學出版社,2006.

[5] LéCUN Y,BOTTOU L,BENGIO Y,et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.

[6] VAPNIK V.Statistical Learning Theory[M].New York:Wiley,1998.

[7] 牛強,王志曉,陳岱.基于 SVM 的中文網頁分類方法的研究[J].計算機工程與應用,2007,28(8):1893-1895.

[8] 吳益紅,許鋼,江娟娟,等.基于LBP和SVM的工件圖像特征識別研究[J].重慶理工大學學報(自然科學),2016,30(1):77-84.

[9] 朱兵,董恩生,郭綱.基于EIS-SVM的飛機復合材料健康監測研究[J].壓電與聲光,2016(1):115-120.

[10]程思嘉,張昌宏.基于粒子群算法優化最小二乘支持向量機的電路故障診斷方法[J].四川兵工學報,2016,37(3):98-101.

[11]崔健明,劉建明,廖周宇.基于SVM算法的文本分類技術研究[J].計算機仿真,2013,30(2):299-302.

[12]YANG J,ZHANG D,FRANGI A F,et al.Two-dimensional PCA:a new approach to appearance-based face representation and recognition[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2004,26(1):131.

[13]KE Y,SUKTHANKAR R.PCA-SIFT:a more distinctive representation for local image descriptors[J].2004,2(2):506-513.

[14]謝中華.MATlAB統計分析與應用：40個案例分析[M].北京:北京航空航天大學出版社,2015.

[15]SHI Y,EBERHART R C.Empirical study of particle swarm optimization[J].Journal of System Simulation,1999,3(1):31-37.

[16]LIANG J J,QIN A K,SUGANTHAN P N,et al.Comprehensive learning particle swarm optimizer for global optimization of multimodal functions[J].IEEE Transactions on Evolutionary Computation,2006,10(3):281-295.

[17]李洋,王小川,郁磊,等.MATLAB神經網絡43個案例分析[M].北京:北京航空航天大學出版社,2013.

(責任編輯 何杰玲)

Application Research of Handwritten Numeral Recognition Based on PCA and PSO-SVM

ZHANG Xiaofei, BAI Yanping， HAO Yan

(College of Science, North University of China, Taiyuan 030051, China)

In this paper, a new method of handwritten numeral recognition based on principal component analysis (PCA) and particle swarm optimization (PSO-SVM) is proposed for the problem of low accuracy of handwritten digit recognition. Firstly, the dimension of the input data is reduced by PCA, then the dimension reduction data is used as the input of SVM, and the kernel function parametergand the penalty factorcin SVM are optimized by PSO to improve the classification accuracy. The experimental results show that SVM and GA-SVM, with the traditional grid search algorithm, convolutional neural network (CNN) compared with the classification method of PSO-SVM method and it has higher recognition accuracy rate and the operation efficiency is the highest, reached 98.2%, and the performance is better than other types of classification algorithms.

principal component analysis; particle swarm algorithm; support vector machine; handwritten numeral recognition

2016-12-08

國家自然科學基金資助項目(61275120)；山西省回國留學人員科研資助項目(2016-088)

張校非(1991—)，男，碩士研究生，主要從事現代優化算法、神經網絡在組合優化中的應用研究，E-mail：598095564@qq.com; 白艷萍(1962—)，女，教授，博士生導師，主要從事神經網絡在函數逼近與預測中的應用、神經網絡在組合優化中的應用、數據處理與數據融合、非線性動力學的數學建摸與研究，E-mail：974167293@qq.com。

張校非，白艷萍，郝巖.基于PCA和PSO-SVM的手寫數字識別應用研究[J].重慶理工大學學報(自然科學)，2017(7):140-144.

format：ZHANG Xiaofei,BAI Yanping，HAO Yan.Application Research of Handwritten Numeral Recognition Based on PCA and PSO-SVM[J].Journal of Chongqing University of Technology(Natural Science)，2017(7):140-144.

10.3969/j.issn.1674-8425(z).2017.07.022

TP39

A

1674-8425(2017)07-0140-05