集成極限學習機在手寫體數字識別中的應用

劉　聰　張新英

（中原工學院信息商務學院，河南　鄭州　450007）

?

集成極限學習機在手寫體數字識別中的應用

劉聰張新英

（中原工學院信息商務學院，河南鄭州450007）

摘要：本文提出了一種ELM_Adaboost算法：把ELM（Extream leanring machine）作為弱分類器，訓練ELM預測樣本輸出，通過Adaboost算法得到多個ELM弱分類器組成的強分類器。利用MATLAB GUI編寫一套手寫體數字識別系統，采集大量的學習樣本，提取數字樣本的“十三點網格特征”，使用ELM_Adaboost建立分類器。結果表明，該算法能夠達到98.5%的識別率，為手寫體數字識別提供指導性作用。

關鍵詞：極限學習機；集成學習；手寫體數字識別

隨著國家信息化進程的加速，在郵政編碼、統計報表、財務報表、銀行票據等處理大量字符信息錄入的場合，對手寫數字識別系統的應用需求越來越強烈，對于主要都是由阿拉伯數字及少量特殊符號組成的各種編號和統計數據，處理這類信息的核心技術是手寫體數字識別。將識別系統用于數字信息自動處理領域，節省人力，提高效率，加快信息流動，可創造巨大的經濟效益。因此，手寫數字的識別研究有著重大的現實意義。

考慮到傳統神經網絡（BP、RBF等）在訓練過程中易陷入局部最優解，參數調整復雜，最近由新加坡學者提取出的一種新前饋神經網絡的訓練方法—極限學習機，它隨機設置前饋神經網絡的初始權值，通過求解輸出權值的最小二乘解來完成網絡的訓練。整個過程不需要迭代，相對BP等算法有極快的速度、良好的泛化性。將極限學習機應用于模式識別領域已經得到很多專家學者的關注。

針對傳統神經網絡用于模式識別的過程中存在容易陷入局部極小值、收斂速度慢、解決小樣本問題效果差等情況，將傳統神經網絡與Adaboost算法相結合，引入到分類及預測的問題中已經得到許多學者的研究［1］。本文將Adaboost與ELM算法相結合用于手寫體數字識別中，進一步增強ELM分類器的泛化性，提高手寫體數字的識別率。

1　極限學習機

極限學習機是Huang等提出的一種單隱層前饋神經網絡的新學習算法。它隨機給定輸入權值矩陣和隱含層偏差，輸出權值矩陣利用最小二乘解計算得到。

假設給定N個訓練樣本集（xi，ti），其中 xi=[xi1，xi2，……，xin]T∈Rn，ti=[ti1，ti2，……，tim]T∈Rm，ELM網絡的激活函數g（x），隱含層節點數目為L，則ELM算法的訓練步驟如下所示：①隨機給定網絡的隱含層連接權值（ai，……，bi），i=1，……，L；②隱含層激勵函數為g（x）的前饋神經網絡的輸出可以表示為βi∈Rm。該式可以簡化為：Hβ=Y。

2　集成極限學習機

Adaboost算法是一種自適應提升迭代算法，核心思想是將多個弱分類器的輸出結果合成一個新的結果而產生有效分類。給定原始樣本集D（x,y）,從中選取m組數據作為訓練樣本，將m組數據初始權重都設置為1/m。用弱分類器訓練T次，根據得到的結果更新訓練數據權重。分類結果越好的分類器權重越大，經過T次迭代，可得到一個強分類器，即是由若干弱分類器加權得到。ELM_Adaboost模型即把ELM神經網絡作為弱分類器，反復訓練ELM神經網絡預測樣本輸出，通過Adaboost算法得到多個ELM神經網絡弱分類器組成的強分類器。編程實現方法如下。

2.1樣本選擇和網絡初始化

從網絡入侵數據庫中選擇m組訓練數據，初始化測試數據的分布權值Dl（i）=1/m，根據樣本輸入輸出維數確定ELM網絡的隱含層節點數目，初始化ELM網絡權值與閾值。

2.2弱分類器訓練

訓練第t個弱分類器時，用訓練數據訓練ELM網絡并且預測訓練數據輸出，得到預測序列g（t）的預測誤差和et，誤差和et的計算公式為：

式中，g（t）為預測分類結果，y為期望分類結果。

2.3計算預測序列權重

根據預測序列g（t）的預測誤差et計算序列的權重at，權重計算公式為：

2.4測試數據權重調整

根據預測序列權重at調整下一輪訓練樣本的權重，調整公式為：

式中，Bt是歸一化因子，目的是權重比例不變的情況下使分布權值和為1。

2.5強分類器函數

訓練T輪后得到T組弱分類函數f（gt，at），由T組弱分類函數f（gt，at）組合得到了強分類函數h（x）：

3　樣本采集及預處理

3.1樣本采集

為了獲取手寫體數字樣本，本文利用MATLAB GUI編寫了一套手寫體數字樣本采集系統，利用getframe函數保存手寫體數字圖片。考慮到不同人的書寫習慣問題，本文采集了10個人手寫從0～9的數字圖片，每張圖片數量為50個，則樣本數量為5 000個。

3.2圖片預處理

由于MATLAB的采樣時間跟不上鼠標的滑行速度，會造成斷點，影響最終的識別率。因此，需要對采集到的圖像進行預處理。為了方便特征提取，本文采取的圖像預處理步驟為灰度化→腐蝕膨脹→取反→二值化→縮小字符范圍。

4　特征提取

網格特征已經被廣泛應用于數字識別的特征提取中，并已經被證明具有很好的效果。本文提取的“十三點網格特征”內容如下：①把字符水平分成4份，垂直分成2份，分別統計這8個區域的白像素的個數，得到8個特征，如圖a所示；②水平和垂直各劃兩條線把水平和垂直分割成3份，統計這4條線穿過的白像素個數，得到4個特征，如圖b所示；③字符圖像全部白像素數目作為1個特征，如圖c所示。綜合①②③中的特征，一共得到一個13維的特征。

圖1 數字識別的特征提取

5　結論

本文針對手寫體數字識別，建立了一套樣本采集庫并提取了數字樣本的網格特征。本文同時提出了一種ELM_Adaboost算法，進一步增強了ELM分類器的泛化性。與傳統分類器進行比較，將該算法其應用于手寫體數字識別中，提高了識別率。

參考文獻：

［1］張威，魏冬生.基于Adaboost與支持向量機的人臉特征提取［J］.微電子學與計算機，2007（5）：69-72.

中圖分類號：TP391.41

文獻標識碼：A

文章編號：1003-5168（2016）02-0027-02

收稿日期：2016-01-26

作者簡介：劉聰（1988-），女，碩士，研究方向：控制工程與模式識別。

Integration Extream Leanring Machine Used in Handwritten Numeral Recognition

Liu CongZhang Xinying
（College of Information and Business，Zhongyuan University of Technology，Zhengzhou Henan 450007）

Abstract:An algorithm called ELM_Adaboost was proposed in this paper.Firstly,taking ELM(extream leanring machine)as a weak classifier,and then training ELM algorithm and predictting the output of sam?ples;Finally,obtaining a strong classifiers by the plurality of the ELM weak classifiers through the ada?boost algorithm.A set of handwritten numeral recognition system was composed by MATLAB GUI,and a large number of learning samples were collected,the Thirteen point grid feature of the digital sample was extracted,ELM_Adaboost was used to build the classifier.The results showed that the algorithm could achieve a recognition rate of 98.5%,which provides a guiding role for handwritten numeral recognition.

Keywords:extream leanring machine；ensemble learning；handwritten numeral recognition