一種改進的ELM-LRF圖像分類方法

趙志宏，續欣瑩，陳 琪，謝 珺

(太原理工大學 a.電氣與動力工程學院；b.信息與計算機學院，山西 晉中 030600)

圖像分類作為圖像檢索和機器人視覺的基本任務[1]，在計算機視覺和機器學習中受到廣泛的關注。圖像分類的研究主要有預處理、特征提取和分類器訓練三個方向[2]。在特征提取方面，國內外學者提出了LBP、HOG、稀疏編碼等[3]方法；在分類器訓練方面提出了神經網絡、決策樹、極限學習機以及支持向量機(SVM)等[4]多種分類方法。傳統圖像分類方法通過特征提取采得圖像的各種特征，之后將提取到的特征利用分類器進行分類，從而達到圖像分類的目的。對于不同的數據集，傳統方法的特征提取與分類器均是通過實驗人工選取的，算法的普適性較差[5]。

近年來提出的深度神經網絡[6]由于其優異的性能在計算機視覺的各個領域得到廣泛的研究。其中卷積神經網絡(CNN)[7]由于其考慮了圖像的二維結構信息以及強局部關系，在圖像分類領域性能較為突出。CNN摒棄了傳統分類方法先特征提取后分類的思維定勢，將兩者合并。利用設定好的網絡結構，完全從訓練數據中學習圖像的層級結構性特征，能更加接近圖像的高級語義特征。因此也得到了廣泛的研究。2012年的AlexNet，2014年的GooleNet、VGG，2015年的Deep Residual Learning，這些根據CNN提出的改進版本從模型深度、組織結構等方面對CNN進行了改進，使得分類精度有所上升[8]。但與此同時，復雜的深層網絡結構也使得模型的參數成倍增加，大大降低了使用的便捷性。2015年黃廣斌等在極限學習機[9](ELM)基礎上受CNN的思想的啟發，構建了基于局部感受野的極限學習機(ELM-LRF)[10]。ELM-LRF僅有一個隱含層(包含一個卷積層和一個池化層)，模型參數和訓練時間均較CNN大大減小，分類精度也很高；但由于網絡的特征圖輸入權重是隨機產生的，穩定性有待增強[11]。

本文提出了一種改進的ELM-LRF算法。利用粒子群算法優化選擇ELM-LRF算法卷積過程中各個特征圖的輸入權重，將逐次迭代后得到的最優特征圖權重作為最終分類網絡的參數，避免了復雜的人為選取參數過程，使用更加便捷。在數據庫Caltech 101 dataset[DB/OL][12]和CIFAR-10上將本文算法與其他算法進行比較，實驗結果表明改進的ELM-LRF算法不僅提高了算法的穩定性，還充分發揮了粒子群的全局優化能力，大大提高了分類精度。

1 傳統ELM-LRF算法

1.1 極限學習機(ELM)

極限學習機(ELM)是2004年新加坡南洋理工大學黃廣斌等人提出的一種新型單隱層前饋神經網絡(SLFNs)[13]。該算法無需復雜的迭代計算，只需要設置隱含層節點個數，網絡便能通過隨機輸入權重和隱含層偏置產生唯一的最優解，參數選擇容易、學習速度快而且泛化性能好[9]。

ELM求解過程如下：對于n個任意的樣本(xi,ti)，其中xi=[x1,x2,…,xn]代表第i個輸入向量，ti=[t1,t2,…,tn]表示第i個訓練樣本的目標標簽，則一個具有L個隱含層節點，激勵函數為G(x)的前饋神經網絡的輸出可以表示為：

(1)

式中：wi=(wi1,wi2,…,win)T是第i個隱含層節點與訓練樣本之間的權重；bi是第i個隱含層節點的偏置；βi=(βi1,βi2,…,βim)T是第i個隱含層節點和輸出節點之間的權重；Yi=(y1,y2,…,yn)T是輸出期望向量。

ELM的目標是最小化輸出與期望的誤差。上述等式可以表示為：

Hβ=L.

(2)

最后使用最小二乘法來計算輸出權重，如下式：

(3)

式中，H+是H的廣義逆矩陣。

1.2 基于局部感受野的極限學習機(ELM-LRF)

基于局部感受野的極限學習機(ELM-LRF)是一種特殊的ELM。其架構中輸入層和隱含層節點之間的連接是根據連續概率分布隨機生成的，這種隨機的連接構成了局部感受野[10]。ELM-LRF通過類似卷積神經網絡(CNN)的單層卷積、池化網絡來自行提取輸入中的特征，并且通過ELM的輸出權重公式進行分類，具體結構如圖1所示。

圖1 ELM-LRF精簡架構Fig.1 Simple architecture of ELM-LRF

為了更充分地表示輸入，采用K個不同的輸入權重，從而得到K個不同的特征圖[14]，如圖2所示。其具體實現分為以下3個步驟：

1) 隨機生成初始權重Ainit.設輸入圖像大小為d×d，局部感受野大小為r×r，那么特征圖的大小為(d-r+1)×(d-r+1).

(4)

之后采用奇異值分解(SVD)將初始權重Ainit正交化，記正交化的結果為A，A中每一列αK都是Ainit的一組正交基。第k個特征圖的輸入權重是αk∈Rr×r，由αk逐列排成。第k個特征圖的卷積節點(i,j)的值ci,j,k由下式計算：

(5)

2) 平方根池化。池化大小e表示池化中心到邊的距離[15]，在ELM-LRF中池化圖與特征圖大小相同，都為(d-r+1)×(d-r+1).ci,j,k和hp,q,k分別表示第k個特征圖中的節點(i,j)和第k個池化圖中的組合節點(p,q).

(6)

3) 計算輸出權重矩陣。對于每一個輸入樣本x計算其對應的特征圖和池化圖，并把池化圖中的各個組合節點合成一個行向量；之后將N個輸入樣本的行向量連接起來，得到組合層矩陣H∈RN×Kg(d-r+1)2，最后組合層與輸出層采用全連接。輸出權重為β，采用正則化最小二乘解析計算。具體公式如下[10]：

如果N≤Kg(d-r+1)2

(7)

如果N>Kg(d-r+1)2

(8)

圖2 含K個特征圖的ELM-LRF網絡架構Fig.2 Architecture of ELM-LRF with K maps

2 粒子群(PSO)算法

粒子群算法又叫鳥群算法，其思想源于鳥群覓食行為，每個粒子代表一組可能的解，所有的粒子組成一個群體，粒子在空間中根據自身的歷史信息和群體的歷史信息決定自己的速度和位置，直到找到問題的最優解，其迭代更新公式[16]如下：

(9)

為使算法前期擁有較好的全局搜索能力，在較大區域內尋找最優解，后期擁有較好的局部搜索能力，在局部精細搜索，采用慣性權重線性下降處理，如式(10)所示[17]：

(10)

式中：wmax，wmin分別為權重最大值和最小值；kn和kmax分別為當前和最大迭代次數。

3 改進的ELM-LRF算法

本文提出的改進ELM-LRF圖像分類算法是運用PSO算法對傳統ELM-LRF算法中隨機生成的K個特征圖的初始權重Ainit進行優化選擇，最終選取最優值作為模型的參數。與常規PSO優化ELM網絡不同的是，本文通過PSO改進的ELM-LRF算法(命名為IPSO-ELM-LRF)針對圖像強的局部關系以及二維結構信息，優化的參數為ELM-LRF算法中各個卷積核的初始權重，由于卷積核的加入，使得優化后的算法比傳統經PSO優化的ELM對圖像有更強的針對性。IPSO-ELM-LRF的算法流程如圖3所示。

圖3 IPSO-ELM-LRF算法流程圖Fig.3 Arithmetic flow chart for IPSO-ELM-LRF

具體步驟為：

1) 將圖像轉化為d×d大小，之后將圖像灰度化、歸一化作為算法的輸入樣本。

2) 產生初始種群：根據感受野大小(r×r)和特征圖數量K產生D=(r×r)gK個初始粒子。

3) 根據式(5)計算粒子對應的特征圖矩陣。

4) 根據式(6)計算池化圖矩陣。

5) 計算粒子對應的輸出權重矩陣β(式7)。

6) 計算適應度函數：首先根據Hβ=L計算出預測標簽L，適應度即為圖像的分類準確率。第i個粒子的適應度記為fitness_i(注：對于第一個粒子A1，令最優適應度值fitness_best=fitness_1，并將A1作為個體最優值PBest)。

7) PSO更新粒子：

由式(9)—(10)更新種群中各粒子的速度和位置。然后執行下列偽代碼：

For (1

// popsize為種群中的粒子個數

{

計算Ai的適應度值fitness_i；

If fitness_i>fitness_best

PBest(i)=Ai

fitness_best=fitness_i

Else

}

令fitness_best對應的粒子A為全局最優值GBest；

8) 滿足預設的迭代次數或者GBest達到預設值，進入下一步，否則轉到3)。

9) 得到GBest對應的粒子(輸入權值)，利用ELM-LRF求得輸出權值矩陣。由Hβ=L計算出預測類別。

需要注意的是，第7)步中，隨著粒子的更新，其粒子位置可能超出預先規定的位置上下限Xmax，Xmin.本文采用如下方式進行約束：若粒子位置大于上限Xmax，則讓其等于上限；若粒子位置小于下限Xmin，則讓其等于下限。由于粒子是由高斯分布隨機數產生，故這里規定其位置上下限為±3.

4 實驗及實驗結果

4.1 數據來源

為了驗證IPSO-ELM-LRF算法的有效性，我們在以下兩個數據集上進行圖像分類實驗。數據集一為Caltech 101 dataset[DB/OL][12]，該數據包含101類物體圖像。為了方便與其他算法作對比，本文選取了該數據庫官方給出的常用10個類，分別為Airplane, Bonsai, Car_side, Chandelier, Face,Hawksbill,Ketch,Leopards,Motorbikes,Watch.每類包含123～800幅圖像，每類圖像具有復雜的背景且大小不一，其中還夾雜大量灰度圖像，這給常規分類算法帶來了一定的挑戰。為保證公平的測試條件，根據常規的實驗設定，本文從每類中隨機抽取100個樣本，并通過下述方法進行數據增強：1) 水平和垂直方向作鏡像處理；2) 將圖像分別沿上、下、左、右、左上、左下、右上、右下八個方向進行5個像素點的平移，平移之后的空白用0補全。通過上述兩種方法將數據集擴充為原來的10倍，共10 000張圖像，選擇其中7 000幅用做訓練圖像，1 500幅用做優化算法的驗證圖像，剩余的1 500幅作為實驗最終的測試圖像。

數據集二為CIFAR-10 dataset，該數據集包含Bird，Cat，Frog等10類圖像，每類圖像6 000幅。本文隨機選擇每類的5 000幅圖像為訓練集，500幅為驗證集，剩余500幅為測試集。將兩個數據集圖像均轉化為32dip×32dip, 之后將圖像灰度化、歸一化作為輸入樣本。

4.2 參數選取

本文提出的IPSO-ELM-LRF算法中，最重要的有兩類參數，一類是ELM-LRF中的平衡參數C和特征圖個數K，另一類是優化算法中的種群大小P和迭代次數N.對于慣性權重w、學習因子c1和c2等相關參數的選取，已較為成熟穩定，本文參照文獻[18]中的相關參數設置。具體數值如表1所示。

表1 IPSO-ELM-LRF算法的相關參數Table 1 Related parameters of IPSO-ELM-LRF

為了分析平衡參數C和特征圖個數K對算法的影響，本文首先做了參數敏感性實驗。將變量C的范圍設定在{10-4,10-3,10-2,…,102,103}，K的范圍設定在{12,24,36,48,60}，在此基礎上分析參數對算法的影響。結果如圖4所示。圖中可以看出：對于Caltech 101 dataset，當C=0.01，K=48時，測試準確率最高；對于CIFAR-10 dataset，當C=0.1，K=48時，準確率最高。

圖4 IPSO-ELM-LRF算法中C,K參數敏感性測試Fig.4 Sensitivity test of C and K parameters in IPSO-ELM-LRF algorithm

針對種群大小P和迭代次數N對算法的影響，本文首先設置IPSO-ELM-LRF的迭代次數為10，種群大小分別選擇P=5,10,15,…,40，每次實驗做20組取平均值(下同)，測試IPSO-ELM-LRF的測試誤差，測試結果如圖5所示。可見對于2個數據集，當種群大小分別為20和30時，生成最優解。

圖5 種群大小對測試誤差的影響曲線Fig.5 Influence curve of population size on test error

設置Caltech 101 dataset種群大小為20，CIFAR-10 dataset種群大小為30，將迭代次數逐漸增大。由圖6可見，隨著迭代次數的增加，測試誤差逐漸減小。Caltech 101迭代次數為90時，趨于平穩；CIFAR-10迭代次數為105時，趨于平穩。

圖6 迭代次數對測試誤差的影響曲線Fig.6 Influence curve of iteration times on test error

4.3 結果與分析

為驗證IPSO-ELM-LRF算法在圖像分類上的性能，在上述兩個數據集上，本文將該算法與傳統ELM-LRF以及其他深度學習算法進行了比較。其中IPSO-ELM-LRF采用表1的參數，相應的傳統ELM-LRF算法中的平衡參數C、特征圖個數K、核大小Ke和池化大小e也與表中參數相同。CNN和DBN的模型參數參照文獻[19-20]設定，具體參見表2。實驗在Intel 2.5 GHz CPU，64G RAM和Matlab R2015a環境下進行。實驗運行20次后取平均值進行對比，實驗結果如表3所示。

表2 CNN與DBN分類時的相關參數Table 2 Related parameters in the classification of CNN and DBN

對于Caltech 101數據集，在測試準確率方面本文提出的IPSO-ELM-LRF算法達到了92.39%，比傳統ELM-LRF算法高5.37%，且均高于經典的深度學習算法CNN和DBN；在訓練時間方面，傳統ELM-LRF算法的訓練時間遠遠小于其它3種算法，比用時最長的DBN縮短近百倍，這也對其進行優化提供了條件；測試時間方面，IPSO-ELM-LRF算法優于其它3種算法，說明其在實際預測過程中有較為優秀的性能；在測試準確率標準差方面，傳統ELM-LRF算法最高，達到了2.87%，通過本文改進后降為0.77%。綜上，本文提出的IPSO-ELM-LRF算法雖然訓練時間比傳統ELM-LRF算法上升，但其準確率和穩定性均大大提高，且其訓練時間與DBN和CNN相比仍占據優勢。

表3 不同算法分類結果對比Table 3 Comparison of classification results of different algorithms

對于CIFAR-10數據集，在訓練準確率方面，五種算法幾乎都達到了100%；在測試準確率方面ELM-LRF算法的準確率略高于CNN和DBN，而改進之后的IPSO-ELM-LRF算法準確率達到了87.20%，雖然與該數據集官方給出的89.62%(Maxout算法[21])有一定的差距，但也相差甚微；訓練時間方面，在相同實驗環境下ELM-LRF的訓練時間遠遠小于傳統深度學習方法。本文提出的IPSO-ELM-LRF算法通過迭代尋優提高了傳統ELM-LRF的準確率，雖然訓練時間也相應地增大，但由于ELM-LRF較快的訓練速度，使得迭代尋優后的IPSO-ELM-LRF算法在訓練時間上仍要優于傳統深度學習算法。測試準確率方面表現最優的Maxout算法訓練耗時也比本文提出的算法要長。分析Maxout的原理可知，該算法是通過Kn(人工設定)個隱層節點計算激活值，最終選取Kn個值中的最大值作為輸出。Kn的設定使得Maxout的層間參數擴大了Kn倍，從而使得訓練時間也成倍增加。測試時間方面，IPSO-ELM-LRF與傳統ELM-LRF時間近似，均遠遠小于其它3種深度學習算法；測試準確率標準差方面，IPSO-ELM-LRF算法同樣也較ELM-LRF算法大大降低。

因此可以說IPSO-ELM-LRF算法在準確率、穩定性等方面均優于傳統ELM-LRF；而且與CNN和DBN相比，本文的IPSO-ELM-LRF算法在分類性能、訓練時間和測試時間上也表現得更為優秀。

圖7為Caltech 101數據上IPSO-ELM-LRF與傳統ELM-LRF之間的穩定性比較。由圖可見，IPSO-ELM-LRF的穩定性穩定在1%以內，性能優于傳統ELM-LRF.

圖7 IPSO-ELM-LRF與ELM-LRF的穩定性對比Fig.7 Stability comparison between IPSO-ELM-LRF and ELM-LRF

為了更清晰地觀察分類結果，本文繪制了Caltech 101數據集10個類的混淆矩陣圖，如圖8所示。縱軸表示實際標簽，橫軸表示預測標簽。圖中混淆矩陣對角線上的顏色越紅(深)，對角線以外的雜點越少，代表該類的分類正確率越高。因此在圖中進一步看出IPSO-ELM-LRF比傳統ELM-LRF及其他深度學習算法有更為精確的分類結果。

圖8 各算法的混淆矩陣圖Fig.8 Confusion matrix graph of each algorithm

5 結束語

針對傳統ELM-LRF算法穩定性較差的缺陷，提出一種基于粒子群優化的ELM-LRF算法IPSO-ELM-LRF.利用粒子群優化選擇ELM-LRF的輸入權重，不僅增強了算法的穩定性，還充分發揮了粒子群的優勢，大大提高了分類的準確率。此外本文還給出了IPSO-ELM-LRF參數選取的具體步驟，根據該步驟可快速找到IPSO-ELM-LRF算法針對不同數據集的最佳參數。與常規深度學習算法相比，IPSO-ELM-LRF算法的參數較少，無需復雜的人工參數選取，使用非常便捷，準確率也顯著升高。