在線極限學習機及其在圖像識別中的應用

摘要：針對海量圖像數(shù)據(jù)的識別問題，本文提出了在線極限學習機（online optimized ELM，OP-ELM）。OP-ELM以單隱層前饋神經(jīng)網(wǎng)絡（single hidden layer feed forward networks，SLFNs）為基礎，固定了隱含節(jié)點數(shù)以及節(jié)點參數(shù)，在在線增量學習過程中綜合考慮歷史數(shù)據(jù)和新數(shù)據(jù)，產(chǎn)生全局唯一的最優(yōu)解，降低了計算資源的需求，繼承了極限學習機（Extreme Learning Machine，ELM）學習速度快泛化性能好的優(yōu)點。因此非常適合于海量圖像數(shù)據(jù)的在線學習問題。在公開圖像數(shù)據(jù)集Caltech4和Scene13上的實驗表明，本文提出的方法取得了與前沿離線識別方法性能相當?shù)淖R別效果，與基于SVM的在線學習方法LA-SVM相比，在參數(shù)規(guī)模、參數(shù)調節(jié)以及學習算法效率方面具有明顯優(yōu)勢。

關鍵詞：圖像識別；極限學習機；算法

DOI: 10.3969/j.issn.1005-5517.2012.4.017

隨著多媒體技術以及計算機互聯(lián)網(wǎng)技術的迅速發(fā)展，圖像數(shù)據(jù)規(guī)模呈現(xiàn)爆炸式的增長。本文針對海量圖像分類的學習問題，提出了一種在線的極限學習機OP-ELM。OP-ELM以單隱層前饋神經(jīng)網(wǎng)絡為基礎，繼承了極限學習機不需要調整網(wǎng)絡的輸入權值以及隱元的偏置，學習速度快泛化性能好的優(yōu)點。另一方面，OP-ELM在歷史批次和當前批次數(shù)據(jù)中訓練全局最優(yōu)的隱含節(jié)點權重參數(shù)。而且每一輪在線訓練過程中，算法輸入僅依賴于當前批次的數(shù)據(jù)，無需再次掃描歷史數(shù)據(jù)，模型參數(shù)規(guī)模不會因為數(shù)據(jù)量的變化而增大。OP-ELM在保證模型精度和泛化能力的同時，給出了一種快速有效的在線學習方法，滿足了海量數(shù)據(jù)訓練的計算需求。在公開圖像數(shù)據(jù)集Caltech4和Scene13上的實驗表明，本文提出的方法具有與目前前沿的識別方法相當?shù)淖R別效果，與已有在線學習方法相比，在參數(shù)規(guī)模、參數(shù)調節(jié)以及學習算法效率方面具有明顯優(yōu)勢。