基于二層規(guī)劃的改進(jìn)RBF算法在iris數(shù)據(jù)集分類中的應(yīng)用

王淑芬 (石河子大學(xué)理學(xué)院，新疆 石河子 832003)

王 衛(wèi) (新疆生產(chǎn)建設(shè)兵團(tuán)化工綠色過程重點(diǎn)實(shí)驗(yàn)室(石河子大學(xué))，新疆 石河子 832003)

基于二層規(guī)劃的改進(jìn)RBF算法在iris數(shù)據(jù)集分類中的應(yīng)用

王淑芬 (石河子大學(xué)理學(xué)院，新疆 石河子 832003)

王 衛(wèi) (新疆生產(chǎn)建設(shè)兵團(tuán)化工綠色過程重點(diǎn)實(shí)驗(yàn)室(石河子大學(xué))，新疆 石河子 832003)

基于二層規(guī)劃上下層相互制約、各自獨(dú)立決策的性質(zhì)，融合遺傳算法的選擇、交叉算子，采用交叉驗(yàn)證方法，動(dòng)態(tài)改善RBF算法的精度，使奇異樣本以較大概率落在下層，以得到精度較高的訓(xùn)練網(wǎng)絡(luò)。研究表明，改進(jìn)RBF算法可以提高訓(xùn)練網(wǎng)絡(luò)的泛化能力，并能以較大概率得到預(yù)測(cè)集中的奇異樣本。

二層規(guī)劃；神經(jīng)網(wǎng)絡(luò)；遺傳算法；uic數(shù)據(jù)庫(kù)；分類

模型精度的優(yōu)劣是評(píng)判模型的重要指標(biāo)。交叉驗(yàn)證是評(píng)價(jià)模型精度的常用方法。交叉驗(yàn)證通常有3種，即Hold-Out Method、K-fold Cross Validation和Leave-One-Out Cross Validation，其中K-fold Cross Validation可以有效地避免過學(xué)習(xí)以及欠學(xué)習(xí)狀態(tài)的發(fā)生,具有較高的可靠性。筆者結(jié)合二層規(guī)劃上下層相互制約、各自獨(dú)立決策的性質(zhì)，在徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(Radial Basis Function,RBF)模型訓(xùn)練中引入K-fold Cross Validation交叉驗(yàn)證，動(dòng)態(tài)選擇訓(xùn)練數(shù)據(jù)集，使得到的訓(xùn)練模型具有更高的網(wǎng)絡(luò)泛化能力。

1 二層規(guī)劃及RBF算法理論簡(jiǎn)介

1.1二層規(guī)劃基本理論

二層規(guī)劃是一種具有二層遞階結(jié)構(gòu)的決策優(yōu)化問題[1]。上層和下層各有目標(biāo)函數(shù)和約束條件，上層問題的目標(biāo)函數(shù)和約束條件，不僅與上層決策變量有關(guān)，而且還依賴于下層問題的最優(yōu)解或最優(yōu)值。下層問題的最優(yōu)解又受上層決策變量的影響，其解(或最優(yōu)值)反饋到上層而影響上層規(guī)劃問題的最優(yōu)解。

1.2RBF算法簡(jiǎn)介

人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Net- works，ANN)模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。由于人工神經(jīng)網(wǎng)絡(luò)具有非線性適應(yīng)性信息處理能力，因而在神經(jīng)專家系統(tǒng)、模式識(shí)別、智能控制等領(lǐng)域得到廣泛應(yīng)用[2-5]。常用的ANN模型中，多層感知器神經(jīng)網(wǎng)絡(luò)使用反向傳播(Error Back Propagation,BP)訓(xùn)練算法，存在收斂速度慢、過多調(diào)整參數(shù)等問題[6]。徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(Radial Basis Function,RBF)可以根據(jù)具體問題確定相應(yīng)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，具有自學(xué)習(xí)、自組織、自適應(yīng)功能，它對(duì)非線性連續(xù)函數(shù)具有一致逼近性，可以進(jìn)行大范圍的數(shù)據(jù)融合，并行高速地處理數(shù)據(jù)。目前，RBF神經(jīng)網(wǎng)絡(luò)已經(jīng)成功地用于非線性函數(shù)逼近、時(shí)間序列分析、數(shù)據(jù)分類、模式識(shí)別、信息處理、圖像處理、系統(tǒng)建模、控制和故障診斷等。

2 改進(jìn)的RBF算法

在RBF網(wǎng)絡(luò)模型訓(xùn)練中，訓(xùn)練集的選擇直接影響訓(xùn)練后網(wǎng)絡(luò)的精度，導(dǎo)致網(wǎng)絡(luò)泛化能力較差。通過二層規(guī)劃模型上下層相互協(xié)調(diào)，采用遺傳算法的自適應(yīng)、自學(xué)習(xí)性，動(dòng)態(tài)進(jìn)行訓(xùn)練集的選擇，進(jìn)而改進(jìn)算法，提高網(wǎng)絡(luò)的泛化能力[6]。

2.1改進(jìn)算法步驟

1)將訓(xùn)練樣本隨機(jī)分為2層，即上層和下層(每層樣本個(gè)數(shù)任意給定，通常上層個(gè)數(shù)遠(yuǎn)多于下層個(gè)數(shù))。

2)對(duì)上層訓(xùn)練樣本進(jìn)行訓(xùn)練。

3)利用上層樣本數(shù)據(jù)進(jìn)行訓(xùn)練，得到網(wǎng)絡(luò)對(duì)下層樣本數(shù)據(jù)進(jìn)行測(cè)試，觀察誤差是否達(dá)到要求，若達(dá)到要求，則輸出網(wǎng)絡(luò)，對(duì)測(cè)試集進(jìn)行測(cè)試，否則繼續(xù)進(jìn)行4)和5)。

4)將上下層樣本數(shù)據(jù)分別代入訓(xùn)練模型，計(jì)算上下層樣本誤差，進(jìn)行排序。

5)選擇上層排序誤差較大的n個(gè)和下層排序后誤差較小的n個(gè)樣本進(jìn)行交換，返回2)。

2.2一個(gè)奇異樣本的算法分析

訓(xùn)練集中存在一個(gè)奇異樣本情況下，設(shè)“輸出網(wǎng)絡(luò)”為事件E，用P(E)表示其概率。假定網(wǎng)絡(luò)訓(xùn)練中的其余參數(shù)已達(dá)到最優(yōu)，只考慮奇異樣本對(duì)輸出網(wǎng)絡(luò)的影響，若奇異樣本不在上層，通過訓(xùn)練能輸出理想網(wǎng)絡(luò)，若奇異樣本在上層，通過進(jìn)行修正使其落到下層以得到理想訓(xùn)練網(wǎng)絡(luò)。

1)對(duì)訓(xùn)練集分層，設(shè)訓(xùn)練集樣本個(gè)數(shù)N，上層樣本個(gè)數(shù)為N1,下層樣本個(gè)數(shù)N2(N1+N2=N)。根據(jù)奇異樣本落在所在層，整個(gè)樣本被分成2個(gè)對(duì)立事件，即Ai,i=0,1，Ai表示恰有i個(gè)奇異樣本分到了上層。

4)奇異樣本在A0條件下，得到理想網(wǎng)絡(luò)的概率為1，即P(E|A0)=1。

2.3多個(gè)奇異樣本的算法分析

訓(xùn)練集中存在m個(gè)奇異樣本情況下，設(shè)“輸出網(wǎng)絡(luò)”為事件E，用P(E)表示概率。

2)隨著奇異樣本個(gè)數(shù)的增加，全部落到下層的概率非常小，即P(A0)為小概率事件。奇異樣本在A0條件下，得到理想網(wǎng)絡(luò)的概率為1，即P(E|A0)=1。

3)在事件Ai,i=1,2,…,m的條件進(jìn)行網(wǎng)絡(luò)訓(xùn)練，對(duì)上層樣本進(jìn)行修正，此時(shí)由于m個(gè)奇異樣本在上下層的分布具有隨機(jī)性，如果沿用一個(gè)奇異樣本的修正策略，會(huì)產(chǎn)生很多的無效修正。引入競(jìng)爭(zhēng)機(jī)制，將上下層樣本的預(yù)測(cè)誤差排序，既提高了計(jì)算效率，同時(shí)避免了無效的交叉循環(huán)。

4)選擇上層排序后誤差較大的n個(gè)和下層排序后誤差較小的n個(gè)樣本進(jìn)行交換，經(jīng)過一定進(jìn)化代數(shù)，得到較好的網(wǎng)絡(luò)。據(jù)實(shí)際推斷原理，則P(E/Ai) 隨著修正次數(shù)的增大無限接近1。

綜上所述，在訓(xùn)練集存在多個(gè)奇異樣本的條件下，改進(jìn)的RBF算法通過競(jìng)爭(zhēng)機(jī)制的引進(jìn)，不斷的調(diào)整上下層奇異樣本的個(gè)數(shù)，使上層奇異樣本個(gè)數(shù)逐漸減少，得到較好訓(xùn)練網(wǎng)絡(luò)的概率P(E)也非常大。

3 實(shí)例分析

3.1iris數(shù)據(jù)集驗(yàn)證

采用uic數(shù)據(jù)庫(kù)的iris(鳶尾花)數(shù)據(jù)集進(jìn)行算法可行性驗(yàn)證。iris數(shù)據(jù)集共150個(gè)樣本，每個(gè)樣本含4個(gè)屬性，共分為3類。試驗(yàn)中，在150個(gè)原始數(shù)據(jù)集中隨機(jī)選擇3組數(shù)據(jù)進(jìn)行測(cè)試，在iris數(shù)據(jù)集中隨機(jī)選擇3組測(cè)試集，每組40個(gè)數(shù)據(jù)，其余110個(gè)數(shù)據(jù)作為訓(xùn)練集使用：

第1組:11，15，19，20，24，26，36，38，42，46，47，50，52，60，63，71，72,73,75,76,79,80,81,82,86,87,98,101,104,114,117,118,119,124,124,128,131,139,142,150。

第2組：7,8,9,15,17,22,23,28,33,35,39,44,47,49,50,62,64,68,73,80,81,93,98,100,102,110,114,117,119,120,125,126,128,129,133,135,137,142,144,150。

第3組:1，4，6，8，9，11，16，17，18，21，28，30，32，33，38，40，41，44，49，50，70，73，75，77，78，80，83，84，88，98，101，103，115，123，124，126，127，133，134，145。

表1 RBF算法和改進(jìn)RBF算法準(zhǔn)確率比較

對(duì)1組測(cè)試集隨機(jī)進(jìn)行100、200和500次預(yù)測(cè)，結(jié)果如表1所示。從表1可以看出，改進(jìn)RBF算法比原有算法的準(zhǔn)確率高，說明改進(jìn)的RBF算法能提高測(cè)試集預(yù)測(cè)精度。

3.2對(duì)iris預(yù)測(cè)集結(jié)果統(tǒng)計(jì)分析奇異樣本

分別對(duì)iris數(shù)據(jù)集隨機(jī)選擇的上述3組測(cè)試集各進(jìn)行500次試驗(yàn)，如圖1所示。從圖中可以看出，第1組數(shù)據(jù)中序號(hào)為18、33、38的樣本預(yù)測(cè)結(jié)果較差，第2組數(shù)據(jù)中序號(hào)為29、30、36的樣本預(yù)測(cè)結(jié)果較差，第3組數(shù)據(jù)中序號(hào)為22、25、28的樣本預(yù)測(cè)結(jié)果較差。

圖1 數(shù)據(jù)500次測(cè)試各樣本誤差次數(shù)

第1組的18號(hào)與第3組的22號(hào)同為原始數(shù)據(jù)的73號(hào)樣本。第1組的33號(hào)和第2組的29號(hào)同為原始數(shù)據(jù)的119號(hào)樣本。3組數(shù)據(jù)的隨機(jī)分類包含了85個(gè)不同的原始數(shù)據(jù)，在每組進(jìn)行500次試驗(yàn)中，原始數(shù)據(jù)的73號(hào)樣本和119號(hào)樣本出錯(cuò)的次數(shù)較多，說明150個(gè)原始樣本數(shù)據(jù)中73號(hào)和119號(hào)成為奇異樣本的概率很大。

4 結(jié) 語

根據(jù)二層規(guī)劃各層變量獨(dú)立決策、相互影響的性質(zhì)并融合遺傳算法的遺傳算子，提出動(dòng)態(tài)選擇訓(xùn)練集的改進(jìn)RBF算法。通過iris數(shù)據(jù)集的驗(yàn)證表明，改進(jìn)的RBF算法能獲得優(yōu)良的訓(xùn)練網(wǎng)絡(luò)，從而提高預(yù)測(cè)的準(zhǔn)確率。大量隨機(jī)試驗(yàn)結(jié)果顯示，某些樣本誤差出現(xiàn)的次數(shù)非常高，為奇異樣本的概率很大。因上，上述研究對(duì)疾病診斷、生物制藥、基因變異等相關(guān)領(lǐng)域的研究會(huì)起到積極作用。

[1]滕春賢,李智慧.二層規(guī)劃的理論與應(yīng)用[M].科學(xué)出版社,2002.

[2]鮑鴻,黃心漢,李錫雄.廣義模糊推理與廣義模糊RBF神經(jīng)網(wǎng)絡(luò)[J].控制與決策,2000,15(2):205-208.

[3]薛富強(qiáng),葛臨東,王彬.基于改進(jìn)遞階遺傳算法的RBF神經(jīng)網(wǎng)絡(luò)分類器[J].系統(tǒng)仿真學(xué)報(bào),2010(2):399-402.

[4]葉健,葛林東,吳月嫻.一種優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)在調(diào)制識(shí)別中的應(yīng)用[J].自動(dòng)化學(xué)報(bào),2007,33(6):652-654.

[5]梁斌梅,韋琳娜.改進(jìn)的徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)[J].計(jì)算機(jī)仿真,2009,26(11):191-194.

[6]李杰,韓正之.一種估計(jì)人工神經(jīng)網(wǎng)絡(luò)泛化誤差的新方法[J].控制理論與應(yīng)用，2001,18(2): 257-259.

10.3969/j.issn.1673-1409(N).2012.08.044

TP274

A

1673-1409(2012)08-N134-03

2012-05-12

新疆生產(chǎn)建設(shè)兵團(tuán)博士基金項(xiàng)目(2011BB011)。

王淑芬(1979-)，女，2002年大學(xué)畢業(yè)，碩士，講師，現(xiàn)主要從事遺傳算法、神經(jīng)網(wǎng)絡(luò)理論及應(yīng)用方面的教學(xué)與研究工作。

[編輯] 李啟棟