基于GA\\BP神經網絡和多元回歸的集成算法研究

摘要：遺傳算法、BP神經網絡和多元回歸是目前應用比較廣泛的數據挖掘算法，它們各俱優點，同時也存在諸多無法避免的缺陷。該文在前三者的基礎上，提出一種BP網絡與多元回歸模型融合的雜合BP網絡，并采用遺傳算法優化雜合BP網絡的初始權值，有效地避免幾種方法在單獨使用時存在的缺陷。驗證實驗結果表明：新方法所建立的模型在收斂速度、精度和泛化能力上都明顯優于GA、BP神經網絡和多元回歸，并且較當今比較熱門的ELM、SVRKM和SVM也有較顯著的改進。

關鍵詞：BP神經網絡，多元回歸，遺傳算法，算法集成

Integration Algorithm Based on Genetic Algorithm， BP neural network and multiple regressions

Cheng ChenGuiping LiaoJinwei LiXiaohui Shi

（Agricultural Information Institute of Hunan Agricultural UniversityChangsha430000）

Abstract: Genetic Algorithm， BP neural network and multiple regression are used widely in data mining algorithms， each of them have their benefits. Simultaneously， they have some inevitable flaws. On the basis of previous three， I made some improvements in the structure of them. First， I propose a hybrid BP network based on the integration of BP Network and multiple regression models. Then I used the hybrid genetic algorithm to optimize the initial weights of hybrid BP network. In that way， I effectively avoid the inevitable flaws when they alone. Validation results show， in convergence speed accuracy and generalization ability， the model of new methods is better than Genetic Algorithm， BP neural network and multiple regressions. In addition， the model of new methods has significant improvements compared with ELM， SVRKM and SVM.

Key words: BP Neural Network; Multiple regression; Genetic Algorithms; Algorithm integration

中圖分類號：TP183 文獻標識碼：A

基金項目：湖南省研究生科技創新基金項目（CX2010B280）

作者簡介：陳誠（1986-），男，安徽蚌埠人，碩士研究生，研究方向：人工智能、信息處理。通訊作者：廖桂平（1964-），男，博士生導師，教授，主要從事農業信息技術的研究。Email：lgpxf@yahoo.com.cn

1 引言

近年來，隨著“云”概念的普及和發展，當今社會的信息量越來越龐大，信息結構變得越來越復雜，信息的表現形式已經呈現出從“信息庫”向“信息云”靠攏的趨勢，如何在“信息云”中發掘出準確有益的信息已經成為現今研究的熱門問題，而數據挖掘技術正是解決這一問題的最佳方法之一。在面對各種復雜數據時，數據挖掘技術能夠方便快捷地挖掘出大量數據中隱含的內在規律，提煉出有用的信息，從而為決策提供可靠的依據。

遺傳算法、BP神經網絡和多元回歸是數據挖掘算法中應用較廣泛的三種方法，在很長的一段時間內都是數據挖掘常用的算法。然而，隨著當今社會信息量的急劇增大、信息結構的不斷復雜化，它們的缺陷也越來越明顯：（1）遺傳算法雖然能很快的接近最優解，但隨后會在最優解附近左右擺動，收斂精度不高[1]。（2）BP神經網絡的學習速度慢，容易陷入局部極值，在模擬線性關系時效果沒有多元線性回歸理想。（3）多元線性回歸模型的應用領域較窄，雖然處理線性關系的數據效果很好，但是在面對非線性關系的數據時效果比較差。

由于遺傳算法、BP神經網絡和多元回歸存在明顯的缺陷，因此已經逐漸呈現出被ELM、SVRKM和SVM這幾種當今主流方法所取代的趨勢。但是，遺傳算法、BP神經網絡和多元回歸并不會真的成為過去，他們依然存在自己的巨大優勢，這是其他方法無法具備的。本文在遺傳算法、BP神經網絡和多元回歸的基礎上，結合三者的優點，提出一種BP網絡與多元回歸模型融合的雜合BP網絡，并采用遺傳算法優化雜合BP網絡的初始權值，有效地避免幾種方法在單獨使用時存在的缺陷。驗證實驗結果表明：新方法所建立的模型在收斂速度、精度和泛化能力上都明顯優于GA、BP神經網絡和多元回歸，并且較ELM、SVRKM和SVM也有較顯著的改進。

2相關知識

2.1BP神經網絡

2.1.1 BP神經網絡簡介

BP網絡是一種有隱含層的多層前饋網絡， 系統解決了多層網絡中隱含單元連接權的學習問題，基本原理是梯度最速下降法， 它的中心思想是調整權值使得網絡總誤差最小。假設輸入節點為x 、隱層節點為h 、輸出節點為y ，輸入層到隱層的權值矩陣為W 、隱層到輸出層的權值矩陣為W ，則隱層節點h 和輸出節點y 可以表示為：

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文