改進粒子群算法優化灰色神經網絡預測模型及其應用

周飛，呂一清，石林娜

（1.四川大學經濟學院，成都610041；2.暨南大學深圳旅游學院，廣東深圳518053；3.四川省科技促進發展研究中心，成都610041）

改進粒子群算法優化灰色神經網絡預測模型及其應用

周飛1，呂一清2，石林娜3

（1.四川大學經濟學院，成都610041；2.暨南大學深圳旅游學院，廣東深圳518053；3.四川省科技促進發展研究中心，成都610041）

文章針對神經網絡存在局部最優、收斂速度慢以及大樣本等缺點，將改進的粒子群算法、灰色模型和神經網絡模型有機結合，構建了改進粒子群優化灰色神經網絡預測模型（IPSO-GMNN）。并與其他預測模型進行比較，實證結果表明：IPSO-GMNN預測模型能夠克服神經網絡預測模型的不足，更好地識別時間序列的非線性和突變性特征。在對我國專利授權數量的預測應用中，新模型對非線性時間數據預測表現出更好的預測精度和穩定性。

粒子群算法；灰色神經網絡模型；專利授權數量；預測

0 引言

當前，我國學者主要使用經典的統計方法（多元回歸模型分析、馬爾科夫預測模型）、計量經濟學預測模型（時間序列預測模型）、神經網絡預測模型和灰色理論模型對我國專利授權數量進行預測研究。崔繼峰、劉小芳[1]等使用中國知識產權局專利數據庫，對我國專利授權特征進行了分析，并使用最小二乘法和二元線性回歸對專利授權數量進行了預測研究，結果表明我國專利授權數量具有強勁的增長趨勢。張玲、朱長寶[2]使用徑向基神經網絡對專利申請數量做了預測研究，并與ARMA模型進行了比較，發現其預測能力更強。胡澤文、武夷善[3]使用多元回歸模型和BP神經網絡對國科技產出影響因素進行分析并做預測研究，并構建BP神經網絡預測模型對我國科技能力進行預測。馬俊杰等[4]改進小波神經網絡對我國發明專利授權數量做預測，提高了預測精度，并針對當時我國專利授權數量特征給出了有效政策建議。林映華、李奎[5]使用小波神經網絡對粵、蘇兩區域的專利進行了預測和比較，尋找未來兩省在發明專利方面的合作策略。然而，針對專利授權數量的預測模型并沒有很好的被解決。基于傳統統計基礎的計量經濟模型有太多的統計假設條件，而專利授權數量的影響因素復雜，并且與影響因素之間存在著非線性關系。在不滿足統計假設的前提下將導致預測效果不理想。神經網絡模型可以解決非線性、復雜性較高的預測問題，但是簡單的神經網絡需要大量的數據進行訓練，從而增加數據收集成本，有時也可能出現局部最優的缺點。灰色模型預測僅需要少量數據，但是預測精度不高。隨著智能算法和人工智能的發展，越來越多的預測問題使用更加復雜算法集成的預測模型，該類模型融合各類智能算法的優點，提高預測的精度[6,7]。

本文提出了改進粒子群優化灰色神經網絡（IPSO-GMNN）預測模型，該模型結合神經網絡和灰色預測模型的優點，使用少量的數據對現實問題的非線性進行預測，利用改進的粒子群算法對神經網絡參數進行了優化，達到全局優化。然后對我國專利授權數量進行預測，并與灰色預測模型、BP神經網絡模型和灰色神經網絡模型進行比較，改進粒子群優化灰色神經網絡模型在預測我國專利授權數量方面表現出精度高、穩定性更好的特征。專利授權數量的預測是一個復雜的非線性問題，影響專利授權數量的因素很多，例如，教育水平、經濟發展水平、技術市場制度和政府政策等[8,9]，因此，需要根據專利授權數量的特征，使用智能預測方法對其進行預測。

1 專利授權數量預測模型的構建

1.1 灰色神經網絡

灰色預測方法通過少量的樣本數據，采用累加生成能夠消弱隨機干擾的影響，而且累加后的序列呈單調增加的趨勢，能夠較好的預測總體趨勢。正是基于此，將灰色系統與神經網絡相結合，形成嵌入式的灰色神經網絡預測模型，它是在BP神經網絡前面加上灰化層對輸入數據做灰化處理，在其后加上一個白化層對網絡的灰色輸出信息進行還原，以得到確定的輸出結果[10]。

灰色模型是指對灰色的不確定系統行為特征值的發展變化進行預測的問題，該不確定系統特征值的原始數據經過一次累加生成后得到的數據呈現指數增長規律，因而可以用一個連續函數和微分方程進行數據擬合與預測[11]。其中，原始數列表示為X(t)，一次累加生成的數列表示為Y(t)，預測結果表示為Z(t)。n個參數的灰色神經網絡模型的微分方程表達為：

式中，y2，...，yn為系統輸入參數，y1為系統輸出參數；a，b1，b2...bn-1為微分方程式系數。上式的時間反應式為：

將變化后的上式映射到一個擴展的BP神經網絡中就得到n個輸入參數，1個輸出參數的灰色神經網絡。如圖1所示。

圖1 灰色神經網絡拓撲結構

1.2 改進粒子群（IPSO）算法

PSO的基本思想[12-14]，利用每個粒子所包含的信息表達優化問題的最優解。粒子的適應度有固定的優化函數決定，其飛行的方向和距離由粒子運動的速度向量決定，然后所有粒子根據當前最優的粒子在可能的解空間中進行搜索。粒子群算法性能的重要參數主要有：加速常數、慣性權重和飛行速度。因此，優化參數是提高算法性能的優化方法。標準PSO是基于調整慣性權重ω的自適應算法，與其他進化算法相比，雖然能以較快的速率找出局部最優解，但其尋找全局最優解的能力較弱。本文提出改進的動態加速粒子群優化算法，從而避免陷入局部最優，算法如下所示：

（2）對于基于種群的優化方法，在優化的早期階段應該鼓勵粒子在整個搜索空間移動，而不是積聚于局部極值的周圍，另一方面，在優化的后期，提高趨于最優解的收斂率并有效的找到最優解釋非常重要的?？紤]到這些相關因素，本文使用動態的加速常數作為PSO的一種新的參數自適應策略。該算法改進的目的是在優化的早期鼓勵粒子在整個搜索空間移動，在優化后期，提高趨于最優解的收斂率。這種改進是在基本算法的基礎上，實現c1和c2隨進化代數線性的改變，即和，式中，R1、R2、R3、R4是初始設定的定值；t和Tmax分別是當前進行代數和最大進化代數[15]。

1.3 構建專利授權數量的預測模型

基于灰色神經網絡模型（GMNN）在處理小樣本數據方面能力比BP神經網絡具有優勢，但是其并沒有擺脫收斂速度慢，并且陷入局部最優的缺點。考慮到改進PSO算法具有收斂速度快、魯棒性高、全局搜索能力強等優點，用其對灰色神經網絡模型（GMNN）進行參數優化，從而有效解決網絡初始值、自身的學習速率和動量等參數魯棒性差的的缺點。改進粒子群優化灰色神經網絡模型能夠更好的發揮三大算法自身的優點，對處理非線性模型具有較強的優勢，提高算法的收斂速度和學習能力。

新構建的預測模型（IPSO-GMNN），通過灰色模型平穩化原始數據的隨機性，然后使用BP算法逼近預測函數，效果會更好。本文將改進粒子群用于優化BP神經網絡模型，通過改進粒子群算法尋找網絡的初始權值與閾值，然后采用BP神經網絡算法訓練經過粒子群算法尋優的權值與閾值，得到模型最終的權值與閾值，形成最終模型。這樣構造的IPSO-GMNN模型可以克服灰色神經網絡學習穩定性差、可靠性低與易陷入局部極小的問題，并且可以提供較好的逼近效果和較快的收斂速度[16]。學習算法的設計，將IPSO作為學習算法來優化灰色神經網絡（GMNN）的連接權值從下面兩步入手。（1）在神經網絡連接權值與IPSO粒子維度空間之間建立映射。神經網絡中的每個連接權值與粒子群中粒子的維度分量相對應。因此，對于d-m-n的三層神經網絡，基于PSO的學習算法中的粒子維度應該為d×m+m×n+m+n。（2）PSO的適應函數為神經網絡的均方誤差，PSO算法較好的搜索性可以使網絡的均方差最小化。適應函數為神經網絡的均方差指標，即，式中，N是訓練集的樣本數，C是網絡輸出神經元的個數；是第i個樣本的第j個網絡輸出節點的理想輸出數據；是第i個樣本的第j個網絡輸出節點的實際輸出值，算法流程如圖2所示。

圖2 |PSO-GMNN流程

2 應用示例

2.1 數據來源

根據上述基于改進粒子群優化灰色神經網絡（IPSO-GMNN）預測模型，對我國專利授權數量進行預測。專利授權數量選取從2011—2016年月度數據，其數量來自于中國知識產權局官方網站。從圖3中可以看出專利授權數量具有復雜的波動性，專利授權數量所受影響因素復雜，不適用選取影響因素進行相關預測，而且專利授權數據具有周期波動特征和趨勢特征，例如，由于春節的原因，每年2月份是專利數量最少的月份，每年11月和12月的專利增長速率又是最快的月份，可能是由于年終集中申報和授權的原因。根據新預測模型的特征，將數據分為訓練集和檢測集兩部分，2015年12月份之前的作為訓練集，以后的作為檢測集，訓練使用動態滾動式訓練。使用前4個時間點的數據作為輸入層，后一個時間點的數據作為輸出層，訓練和檢測都使用動態滾動式進行處理。

圖3 中國專利授權數量

2.2 實驗設計

首先，實驗先從專利授權數據的訓練集對IPSO-GMNN預測模型進行訓練，在使用檢查數據集對IPSO-GMNN預測模型進行檢查，新構建的模型設定使4個輸入變量和1個輸出變量，網絡隱含層使用多層深度學習模式。其次，檢驗IPSO-GMNN模型的預測效果，將其與其他專利授權數量的預測模型的結果進行比較。選擇BP神經網絡、灰色GM（1, 1）模型、PSO-BP神經網絡模型與新構建模型進行比較。實證環境：以MATLAB R2012b軟件開發軟件為平臺，神經網絡工具箱、編寫的IPSO模型、GM(1,1)模型等MATLAB程序，電腦配置：Intel i5處理器2.90GHz，內存2.00GB，32位操作系統，win7旗艦版。

2.3 性能準則

為了評估新構建的模型對專利授權數量的預測效果，本文使用均方根誤差（RMSE）、平均絕對百分比誤差（MARE）、擬合效果評價值R平方和皮爾森相關系數r，4個指標作為預測模型的評價準則，這些指標的統計定義分別為：

其中，xt為原始數據的實際觀測值，為不同模型預測的預測值，n為預測期數，t=1，2，…,n。而RMSE、MAPE越小，則預測精度越高，誤差越小，而皮爾森系數r和擬合效果評價系數R2越大，說明預測模型越合理。

3 結果分析

實證分析采用漸進建模分析方法，通過BP神經網絡模型、灰色GM(1,1)模型，PSO-BP神經網絡以及IPSO-GMNN模型對我國專利授權數量進行預測，其具體結果見下頁表1。根據表1中不同模型的預測結果，可以看出新構建的預測模型比其他預測模型的預測精度要高一些。同時，還可以發現不同模型對數據預測過程中表現出不同的特征，BP網絡預測需要更多的訓練集從而效果更好，因此，可以嘗試使用交叉檢驗的方法尋找最優BP網絡進行預測?；疑Ｐ偷膬瀯菔菙祿啃《覍σ幝尚詳祿A測效果更好。

從2011—2016年我國專利授權數量來看，其數量整體上是呈上升趨勢的，但也存在著隨機性的波動和周期性的波動，因此，從表1的預測結果可以看出，單獨使用某種預測模型其效果并不好，GM(1,1)對數據存在拐點的地方預測效果要差，對平穩性數據序列預測效果要好，而于神經網絡對數據預測的優勢體現在數據的隨機性效果方面，其改進粒子群優化灰色神經網絡模型對時間序列進行高度精確的擬合，其在拐點處的預測效果較好。

表1 不同模型的預測結果

表2 不同模型預測效果的比較

表2是使用MAPE、RMSE、皮爾遜系數和擬合系數對預測模型的效果進行評價。從表2中看到，在RMSE、MAPE評價指標中，改進粒子群優化灰色神經網絡模型(IPSO-GMNN)比BP模型、GM(1,1)模型以及PSO-BP模型的值都要小，皮爾遜系數和擬合系數都比其他預測模型要高，這說明其模型的預測精確度和魯棒性都要好些。新構建的預測模型能夠避免BP神經網絡的局部最優化缺點和訓練速度慢的缺點，其模型也可以用于數據處理、聚類、識別以及事故診斷等領域。從圖4中的預測數據和真實數據的回歸擬合可以更加形象的看到改進粒子群優化灰色神經網絡預測模型（IPSO-GMNN）比其他模型預測效果更具有優勢。

圖4 預測值與實際值的線性擬合

4 總結

本文基于改進的粒子群算法優化灰色神經網絡參數，構建一種新的預測模型并將其應用于預測我國專利授權數量。通過與GM（1,1）、BP神經網絡模型和灰色神經網絡進行比較，實證結果表明新構建的預測模型在預測專利授權數量方面的預測精度比傳統預測模型更好些?；诟倪M粒子群優化灰色神經網絡模型對我國專利授權數量經行預測，能夠有效的解決了GM（1,1）預測模型在數據大幅波動時預測穩定性差的缺陷和BP神經網絡自身存在的局部最小化、收斂速度慢以及樣本量大的缺點。精度較高的專利授權數量對企業戰略和國家專利政策的制定有著重要的意義。

[1]崔繼峰,劉小芳等.我國專利信息現在分析與預測[J].科技情報開發與經濟，2009,(12).

[2]張玲,朱長寶.基于徑向基神經網絡的專利申請數量預測研究[J].情報探索，2007,(2).

[3]胡澤文,武夷山.科技產出影響因素分析與預測研究——基于多元回歸和BP神經網絡的途徑[J].科學學研究，2012,(7).

[4]馬軍杰,尤建新等.改進小波神經網絡下的我國發明專利授權數量預測[J].科技進步與對策，2013,(1).

[5]林映華，李奎.基于小波神經網絡的粵蘇兩省專利預測分析[J].戰略決策研究，2014,(4).

[6]Abdullah S A,Malek A A,Abdullah N S,et al.Yap,Extreme Learning Machines:A New Approach for Prediction of Reference Evapotranspiration[J].Hydrol.2015,(527).

[7]Mladenovic S S,Milos M,Igor M,et al.Economic Growth Forecasting by Artificial Neural Network With Extreme Learning Machine Based on Trade,Import and Export Parameters[J].Computers in Human Behavior,2016,(65).

[8]趙英莉.我國專利申請信息分析與預測研究[J].情報科學,2008,18 (11).

[9]Hingley P,Park W.A Dynamic Log-linear Regression Model to Forecast Numbers of Future Fifings at the European Patent Office[J]. World Patent Information,2015,(42).

[10]呂一清,何躍.基于灰色神經網絡的第三產業發展趨勢的預測模型[J].統計與決策,2011,(4).

[11]王小川，史峰等.MATLAB神經網絡43個案例分析[M].北京：北京航空航天大學出版社，2013.

[12]Kenedy J,Eberhart R.Particle Swarm Optimization[R].In:Proc.IEEE Int’l.Conf.on Neural Networks,IV,Piscataway,NJ:IEEE Service Center.1995.

[13]Tang X L,Qiu G Q,Li Y G,et al.A Clustering Algorithm Based on Particle Swarm Optimization and Self-organizing Map[J].HuazhongUniv of&Tech(Nature Science Editon),2007,35,(5).

[14]魏秀業,潘宏俠.粒子群優化及智能故障診斷[M].北京：國防工業出版社,2010.

[15]呂一清,路征，鄧翔.改進的粒子群算法在生產函數參數估計中的應用[J].統計與決策，2014,(4).

[16]馬吉明,徐忠仁，王秉政.基于粒子群優化的灰色神經網絡組合預測模型研究[J].計算機工程與科學，2012,2(15).

（責任編輯/亦民）

Gray Neural Network Forecasting Model and Its Application Based on Improved Particle Swarm Algorithm Optimization

Zhou Fei1，Lv Yiqing2，Shi Lingna3
（1.School of Economic,Sichuan University,Chengdu 610041,China; 2.Shenzhen Tourism College,Jinan University,Shenzhen Guangdong 518053,China; 3.Sichuan Research Center of Science and Technology for Development Promotion,Chengdu 610041,China）

Aiming at neural network’s shortcomings such as the local optimization,the slow convergence rate and the large samples,this paper constructs an improved particle swarm optimization neural network prediction model by organically combining the improved particle swarm optimization algorithm,the gray model and the neural network model.The paper also makes comparisons with other prediction models.The computational results show that the IPSO-GMNN model overcomes the shortcomings of the neural network forecasting model,and better identifies the nonlinear and mutational characteristics of the time series.In the application of forecasting the number of patents granted in China,and the IPSO-GMNN model shows better prediction accuracy and stability for nonlinear time data.

particle swarm algorithm;grey neutral network model;number of patent authorizations;forecast

TP183

A

1002-6487（2017）11-0066-04

周飛（1983—），男，山東臨沂人，博士，研究方向：金融經濟學。（通訊作者）呂一清（1984—），男，湖北荊門人，博士，助理教授，研究方向：宏觀經濟學、數量經濟學。石琳娜（1987—），女，河南平頂山人，碩士，助理研究員，研究方向：科技創新管理。