基于多層前饋神經網絡SPDS算法的地質數據非線性分析問題研究*

戴 珂，張少仲，蔣 波，白 英，王小妹

(大連海事大學信息學院，遼寧 大連 116026)

基于多層前饋神經網絡SPDS算法的地質數據非線性分析問題研究*

戴 珂，張少仲，蔣 波，白 英，王小妹

(大連海事大學信息學院，遼寧 大連 116026)

多層前饋神經網絡善于解決非線性分析問題，但對于復雜的地質數據，普通的訓練算法難以收斂。首先介紹了SPDS算法，并把它用于解決地質數據的非線性分析問題。算法的仿真實驗表明，用SPDS算法訓練的多層前饋神經網絡，比較好地解決了該問題。

BP算法；SPDS算法；非線性分析

1 引言

人工神經網絡是國際上迅速發展的前沿研究方向之一。它模擬生物神經結構，有著杰出的學習能力，具有廣泛的應用前景。特別是它能以任意精度逼近非線性函數，這個特點使它更適合解決非線性問題。近20年來，神經網絡技術逐漸成熟，而且已經被用于解決實際生活中諸如控制、分類、模式識別、模擬仿真等問題。但是，作為神經網絡經典訓練算法的BP算法，由于存在著一些缺點，使得用它來訓練網絡時，經常會不收斂[1]。

近年來，關于BP算法的改進算法的研究一直是一個熱點。基于單參數動態搜索算法的SPDS(Single Parameter Dynamic Search)算法也是其中之一[2～4]。SPDS算法的優點是，由于巧妙地避開了“網絡癱瘓”[5]，從而收斂速度很快[6]；也不易落入局部極小點；用它訓練得到的網絡的泛化能力和容錯能力很強[7]；特別是它的算法復雜性是網絡參數個數的指數形式，更適合解決網絡參數不太大而樣本很大的問題[8]。

在研究我國某地鉬礦蝕度、礦化的成因時，要研究鉬(Mo)與其他變量的關系，用以預測鉬礦化的強度與變化，揭示礦化與蝕度的關系，以指導找礦與勘探工作。為了找到鉬(Mo)與其他變量的關系，本文建立了神經網絡模型，介紹了SPDS算法，并用文獻[9]提供的樣本數據進行訓練，得到收斂的網絡。而文獻[9]試圖用線性回歸分析的方法解決此問題，通過與他們實驗結果的對比，表明用神經網絡方法更適合解決該問題。

2 神經網絡模型

2.1 神經網絡模型

本文采用前饋式神經網絡，其結構如圖1所示。各神經元以層狀方式排列組成網絡，每一層由多個節點(神經元)組成，每層中的節點與相鄰層中的節點通過權值連接；但與同層中的其他節點和非相鄰層中的節點沒有連接。第一層為輸入層，最后一層為輸出層，中間為隱層。輸入層神經元的輸入等于輸出。隱層和輸出層神經元的輸入為“加權和”的形式；輸出為S型的活化函數。活化函數通常取Sigmoid函數，即f(x)=1/(1+exp(-c×x))，其中系數c可以調節曲線的斜率，影響曲線的形狀。

Figure 1 Structure of feed-forward neural network圖1 前饋式神經網絡結構示意圖

前饋式神經網絡是最具代表性、應用最廣泛的神經網絡之一，它集中體現了人工神經網絡的大規模并行處理、分布式存儲、適應性和學習等特點。學者們的研究還表明，這種三層前饋式神經網絡不僅能以任意精度逼近任意函數，還能以任意精度逼近其各階導數[10]。

2.2 SPDS算法

本文只研究三層前饋神經網絡的誤差函數:

其中,Opi為輸出層第i個節點對應于第p個訓練樣本的實際輸出，而ypi為相應的期望輸出值。

(1)

神經網絡的訓練就是使θi、wij、φj、wkj這四組變量取適當的值，使得誤差函數E取到全局極小值。

基于單參數動態搜索算法的SPDS算法，就是將這四組變量逐一作為變量處理，其他值均用上次迭代后的儲存值代替。這樣四個誤差函數分別記為E1、E2、E3和E4，它們都是關于變量的連續可微函數。

(1)輸出層單元閾值。

設對于輸出層第i0個單元的閾值為x，當固定其他各參數不變時，目標函數E1為：

(2) 隱層到輸出層連接權值。

設第i0個輸出層單元到第j0個隱層單元的權值為x，當固定其他各參數不變時，目標函數E2為：

(3) 隱層單元閾值。

設對于隱層第j0個單元的閾值為x，當固定其他各參數不變時，目標函數E3為：

(4) 隱層到輸入層連接權值。

設第k0個輸入層單元到第j0個隱層單元的權值為x，當固定其他各參數不變時，目標函數E4為：

不難看出，每個誤差函數均為下面形式：

3 實驗分析

為了說明用神經網絡的模型更能反映鉬(Mo)與其他變量的關系，從而可以預測鉬礦化的強度與變化，揭示礦化與蝕度的關系，進而指導找礦與勘探工作。我們選用前饋型神經網絡模型用于建立鉬元素與其他六種物質含量的關系，網絡結構為6-6-1，用文獻[9]提供的樣本數據(見表2)進行訓練，訓練的算法分別采用BP算法和SPDS算法，算法的收斂結果見表1。訓練好的網絡權值和閾值見表3。訓練所用機器配置是AMDAthlon(TM) 64X2DualCoreProcessor4000+ 2.11GHz, 3.00GB內存，系統是WindowsXPProfessional，編程語言是C。

Table 1 Training results of geologicaldata analysis with SPDS and BP表1 SPDS算法與BP算法對地質數據分析問題的迭代結果

由實驗結果可知，BP算法不能收斂，無法反映鉬元素與其他六種物質含量的關系；而SPDS算法卻能很快收斂。實際輸出結果(見表2)與文獻[9]的線性回歸分析的結果對比，反映出用SPDS算法訓練的前饋型神經網絡模型能很好地反映鉬元素與其他六種物質含量的關系，是解決該問題的比較理想的方法。

4 結束語

對于復雜的地質數據，它們之間的關系不是線性關系所能描述的，使用善于解決非線性問題的前饋式神經網絡作為模型來揭示這些地質數據的關系，這是一個有益的嘗試。同時，還需要找到神經網絡的一個訓練算法，它既要適合地質數據特點，又要收斂性比較好，這樣才能完整地解決問題。本文首先介紹了更容易收斂的SPDS算法，并把它用于解決地質數據的非線性分析問題。算法的仿真實驗表明，用SPDS算法訓練的多層前饋神經網絡比較好地解決了該問題。

[1] Zhang Ling, Zhang Bo. The analysis of BP algorithm in neural network[J]. Pattern Recognition and Artificial Intelligence, 1994, 7(3):191-195. (in Chinese)

[2] Wang Xue-feng, Feng Ying-jun. A new training algorithm in multilayer neural network [J]. Journal of Harbin Institute of Technology, 1997, 29(2):23-25. (in Chinese)

[3] Wang X F, Feng Y J, Zhao X. A single parameter dynamic searching algorithm for multi-layer neural networks (Part I)[J]. International Journal of Innovative Computing, Information and Control, 2008, 4 (9):2221-2233.

[4] Wang X F, Zhao X, Feng Y J. A single parameter dynamic searching algorithm for multi-layer neural networks (Part II)[J]. International Journal of Innovative Computing, Information and Control, 2008, 4 (11):2941-2954.

[5] Feng Ying-jun, Zhang Shao-zhong, Wang Xue-feng, et al. Cause for paralysis of BP network[J]. Journal of Harbin Institute of Technology, 2000, 32(5):81-83. (in Chinese)

[6] Zhang Shao-zhong, Feng Ying-jun, Wang Xue-feng, et al. A new algorithm of multilayer feedforward neural networks based on single parameter coordinate rotatory method[J]. Acta Electronica Sinica, 1999, 27(2):115-116. (in Chinese)

[7] Zhang Shao-zhong, Feng Ying-jun. Generalization and fault tolerance of single parameter dynamic search algorithm[J]. Journal of Harbin Institute of Technology, 2000, 32(6):1-4. (in Chinese)

[8] Zhang Shao-zhong, Feng Ying-jun. Robustness of SPDS algorithm for BP network [J]. Journal of Harbin Institute of

Table 2 Training results of SPDS and refrence[9] about geological data analysis表2 地質數據分析的SPDS算法訓練結果與文獻[9]的結果對比

Table 3 Training results of neural network (weights and thresholds)表3 網絡訓練結果(閾值和權值)

Technology, 2000, 32(2):60-61. (in Chinese)

[9] Xu Z B,Lou Y R,Jin C H.All regression analysis and optimization method and the application in geology[M]. Beijing:Geology Press, 1990.(in Chinese)

[10] Hornik K. Some new results on neural network approximation [J]. Neural Networks, 1993, 4(6):1069-1072.

附中文參考文獻:

[1] 張鈴，張鈸. 神經網絡中BP算法的分析[J]. 模式識別與人工智能，1994，7 (3):191-195.

[2] 王雪峰，馮英浚. 多層神經網絡的一種新的學習算法[J]. 哈爾濱工業大學學報，1997, 29 (2):23-25.

[5] 馮英浚, 張少仲, 王雪峰, 等. BP網絡癱瘓的原因分析[J]. 哈爾濱工業大學學報, 2000, 32 (5):81-83.

[6] 張少仲, 馮英浚, 王雪峰, 等. 基于單參數坐標輪換法的多層前饋型神經網絡的一種新型算法[J]. 電子學報, 1999, 27 (2):115-116.

[7] 張少仲, 馮英浚. 單參數動態搜索算法的泛化與容錯能力[J]. 哈爾濱工業大學學報, 2000, 32 (6):1-4.

[8] 張少仲, 馮英浚. BP網絡的SPDS訓練算法的魯棒性[J]. 哈爾濱工業大學學報, 2000, 32 (2):60-61.

[9] 徐振邦，婁元仁，金淳浩.全部回歸分析與優選方法及其在地質學中的應用[M]. 北京：地質出版社，1990.

DAIKe,born in 1957,engineer,his research interests include optimization algorithm, network engineering, and software engineering.

張少仲(1965-),男，江蘇南京人，博士，高級工程師，研究方向為優化算法、神經網絡和軟件工程。E-mail:Zhang_shaozhong2001@yahoo.com.cn

ZHANGShao-zhong,born in 1965,PhD,senior engineer,his research interests include optimization algorithm, neural network, and software engineering.

《計算機工程與科學》高性能計算專刊和專欄征文通知

一、刊物簡介

《計算機工程與科學》是由國防科技大學計算機學院主辦的中國計算機學會會刊，是國內外公開發行的計算機類綜合性學術刊物。本刊已先后被列為中文核心期刊、中國科技信息研究所中國科技論文統計分析源期刊(中國科技核心期刊)、中國科學引文數據庫來源期刊(CSCD核心期刊)、中國學術期刊(光盤版)全文入編期刊、中國期刊網全文入編期刊、中國學術期刊綜合評價數據庫來源期刊。

二、征稿范圍(但不限于)

目前，國內高性能計算的研究方興未艾，為更好地宣傳目前國內高性能計算領域的研究和應用現狀，我刊計劃從2013年開始每年出版一期高性能計算專刊，并且常年增設高能性能計算專欄，重點是面向國內高性能計算領域的研究和應用。包括：

(1)系統研制技術：體系結構、系統軟件、軟件并行化、多核編程、編譯技術、GPU計算、低功耗技術、系統優化技術。

(2)系統應用：EDA設計仿真、CAE、數值計算、計算化學、計算物理、材料設計、量子力學、分子動力學、流體力學、工業設計、圖像渲染、生物信息、生命科學、氣象、天文、金融、石油勘探、工程計算、地震資料處理、集群管理、并行應用軟件開發(MPI、OpenMP、CUDA)、Linpack測試研究、超算服務等。

三、投稿要求

(1)投稿方式：采用“計算機工程與科學在線投稿系統”(http://www.joces.org.cn)投稿。投稿時請在備注欄中注明“高能性能計算專刊或專欄”字樣。

(2)稿件格式：參照《計算機工程與科學》下載中心的排版規范(網站上提供了論文模版，可下載)。

(3)投稿文章未在正式出版物上發表過，也不在其他刊物或會議的審稿過程中，不存在一稿多投現象；保證投稿文章的合法性(無抄襲、剽竊、侵權等不良行為)。

(4)其他事項請參閱投稿指南： http://www.joces.org.cn/CN/column/column291.shtml。

(5)專刊投稿文章按《計算機工程與科學》正常標準收取審稿費和版面費，但將會優先發表；發表之后，將按《計算機工程與科學》的標準支付稿酬，并贈送樣刊。

《計算機工程與科學》編輯部

ResearchofthegeologicaldatanonlinearanalysisproblembasedontheSPDSalgorithminthemultilayerfeed-forwardnetwork

DAI Ke,ZHANG Shao-zhong,JIANG Bo,BAI Ying,WANG Xiao-mei

(School of Information,Dalian Maritime University,Dalian 116026,China)

The multilayer feed-forward neural network is good at solving the nonlinear analysis problem, but for complex geological data, the common training algorithm is difficult to converge. The SPDS algorithm is proposed to solve the problem of the geological data nonlinear analysis. Simulation results show that the proposed algorithm can be better to solve the problem in the multilayer feed-forward neural network.

BP algorithm;SPDS algorithm;nonlinear analysis

1007-130X(2014)08-1528-05

2012-10-22;

：2013-02-25

國家自然科學基金資助項目(61173034)

TP393

：A

10.3969/j.issn.1007-130X.2014.08.018

戴珂(1957-),男,遼寧大連人，工程師，研究方向為優化算法、網絡工程和軟件工程。E-mail:Zhang_shaozhong2001@yahoo.com.cn

通信地址：116026 遼寧省大連市凌海路1號大連海事大學信息學院

Address:School of Information,Dalian Maritime University,1 Linghai Rd, Dalian 116026,Liaoning,P.R.China