基于BP神經網絡的霍普菲爾德模型改進研究

朱明晨,趙　平,陳偉榮

(1.銅陵學院 建筑工程學院，安徽 銅陵 244061；2.東南大學 交通學院，江蘇 南京 210096)

?

基于BP神經網絡的霍普菲爾德模型改進研究

朱明晨1,趙平1,陳偉榮2

(1.銅陵學院 建筑工程學院，安徽 銅陵 244061；2.東南大學 交通學院，江蘇 南京 210096)

摘要：為了分析對流層延遲的時空變化規律、提高對流層延遲的改正精度,利用BP神經網絡處理非線性問題的優勢，改進傳統的霍普菲爾德模型得到一種新的融合模型(Hop+BP模型)。分別對比Hop+BP模型與傳統的霍普菲爾德模型、多元線性回歸模型、BP神經網絡等模型的計算結果，得到如下結論：霍普菲爾德模型存在一個明顯的系統誤差，精度較低；多元線性回歸的預測精度有所提高，但是其本質是將數據強制擬合，缺少物理解釋，難以推廣使用；傳統的BP神經網絡的計算精度較之霍普菲爾德模型有80%的提高，但存在明顯的不穩定性；Hop+BP模型具有預測精度高、穩定性好等優點，預測中誤差為1.1 cm，明顯優于傳統方法。

關鍵詞：霍普菲爾德模型；BP神經網絡；多元線性回歸；精度分析

隨著各國衛星大地測量技術的快速發展，GNSS導航定位系統應用的廣度和深度都在不斷擴展和加深，與此同時對該系統的精度要求也在不斷提高，精確計算對流層延遲不僅可以大幅度提高GNSS導航和定位的精度，還可以轉換求得大氣中的水汽含量進而反演大氣可降水量，同時還可以校正InSAR圖像以提高遙感圖像的質量。目前計算對流層延遲的經驗模型主要有：霍普菲爾德模型、薩斯塔莫寧模型、勃蘭克模型以及基于數值天氣預報模型的EGNOS、UNB3模型等[1]。由于對流層所處的海拔較低，且變化復雜，屬于非彌散性介質，導致對流層延遲是一個非線性的物理量，難以用一個固定的函數模型描述特定時間、特定地點、特定環境下對流層大氣誤差的真實情況。BP神經網絡屬于自適應非線性動力學系統，具有學習、記憶、計算和各種智能處理的功能，已經成為解決許多非線性問題的一種必要的技術手段[2]。本文嘗試將BP神經網絡與傳統的經驗模型融合，利用我國部分城市的氣象數據，對比分析霍普菲爾德模型、多元線性回歸模型、BP神經網絡以及Hop+BP模型這4個模型的計算精度，得出有益的結論。

1霍普菲爾德模型的基本原理

(1)

式(1)前半部分為干延遲，后半部分為濕延遲。式中:Ps與es分別為測站的氣壓與水汽壓，單位為mbar；Ts為測站的絕對溫度；hs為測站的海拔高度；hw取11 000 m；有文獻將hd稱作是對流層頂，可以用式(2)來計算。

hd=40 136+148.72(T-273.16).

(2)

霍普菲爾德模型形式簡單，僅需要測站的地面氣溫、氣壓、水汽壓及海拔高度就能很好地估計測站的對流層天頂干延遲，但由于水汽分壓變化復雜，其濕延遲的估計精度并不理想。

2BP神經網絡的基本原理

神經網絡是由簡單處理單元構成的大規模并行分布式的處理器，通過模仿人腦處理信息的物理過程，具有儲存經驗知識進而分析計算的特性，并因此具有很強的泛化能力。所以在處理非線性復雜問題時，神經網絡有其獨特的優勢。

BP神經網絡是眾多神經網絡模型中最為常見的一個，常用的單隱含層BP神經網絡模型結構如圖1所示。

圖1　BP神經網絡模型結構圖

圖1中，第①層為輸入層轉換層，第②層為輸入層，第③層為隱含層，第④層為輸出層，第⑤層為輸出層轉換層。BP神經網絡模型分為學習和預測兩個過程。學習過程(監督學習)即是利用學習樣本對神經網絡的突觸權值進行修改的訓練過程。每個學習樣本由唯一的輸入信號和相應的期望響應

組成。從樣本集中選取一個樣例提供給網絡，網絡就相應地調整它的突觸權值，使期望響應和由輸入信號以適當的統計準則產生的網絡實際響應之間的差別最小化[2]。當所有學習樣本的期望響應及其網絡實際響應之間的差別都在允許誤差之內，且網絡對突觸權值沒有明顯的修正達到穩定狀態時，學習過程結束。此時保存網絡的突觸權值，即可進行計算。

3BP神經網絡模型的建立

3.1網型結構的確定

除第①和第⑤層外，確定神經網絡的網型結構主要是確定輸入層節點的個數、隱含層節點的個數以及輸出層節點的個數。輸出層節點數的確定比較簡單，一般工程應用中都取1，若有多個輸出，可以通過構造多個單輸出網絡分別研究。本文構造用于計算對流層延遲的神經網絡，輸出層為對流層延遲δ。

輸入層一般取決于影響樣本值的參數，可以通過主成分分析確定?？紤]到數據源的形式以及霍普菲爾德模型的推導過程，本文選取的輸入層為：測站的海拔高度hs,氣壓Ps,絕對溫度Ts以及露點溫度td。

隱含層節點數的確定比較復雜，沒有現成的公式可以使用。一般來說，節點數太多，訓練效率不高，可能導致學習時間過長與計算結果不穩定；若節點數過少，很可能導致網絡不收斂。本文采用之前工程應用的經驗，通過試算隱含層節點數10～30的各個網型，得到最優的隱含層節點數為15。

至此神經網絡的結構已經確定完畢，其網型結構為4×15×1。

3.2網絡參數的設置

BP神經網絡模型的網絡參數包括：學習速率ε，平滑因子α，學習誤差E，初始權值ω。

平滑因子的引入使得學習速率不再是一個恒定的常數，而是隨著迭代誤差的改變而調節，因此，需將平滑因子與學習速率綜合考慮。通過試算，ε的取值為1.5，α的取值為0.7。

學習誤差的大小會對檢驗中誤差造成直接的影響，一般學習誤差越小，檢驗中誤差也越??；但是學習誤差過小，會導致網絡學習速率很慢，甚至不收斂，有時會出現過擬合現象使檢驗中誤差回彈[6]。因此，通過試算建議學習中誤差設置為0.01。

初始權值的設置對最終結果的影響十分之大，通常由在固定范圍中生成均勻的隨機數得到，但是這種方法可能使網絡計算過早的進入飽和區。因此，本文利用遺傳算法來優化神經網絡的初始權值[7]，其具體思想為：對神經網絡的連接權重進行編碼，形成初始種群，然后以適應度函數指導隨機搜索的方向，借助復制、交叉、變異等操作，不斷迭代計算，最終產生全局最優解，再經解碼得到優化的網絡連接的初始權重。

至此用于預測對流層延遲的BP神經網絡模型構建完畢。

4融合模型的基本思想

融合模型的實質就是利用BP神經網絡算法對霍普菲爾德模型進行誤差補償，即通過BP神經網絡模擬出霍普菲爾德模型的誤差，將BP神經網絡與霍普菲爾德模型融合所得到的模型簡稱為Hop+BP模型；為了驗證霍普菲爾德模型誤差的規律性，同時用BP神經網絡對多元線性回歸進行誤差補償，所得到的模型簡稱為Mlr+BP模型。兩融合模型具體的網型結構如下：

輸入層為：測站的海拔高度hs,氣壓Ps,絕對溫度Ts,露點溫度td以及霍普菲爾德模型或多元線性回歸所求得的對流層延遲δ′；隱含層節點數為15；輸出層為霍普菲爾德模型或多元線性回歸模型計算結果所對應的殘差Δδ′。至此融合模型的神經網絡模型建立完畢，其網型結構為5×15×1。融合模型的網絡參數設置同BP神經網絡模型，在此不再贅述。

需要注意的是，Hop+BP模型所得出的結果是霍普菲爾德模型誤差，進行改正時，最終的計算結果是將Hop+BP模型所得的誤差值與其對應的霍普菲爾德模型計算值之和。

5工程實例及分析

為了驗證融合模型的預測精度，本文選取100個樣本的高空氣象數據，由文獻[8]提供的方法確定測站對流層天頂延遲的理論精確值。其中20個作為學習樣本用于建模及神經網絡的突觸權值訓練，剩余的80個樣本作為檢驗樣本分別對比多元線性回歸、霍普菲爾德模型、BP神經網絡以及Hop+BP模型與Mlr+BP模型的預測精度。限于篇幅表1給出了南京站3月17號的部分數據。

表1　南京站3月17日氣象探空數據

5.1多元線性回歸的算例分析

由于測站的對流層天頂延遲綜合受到海拔高度hs、氣壓Ps、絕對溫度Ts、露點溫度td等多方面因素的影響，本文采用一種線性的關系來解釋這些自變量與因變量之間的關系，因此,建立多元線性回歸模型如式(3)所示。

(3)

式中a0,a1,…,a4等參數可以通過有多余觀測的觀測值由最小二乘法解算，然后利用回歸模型以及地面的氣象參數預測對流層延遲。

由回歸分析得出模型的學習中誤差為3.1cm;檢驗中誤差為2.8cm；a0,a1,…,a4的值如表2所示。

表2　多元線性回歸參數值

畫出全部100個樣本的殘差圖如圖2所示。圖中橫軸均為樣本號，縱軸均為模型殘差，其中最左端的20個樣本為學習樣本。

5.2霍普菲爾德模型的算例分析

霍普菲爾德模型為經驗模型，直接得出其預測中誤差為22.7cm，畫出全部100個樣本的殘差圖如圖3所示。

5.3BP神經網絡的算例分析

為和多元線性回歸模型比較，BP神經網絡模型選取與之相同的20個學習樣本，剩余的80個作為檢驗樣本，求得學習中誤差為2.2cm，檢驗中誤差為2.4cm；畫出全部100個樣本殘差圖，如圖4所示。

圖2　多元線性回歸殘差

圖3　霍普菲爾德模型殘差

圖4　BP神經網絡模型殘差

5.4Hop+BP模型與Mlr+BP模型算例分析

Mlr+BP模型選取與BP神經網絡模型和多元線性回歸模型相同的學習樣本和檢驗樣本，求得學習中誤差為3.1cm，檢驗中誤差為2.6cm。畫出全部100個樣本的殘差圖，如圖5所示。

為了便于比較，Hop+BP模型選取與Mlr+BP模型相同的學習樣本和檢驗樣本，進行神經網絡擬合之后，得到學習中誤差為0.93cm，檢驗中誤差為1.1cm。畫出全部100個樣本的殘差圖，如圖6所示。

5.55種模型計算結果對比分析

統計5種模型的檢驗中誤差如表3所示。

圖5　Mlr+BP模型殘差

圖6　Hop+BP模型殘差

cm

由圖2和表3可以看出，多元線性回歸和Mlr+BP模型的預測精度明顯高于霍普菲爾德模型，但是由于缺少合理的物理解釋，BP神經網絡無法模擬出多元線性回歸模型的誤差規律，所以Mlr+BP模型的精度較之多元線性回歸模型提高有限。同時由圖3、圖4、圖6和表3可以看出，BP神經網絡模型的精度亦明顯高于霍普菲爾德模型，但是其模型誤差并無明顯規律，且預測結果不穩定，訓練網絡所需時間較長，難以滿足改正模型實時性的要求?；羝辗茽柕履Ｐ妥鳛槿蚴褂玫钠者m模型，用于特定的地區誤差比較大，這是因為霍普菲爾德模型假設模型中的各個參數隨海拔高度的遞增服從一定的分布規律，同時假設大氣適用理想氣體方程，而這種假設和簡化相對于區域大氣的復雜情況有一定的差異，但是這種差異所導致的誤差具有一定的系統性，所以Hop+BP模型利用BP神經網絡來模擬霍普菲爾德模型的誤差，其精度有著很大的提高，且穩定性良好，神經網絡收斂速度快，可以基本滿足對流程延遲實時高精度改正的需求。表4給出了5種模型計算對流程延遲誤差的最大值和最小值。

表4　5種模型計算誤差對比　cm

6結束語

由于對流層所處海拔較低，變化復雜，難以用一個特定的傳統模型加以精確描述，本文在分析BP神經網絡的原理的基礎上，建立了用于改正對流層延遲的神經網絡模型；并將之與傳統的經驗模型相融合，取得了較高的預測精度和穩定的改正結果。同時分析幾個模型計算結果中幾個偏差較大的樣本，都有探空數據首層等壓面高程數據缺失的情況，是以第二層等壓面的數據代入模型進行計算的，因此出現較大誤差。由此可以看出，高程精度對對流層延遲的影響較大。

雖然Hop+BP模型較之傳統模型精度有較大的提高，但是其對于氣象及高程數據的精度有著很高的依賴，且模型的泛化能力也有待進一步的驗證，同時霍普菲爾德模型應用于中國時，其誤差的具體規律也有待進一步研究。

參考文獻：

[1]高成發，胡伍生.衛星導航定位原理與應用[M].北京：人民交通出版社，2011：232-235.

[2]HAYKIN S.Neural Networks and Learning Machines[M].北京：機械工業出版社，2014：2-14.

[3]HOPFIELD H S.Two-quartic Tropospheric Refractivity Profile for Correcting Satellite Data[J].J.Geophys.Res.1969(74).4487-4499.

[4]歐吉坤.GPS測量的中性大氣折射改正的研究[J].測繪學報，1998，27(1)：31-36.

[5]張力仁，徐愛功.GPS定位中的對流層模型分析[J].測繪工程，2009，18(6):33-36.

[6]胡伍生，神經網絡原理及其工程應用[M].北京：測繪出版社，2006：68-71.

[7]張帆，胡伍生.神經網絡融合模型在大壩安全監控中的應用[J].測繪工程，2015，24(1)：53-56.

[責任編輯：劉文霞]

Improved research for Hopflied model based on BP neural network

ZHU Mingchen1,ZHAO Ping1,CHEN Weirong2

(1.Department of Civil Engineering and Architecture,Tongling University,Tongling 244061,China;2.School of Surveying Engineering Southeast University,Nanjing 210096,China)

Abstract：In order to analyze the law of temporal and spatial variation of troposphere wet delay and promote the amendatory precision of troposphere delay,this paper improves the traditional Hopfield troposphere model to form a new fusion model(Hop+BP model) by the advantage of Back Propagation neural network for solving nonlinear problems.Through comparing the fusion model with traditional Hopfield troposphere model,multiple linear regression model,and Back Propagation neural network model respectively,this paper draws the following conclusion：Hopflied troposphere model has a clear systematic error with a lower precision；multiple linear regression model has a higher precision,but with the nature of mandatory fitting,which lack of physical interpretation thus being difficult for popularization and application；the computational precision of Back Propagation neural network model is 80%,which is higher than Hopfield troposphere model,but has obvious instability；the fusion model embraces the advantages of high precision and stability,and with a deviation of 1.1 centimeter,which is evidently better than traditional methods.

Key words：Hopflied model;BP neural network;multiple linear regression;precision analysis

DOI:10.19349/j.cnki.issn1006-7949.2016.09.006

收稿日期：2015-05-11;修回日期：2015-06-12

作者簡介：朱明晨(1988-)，男，助教.

中圖分類號：P228

文獻標識碼：A

文章編號：1006-7949(2016)09-0026-05