極限學(xué)習(xí)機(jī)在衛(wèi)星鐘差預(yù)報(bào)中的應(yīng)用*

雷 雨 趙丹寧

1)中國(guó)科學(xué)院國(guó)家授時(shí)中心，西安 710600

2)中國(guó)科學(xué)院時(shí)間頻率基準(zhǔn)重點(diǎn)實(shí)驗(yàn)室，西安 710600

3)中國(guó)科學(xué)院大學(xué)，北京 100049

極限學(xué)習(xí)機(jī)在衛(wèi)星鐘差預(yù)報(bào)中的應(yīng)用*

雷 雨1，2，3)趙丹寧1，3)

1)中國(guó)科學(xué)院國(guó)家授時(shí)中心，西安 710600

2)中國(guó)科學(xué)院時(shí)間頻率基準(zhǔn)重點(diǎn)實(shí)驗(yàn)室，西安 710600

3)中國(guó)科學(xué)院大學(xué)，北京 100049

將極限學(xué)習(xí)機(jī)引入衛(wèi)星鐘差預(yù)報(bào)，對(duì)比Sigmoidal、Sine和Hardlim三種激勵(lì)函數(shù)對(duì)預(yù)報(bào)精度的影響，并與傳統(tǒng)灰色系統(tǒng)模型和徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)進(jìn)行比較。結(jié)果表明，極限學(xué)習(xí)機(jī)的預(yù)報(bào)精度優(yōu)于另外兩種模型，其學(xué)習(xí)速度也快于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，且基于Sigmoidal的激勵(lì)函數(shù)最適合于鐘差預(yù)報(bào)。

極限學(xué)習(xí)機(jī);激勵(lì)函數(shù);徑向基函數(shù)神經(jīng)網(wǎng)絡(luò);衛(wèi)星鐘差;鐘差預(yù)報(bào)

1 引言

隨著人們對(duì)衛(wèi)星導(dǎo)航和定位精度要求的提高，衛(wèi)星鐘差的預(yù)報(bào)成為一項(xiàng)至關(guān)重要的工作。衛(wèi)星鐘差數(shù)據(jù)屬于一類(lèi)變化異常復(fù)雜的非線性時(shí)間序列，而神經(jīng)網(wǎng)絡(luò)正是解決復(fù)雜非線性映射問(wèn)題的有效手段。研究發(fā)現(xiàn)，將神經(jīng)網(wǎng)絡(luò)應(yīng)用于衛(wèi)星鐘差的預(yù)報(bào)，比傳統(tǒng)的灰色系統(tǒng)模型有更高的預(yù)報(bào)精度［1－4］。目前在衛(wèi)星鐘差預(yù)報(bào)中主要采用徑向基函數(shù)(RBF，Radial Basis Function)神經(jīng)網(wǎng)絡(luò)算法，雖然該算法的學(xué)習(xí)速度較傳統(tǒng)的誤差反向傳播(BP，Back Propagation)神經(jīng)網(wǎng)絡(luò)快得多，但由于其在學(xué)習(xí)過(guò)程中需要通過(guò)聚類(lèi)算法迭代選取基函數(shù)中心，當(dāng)學(xué)習(xí)樣本數(shù)量較多時(shí)導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)是一個(gè)非常耗時(shí)的過(guò)程。極限學(xué)習(xí)機(jī)(ELM，Extreme Learning Machine)作為單層隱含層前饋神經(jīng)網(wǎng)絡(luò)(SLFN，Single-Hidden Layer Feedforward Neural Network)的一種新型學(xué)習(xí)算法，隨機(jī)產(chǎn)生輸入層與隱含層間的連接權(quán)值和隱含層神經(jīng)元的閾值，且在學(xué)習(xí)過(guò)程中無(wú)需調(diào)整，只需設(shè)置網(wǎng)絡(luò)隱含層神經(jīng)元的個(gè)數(shù)，便可獲得唯一的最優(yōu)解。因此具有學(xué)習(xí)速度快、泛化性能好的優(yōu)點(diǎn)［5］。

為了縮短神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間，提高預(yù)報(bào)精度，利用ELM模型進(jìn)行衛(wèi)星鐘差預(yù)報(bào)，并利用數(shù)值實(shí)驗(yàn)討論了該方法的有效性。

2 ELM的基本原理及其用于鐘差預(yù)報(bào)的方法

已知訓(xùn)練樣本{xi，ti}，xi∈Rp，ti∈Rq，i=1，2，…，N，含有L個(gè)隱含層神經(jīng)元(節(jié)點(diǎn))且激勵(lì)函數(shù)為g(x)的SLFN以數(shù)學(xué)模型的形式可表示為［5］

式中，βi表示隱含層第i個(gè)神經(jīng)元與輸出層神經(jīng)元的的連接權(quán)值，wi表示輸入層神經(jīng)元與隱含層第i個(gè)神經(jīng)元的連接權(quán)值，bi為第i個(gè)隱含層神經(jīng)元的閾值，yj表示第j個(gè)輸入樣本的輸出值。

若隱含層神經(jīng)元個(gè)數(shù)L與訓(xùn)練集樣本個(gè)數(shù)N相等，則對(duì)于任意的w和b，SLFN都可以以零誤差逼近訓(xùn)練樣本，即

結(jié)合式(1)、(2)可寫(xiě)為

式(3)可表示為

式中，H為隱含層輸出矩陣，T為輸出層輸出矩陣。

然而，當(dāng)訓(xùn)練集個(gè)數(shù)N較大時(shí)，為了減少計(jì)算量，隱含層神經(jīng)元個(gè)數(shù)L通常取比N小的數(shù)，此時(shí)SLFN的訓(xùn)練誤差可以逼近一個(gè)任意ε，即

因此，當(dāng)激勵(lì)函數(shù)g(x)無(wú)限可微時(shí)，SLFN的參數(shù)并不需要全部進(jìn)行調(diào)整，w和b在訓(xùn)練前可以隨機(jī)選擇，且在訓(xùn)練過(guò)程中保持不變。而隱含層與輸出層間的連接權(quán)值β可以通過(guò)

求解最小二乘解獲得其解為

式中，H+為隱含層輸出矩陣H的Moore-Penrose廣義逆，T'是T的轉(zhuǎn)置。

ELM在訓(xùn)練前可隨機(jī)產(chǎn)生w和b，只需要確定隱含層神經(jīng)元個(gè)數(shù)及其激勵(lì)函數(shù)，即可計(jì)算出β。

基于ELM的鐘差預(yù)報(bào)的步驟為:

1)確定網(wǎng)絡(luò)的輸入量、輸出量。輸入量為已知的鐘差值，輸出量為鐘差預(yù)報(bào)值;

2)根據(jù)已有數(shù)據(jù)，進(jìn)行訓(xùn)練樣本集與驗(yàn)證樣本集的劃分。其中訓(xùn)練集用來(lái)訓(xùn)練網(wǎng)絡(luò)，驗(yàn)證集用以評(píng)估網(wǎng)絡(luò)泛化性能;

3)將訓(xùn)練樣本和測(cè)試樣本變換到［－1，1］的范圍內(nèi)，以利于提高網(wǎng)絡(luò)的訓(xùn)練速度［6］;

4)采用MATLAB神經(jīng)網(wǎng)絡(luò)工具箱建立ELM，并確定網(wǎng)絡(luò)的隱含層神經(jīng)元個(gè)數(shù);

5)利用訓(xùn)練集對(duì)ELM進(jìn)行訓(xùn)練;

6)利用訓(xùn)練好的ELM進(jìn)行鐘差預(yù)報(bào);

7)將網(wǎng)絡(luò)輸出值進(jìn)行逆變換，使其恢復(fù)到原始數(shù)據(jù)的量級(jí)，并對(duì)還原結(jié)果進(jìn)行精度分析。

3 算例分析

實(shí)驗(yàn)數(shù)據(jù)為IGS發(fā)布的2010年11月28—30日的GPS精密衛(wèi)星鐘差，采樣間隔為5分鐘，其中將28、29日兩天的數(shù)據(jù)作為訓(xùn)練樣本，30日的數(shù)據(jù)作為測(cè)試樣本。考慮到目前在軌GPS衛(wèi)星有30多顆，限于篇幅，從現(xiàn)有的五種類(lèi)型衛(wèi)星鐘中各選一顆進(jìn)行預(yù)報(bào)，分別是 PRN04(IIA Rb)、19(IIR Rb)、25(IIF Rb)、30(IIA Cs)和31(IIR-M Rb)號(hào)衛(wèi)星，預(yù)報(bào)跨度為1天。對(duì)比不同激勵(lì)函數(shù)對(duì)ELM預(yù)報(bào)性能的影響，對(duì)ELM對(duì)鐘差的預(yù)報(bào)效果與常用的精度較好的方法進(jìn)行比較。

3.1 不同激勵(lì)函數(shù)對(duì)預(yù)報(bào)性能的影響

選取Sigmoidal、Sine和Hardlim三種函數(shù)作為ELM隱含層神經(jīng)元的激勵(lì)函數(shù)進(jìn)行學(xué)習(xí)，并分析其預(yù)報(bào)效果。由于隱含層節(jié)點(diǎn)個(gè)數(shù)會(huì)導(dǎo)致預(yù)報(bào)性能存在明顯區(qū)別，所以該參數(shù)的選擇是ELM有效進(jìn)行學(xué)習(xí)的關(guān)鍵。文中隨機(jī)將訓(xùn)練集劃分為學(xué)習(xí)樣本和測(cè)試樣本，其中測(cè)試樣本用以確定隱層節(jié)點(diǎn)個(gè)數(shù)，根據(jù)測(cè)試樣本的均方根誤差的大小確定最優(yōu)隱層節(jié)點(diǎn)數(shù)，令隱層節(jié)點(diǎn)個(gè)數(shù)以10為步長(zhǎng)在［10，280］內(nèi)遞增，采用交叉驗(yàn)證(Cross-Validation，CV)法優(yōu)化網(wǎng)絡(luò)［7］。訓(xùn)練過(guò)程中測(cè)試誤差相對(duì)于隱層節(jié)點(diǎn)個(gè)數(shù)的變化曲線如圖1所示(限于篇幅，這里只給出PRN19號(hào)衛(wèi)星的結(jié)果)，由圖1可以看出，Hardlim函數(shù)對(duì)應(yīng)的測(cè)試誤差最大，并且隨著隱層節(jié)點(diǎn)個(gè)數(shù)的增加，誤差逐漸減小，為了更清楚地反映圖1所示結(jié)果，將Sigmoidal函數(shù)和Sine函數(shù)的測(cè)試誤差隨隱層節(jié)點(diǎn)個(gè)數(shù)的變化情況單獨(dú)繪于圖2。由圖2可以看出，隱層節(jié)點(diǎn)個(gè)數(shù)由10增加至100時(shí)，Sigmoidal函數(shù)和Sine函數(shù)對(duì)應(yīng)的誤差較小，在0.2 ns左右，且基本保持穩(wěn)定;當(dāng)達(dá)到140時(shí)，兩種函數(shù)對(duì)應(yīng)的測(cè)試誤差急劇增大。需要說(shuō)明的是，訓(xùn)練誤差最小時(shí)所對(duì)應(yīng)的節(jié)點(diǎn)數(shù)即為最優(yōu)隱層節(jié)點(diǎn)個(gè)數(shù)。

基于三種激勵(lì)函數(shù)的ELM預(yù)報(bào)均方根誤差見(jiàn)表1。由表1可知，使用Hardlim函數(shù)作為激勵(lì)函數(shù)時(shí)，預(yù)報(bào)誤差非常大，比使用另外兩種激勵(lì)函數(shù)的預(yù)報(bào)精度大約低1～2個(gè)數(shù)量級(jí);而基于Sigmoidal和Sine激勵(lì)函數(shù)的預(yù)報(bào)精度在同一個(gè)數(shù)量級(jí)，預(yù)報(bào)效果較為理想，并且Sigmoidal激勵(lì)函數(shù)比Sine函數(shù)更為實(shí)用。

圖1 隱層節(jié)點(diǎn)個(gè)數(shù)的確定Fig.1 Determination of number of hidden layer nodes

圖2 隱層節(jié)點(diǎn)個(gè)數(shù)的確定(放大圖)Fig.2 Determination of number of hidden layer nodes(the amplified figure)

表1 基于不同激勵(lì)函數(shù)的ELM預(yù)報(bào)精度(單位:ns)Tab.1 Prediction precision of ELM based on different activation functions(unit:ns)

3.2 不同預(yù)報(bào)方法的比較分析

為了進(jìn)行比較，使用灰色系統(tǒng)模型和徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行衛(wèi)星鐘差預(yù)報(bào)。實(shí)驗(yàn)中，對(duì)于灰色系統(tǒng)模型，采用29日最后12個(gè)歷元(時(shí)長(zhǎng)為1小時(shí))的數(shù)據(jù)建模;對(duì)于RBF神經(jīng)網(wǎng)絡(luò)模型，同樣將28、29日兩天的數(shù)據(jù)作為訓(xùn)練樣本，令隱層神經(jīng)元個(gè)數(shù)與訓(xùn)練樣本個(gè)數(shù)相等，并采用CV法優(yōu)化網(wǎng)絡(luò);對(duì)于ELM模型，使用Sigmoidal函數(shù)作為激勵(lì)函數(shù)。不同預(yù)報(bào)模型的誤差比較如圖3～7所示，對(duì)應(yīng)的誤差值見(jiàn)表2。

表2 不同預(yù)報(bào)模型的誤差統(tǒng)計(jì)(單位:ns)Tab.2 Error statistics of different prediction models(unit:ns)

結(jié)合圖3～7，分析表2可以看出:

1)RBF神經(jīng)網(wǎng)絡(luò)和ELM模型的預(yù)報(bào)精度和穩(wěn)定性要明顯優(yōu)于傳統(tǒng)灰色系統(tǒng)模型，這是因?yàn)樯窠?jīng)網(wǎng)絡(luò)是一種自適應(yīng)的映射方法，它沒(méi)有作假設(shè)，更不需要事先建立任何數(shù)學(xué)模型，能避開(kāi)未知因素的影響，因此能提高鐘差的預(yù)報(bào)精度;

2)ELM模型的預(yù)報(bào)精度好于RBF神經(jīng)網(wǎng)絡(luò)，說(shuō)明前者的泛化能力比后者強(qiáng);

3)Block IIA型衛(wèi)星的星載Rb鐘和Cs鐘的可預(yù)報(bào)性遠(yuǎn)低于其他星載鐘，而該型Rb鐘的預(yù)報(bào)精度又高于Cs鐘。

為了比較RBF神經(jīng)網(wǎng)絡(luò)算法與ELM算法在學(xué)習(xí)速度、學(xué)習(xí)能力以及泛化能力等方面上的差異，通過(guò)50次實(shí)驗(yàn)對(duì)同一個(gè)訓(xùn)練樣本進(jìn)行學(xué)習(xí)訓(xùn)練，并對(duì)驗(yàn)證樣本進(jìn)行網(wǎng)絡(luò)驗(yàn)證，計(jì)算50次實(shí)驗(yàn)結(jié)果的平均訓(xùn)練時(shí)間、平均訓(xùn)練誤差、平均驗(yàn)證時(shí)間和平均驗(yàn)證誤差(泛化誤差)作為兩種算法的性能評(píng)價(jià)標(biāo)準(zhǔn)，對(duì)比結(jié)果見(jiàn)表3(限于篇幅，仍以PRN19號(hào)衛(wèi)星為例進(jìn)行討論)。實(shí)驗(yàn)在個(gè)人PC上進(jìn)行，硬件配置如下:CPU為Intel酷睿雙核E7500(主頻2.93 GHz)，內(nèi)存為2 G;軟件平臺(tái)為Microsoft Window XP系統(tǒng)MATLAB R2012a編程環(huán)境。

由表3可知:

1)ELM相對(duì)于RBF神經(jīng)網(wǎng)絡(luò)，以較少的隱層節(jié)點(diǎn)個(gè)數(shù)獲得與RBF神經(jīng)網(wǎng)絡(luò)相似的學(xué)習(xí)性能，兩種算法的訓(xùn)練誤差僅相差0.01ns，說(shuō)明它們的學(xué)習(xí)能力相當(dāng);

圖3 不同預(yù)報(bào)模型的誤差比較(PRN04)Fig.3 Error comparison of different prediction models(PRN04)

圖4 不同預(yù)報(bào)模型的誤差比較(PRN19)Fig.4 Error comparison of different prediction models(PRN19)

圖5 不同預(yù)報(bào)模型的誤差比較(PRN25)Fig.5 Error comparison of different prediction models(PRN25)

2)ELM對(duì)驗(yàn)證樣本的外推誤差小于RBF神經(jīng)網(wǎng)絡(luò)，說(shuō)明ELM的泛化能力強(qiáng)于RBF神經(jīng)網(wǎng)絡(luò);

3)在學(xué)習(xí)速度方面，由于ELM在確定隱層節(jié)點(diǎn)個(gè)數(shù)后不調(diào)整任何參數(shù)，ELM的學(xué)習(xí)過(guò)程平均耗時(shí)僅4.26 s，而RBF神經(jīng)網(wǎng)絡(luò)需要不斷調(diào)整基函數(shù)中心，因此需要耗費(fèi)的時(shí)間比ELM的多，平均耗時(shí)8.08 s，此外，在對(duì)未知樣本(驗(yàn)證樣本)進(jìn)行測(cè)試時(shí)，兩種算法的計(jì)算速度相當(dāng)，由此得知，兩者速度上的區(qū)別僅體現(xiàn)在對(duì)訓(xùn)練樣本的學(xué)習(xí)快慢上。

需要說(shuō)明的是，本文令RBF神經(jīng)網(wǎng)絡(luò)的隱層節(jié)點(diǎn)個(gè)數(shù)等于訓(xùn)練樣本個(gè)數(shù)，這樣做的目的是簡(jiǎn)化學(xué)習(xí)算法，提高學(xué)習(xí)速度，當(dāng)然如果想提高網(wǎng)絡(luò)的學(xué)習(xí)能力可以通過(guò)特定方法選取合適的隱層節(jié)點(diǎn)數(shù)，但網(wǎng)絡(luò)的學(xué)習(xí)算法會(huì)變得比較復(fù)雜，而且學(xué)習(xí)速度也會(huì)因此隨之減慢。另外，值得一提的是，ELM從本質(zhì)上講是RBF神經(jīng)網(wǎng)絡(luò)的一個(gè)特例，即隱層節(jié)點(diǎn)數(shù)與訓(xùn)練樣本數(shù)相等，輸入層與隱含層間的連接權(quán)值和隱含層神經(jīng)元的閾值是固定的而不是隨機(jī)產(chǎn)生的，且激勵(lì)函數(shù)為徑向基函數(shù)時(shí)的情況。

圖6 不同預(yù)報(bào)模型的誤差比較(PRN30)Fig.6 Error comparison of different prediction models(PRN30)

圖7 不同預(yù)報(bào)模型的誤差比較(PRN31)Fig.7 Error comparison of different prediction models(PRN31)

表3 RBF神經(jīng)網(wǎng)絡(luò)與ELM性能對(duì)比Tab.3 Comparison between performance of RBF neural network and ELM algorithm

4 結(jié)論

1)ELM和RBF神經(jīng)網(wǎng)絡(luò)算法在衛(wèi)星鐘差預(yù)報(bào)中具有較高的精度，明顯優(yōu)于傳統(tǒng)的灰色系統(tǒng)模型;

2)ELM算法的預(yù)報(bào)精度不但優(yōu)于RBF神經(jīng)網(wǎng)絡(luò)，且在學(xué)習(xí)速度上也具有一定的優(yōu)勢(shì);

3)基于Sigmoidal激勵(lì)函數(shù)的預(yù)報(bào)效果好于Sine激勵(lì)函數(shù)和Hardlim激勵(lì)函數(shù)，其中Hardlim激勵(lì)函數(shù)的效果最差;

4)Cs鐘的預(yù)報(bào)精度遠(yuǎn)低于Rb鐘。

1 崔先強(qiáng)，焦文海.灰色系統(tǒng)模型在衛(wèi)星鐘差預(yù)報(bào)中的應(yīng)用［J］.武漢大學(xué)學(xué)報(bào)(信息科學(xué)版)，2005，30(5):447 －450.(Cui Xianqiang and Jiao Wenhai.Grey system model for the satellite clock error prediction［J］.Geomatics and Information Science of Wuhan University，2005，30(5):447 －450)

2 鄭作亞，盧秀山.幾種GPS衛(wèi)星鐘差預(yù)報(bào)方法比較及精度分析［J］.山東科技大學(xué)(自然科學(xué)版)，2008，27(4):6－15.(Zheng Zuoya and Lu Xiushan.Comparison and precision analysis of several GPS satellite clock bias prediction methods［J］.Journal of Shandong University of Science and Technology，2008，27(4):6－15)

3 郭承軍，滕云龍.基于小波分析和神經(jīng)網(wǎng)絡(luò)的衛(wèi)星鐘差預(yù)報(bào)性能分析［J］.天文學(xué)報(bào)，2010，51(4):395－403.(Guo Chengjun and Teng Yunlong.Performance analysis of satellite clock bias based on wavelet analysis and neural network［J］.Acta Astronomica Sinica，2010，51(4):395 －403)

4 郭承軍，滕云龍.神經(jīng)網(wǎng)絡(luò)在衛(wèi)星鐘差短期預(yù)報(bào)中的應(yīng)用研究［J］.測(cè)繪科學(xué)，2011，36(4):198 － 200.(Guo Chengjun and Teng Yunlong.Application of neural network in satellite clock bias prediction［J］.Science of Surveying and Mapping，2011，36(4):198 －200)

5 Huang Guangbin，et al.Extreme learning machine:theory and applications［J］.Neurocomputing，2006，70:489 － 501.

6 王新志，等.基于BP神經(jīng)網(wǎng)絡(luò)的廈門(mén)集美大橋高程傳遞的設(shè)計(jì)與實(shí)現(xiàn)［J］.南京信息工程大學(xué)學(xué)報(bào)(自然科學(xué)版)，2010，2(5):451 － 454.(Wang Xinzhi，et al.Design and implementation of elevation transmission in Xiamen Jimei bridge based on BP neural network［J］.Journal of Nanjing University Information Science and Technology，2010，2(5):1 451 －1 454)

7 丁常富，王亮.基于交叉驗(yàn)證法的BP神經(jīng)網(wǎng)絡(luò)在汽輪機(jī)故障診斷中的應(yīng)用［J］.電力科學(xué)與工程，2008，24(3):31－34.(Ding Changfu and Wang Liang.BP neural network application in turbine fault diagnosis base on the cross-validation［J］.Electric Power Science and Engineering，2008，24(3):31－34)

APPLICATION OF EXTREME LEARNING MACHINE IN SATELLITE CLOCK ERROR PREDICTION

Lei Yu1，2，3)and Zhao Danning1，3)
1)National Time Service Center，CAS，Xi’an710600
2)Key Laboratory of Time and Frequency Primary Standards，CAS，Xi’an710600
3)University of Chinese Academy of Sciences，Beijing100049

Extreme Learning Machine(ELM)is employed for predicting satellite clock error.The impact of activation functions on prediction accuracy using ELM is analyzed，including Sigmoidal，Sine and Hardlim functions，and ELM model is compared with the grey system model and radial basis function(RBF)neural network(NN)model.The results show that prediction precision of ELM algorithm is best，and can learn faster than RBF neural network.Moreover，the Sigmoidal activation function is best for clock error prediction.

Extreme Learning Machine(ELM);activation function;radial basis function neural network;satellite clock error;clock error prediction

P207

A

1671-5942(2013)05-0053-05

2013-02-27

國(guó)家自然科學(xué)基金(10573019)

雷雨，男，1983年生，博士，主要研究方向?yàn)镚NSS時(shí)間傳遞.E－mail:leiyu@ntsc.ac.cn