改進的差分自回歸移動平均模型的共軛梯度參數估計法

單 銳，劉雅寧,劉 文

(燕山大學 理學院，河北 秦皇島 066004)

?

改進的差分自回歸移動平均模型的共軛梯度參數估計法

單 銳，劉雅寧,劉 文

(燕山大學 理學院，河北 秦皇島 066004)

為了提高差分自回歸移動平均模型的擬合精度，本文結合已有的文獻，借助無約束優化方法來解決此模型中的參數估計問題。主要提出了一種改進的差分自回歸移動平均模型參數的優化估計法，并對提出的算法進行詳細說明，在強Wolfe條件下對全局收斂性進行了證明。該方法保證了迭代計算的收斂性，并且提高了收斂的速度。數值試驗結果說明：該算法是一種較為有效的方法，與其他方法比較，參數估計值更為顯著，提高了預測精度。

差分自回歸移動平均模型(ARIMA模型)；自回歸滑動平均模型(ARMA模型)；參數估計；無約束問題；共軛梯度法；Wolfe搜索

0 引言

差分自回歸移動平均模型簡記為ARIMA模型[1]，其越來越廣泛地應用于時間序列預測中，比如股市行情預報、地震預報、氣象預報、水文預報等實際問題。但是，隨著社會的發展，信息的需求量不斷增多，信息技術的處理變得越來越復雜，對于預測精確度的要求越來越高。為了得到更精確的預測，獲得更加準確的數據，就必須使得擬合模型顯著，而模型的參數估計對于擬合顯著模型起到關鍵性的作用。由于ARIMA模型實質可以理解為差分運算與自回歸滑動平均模型(ARMA模型)的組合[1]，因此，可通過研究ARMA模型的參數估計來解決ARIMA模型的參數估計問題。傳統ARMA模型預測隨著預測期限的延長，預測的精度則越來越低，因此，很多研究者對ARMA模型的參數估計問題進行了分析研究[2-5]。文獻[2]主要通過兩次自回歸模型(AR模型)的估計來實現ARMA模型的參數估計，在一定程度上克服了傳統ARMA模型預測的缺點，但其預測的精度仍然不是很理想。文獻[3]主要提出含參數的優化估計方法，通過利用優化的理論來解決參數估計問題，但其收斂的速度比較慢。文獻[4]主要在文獻[3]的二參數優化方法的基礎上提出新的參數估計法，并通過實例證明了其算法的可行性，但是在一般的Wolfe搜索下步長的選擇比較困難。本文在現有的研究基礎上對ARMA模型的參數估計進行了改進，提出了一種新的ARMA模型參數的優化估計法。

1 含參數的混合共軛梯度法

無約束優化問題：

minf(X)，

其中：X∈n；函數f:n→1是連續可微的。共軛梯度法是解決此類問題的最常用方法，尤其在維數較大時更為有效,該方法避免了牛頓法中復雜的Hessen矩陣的求解，而且具有比較快的收斂速度。

共軛梯度法的迭代格式：

xk+1=xk+ωkdk；

(1)

(2)

其中：dk為下降搜索方向；ωk為通過線性搜索獲得的步長因子；βk為標量。關于βk的常見公式有：

這幾種方法中，PRP算法、LS算法、HS算法的數值表現比較好一些，但是其收斂性卻不是很理想，甚至對于有些函數不具備收斂性；雖然FR算法、DY算法的收斂性相對于其他3種方法比較好，但數值結果卻是差強人意[6-7]。

本文結合文獻[4,8]提出含參數的共軛梯度法(NPY-DY(v))：

(3)

(4)

(5)

這里采用強Wolfe線搜索確定步長，即要求

(6)

(7)

并且滿足σ為常數，0<δ<σ<1。

2 ARMA模型參數的NPY-DY(v)優化估計法

2.1 參數初值的確定

考慮ARMA(p,q)模型結構[9]:

xt=φ1xt-1+φ2xt-2+φ3xt-3+…+φpxt-p-θ1εt-1-θ2εt-2-…-θqεt-q+εt，

(8)

令

Xt=[xt-1,xt-2,…,xt-p,εt-1,εt-2,…,εt-q]T；

(9)

α=[φ1,φ2,…,φp,θ1,θ2,…,θq]T，

(10)

ARMA(p,q)模型中Xt與α之間是具有非線性關系的，因此可以從優化的角度考慮將

(11)

定義為目標函數[3]。

根據無約束優化的數學模型可知：參數α的估計值問題即為求解S(α)的最優解。所以，參數估計問題就轉化為求解最優值的問題。

(12)

(13)

(Ⅱ)當k從p+1取到p0(p0=p+q)時，由式(12)的最后一行得：

(14)

2.2 參數估計的執行步驟

步驟1 對于ARMA(p,q)模型的參數，給定如下初值結構：

其中：p+q=p0；梯度模的允許誤差δ>0。S(α)在α(1)處的梯度為：

這里記為g1=-2(v(1))Tε(1),則可得S1=S(α(1)),初始搜索方向d1=-g1，置k=1。

步驟2 由強Wolfe線性搜索準則搜索確定步長ωk，由α(k+1)=α(k)+ωkdk，計算Sk+1=S(α(k+1))，gk+1=g(α(k+1))。

步驟4 若k=p，則α(1)=α(k+1),S1=Sk+1,g1=gk+1,d1=-g1,k=1,繼續進行并轉步驟2；若k≠p則轉步驟5。

步驟6 (dk+1)Tgk+1≥0那么重復步驟4再轉步驟2，否則，k=k+1轉步驟2。

3 算法的下降性與全局收斂性分析

3.1 下降性

(15)

則：

(16)

(17)

綜上可知，定理得證。

3.2 全局收斂性

(18)

由式(5)及式(15)可得:

由v≥2得：

(19)

這與引理矛盾,所以定理得證。

4 數值實驗與算例分析

4.1 數值實驗

f2(x)=100(x2-x1)2+(1-x1)2初值x0=(0,0)T，最優解x*=(1,1)。

為了驗證本文算法的迭代效果，選取文獻[3]和本文的算法(NPY-DY(v)算法)對函數進行迭代計算，結果見表1。

選取NPY-DY(v)算法中的參數值為:v1=0.5,v2=0.2,v3=0.8,v=7.01。由表1可看出：本文算法比文獻[3]算法更具有有效性。

表1 數值結果

4.2 實例分析

本文選用1978年～2008年上海市人均國內生產總值(GDP)的數據[10]為例。該序列記作Xt，Xt具有明顯的增長趨勢，需要將其進行平穩化處理，取對數后序列記作Yt。對序列Yt進行差分運算，經過2次差分后得到平穩的序列DDYt,然后對DDYt擬合ARMA模型。初值(0.6,1),δ=0.01,σ=0.1，通過編寫Matlab程序[11-12],經計算，3次迭代以后得：

α3=(0.588 9,0.971 3)。

則序列DDYt對應的模型為：

DDYt=0.588 9DDYt-1+vt-0.971 3vt-1。

對應序列Yt模型為：

Yt=2.588 9Yt-1-2.177 8Yt-2+0.588 9Yt-3+εt-0.971 3εt-1。

對Yt進行對數反變換化即可得到關于序列Xt的值。

用本文算法獲得的參數模型進行預測，得到的結果如表2所示。

表2 預測對比

5 結論

本文主要借助無約束優化問題來解決ARIMA模型中的參數估計問題，通過結合文獻[3-4],提出了一種新的模型參數優化估計法，對該算法進行詳細地說明，并對算法的下降性及其在強Wolfe條件下的全局收斂性進行了證明。通過實例ARIMA模型的擬合，利用本算法對初始參數值進行迭代優化，進而得到更為顯著的參數估計值，從而得到精確度更高的預測值。

[1] 王燕.應用時間序列分析[M].北京:中國人民大學出版社,2005:65-68.

[2] 熊淵博.ARMA模型參數的分步估計法[J].湖南大學學報:自然科學版,2003,30(2):12-13,146-150.

[3] 單銳,施蘇桐,劉文.基于改進共軛梯度思想的滑動平均模型參數估計優化方法[J].蘭州理工大學學報:2014,40(1):145-147.

[4] 范菁.ARMA模型的兩種共軛梯度參數估計法及ARIMAX模型的應用[D].秦皇島:燕山大學,2009.

[5] 張艷萍,崔偉軒.引入動態動量因子的共軛梯度多模盲均衡算法[J].河南科技大學學報:自然科學版,2013,34(3):40-44.

[6] 楊曉輝,朱志斌,唐清干.非線性約束化的一個共軛投影梯度法及其全局收斂性[J].廣西科學,2007,14(3):236-268.

[7] 施蘇桐,單銳,劉文.引入擾動因子的共軛梯度算法及其收斂性[J].河南科技大學學報:自然科學版,2013,34(6):83-87.

[8] 張勁松,李紅.含參數Dai-Yuan共軛梯度法及其收斂性[J].華東交通大學學報,2008,25(1):127-129.

[9] 何書元.應用時間序列分析[M].北京:北京大學出版社,2003:44-47.

[10] 葉斐.基于ARMA模型的上海市人均GDP時間序列分析與預測[J].價值工程,2010(2):231-232.

[11] 張善文,雷英杰,馮有前.MATLAB在時間序列分析中的應用[M].西安:西安電子科技大學出版社,2007:131-150.

[12] 陳國強,趙俊偉.基于MATLAB的AR模型參數估計[J].工程技術,2005,39(4):39-40.

國家自然科學基金項目(51175448);河北省自然科學基金項目(E2012203071)

單 銳(1964-),女,黑龍江哈爾濱人,教授,碩士生導師,主要從事時間序列分析、最優化理論與算法、非線性規劃等方面的研究.

2014-12-26

1672-6871(2015)04-0085-06

O212

A