尤爾建立時間序列線性自回歸AR(P)模型的歷史過程探析

聶淑媛

（1．西北大學 數學與科學史研究中心，西安 710127；2．河南科技大學 林業職業學院，河南 洛陽 471002）

尤爾建立時間序列線性自回歸AR(P)模型的歷史過程探析

聶淑媛1，2

（1．西北大學 數學與科學史研究中心，西安 710127；2．河南科技大學 林業職業學院，河南 洛陽 471002）

文章透過尤爾的生平經歷及研究背景，立足于原始文獻，從變量差分方法和無意義相關以及時間序列的分類等基礎性工作出發，深入探討了模型的歷史形成過程及其意義。

尤爾；AR（P）模型；變量差分方法；相關

現行的時間序列分析領域普遍認為時間序列分析方法起源于19世紀20年代，由英國統計學家尤爾首創，但許多著作中僅限于指出這一事實，并未具體分析。本文將從挖掘尤爾的生平經歷及研究背景入手，立足于原始文獻，試圖對尤爾建立模型的歷史形成過程追根溯源。

1 尤爾生平與研究背景

尤爾 （George Udny Yule），1871年2月 18日生于蘇格蘭哈丁頓附近的蒙哈姆，其家庭有良好的學識聲譽，他的叔父亨利尤爾（Henry Yule，1820~1889）是英國著名的地理學家和東方學專家，并于1889年被封為爵士。因此，尤爾從小就受到較好的教育，13歲進入文契斯特學院學習，1887年16歲時到倫敦大學學院攻讀工程學，1890年獲得學位并從事工程學領域的工作兩年，1892年開始轉向物理學，一年內相繼發表了四篇有關電波方面的文章。盡管尤爾在這兩方面頗有建樹，但他本人覺得似乎還沒有找到一個自己特別感興趣并且能夠終生研究的方向，所幸的是，1893年夏，當他從德國回到倫敦時，英國著名的應用數學家、近代數理統計的奠基者皮爾遜（Karl Pearson，1857~1936）幫助他申請到了倫敦大學學院的教師職位，從此，尤爾師從皮爾遜，開始涉足統計學這個嶄新也影響其一生的領域。在皮爾遜的鼓勵和指導下，尤爾1895年就發表了他在統計學方面的第一篇論文，其接下來關于回歸和序列相關的一系列文章，為這兩方面統計理論的發展奠定了堅實的基礎，同時也創造了時間序列分析的現代起源，其中關于時間序列分析方面影響最大的三篇文章都發表于19世紀20年代。本文將通過對文獻[1]、[2]、[3]的細致剖析，結合相關的其它原始文獻[4]、[5]，以及關于尤爾的研究文獻[6]、[7]、[8]、[9]等，具體探究線性自回歸模型的形成過程。值得一提的是，尤爾是位多產的科學家，他的經典名著《統計理論入門》以其1902~1909年期間在倫敦大學學院的統計學講稿為基礎，1911年首次出版，到1950年已經出版到第14版，并且在很長時間內都是唯一的一本關于統計學的綜合書籍，奈曼（Neyman，J.1894~1981）等人給予極高的評價；其晚年的著作《文學詞匯統計》研究各類詞在各種書籍中出現的頻率。尤爾的研究領域及其廣泛，除了以上已經提到的幾個方面，更為隨機分布理論、部分相關分布的費希爾求導等理論的發展做了大量的基礎工作，現代概率論中大家比較熟悉的以尤爾命名的有著名的尤爾分布和尤爾—沃克方程。尤爾于1911年獲得英國皇家統計學會的最高獎—蓋伊金質獎章，1924~1926年任皇家統計學會的主席，1931年于劍橋大學退休。

2 基礎鋪墊

尤爾創建自回歸過程的起因是基于自己的一大困惑：為什么統計學家（尤其是那些與經濟和社會數據打交道的統計學家）經常會從時間序列數據中得到奇怪的相關？他在1921年和1926年的兩篇文章，即文獻[1]、[2]中，逐步地解決了這一疑問，同時也構造了其關于時間序列研究的基礎性工作。

2.1 變量差分方法

文獻[1]也是尤爾1921年5月24日在皇家統計學會上的講稿，首先探討時間相關的本質問題。尤爾指出，時間相關問題是關于隨時間變化的兩個變量間的關系問題，而這個問題的提出比相關系數的誕生要早了很多，統計學家對此尤感興趣。文章列舉了1914年以前已經做過的相關工作：波因廷（Poynting，J.H.1852—1914）教授 1884年借助于小麥價格及棉花和絲綢的進口問題討論了關系的本質；Hooker，R.H.1901年研究了婚姻率和貿易的密切相關，其方法和波因廷的方法大致相同，但他引入了相關系數和瞬時平均的概念，討論問題更為精確。同時，Hooker在《柏林農產品兌換率的懸而未決及其對谷物價格的影響》一文中首次提出了差分方法，但他當時沒有解決這個問題，直到四年后，才專門討論了該方法，并用谷物價格一例說明了其應用，而且Hooker還首次描述性地說明了滑動平均方法；F.E.Cave1904年關于氣壓表相關問題的討論中也使用了一階差分方法；Monsieur March則對整個問題進行了總結，包括差分方法和滑動平均法。至此，尤爾總結得出：對于個別研究而言，時間相關問題可以說是不同持續時間振蕩的分離問題。

而斯圖登和安德森結合皮爾遜的觀點——只有當變量和時間是線性關系時，一階差分方法才有效，試圖把Hooker的差分方法一般化，他們進一步提出把隨機變量x、y表示成關于時間的多項式與隨機殘差的和

其中，x、y在次序上不是隨機的，而X、Y是隨機的，為了減少時間的分量，以及決定隨機殘差間是否有相關性，只有進行高階差分，直到x、yn階差分的相關與n+1階差分的相關相等，則x、yn階差分的相關與X、Yn階差分的相關相等，從而也和X、Y本身的相關相等。應該說，他們創立了相關的新觀點，斯圖登1914年把他的方法總結在《減少由于時間或空間的位置引起的偽相關》一文中，認為由于變量是時間的函數，時間相關是偽相關。B.Cave和皮爾遜則稱其為變量差分相關方法，并通過一些意大利經濟序列驗證了方法的可行性。但尤爾卻對斯圖登和安德森提出的變量只表示為時間的多項式函數和隨機殘差提出質疑，并拋出Elderton和皮爾遜的觀點——即便是任何適度數量的差分，也不能減小較短的周期性。那么，分離隨機殘差還是否有意義？差分是否趨向于減小周期項？為了解答疑問，尤爾借助于調和函數對變量差分方法進行探討，因為他認定許多經濟時間序列模型中都包含調和函數。設

這里，T為周期，τ為相位，h為間隔，A為振幅，可得一階差分

但是，時間相關問題仍然困擾著尤爾，他認為時間不能是一個因果因素，變量不是與時間相關，他不能認同變量是時間的函數這一假定，而這一關系卻隱含在變量差分方法和調和分析中，于是，尤爾從其物理學背景出發，以差分法的應用和對時間相關問題的求解為基礎，通過試驗進一步探索時間序列無意義相關的問題。

2.2 時間序列的分類和無意義相關問題

文獻[2]首先通過對比分析1866~1911年間在英國國教會結婚的人數占全部結婚人數的比例與每千人的標準死亡率之間的相關關系，解釋了無意義相關的含義—在通常的相關檢驗下，變量x、y是高度相關的，是數學上有意義的相關，但這類相關沒有任何“現實”的意義，實際上是零相關的。然后討論當兩個變量、服從具有較長時間間隔的正弦曲線時，相位的差異將使得長范圍內的相關為0。文中以1/4周期的相位差異為例，假定間隔無限小時，以直代曲，中心元沿著圖形從左向右移動，相關系數從-1到1，沒有其余的中間項，也就是說相關的分布是雙峰分布。尤爾給定了長度為0.1、0.3…0.9個周期時，調和曲線兩個瞬時有限元之間的相關頻率分布，并分析得出：這些分布圖都是U-形和對稱的，我們在時間序列中有時會得到無意義的相關，就是因為在某些狀態下，一些時間序列在某種程度上和上面所列舉的調和序列相似。而且，尤爾通過試驗得出：當兩個試驗序列的隨機樣本具有U-形相關分布時，不只是每一個序列正相關，而且它們的差分序列也是正相關。尤爾意識到，無意義相關正是由于序列或升或降、一點也不水平的情形，這就促使他根據序列相關的本質，即rk的函數形式，對時間序列進行了分類：

①零相關的隨機序列，最簡單的情形，對于二元相關不存在任何問題；

②序列本身是相關的，但其一階差分是隨機的，這類序列可以通過對隨機序列 a、b、c、d…連續相加形成 a、a+b、a+b+d…；

③序列本身和一階差分都是正相關的，而其二階差分是隨機的，可以通過對②中的新序列再次相加形成a、2a+b、3a+2b+c、4a+3b+2c+d…。

尤爾分析討論了三類序列并得到：相關的分布特別依賴于一階差分的相關性，而不是序列本身的相關性。所以，根據一階差分的相關性，重點分析了第③類序列，尤爾稱之為差分本身也是連接序列的連接序列。因為正弦序列一階差分的相關與變量本身的相關完全相同，正是這類序列的典型例子，所以，尤爾以正弦波動為例進行試驗研究，發現該類序列趨向于給定一個完全發散、-形的相關頻率分布，趨向于在樣本間產生高度正相關或負相關，而與相關的真實值沒有任何聯系。當然，這也就是在二元分析中特別易于導致錯誤推斷的“危險”序列，即產生無意義相關的序列。與此類比，尤爾也分析了第②類序列，他稱之為差分隨機的連接序列，該類序列將會產生較高的標準誤差，但不會必然地趨向于誤導為無意義相關。尤爾也通過分析著名的William Beveridges小麥價格指數序列和Greenwich降雨量序列，驗證了上述結論。

當然，尤爾也特別強調了振蕩序列在統計學中的重要性，事實上，振蕩序列出現的頻率最高，因為真正的周期序列是很特殊的，但振蕩序列不一定具有周期性，文獻[3]研究的就是振蕩時間序列。

至此，尤爾解決了困惑自己多年的一大難題，他可以清楚地識別，并且從數學角度描述無意義相關的序列。這類序列的時間圖對于延長的周期展示了或升或降的趨勢，而這種趨勢給出序列隨時間的連續性，時間不能是一個因果因素，序列不是和時間相關。同時，大量的時間序列，尤其是經濟時間序列數據證實，序列是部分地自我決定的。變量不是其他因果變量的簡單函數，如關于的回歸關系；也不是時間的簡單函數，如的周期圖中的關系，它們有自己的自我決定“生命表”。尤爾用相關去決定以前的哪一個值和另一個值最高度相關，什么間隔、什么位置間可以產生最高的相關，這正是文獻[3]中尤爾創建模型的指導性思路。

3 創建過程

文獻[3]是尤爾創建模型的經典著作，文章通過分析單擺運動和太陽黑子序列，研究了振蕩時間序列的周期。

3.1 AR(2)模型

首先利用疊加波動和擾動分析單擺運動。圖1（a）表示時間的簡單調和函數，其隨機誤差由擲骰子決定；誤差量增大，如圖1（b）所示，這兩種情形都可以用周期圖進行分析，而且當給定的周期數充分大時，周期圖分析中的周期和振幅就會與基本調和函數的周期和振幅極其逼近。當我們在較短的等時間間隔內觀察單擺運動的偏差時，觀察誤差會引起圖2所示的那種疊加波動，自動記錄方法和器械的改進可以減小誤差。當單擺只受到孩子用豌豆的投擲，并且時而在這一側，時而在另一側，此時，單擺只受真實的擾動，而不是疊加波動。

為了創建對這類曲線的逼近，對于（1）式化簡整理，可得二階差分

顯然，（2）式也可以整理為

如果沒有擾動項，根據（3）式，也可以給出一般項ux與ux-1、ux-2之間的關系

如果有擾動，則可記為

其中，ε是隨脈沖或擾動變化的誤差。

式（5）即為經典的模型，也是現代時間序列分析的基礎與起源。因為這是現在稱之為平穩時間序列線性自回歸的第一個完整的公式，也是誤差項ε被用來表示隨機擾動而不是測量誤差的第一個例子。

尤爾依據（5）式作圖2，計算并分析得出：對于單擺運動，令人驚奇的是，盡管振幅和相位連續變化，但圖形仍然保持平滑，即使增加擾動量也只是增加振幅，沒有突變的量。同時，從沃爾夫的年太陽黑子序列圖形上看，確實存在一些小的不規則性，意味著疊加振蕩的存在，這可能是由觀測誤差的特性造成的，但總體上圖形特別平滑，且和真實周期的偏離都是來自于振幅和相位的變化，和圖2中的情形完全相同，而不同于圖1。所以，問題已經脫離開周期圖分析方法，需要確定的不再僅僅是周期，而且包括擾動的值，顯然要從（5）式入手，當只有一個周期時，假定ε=0，可得

其中k=2-μ由最小二乘法決定。利用這種方法，尤爾對圖2分成兩組進行試驗，結果很滿意。但當把1749~1924年的太陽黑子序列作為一個整體進行研究時，得到周期為10.08，尤爾認為該周期明顯太低，究其原因，可能是由于疊加波動的存在，所以，尤爾對數據分級，以減小不規則性，算得周期為11.03年，與通常給定的值比較接近，擾動標準差也大大降低。對于未分級和分級的太陽黑子序列，利用點圖驗證了ux+ux-2對于ux-1的線性回歸關系。

3.2 AR（4）模型

當有2個周期時，設一般項

給定5個連續項ux-4到ux，其中ux-2是中心項，視ux-2為a和ux-2-a的復合，則有

整理可得

當有擾動時

這就是一個模型，但根據這種情形，尤爾計算得出太陽黑子序列和分級序列的擾動標準差分別為21.95和17.47，比只有一個周期時的17.05和11.43還要高，究其原因是因為限制了回歸方程的特定形式—ux-1和 ux-3的系數相同，而的系數為1。 所以，盡管（10）式應用了以前的更多項 （從ux-1到 ux-4）去估計 ux，從理論上比（5）式更先進，但在太陽黑子問題的研究中由于沒能得到更為理想的結果，而不為后人所重視，以至于現在提到這一工作時，基本上還是認定尤爾首創模型分析了太陽黑子序列的周期。但上述分析結果同時證實了擾動的存在，而且正是這種不同于疊加波動的擾動，給定了隨時間快速增長的不可預報因素。同時，從另一個角度來講，這個結果也顯示除了基本周期外，太陽黑子序列的其他周期并不存在，這個推斷與Larmor和Yamaga的結論是一致的。

3.3 回歸方程法

尤爾考慮的更一般方法是只找對于和的線性回歸方程，如果必須考慮更多項，可借助有限差分方程來解決，當只有一個周期時，對于普通回歸方程

如果曲線有周期，方程E2=b1E+b2=0的根必定是虛數。設根為 α±iβ，令 α2+β2=b2=e2λ和 tanθ=β/α，則差分方程（11）的一般解為 ux=eλx(Acosθx+Bsinθx)。 對于真實物理現象，一般期望λ<0，方程的解表示阻尼調和振動；或者λ=0，解為簡單的調和振動，此時b2=1。利用回歸方程法，尤爾檢驗了圖2中的數據和太陽黑子序列，計算得出的周期與調和曲線方程中的結論極其接近，又通過偏回歸及其比率的引入，結合從（11）式中推斷的擾動總結得出太陽黑子序列的兩大基本特征：

①正的、高度變化的擾動占優勢的趨勢與完全相反的趨勢以40～42年的間隔交替出現；

②正擾動接近太陽黑子數的最大值和負擾動接近最小值的趨勢。

由于最終所希求的不是簡單阻尼調和函數，而是阻尼調和振動的平方，這個函數差分方程有第三項，因此，除了ux-1和ux-2，在回歸方程中還需要探求包括在內的項。但是，相關的調查表明，把以后更多的項帶入未分級的數據是沒用的，即使對于分級數據，作用也很小，強調了擾動才是隨時間快速增長的不可預報因素。因此，雖然回歸方程的形式看起來充滿希望，但結論卻令人失望，更深入的工作思路被阻。

為了比較回歸方法與以前的周期圖分析方法，尤爾對擾動序列進行兩次試驗，第一次是把所有觀察對象分成4組，每組大約有70～80個對象，討論了7個周期；第二次是把序列作為一個整體，在周期9～11之間進行細致的周期圖分析。結果表明：當只有7個或8個周期時，試驗結果高度不穩定；而周期數比較大時，比如30個，由于基本周期和表觀強度的減少，使得其主要影響是帶的加寬，所以，造成了誤差的較大邊緣，這可能會使人產生誤解。

4 結語

盡管尤爾謙虛地認為自己使用的調和曲線方程和回歸方程法未必是最好的方法，甚至也不可能是任何情況下都適用的，但尤爾自信這里提出了一個新的問題。事實上，正是基于尤爾對經驗序列和太陽黑子數序列的調和曲線方程和回歸方程的建立與比較，才使人們理解并不是所有的時間序列都可以看做是時間的函數，與其滯后變量相關的時間序列是存在的，因而，尤爾引入的自回歸模型，恰恰是對時間序列變量之間關系的客觀反映，也是對原來將時間序列普遍看作是時間函數的一種修正和改進，逐步取代了德國學者舒斯特（Schuster,A.1851~1934）開創的周期圖分析法，使人們離開了時間序列的頻域方法，開始了長達30多年的時域分析方法。所以，目前公認為尤爾是現代時間序列分析的開山人，他為該學科的形成與發展做出了最基礎的開創工作。

[1]Yule,G.U.On the Time-Correlation Problem,with Especial Reference to the Variate-Difference Correlation Method[J].R.Statist.Soc.,1921,84(4).

[2]Yule,G.U.Why do we Sometimes Get Nonsense-Correlations between Time-Series?--A Study in Sampling and the Nature of Time-Series[J].R.Statist.Soc.,1926,89(1).

[3]Yule,G.U.On a Method of Investigating Periodicities in Disturbed Series,with Special Reference to Wolfer's Sunspot Numbers[J].Philos.Trans.Roy.Soc.London,Series A,1927,226.

[4]Yule,G.U.On the Theory of Correlation[J].R.Statist.Soc.,1897,60(4).

[5]Yule,G.U.,Kendall,M.G.An Introduction to the Theory of Statistics[M].New York:Charles Griffin,1950.

[6]Kendall,M.G.Obituaries:Mr.G.UdnyYule,C.B.E,F.R.S[J].Nature,1951,168(4274).

[7]Kendall,M.G.George Udny Yule,1871~1951[J].Review of the International Statistical Institute,1952,20(1).

[8]Judy L.Klein.Statistical Visions in Time:a History of Time Series Analysis,1662~1938[M].Cambridge：Cambridge University Press,1997.

[9]John Aldrich.Correlations Genuine and Spurious in Pearson and Yule[J].Statistical Science,1995,10(4).

[10]William W.S.Wei.時間序列分析——單變量和多變量方法(第二版)[M].易丹輝，劉超，賀學強等譯.北京：中國人民大學出版社，2009.

[11]張樹京，齊立心.時間序列分析簡明教程[M].北京:清華大學出版社，北方交通大學出版社，2003.

[12]王黎明，王連，楊楠，應用時間序列分析[M].上海：復旦大學出版社，2009.

(責任編輯/亦 民)

O212

A

1002－6487（2011）03－0004-04

國家自然科學基金資助項目（10771169）

聶淑媛（1974-），女，河南臺前人，博士，研究方向：數理統計及其歷史發展。