基于MATLAB的測量數據回歸分析研究

趙奮軍,胡遠新

(浙江省第七地質大隊, 浙江麗水市 323000)

基于MATLAB的測量數據回歸分析研究

趙奮軍,胡遠新

(浙江省第七地質大隊, 浙江麗水市 323000)

闡述了回歸模型的形式,從測量數據處理角度運用實例在MATLAB下從回歸方程的假設檢驗和殘差分布規律 2方面進行詳細的分析,同時預測未觀測的數據及其置信區間,減少了大量煩瑣的計算,編程代碼簡單,從而使測量數據回歸分析問題變的簡單易行。

回歸分析;假設檢驗;MATLAB;測量數據

回歸分析是研究 1個變量 Y與其它若干變量 X之間相關關系的 1種統計推斷法。它是在一組試驗或觀測數據的基礎上,利用數理統計方法建立因變量與自變量之間的回歸關系函數表達式(稱回歸方程式),尋找被隨機性掩蓋了的變量之間的依存關系。粗略地講,可以理解為用 1種確定的函數關系去近似代替比較復雜的相關關系,這個函數稱為回歸函數,在實際問題中稱為經驗公式?；貧w分析所研究的主要問題就是如何利用變量 X,Y的觀察值(樣本),對回歸函數進行統計推斷,包括進行估計及檢驗與有關的假設等。

1 回歸模型

1.1 一元線性回歸

在一元線性回歸中,有 2個變量,其中 x是可觀測、可控制的普通變量,稱為自變量或控制變量,y為隨機變量,稱為因變量或響應變量。通過散點圖或計算相關系數判定 y與 x之間存在著顯著的線性相關關系,即 y與 x之間存在如下關系:

其中未知參數 a,b及σ2都不依賴于 x,稱為一元線性回歸模型。ε為隨機誤差或隨機干擾,是 1個分布與 x無關的隨機變量,常假定其為均值為 0的正態變量。

建立一元線性回歸模型的過程,就是利用一組觀測數據 xi,yi(i=1,2,…,n)確定參數 a,b的最小二乘估計值 過程,進而得到 y關于 x的經驗回歸方程一元線性回歸分析的任務就是要利用這組數據求出回歸系數,,并對參數和方差進行估計,并對回歸的效果進行顯著性檢驗,從而接受回歸模型,最后在把模型用于預測和控制。

1.2 多元線性回歸

在實際的問題中,影響變量 y的因素往往不只1個,而包含多種影響的多個自變量 x。通常要研究 1個因變量 y與多個自變量之間的相互關系稱為多元回歸分析,其回歸模型為:

其中 b0,b1,…,bm,σ2都是與 x1,x2,…,xm無關的未知參數,ε為互相獨立的服從均值為 0,方差為σ2的正態隨機變量。

建立多元線性回歸模型的過程,就是利用一組觀測數據 xi,yi(i=1,2,…,n),在最小二乘法原則下確定m+1個回歸參數 b0,b1,…,bm的估值的過程,即得到m元經驗線性回歸方程。多元線性回歸分析的過程與一元線性回歸分析類似,即把 b0,b1,…,bm作為未知數,令 X=[I xi],i=1,2,…,m作為已知系數,把多元回歸模型表示成線性方程組的形式 y=X＊[b0b1… bm]T,然后采用一元線性回歸分析的方法進行參數的估計以及回歸效果的假設檢驗。

1.3 非線性回歸

自變量與因變量之間的關系并非都是線性的,常常會出現非線性關系。解決這種非線性回歸問題,一般都是通過變量的變換化為線性回歸問題:即把曲線方程化為直線方程。當把非線性模型化為線性形式以后,就可以采用線性回歸分析方法。建立非線性回歸模型的過程:通過適當的變量替換將非線性關系線性化;用線性回歸分析方法分析新變量下的線性回歸模型,求出未知參數的估計值,得到非線性回歸方程,并對其做相應的顯著性檢驗,從而驗證模型的嚴密性;通過新變量之間的線性相關關系反映原來變量之間的非線性相關關系。

2 實際應用

結合文獻[1]中的實驗數據,就測量數據回歸分析進行討論。按觀測數據 (xi,yi)的對應關系在MATLAB中繪出其散點圖,確定回歸模型。由MATLAB中的散點圖可知這些點成直線關系,故可以用線性模型進行回歸分析。

首先在MATLAB的M文件中將觀測數據 xi和yi表示成向量的形式,把回歸模型 y=a+bx表示成線性方程組的形式,令 X=[I xi],系數 a和 b為未知數?，F將主要步驟的部分代碼及結果分析如下:

用回歸分析函數 regress:[B,B int,R,R int,Stats]=regress(y′,X,0.05),其中函數 regress采用的是最小二乘法進行的回歸分析,B為返回回歸模型的系數 a和 b的最小二乘估值,滿足無偏性;B int得到回歸系數 a和 b的置信區間;R為觀測數據的殘差值,R int為各殘差值的置信區間;Stats得到回歸分析擬合優度系數值和 F檢驗值以及其對應的概率 P值,顯著水平α=0.05。

F檢驗值是按照 F=U/(Q/(n-2))進行計算得到的。F≈Fα(1,n-2),在顯著水平α下,若 F>Fα(1,n-2),則認為回歸方程效果在此水平下顯著;反之則認為方程效果不明顯。

計算后得到的結果見表1。實驗數據的殘差值:R=[-1.0909 1.4727-0.9636 0.6000 2.1636-1.2727 -1.7091 0.8545 0.4182 -2.0182 1.5455]。實驗殘差值的置信區間:R int=[(-4.0065,1.8247), (-1.5249,4.4704),(-4.2261, 2.2989), (-2.8096, 4.0096),(-0.8747, 5.2019), (-4.6362, 2.0908),(-4.9274, 1.5092), (-2.5201, 4.2292),(-2.9174, 3.7538), (-4.8053, 0.7689),(-1.2356,4.3265)]

表1 參數估計及假設檢驗計算結果(α =0.05)

殘差及其置信區間如圖1所示,由此可以確定殘差落在其置信區間內的大致位置,也可以觀察殘差的分布變化的趨勢,殘差圖越散亂代表模型的適配越好。

圖1 殘差及其置信區間

方差σ2的無偏估計:,反映了回歸直線擬合的程度。

3 假設檢驗

上面的計算過程都是在假定 y與 x呈現線性相關關系的前提下進行的,若這個假定不成立,則建立的回歸直線方程也失去意義,為此必須對 y與 x之間的線性相關關系作假設檢驗。

(1)F檢驗 (方程顯著性檢驗)。其以方差分析為基礎,是對回歸總體線性關系是否顯著的一種假設檢驗,是解釋模型中因變量與所有自變量之間的線性關系在總體上是否顯著的方法。返回 F=96.1798,作原假設 H0∶b=0的檢驗統計量,當 H0為真時 F的值不應太大,故對選定的顯著性水平α=0.05下查表 ,Fα(1,9)=5.12,則 F>Fα(1,9),故拒絕原假設 H0,認為建立的回歸方程有顯著意義。

通過 F檢驗得到回歸方程有顯著意義,只能說明 y與 x1,x2,…,xi之間存在顯著的線性相關關系,但還不能確定影響 y的因素除了 x外是否還有 1個或幾個不可忽視的其他因素,也不能表明這個回歸方程擬合的很好,而衡量回歸方程與觀測值之間擬合好壞常用回歸分析擬合優度系數檢驗。

通過 F檢驗和回歸分析擬合優度檢驗都驗證了 x與 y間存在顯著的線性相關關系,而線性相關程度有多大則需要用γ相關系數檢驗 (γ檢驗)。

(3)γ相關系數檢驗 (γ檢驗)。γ相關系數反映因變量與自變量的本質聯系,即 x與 y間線性相關程度。用γ對原假設 H0∶b=0進行檢驗,用函數corrcoef實現 [r,P,rlow,rup]=corrcoef(x,y),按照公式 Cov(x,y)/sqrt(D(x)×D(y))計算得到,返回相關系數值γ =0.9563,P為 x和 y不相關的概率值,P=0,rlow,rup分別代表相關系數γ在 95%置信區間上限值和下限值,rlow=0.8359,rup=0.9889。γ值與γα(n-2)比較 ,γ >γα(9)=0.6022,拒絕原假設,故認為回歸效果顯著。

4 回歸效果分析

4.1 殘差分布規律測試

從殘差的分布規律及對其均值的檢驗的角度出發,對回歸效果進行分析。由殘差分布的規律知道殘差必須服從零均值,與樣本同方差的正態分布,故需對計算得到的殘差是否服從正態分布進行測試。

(1)殘差正態分布測試。[h,p,j,cv]=jbtest(R),在顯著性水平為 5%下,h=0表示接受殘差的分布為正態分布的假設,h=1表示拒絕原假設,P為接受假設的概率值,P越接近于 0,則可以拒絕是正態分布的原假設;測試統計量的值 j大于接受假設的臨界值 cv表示拒絕假設。返回結果為 h=0,p=0.5039,正態分布檢測值 j=1.3708,檢測的臨界值 cv=5.9915。由測試的結果可以看出接受原假設,即殘差的分布符合正態分布。

(2)參數估計。因為殘差服從正態分布,故可以進一步利用殘差值求出其均值μ和標準差σ的點估計值和區間估計:[muhat,sigmahat,muci,sigmaci]=nor m fit(R,0.05),表示在顯著性水平為5%下求殘差 R的均值 muhat和標準差 sigmahat的估計值,muci,sigmaci分別為其對應的置信區間。返回均值 muhat=1.1304e-015≈0,置信區間 [-0.9790,0.9790],標準差 sigmahat=1.4573,置信區間為 [1.0182,2.5574]。

(3)假設檢驗。因為ε～N(0,σ2),則必須對殘差ε的均值進行假設檢驗,看是否能夠接受其原假設 H0∶μ=0,備擇假設 H1∶μ≠0的檢驗。殘差的方差未知,故利用 T檢驗法:[h,sig,ci,tstat]=ttest(R,0,0.05),在顯著性水平為 5%下對殘差 R的均值μ進行 T檢驗,h=0表示接受原假設,h=1表示拒絕原假設;sig在假設 H0下殘差均值出現的概率,sig越小 H0越值得懷疑;ci為真正均值μ的 1-α置信區間;tstat返回 3個值:T統計量的值、自由度和殘差標準差。返回計算的結果如下:h=0,sig=1,ci=[-0.9790,0.9790],tstat:T統計量的值 T=2.5727e-015≈ 0,自由度 df=10,標準差 sd=1.4573。說明接受殘差的均值為 0的假設。

最后在求得的殘差均值和標準差估計值下繪制殘差的正態分布,如圖2所示,可以更加直觀的確定殘差的分布規律,它是符合線性回歸模型所要求的殘差序列須服從與樣本等方差的正態分布。

圖2 殘差ε～N(0,σ2)正態分布

4.2 未觀測數據預測及區間估計

經過假設檢驗驗證了 x與 y的回歸效果顯著后,就可以把回歸方程運用于實際生產的預測與控制。在實際應用中,若因變量 y比較難觀測,而控制變量 x卻比較容易觀察或測量,那么根據觀測資料得到經驗公式后,只要觀測 x就能求得 y的估計和預測值,這是回歸分析最重要的應用之一。

該預測問題即對 x的可取值范圍內的任一個x0,作出 y的相應估計值 y0。所謂控制,是指通過控制 y的值以便確定 x的范圍,是預測的反問題,即觀測值 y在某區間 [y1,y2]內取值時,x的控制范圍。

現選取一些預測點 x0=[6,7,8,9,10],在MATLAB中很快的可以得到其相應的預測區間,并對回歸值 y0精度給出 1個預測值的置信區間。計算數據見表2。

表2 數據預測

上面的線性回歸分析分別從回歸參數的假設檢驗和殘差分布規律的驗證角度 2個方面考慮分析,更全面的檢驗了回歸模型的可行性,同時對未觀測的數據也給出了預測和區間估計。通常線性回歸分析法是最基本的分析方法,遇到非線性回歸問題都可以借助數學手段化為線性回歸問題來處理。

5 結 論

在回歸分析中,回歸模型采取何種形式,在沒有對所討論問題進行全面考察的情況下是很難肯定的。通?；貧w模型受到各種因素的限制,但是模型選取的原則一定是最優的。具體選取時應首先要結合具體的專業理論和經驗給出因變量可能受影響的自變量,也可以在相關的軟件中把數據點描繪在坐標系內,根據觀測數據的散點圖分析其大致變化趨勢,然后確定回歸模型。而在MATLAB中對回歸模型進行回歸分析擬合驗證是非常方便的,其合理性也在本文得到論證。

[1] 劉大杰,陶本藻.實用測量數據處理方法[M].北京:測繪出版社,2000.

[2] 盛 驟,謝式千,潘承毅.概率論與數理統計 (第三版)[M].北京:高等教育出版社,2000.

[3] 姚 東,王愛民,馮 峰,等.MATLAB命令大全 [M].北京:人民郵電出版社,2000.

[4] 張志涌.精通MATLAB 6.5[M].北京:北京航空航天大學出版社,2003.

2011-06-15)

趙奮軍 (1977-),男,陜西鳳翔人,工程師,主要從事基礎測繪和工程測量的研究和生產。