非參數回歸模型基于殘差的樣條估計

馬曉躍，武新乾

(河南科技大學 數學與統計學院，河南 洛陽 471023)

0 引言

考慮異方差非參數回歸模型

yt=m(xt)+σ(xt)εt,t=1,…,n，

(1)

其中:xt=t/n為固定設計點;yt為響應變量;{εt}為隨機誤差序列，滿足E(εt)=0，E(εt2)=1。

已有眾多學者對非參數回歸模型進行了研究[1-11]。樣條方法是一種常見的非參數估計方法，與局部方法相比具有一定的優越性。對于同方差情形，文獻[12]在誤差是β-混合和α-混合條件下，討論了均值函數B-樣條估計的全局收斂速度和一致收斂速度。文獻[13]在線性過程誤差下，討論了回歸函數樣條估計的逐點相合性，并得到其逐點收斂速度。對于異方差情形，文獻[14]在α-混合條件下對模型(1)中均值函數和方差函數進行了估計，并給出了估計量的最優全局收斂速度和一致收斂速度。文獻[15]在α-混合條件下，推導出條件方差函數樣條估計的一致收斂速度。文獻[16]構造了誤差方差的多項式樣條估計，證明了估計量的相合性。文獻[17]在α-混合條件下，討論了均值函數和方差函數樣條估計的逐點相合性，并得到估計量的逐點收斂速度。

上述研究對方差函數的樣條估計主要使用的是直接方法。殘差方法也是方差函數估計的常用方法，該方法在非參數回歸中已有應用[18-19]。為了探究方差函數基于殘差的樣條方法的估計效果，本文對殘差方法進行了進一步研究。

1 多樣式樣條估計

不失一般性，本文將區間D=[0,1]進行等距分割，節點序列為：

0=t0

構造相應m次的樣條函數空間Sk,m，其基函數記為Bks(x)(s=1,…,m+k+1)，記K=m+k+1。則m(x)的多項式樣條估計為：

(2)

y=(y1,…,yn)T，

下面使用m(x)的多項式樣條估計mk(x)對誤差方差σ2(x)進行估計。

(3)

2 假設條件與主要結果

為了研究基于殘差法樣條估計量的性質，根據文獻[16]作出以下假設：

(Ⅰ)函數m(x)和σ(x)是q次可微的，并且其q階導數滿足H?lder條件，即對所有的x和x′，有:

m(q)(x)-m(q)(x′)≤cmx-x′v，σ(q)(x)-σ(q)(x′)≤cσx-x′v，

其中：cm>0,cσ>0為常數，0

(Ⅱ){εt}是α-混合序列，滿足

(Ⅲ)內節點個數k=O(N1/(2p+1))。

(Ⅳ)Eεtl<∞，l>1。

在假設條件下，得到均值函數和方差函數估計量的一致收斂速度。

3 定理的證明

為方便起見，記：

定義εm=(σ(x1)ε1,…,σ(xn)εn)T，由文獻[9]中的引理3.1可知：

由有界性定理可知:σ(x)在x∈D上有界，那么有：

其中：β(t)={αn(t)}1/2。

從而，

因此，對任意的τ>0可以得到：

定理2的證明容易看出：

其中：

且

下面將著重推導I3，I4，I5的階。

由定理1的證明，同理可得：

由假設條件(Ⅰ)和(Ⅳ)知，對任意的τ>0可以得到：

由文獻[21]中的定理5.1可知:‖I6‖∞=OP(k-p)=OP(N-p/(2p+1))。

4 數值模擬

考慮非參數回歸模型(1)，其中:

m(x)=50x3(1-x)3,σ(x)=0.2+0.4sin (πx),εt=0.5εt-1+ξt，

其中：{ξt}為獨立同分布序列，且ξt～N(0,0.75)。

下面根據文獻[14]中赤池信息準則(Akaike information criterion，AIC)和貝葉斯信息準則(Bayes information criterion，BIC)，將基于三次樣條方法構造m(x)的樣條估計量和σ2(x)的殘差樣條估計量從區間[0.1n1/(2q+1),3n1/(2q+1)]中自動選擇等距內節點個數，這里q=2。

樣條估計方法的表現通過最大絕對誤差(maximum absolute error，MAE)度量，定義為：

其中：g=m或σ2；{zk,k=1,…,ngrid}是待估函數的等距格點。

樣本量n為100,200,400，產生500個樣本。表1給出了m(x)和σ2(x)的多項式樣條估計和局部線性估計最大絕對誤差的均值和標準差(括號內為標準差)。由表1可以看出：隨著樣本量n的增大，通過多項式樣條估計方法和局部線性方法所得到的最大絕對誤差的均值和標準差逐漸減小，這與理論結果相吻合。此外，BIC下樣條估計的最大絕對誤差的均值，小于AIC下樣條估計和局部線性估計的最大絕對誤差的均值，這一結果與文獻[14]和文獻[17]運用直接樣條方法計算均方誤差得到的結果一致。

表1 m(x)和σ2(x)多項式樣條估計和局部線性估計最大絕對誤差的均值和標準差

5 結論

本文基于殘差樣條方法構造了方差函數的非參數估計，得到它與均值函數具有相同的一致收斂速度。基于BIC選擇結點個數優于AIC，同時樣條估計的平均最大絕對誤差整體上小于局部線性估計的平均最大絕對誤差。