非線性半參數統計模型估計函數的幾何方法

周路平，馮予

（南京理工大學理學院，江蘇 南京　210094）

非線性半參數統計模型估計函數的幾何方法

周路平，馮予

（南京理工大學理學院，江蘇 南京210094）

將非線性半參數統計模型的概率密度函數族視為統計流形，利用微分幾何方法，建立非線性半參數統計模型相對應的Hilbert空間，進而研究非線性半參數統計模型的估計函數問題.利用兩類得分函數張成的子空間對Hilbert空間進行正交分解，進而討論估計函數所在的集合，以及如何選取最優估計函數的問題.最后，通過實例分析來驗證此方法的有效性.

估計函數；得分函數；有興趣參數；冗余參數

1　引言

近年來，半參數統計模型受到了許多統計學者的關注[1]，這是因為半參數統計模型不僅具有非參數統計模型的變通性，同時保持了參數統計模型的可解釋性.1986年，文獻［2］在分析電力需求與氣候變化之間的關系時提出了部分線性模型，其形式為：

注意到模型(1)中，第一部分是θ和x的線性關系，而在實際應用中，嚴格的線性關系并不多見，它們大多帶有某種程度的線性近似.隨著近代統計學的發展，非線性統計模型在理論研究和實踐中的作用日趨重要.因此，引入非線性半參數統計模型[3]：

其中，θ視為m維有興趣參數，f為已知的非線性函數，k(.)為未知的冗余光滑函數，(x，y，t)是

來自總體(X，Y，T)的獨立同分布樣本.假設ε服從標準正態分布，則有

由于統計模型的概率分布族由參數集來描述，而分布族的性質就使得參數空間有著幾何性質和幾何結構，因此可以用幾何方法解決統計學中的問題[48]，本文從以下幾個問題出發，利用微分幾何方法解決非線性半參數統計模型(2)的估計函數問題.第一，估計函數所在集合的幾何結構；第二，什么條件下存在估計函數；第三，估計函數相應估計量的漸近性質.

2　估計函數的定義

設y(x，θ)=(yi(x，θ)，i=1，...，m)是有興趣參數θ的向量值光滑函數，維數與θ的維數相同.如果y(x，θ)滿足以下三個正則條件：

則稱y(x，θ)為估計函數.其中Eθ，k表示非線性半參數統計模型的密度函數p(y|x，t；θ，k)對應的期望，?θy(x，θ)表示y(x，θ)關于θ的偏導數，且det|.|表示矩陣的行列式，||y||2表示向量y范數的平方，即||y||2=Σ(yi)2.

3　非線性半參數統計模型估計函數所在集合的結構

給定非線性半參數統計模型S={p(y|x，t；θ，k)}，其相應的Hilbert空間與參數集中的點(θ，k)有關，記為Hθ，k.為了研究估計函數所在集合的幾何結構，首先定義非線性半參數統計模型的兩類得分函數，由得分函數張成相應的子空間，再對Hθ，k進行正交分解.

3.1沿著有興趣參數方向的得分函數

稱為非線性半參數統計模型沿著有興趣參數θ第i個分量θi的得分函數，其中易見Eθ，k［ui］=0，進一步假定ui是平方可積的，則ui∈Hθ，k.將ui沿著有興趣參數θ方向張成的切空間記為T，非線性半參數統計模型沿著有興趣參數θ方向的得分函數定義為u=(u1，...，um).

3.2沿著冗余參數方向的得分函數

非線性半參數統計模型沿著冗余參數方向的得分函數定義為：

向量uE=(u)稱為非線性半參數統計模型的有效得分函數.將有效得分函數的分量uEi張成的子空間記為T，稱T⊕T在Hθ，k中的正交補空間為從屬切空間，記為T.

下面引入兩類轉換，即e轉換和m轉換，進一步分析Hilbert空間Hθ，k的正交分解.

3.3兩類轉換的定義

假設a(x)是Hilbert空間Hθ，k中一個隨機變量，固定θ，考慮集合

將

分別定義為a(x)從(θ，k)到(θ，k′)的e轉換和m轉換.由于

因此

3.3.1e平行轉換存在的充要條件

當且僅當a(x)在(θ，k′)處期望存在，a(x)的e平行轉換存在，且有

3.3.2兩類轉換包含于 Hilbert空間的條件

a(x)的e轉換和m轉換屬于Hilbert空間Hθ，k′的充要條件是這兩類轉換在(θ，k′)處關于p(y|x，t；θ，k′)是平方可積的.

3.4Hilbert空間的正交分解

其中將Hilbert空間中滿足條件(15)式和(16)式的所有向量構成的閉子空間記為F，其中I表示信息部分，A表示從屬部分，顯然，有以下關系成立：

通過以上討論，得到Hilbert空間Hθ，k的一個正交分解

3.5非線性半參數統計模型的估計函數所在集合

定義g(0)=0，對g(t)求導得

其中

且?k′∈K，有Eθ，k′［h(x，θ)］=0.若h(x，θ)的分量hi(x，θ)在信息子空間F上的投影向量張成F，并且F是非退化的，則h(x，θ)是非線性半參數統計模型的一個估計函數.

假設y(x，θ)是非線性半參數統計模型(2)的一個估計函數，由正則條件(6)知，在Hilbert空間Hθ，k中y(x，θ)的e轉換是存在的，且

易證，對冗余參數k和k′，有

因此

對(4)式關于θ求導數，可得

于是有

其中u為沿著有興趣參數θ方向的得分函數，易見u在子空間F⊕F上的投影不包含F的部分，從而由(32)式知，

其中uI表示u在F上的投影，易見，對于非線性半參數統計模型(2)，有

4　估計函數存在條件

由以上討論知，對于非線性半參數統計模型(2)，其估計函數存在的必要條件是信息子空間F非退化，充分條件是固定k0，?k′∈K，，(i=1，...，m)在F上的投影張成F則uI是一個估計函數，且非線性半參數統計模型的任意估計函數y(x，θ)均可以表示為

其中 A(x；θ，k)的分量 Ai(x；θ，k)∈T，T(θ，k)是非奇異矩陣.反之，在某個定值 k0處，由(36)式定義的函數y(x，θ)是非線性半參數統計模型的估計函數.取T(θ，k)為單位矩陣，得到一個估計函數

5　估計函數相應估計量的漸近性質以及最優估計函數的選取

5.1估計量的漸近性質

將(38)式在θ處展開，得

z是服從正態分布N(0，C)的隨機變量，

從而忽略高階項，可得(?θ-θ)依分布收斂于B-1z，因此

換言之，由(38)式得到的估計量 ?θ服從漸近正態分布，其漸近協方差即為(42)式.由此可知，(37)式定義的估計函數相應的估計量 ?θ具有協方差陣

其中

5.2最優估計函數

5.2.1最優估計函數的定義

設估計函數y(x，θ)相應的估計量為?θ，如果對于任意估計量 ?θ′，有

則稱y(x，θ)為最優估計函數.其中Var(θ)表示θ的方差.

5.2.2最優估計函數的選取

當非線性半參數統計模型的真分布恰好由(θ，k0)定義，其中k0∈K是固定的，并且對于?k∈K，張成F，則

是一個估計函數，且(47)式相應的估計量 ?θ的漸近協方差陣為Var(?θ)=(GI)-1，易見，對于θ任意估計量 ?θ′，均有Var(?θ)≤Var(?θ′)，因此，由(39)式定義的估計函數為非線性半參數模型的最優估計函數.

6　實例分析

對于非線性半參數統計模型(2)，利用權函數估計方法取最優估計函數(39)式中的k0(t) 為k(t)的權函數估計，即

其中

假設x，t服從［0，1］上的均勻分布，則最優帶寬h=0.274，其中K(.)取高斯核，即

下面分別考慮θ是一維和二維兩種簡單情形，來驗證微分幾何方法的有效性. 例6.1取

則

從而知非線性半參數統計模型

的最優估計函數為

由

得到θ的一個估計量?θ=-0.0161，且?θ對應的漸近方差為Var(?θ)=0.7433，殘差平方和

其中

取

其中

易見

其數據見表1.

例6.2取

則

從而知，最優估計函數的兩個分量分別為：

因此，非線性半參數統計模型

的最優估計函數為

由

j=1，2，得到θ的估計量

對應的殘差平方和

其中

令

由

得到θ的最小二乘估計量為

對應的殘差平方和

其中

易見

其數據見表2.

表2　例題6.2數據

2　結束語

非線性半參數統計模型作為半參數模型的一種推廣，它綜合了非線性回歸和非參數回歸模型，吸收了各自的優點.利用微分幾何方法對非線性半參數統計模型進行分析，解決了以下幾個主要問題，即估計函數所在集合，估計函數存在條件，估計函數相應估計量的漸近性質以及如何選取最優估計函數.在文章最后的兩個例子中，用微分幾何方法進行參數估計優于最小二乘方法.微分幾何方法進行參數估計是否在所有統計模型的參數估計問題中都比最小二乘方法有效？這一問題還有待進一步探討.

[1］Xue L G，Xue D.Empirical likelood for semiparametric regression model with missing response data[J］. Journal of Multivariate Analysis，2011，102（4）：723-740.

[2］Engle.Semiparametric estimates of the relation between weather and electricity sales[J］.Journal of the American Statistical Association，1986，81（394）：310-320.

[3］Wierzbicki M R，Guo L B，Du Q T，Guo W.Sparse semiparametric nonlinear model with application to chromatographic fingerprints[J］.Journal of the American Statistical Association，2013，109（508）：1339-1349. [4］Amari S.Differential Geometrical Methods in Statistics（Lecture Notes in Statistics）[M］.Berlin：Springer-Verlag，1990.

[5］Amari S.Dual connections on the Hilbert bundles of statistical models[J］.Geometrization of Statistical Theory，1987，3（1）：123-152.

[6］Amari S.Estimation in the presence of infinitely many nuisance parameters-Geometry of estimating function [J］.The Annals of Statistics，1988，16（3）：1044-1068.

[7］Amari S，Han T S.Statistical inference under multiterminal rate restrictions[J］.IEEE Information Theory，1989，35：217-227.

[8］Amari S.Information geometry of estimating functions in semi-parametric statistical models[J］.Bernoulli，1997，3（1）：29-54.

[9］Fu Y Z，Chen X D.Model selection of generalized partially linear models with missing covariates[J］.Journal of Statistical Planning and Inference，2012，142（1）：126-138.

[10］Liu W，Wu L.Some asymptotic results for semiparametric nonlinear mixed-effects models with incomplete data[J］.Journal of Statistical Planning Inference，2010，140（1）：52-64.

2010 MSC:62G86

Geometry method of estimating functions in nonlinear semiparametric models

Zhou Luping，Feng Yu
（School of Science，Nanjing University of Science and Technology，Nanjing210094，China）

The probability density function family of nonlinear semi-parametric statistical model are considered as a statistical manifold.Using the methods of differential geometry to construct Hilbert space corresponding to nonlinear semiparametric model，and then study some questions of estimation function.Using the subspace spanned by two kinds of score function to decompose the Hilbert space orthogonally，and then discuss the set of the estimated function is located，and how to select the best estimate of function problems.Finally，through the analysis of examples to verify the effectiveness of this method.

estimating function，score function，interesting parameter，nuisance parameter

O212

A

1008-5513(2016)04-0351-11

10.3969/j.issn.1008-5513.2016.04.004

2016-01-17.

國家自然科學基金(11271189).

周路平(1988-)，碩士生，研究方向：統計推斷與微分幾何.