基于變分法的一元非線性回歸分析

張同琦，李 鳳

(渭南師范學院數學與信息科學學院，陜西渭南714000)

通常所謂的一元非線性回歸問題，都是假定兩個隨機變量ξ，η之間的非線性函數關系是已知的，例如η =aebξ，給定(ξ，η) 一組樣本值(xi，yi)(i=1，2，…，n) ，要求對其中的參數a，b作出估計，解決的方法是用變量代換，將其化為線性模型［1－5］.例如，令 Y=lnη，則有Y=ln a+bξ，這種情形，本質上仍是線性回歸問題.本文研究具有統計相關關系的二維連續型隨機變量(ξ，η)的非線性回歸分析問題：η=f(ξ)+ε，ξ的分布是已知的，ξ與ε獨立，ε ～N(0，σ2)，要求從給定的一組樣本值(xi，yi)(i=1，2，…，n)來確定未知函數f(x).首先得出(ξ，η)的聯合密度函數為.其次研究φ(x，y)的統計學性質和幾何性質，由條件密度的表達式，易知，在過點(x，0)且平行于y軸的直線上，點(x，f(x))處的密度函數達到最大值，從而得到在xoy平面上的一切有二階連續導數的曲線g(x)中，對給定的點＞ φ(x，g(x))，即曲線y=f(x) 是00一條極值曲線，從而將非線性回歸問題歸結為泛函極值問題，應用變分法，求出未知函數的分析表達式.本文對所提問題的研究有一定方法論方面的意義.

1 一元非線性回歸模型及其性質

已知連續型隨機變量ξ的密度函數為φξ(x)，另一隨機變量η=f(ξ)+ε，ξ的分布是已知的，ξ與ε獨立，ε ～ N(0，σ2).f(x) 為有二階連續導數的未知函數，要求由給定(ξ，η) 的一組樣本值(xi，yi)(i=1，2，…，n)來確定未知函數f(x).

首先，我們有如下定理：

定理1 設φξ(x)是連續型隨機變量ξ的密度函數，令η =f(ξ)+ε，則二維隨機變量(ξ，η)的聯合密度為

上式等號兩邊同時對x，y求混合偏導數，得

顯然，φ(x，y)有以下性質：

以上結果表明：當ξ=x時，條件分布φη|ξ(y|x)是以f(x)為中心的正態分布，條件密度曲線是過點(x，0)且垂直于x軸的平面與曲面φ(x，y)的截線(如圖1).

研究xoy平面上過點(x，0)且平行于y軸的直線l上各點處的條件密度性質，易知，在點(x，f(x))處密度函數達到最大值，同理xoy平面上過另一點(x，0)且平行于y軸的直線l上點(x，f(x))111處密度函數達到最大值，這些點(x，f(x))、(x1f(x1))所在的曲線正好是曲線y=f(x).這說明，曲線y=f(x)上的總質量ds比任一條平面曲線y=g(x)的總質量都大，稱曲線y=f(x)為極值曲線.

圖1

2 用變分法求極值曲線y=f(x)

根據以上分析，本文研究的非線性模型中的未知函數y=f(x)是xoy平面上的一條極值曲線y=g(x)，(ξ，η) 的聯合密度為 φ(x，y)，在其上的總質量達到最大值.換言之，在一切有二階連續導數的平面曲線y=g(x)中，只有一條曲線使ds達到最大值.到此本文研究的一元非線性回歸問題，歸結為泛函極值問題.

為求本文中的非線性模型中的未知函數y=f(x)，可分為三種情形：

(1) 給定(ξ，η) 的一組樣本值(xi，yi)(i=1，2，…，n)，求y=f(x) 使到最大;

(2) 給定(ξ，η) 的一組樣本值(xi，yi)(i=1，2，…，n)，求 y=f(x)，在約束條件 E(η) =＜ + ∞ 下，使達到最大;

(3)對y=f(x)附加條件，將附加條件作為約束條件，使達到最大.

下面分別對(1)、(2)兩種情形，求未知函數y=f(x)：

上式是以y=f(x)為未知函數的泛函極值問題，且F只依賴x和y'，由變分法［1］，相應的尤拉方程為=0，即，或

這是一個二階非線性微分方程，積分后得出未知函數的一般形式

其中c1，c2是兩次積分常數.給定的一組樣本值(xi，yi)(i=1，2，…，n)，令W(λ，c1，c2)= ∑(yi－ f(xi;λ，c1，c2))2，應用最小二乘法，得方程組

解方程組，得出 λ、c1、c2的估計值，從而得到 y=f(x) 的回歸表達式

3 應用算例

(1)第一種情形

引入參數t，使y'=tgt，則尤拉方程呈如下形式

給定的一組樣本值(xi，yi)(i=1，2，…，n)，應用最小二乘法，得出 λ、c1、c2的估計值，從而得到y=f(x)的估計回歸參數表達式

［1］［美］Douglas M.Baces，［加拿大］Donald G.Watts.非線性回歸分析及應用［M］.北京：中國統計出版社，1997.

［2］書博成.非線性回歸分析［M］.南京：東南大學出版社，1998.

［3］［蘇］艾利斯哥爾茲.變分法［M］.北京：人民教育出版社，1958.

［4］CHEN Jin-hong.Gemai Semi parametric generalized least squares estimation in partially linear models with correlated errors［J］.Journal of statistical planning and inference，2007，137：117 －132.

［5］Huang J.Z，Shen H.P.Functional coefficient regression models for nonlinear time series：A polynomial spine approach［J］.Scandinavian Journal of Statistics，2004，31：515 －534.