非線性關系的研究及處理

張 川

(湖南工商大學 湖南 長沙 410000)

一、引言

在實際應用中，很可能會碰到某種曲線形態(tài)存在于一些現(xiàn)象的因變量和自變量之間，觀測變量之間常有著復雜的關系。非線性關系存在于各個學科、各類數(shù)據(jù)中，且非線性關系有多種表現(xiàn)形式，這會給我們所研究的問題帶來影響，降低我們相關分析的準確性。線性回歸分析只適用于可用線性參數(shù)來描述的數(shù)據(jù)，而對于非線性參數(shù)來表示的變量關系，需要拓展線性回歸方法，那么如何對非線性關系問題進行分析與處理，這就有待于我們做進一步的探討和研究。

二、文獻綜述

近年來，非線性關系成為焦點，非線性分析也引起了廣泛的關注，梳理國內外研究，主要是從非線性回歸模型和其算法入手。陶春菊等(2003)推導出了含有回歸系數(shù)變化的可線性化非線性回歸預測模型的一種有效改進方法—泰勒級數(shù)法；施招云(1993)采用Gram-Schmldt正交化最小二乘算法實現(xiàn)了非線性模型的結構確定和參數(shù)估計；韋博成從微分幾何的觀點對非線性回歸分析作了處理。然而，很難獲得一般都比較復雜的非線性回歸模型的參數(shù)估計，對非線性回歸分析的研究造成了一定影響。Nash對此問題專門著了一本書，詳細講解了各種算法，包括直接搜索法、Nelder-Mead法和截尾牛頓法等，大多針對性強，所要求的條件較苛刻；方開泰(1993)提出了一種非線性回歸模型參數(shù)估計的一個新算法。綜合現(xiàn)有文獻，可以發(fā)現(xiàn)國內外研究對非線關系的具體表現(xiàn)形式，以及各分析方法和工具的適用條件進行歸納探討方面還存在較大的研究空間，這也正是本文價值所在。

三、非線性關系的具體表現(xiàn)形式及影響

(一)非線性

非線性是相對于線性而言的，用以區(qū)分不同變量之間的兩種關系。在某一變化過程中，線性即某一算子f滿足可加性和齊次性，則x、y是線性關系?！胺蔷€性”就是這兩條至少一條不成立，也就是說，其變量之間的關系是曲線或不確定的屬性，不再是直線形態(tài)。而非線性關系即是所有能用非線性展示的關系。

(二)非線性關系的具體表現(xiàn)形式

非線性關系一般有三種：(1)經過適當?shù)淖兞孔儞Q，變量的非線性關系可轉變?yōu)榫€性；(2)能明確參數(shù)未知的變量之間非線性關系的數(shù)學形式，只是變量替換后還是不能化為線性關系；(3)無法確定變量間非線性關系的數(shù)學形式。

四、非線性關系的分析方法與工具的比較

通過代數(shù)變換能將某些非線性關系轉化成線性關系。

(一)化為線性回歸模型

一般的線性模型為Y=β0+β1X1+β2X2+……+βnXn+μ，模型中參數(shù)和變量都是線性的，也就是說因變量是參數(shù)的線性函數(shù)，且模型中的變量形式只能是原型。

1.變量的非線性

2.參數(shù)的非線性

相比較而言，只通過重新定義無法處理參數(shù)的非線性，所以其問題更麻煩?？赏ㄟ^模型兩邊取對數(shù)進線性化處理，這要求模型的擾動項和等式的右端是Xa或eaX一系列項的乘積形式。

3.變量的非線性和參數(shù)的非線性并存

(二)構建非線性模型

對于某些非線性問題，能明確參數(shù)未知的變量之間非線性關系的數(shù)學形式，只是變量替換后還是無法化為線性關系，就只能用更復雜的擬合方法來求解。非線性回歸模型一般為Y=f(Xk,θn)+ε，其中Xk為k個解釋變量，θn是n個未知參數(shù)，f為非線性函數(shù)。非線性回歸分析的參數(shù)估計有兩種基本方法，這里介紹最小二乘法。對正規(guī)方程組通過解析的方法一般在非線性函數(shù)中無法求解，所以需要用非線性優(yōu)化方法如搜索法或迭代運算估計參數(shù)。

1.搜索法

(1)直接搜索法

其方法是把參數(shù)的所有可能取值都代入函數(shù)g中，使得g達到最小的取值即為參數(shù)的估計值。直接搜索法原理很簡單，但是只適合參數(shù)個數(shù)較少且參數(shù)的可能取值也很少(或對參數(shù)估計的精度要求不高)的情況。

(2)格點搜索法

其方法是按一定規(guī)律把部分取值代入函數(shù)g。以只有一個參數(shù)θ為例θ可能取值區(qū)間為[a,b]，先把區(qū)間10等分，然后分別把a0=a,a1=a+0.1(b-a),a2=a+0.2(b-a),…,a9=a+0.9(b-a),a10=b代入函數(shù)g，設ai使得g最小，再把新區(qū)間[ai-1,ai+1]10等分，重復上述方法，使參數(shù)的可能取值范圍不斷地減小，直到滿足精度要求或收斂標準，即得參數(shù)的最小二乘估計。上述算法表明，當g存在唯一最小值時，格點搜索法才有效。

但是直接搜索法和格點搜索法都是低效的，在實際的工作中實用性很低。

2.迭代法

其基本思路是：首先線性化在某一組初始參數(shù)估計值附近的非線性方程，方法是泰勒級數(shù)展開；然后對這一線性方程進行最小二乘估計，得到新的參數(shù)估計值；再線性化新參數(shù)估計值附近的非線性方程，然后最小二乘估用于新的線性方程，又得到一組新的參數(shù)估計值；依此不斷重復，直到參數(shù)估計值參數(shù)估計值滿足精度要求。

(1)高斯-牛頓法

該方法是常用的非線性最優(yōu)化算法之一，雖然非線性回歸不能通過變換轉化為線性模型，但可以用泰勒展開式轉化為線性模型，具體如下：

1)假設參數(shù)的初值a0=(a10,a20,…,an0)，由泰勒級數(shù)展開并只取線性項：

(1)

經過整理為：

(2)

2)把(a11,a21,…,an1)作為新的初值，通過泰勒展式，得到新的估計(a12,a22,…,an2)，依此重復法，直到參數(shù)估計值收斂。

高斯-牛頓法實質上就是非線性模型本身的反復線性化和線性回歸，適用于不能通過數(shù)學變換轉化線性模型，但具有連續(xù)可微函數(shù)性質，可以利用一階泰勒級數(shù)展開強制轉化成線性模型的非線性模型。

(2)牛頓-拉夫森法

該方法是高斯-牛頓法的改進，但牛頓-拉夫森法是直接對最小二乘函數(shù)最優(yōu)化的一階條件做一階泰勒級數(shù)展開近似，而不是對非線性函數(shù)f本身做線性近似，設參數(shù)向量θ=θ1,θ2…,θn，估計量為a=(a1,a2,…,an)，殘差平方和g(a)最小時的一階條件為u(a)=?g(θ)/?θ=0，給定初始值a=a0，對u(a)用一階泰勒展開近似得u(a)≈u(a0)+v(a0)(a-a0)，其中v(a0)是g(a)在a0處的二階導數(shù)，由于u(a)=0，所以有u(a0)+v(a0)(a-a0)≈0，也即是a≈a0-v-1(a0)u(a0)，該式作為θ的近似估計值，并可視為新的初始值，重復上述方法，直到參數(shù)估計值滿足精度要求或收斂。

牛頓-拉夫森法的缺點是迭代運算中需要反復計算梯度向量，特別是海塞矩陣的逆矩陣，因此計算量很大。

3.有理插值方法

某些經濟計量分析中的研究并不符合最小二乘在線性回歸中的假定：模型中的隨機誤差ε作E(ε)=0及var(ε)=σ2，從而影響了這一方法的應用。而有理插值理論的非線性特點，在非線性回歸分析上更有優(yōu)勢。這里主要討論運用連分式插值理論來進行非線性回歸分析。

(1)有理插值理論

(3)

將R(x)右邊整理，即得上述有理分式函數(shù)Rm,n(x)，a0(x),a1(x),…,am+n(x)為倒差商。

(2)有理插值算法在非線性回歸中的運用

五、總結

通過對非線性關系的具體表現(xiàn)形式及影響的介紹，以及比較各非線性關系的分析方法與工具，研究得出，非線性關系一般有三種：

(1)經過適當?shù)淖兞孔儞Q，變量的非線性關系可轉變?yōu)榫€性。其中又可分為三種情況，變量的非線性，參數(shù)的非線性和變量的非線性和參數(shù)的非線性并存。其多是通過變量代換和將模型兩邊取對數(shù)進而線性化，然后再運用線性方法進行分析。

(2)能明確參數(shù)未知的變量之間非線性關系的數(shù)學形式，只是變量替換后還是不能化為線性關系。一般用搜索法或迭代運算的非線性優(yōu)化方法獲得參數(shù)的最小二乘估計。其中搜索法又分為直接搜索法和格點搜索法，直接搜索法原理很簡單，但是只適合參數(shù)個數(shù)較少且參數(shù)的可能取值也很少(或對參數(shù)估計的精度要求不高)的情況，而格點搜索法只有當殘差平方和存在唯一最小值時才有效；迭代法主要是高斯-牛頓法，適用于不能通過數(shù)學變換轉化線性模型，但具有連續(xù)可微函數(shù)性質，可以利用一階泰勒級數(shù)展開強制轉化成線性模型的非線性模型；牛頓-拉夫森法可看作是高斯-牛頓法的改進，但牛頓-拉夫森法是直接對最小二乘函數(shù)最優(yōu)化的一階條件做一階泰勒級數(shù)展開近似。

(3)無法確定變量間非線性關系的數(shù)學形式。這類非線性問題通過有理插值法或多元線性逐步回歸來求解；本文主要對有理插值法作了詳細探討，其適用于實際中并不滿足統(tǒng)計模型中隨機誤差E(ε)=0及var(ε)=σ2的假定的情形。