信號(hào)估計(jì)中的核回歸方法

摘 要：核回歸方法是比較常用的一種非參數(shù)估計(jì)方法。討論了核回歸方法在一維信號(hào)估計(jì)中的理論與應(yīng)用，實(shí)驗(yàn)比較了高斯核函數(shù)的平滑參數(shù)h及多項(xiàng)式階數(shù)N對(duì)估計(jì)效果的影響。結(jié)果是在相同階數(shù)N下，較小的h使所有的估計(jì)點(diǎn)都收斂到觀察值，反之則是一個(gè)N階多項(xiàng)式擬合。在相同h下，階數(shù)N越大，誤差越小，計(jì)算量也較大，但重構(gòu)效果的提升并不明顯。

關(guān)鍵詞：非參數(shù)估計(jì)；核回歸；重構(gòu)；平滑參數(shù)；加權(quán)

中圖分類號(hào)：TN911 文獻(xiàn)標(biāo)識(shí)碼：B

文章編號(hào)：1004-373X(2008)11-024-02

Kernel Regression in Signal Estimation

WAN Qing，XIE Qinlan

(Department of Electronics and Information Engineering，South-Central University for Nationalities，Wuhan，430074，China)

Abstract：The kernel regression method now is the most popular non-parametric estimation method.This paper discusses the theory and application of the kernel regression method in the 1-D signal estimating，and compares the influence how the smoothing parameter h of Gaussian kernel function and the polynomial order N impact the estimation effect through experiments.Result shows that，under same order N，estimators converge to observations as h decreases and on the contrary，they form a polynomial with order N，under same h，higher order N leads to small errors with more computational cost，but effect is not obvious.

Keywords：non-parametric estimation;kernel regression;reconstruction;smoothing parameter;weight

1 引 言

在實(shí)際應(yīng)用中，真實(shí)信號(hào)的表達(dá)式往往十分復(fù)雜，而進(jìn)行觀察的同時(shí)伴隨有噪聲，為了去除噪聲，對(duì)信號(hào)進(jìn)行采樣，對(duì)這些觀察數(shù)據(jù)進(jìn)行數(shù)學(xué)處理來(lái)估計(jì)原始信號(hào)是比較常用的方法。

一維信號(hào)的觀察模型可以表示如下：



yi=f(xi)+nii=1，…，P[JY](1)



這里f(#8226;)為回歸函數(shù)^[1]，yi表示第i個(gè)采樣點(diǎn)xi處的觀察值，ni是獨(dú)立同分布的零均值噪聲(回歸函數(shù)可以是N維的)。核回歸的目標(biāo)是通過(guò)觀察數(shù)據(jù)yi估計(jì)未知(回歸)函數(shù)f(#8226;)。同時(shí)，該過(guò)程也可以看作是對(duì)目標(biāo)函數(shù)進(jìn)行去噪的過(guò)程。

2 信號(hào)估計(jì)的核回歸方法

假設(shè)回歸函數(shù)f(#8226;)局部N階平滑，為了估計(jì)在任意點(diǎn)x處的函數(shù)值f(x)，將x附近的采樣點(diǎn)xi的值f(xi)在x處展開(kāi)為N階泰勒級(jí)數(shù)：



f(xi)[WB]f(x)+f′(x)(xi-x)+12!f″(x)(xi-x)+…

[DW]+1N!f(N)(x)(xi-x)N

=β0+β1(xi-x)+β2(xi-x)2+…+βN(xi-x)N[JY](2)



上式是將函數(shù)局部擬合為N階多項(xiàng)式。估計(jì)的目標(biāo)就是f(x)，即β0。這里采用的估計(jì)方法是最小二乘法，即：



min{βn}∑Pi=1[WB]\\[yi-β0-β1(xi-x)-β2(xi-x)2-…

[DW]-βN(xi-x)N\\]21hK(xi-xh)[JY](3)



式中K(#8226;)為核函數(shù)，其作用是控制不同采樣點(diǎn)的權(quán)重：距離x較近的點(diǎn)，權(quán)值越大。h為核函數(shù)的徑向?qū)挾葏?shù)，也稱為平滑參數(shù)^[1]。核函數(shù)的形式可以是任意的，只要滿足如下兩個(gè)條件：



∫R1tK(t)dt=0，∫R1t2K(t)dt=c[JY](4)



即關(guān)于零點(diǎn)對(duì)稱且在零點(diǎn)取最大值。常用的核函數(shù)為高斯核^[2]:



K(u)12πexp(-12u2)[JY](5)



下面分別以N=0及N=1為例討論核回歸方法的具體形式。

(1) N=0時(shí)，式(3)變?yōu)?



minβ0∑Pi=1\\[yi-β0\\]21hK(xi-xh)[JY](6)



設(shè)f(β0)=［yi-β0］21hK(xi-xh)，則式(6)的解就是求f′βo(β0)=0的解，解之得：



β0=∑Pi=1Kh(huán)(xi-x)yi∑Pi=1Kh(huán)(xi-x)[JY](7)



(2) N=1時(shí)，式(3)變?yōu)?



minβ0∑Pi=1\\[yi-β0-β1(x1-x)\\]21hK(xi-xh)[JY](8)



與N=0情況類似，設(shè):



f(β0，β1)=∑Pi=1\\[yi-β0-β1(x1-x)\\]21hK(xi-xh)[JY](9)

分別求β0，β1的偏導(dǎo)數(shù)并令其為0:

由以上分析可以看出，核回歸方法不需要信號(hào)的具體形式而直接估計(jì)點(diǎn)的函數(shù)值，同時(shí)也可以方便地估計(jì)各階導(dǎo)數(shù)，使用起來(lái)更靈活，應(yīng)用范圍更廣。

3 仿真實(shí)驗(yàn)與結(jié)果

設(shè)一個(gè)待估計(jì)函數(shù)f(x)=114(x+1)(x-2)(x-7)(x-9)，對(duì)其加入均值為0，方差為0.5 dB的高斯白噪聲，然后進(jìn)行均勻采樣，獲得［-1，9］之間的112個(gè)采樣點(diǎn)。選取高斯核來(lái)估計(jì)原函數(shù)在采樣點(diǎn)的函數(shù)值，對(duì)不同的平滑參數(shù)h及階數(shù)N進(jìn)行仿真，通過(guò)均方根誤差(RMSE)來(lái)衡量估計(jì)的效果。由于平滑參數(shù)與回歸階不相關(guān)，因此首先比較在同一回歸階下不同平滑參數(shù)的影響，其次比較在同一平滑參數(shù)下不同回歸階的效果，并分析兩者的作用。

[HTH]實(shí)驗(yàn)[STHZ]1[STBZ] [HTSS]固定N=0，對(duì)不同的h進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖1所示。圖1中(a)，(b)，(c)，(d)，(e)，(f)所取的h分別為0.01，0.1，0.5，1，2，4，相應(yīng)的RMSE分別為1.23，0.51，0.88，1.8，4.1，6.25。根據(jù)實(shí)驗(yàn)結(jié)果可以看出，當(dāng)h=0.01時(shí)，估計(jì)結(jié)果是經(jīng)過(guò)所有采樣點(diǎn)的曲線；而當(dāng)h=4時(shí)，估計(jì)結(jié)果趨近于常數(shù)。由此可以看出，h過(guò)小導(dǎo)致偏差較小，方差較大；而h過(guò)大則導(dǎo)致偏差較大，方差較小。因此過(guò)大或過(guò)小的平滑參數(shù)都將導(dǎo)致均方誤差較大。

圖1 不同平滑參數(shù)h的仿真結(jié)果

[HT5”]注：圖1中藍(lán)色線條表示原始函數(shù)，綠色點(diǎn)表示經(jīng)過(guò)采樣的觀察數(shù)據(jù)，紅色線條表示重構(gòu)函數(shù)。[HT10.SS]

[HTH]實(shí)驗(yàn)[STHZ]2[STBZ] [HTSS]固定h=1，對(duì)不同的階數(shù)N進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖2所示(注：圖中的表示法同圖1)。圖2中(a)，(b)，(c)，(d)的階數(shù)分別為N=0，1，2，3，相應(yīng)的RMSE分別為1.73，1.15，0.58，0.54。由實(shí)驗(yàn)2可以看出，階數(shù)N越大，重構(gòu)效果越好。然而，隨著階數(shù)的提高，計(jì)算更為復(fù)雜，計(jì)算量也更大，但重構(gòu)效果的提升并不明顯，譬如從N=0到N=1，RMSE降低33.5%；N=1到N=2，誤差降低49.5%；而N=3相對(duì)于N=2，只降低了6.8%。

圖2 不同展開(kāi)階數(shù)N的仿真結(jié)果

4 結(jié) 語(yǔ)

本文探討了核回歸方法在一維信號(hào)中的應(yīng)用。與經(jīng)典的參數(shù)估計(jì)方法不同，它充分利用了觀察數(shù)據(jù)提供的信息，對(duì)信號(hào)或系統(tǒng)的先驗(yàn)知識(shí)要求不多，其對(duì)任意點(diǎn)的估計(jì)就是對(duì)所有觀察數(shù)據(jù)進(jìn)行加權(quán)，即每個(gè)觀察數(shù)據(jù)對(duì)估計(jì)結(jié)果都有貢獻(xiàn)，因而它更符合實(shí)際應(yīng)用中先驗(yàn)知識(shí)所知不多的情況。

另外研究了影響估計(jì)效果的兩個(gè)主要因素[CD2]平滑參數(shù)h和回歸階數(shù)N，并實(shí)驗(yàn)比較了這兩個(gè)參數(shù)對(duì)估計(jì)結(jié)果的影響。在未來(lái)的工作中，將著重解決如何在計(jì)算量及重構(gòu)效果之間進(jìn)行取舍來(lái)自適應(yīng)地選擇這兩個(gè)參數(shù)這一重要問(wèn)題。

參 考 文 獻(xiàn)

［1］Wand M P，Jones M C.Kernel Smoothing ［M］.ser.Monpgraphs on Statistics and Applied Probability.New York:[LL]Chapman Hall，1995.

［2］Silverman B W.Density Estimation for Statistics and Data Analysis［M］.ser.Monographs on Statistics and Applied Probability.New York:Chapman Hall，1986.

［3］Hiroyuki Takeda，Sina Farsiu，Peyman Milanfar.Kernel Regression for Image Processing and Reconstruction ［J］.IEEE Trans.Image Process，2007，16(2):349-366.

［4］Hardle W，Muller M，Sperlich S，et al.Non-parametric and Semi-parametric Models ［M］.ser.Springer Series in Statistics.New York:Springer，2004.

［5］Nadaraya E A.On Estimating Regression［M］.Theory Probabil，1964.

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文。