基于核自適應(yīng)濾波器的時間序列在線預(yù)測研究綜述

韓敏 馬俊珠 任偉杰 鐘凱

氣象、水文、金融、醫(yī)學(xué)以及工程等領(lǐng)域,其數(shù)據(jù)多以時間序列的形式進(jìn)行存儲.時間序列是某種變量或統(tǒng)計指標(biāo)的數(shù)值隨時間排序所形成的序列集合,其中既含有全部變量的歷史信息,又含有參與系統(tǒng)動態(tài)演化的變量信息,例如在氣象數(shù)據(jù)中,溫度、濕度、風(fēng)速、風(fēng)向、氣壓、降雨量、日照時數(shù)、紫外線強(qiáng)度的變化等.從時間序列數(shù)據(jù)的歷史信息中預(yù)測未來的變化,以提前做好防護(hù)措施,對保障人類生命財產(chǎn)安全具有重要意義[1?6].

近年來,隨著對時間序列研究的深入化,傳統(tǒng)的線性自適應(yīng)濾波算法[7],例如最小均方(Least mean squares,LMS)算法、遞歸最小二乘(Recursive least squares,RLS)算法等都不滿足預(yù)測要求.LMS收斂過程緩慢,步長與收斂速度、失調(diào)之間也存在矛盾.RLS具有計算復(fù)雜度較高、所需存儲量較大的缺陷.同時,它們的應(yīng)用實(shí)時性也較差,在處理非線性、非平穩(wěn)、高復(fù)雜性等問題時效果并不理想.所以對非線性、非平穩(wěn)、復(fù)雜系統(tǒng)的研究已經(jīng)引起了許多國內(nèi)外專家學(xué)者的廣泛關(guān)注,并取得了一定的研究成果.

對于上述問題,出現(xiàn)的建模方法主要包括:人工神經(jīng)網(wǎng)絡(luò)(Artificial neural networks,ANN)[8?10]、支持向量機(jī)(Support vector machines,SVM)[11]、核自適應(yīng)濾波器(Kernel adaptive filter,KAF)[12?13]以及一些其他非線性方法.ANN和SVM都屬于離線方法,不滿足在線實(shí)時性要求.而KAF是指線性自適應(yīng)濾波器在核空間(Kernel space,KS)的擴(kuò)展[14?15],該過程滿足在線預(yù)測要求,對復(fù)雜時間序列預(yù)測具有實(shí)時輸出的特點(diǎn).其中“核技巧”操作不需被顯式地知道訓(xùn)練樣本在特征空間內(nèi)的映射[16],它直接通過核函數(shù)計算來完成特征空間的內(nèi)積計算,整個計算過程被簡化,該映射過程如圖1.

圖1 從輸入空間到特征空間的非線性映射f(·)Fig.1 Nonlinear mapping f(·)from input space to feature space

目前,國內(nèi)外學(xué)者使用最多的是高斯核函數(shù).核函數(shù)是先將輸入數(shù)據(jù)映射到高維空間,再在高維空間進(jìn)行線性操作.該過程對解決非線性問題具有明顯的優(yōu)勢[17?18].隨著對核函數(shù)[15?18]研究的深入,學(xué)者們相繼提出了應(yīng)用于時間序列的計算復(fù)雜度較低、跟蹤時變能力較強(qiáng)的KAF在線預(yù)測算法.

近年來,由于時間序列組成的非線性系統(tǒng)越來越復(fù)雜,簡單的離線預(yù)測已經(jīng)不能滿足用戶的要求.對于上述問題,多種時間序列在線預(yù)測方法相繼出現(xiàn).目前,時間序列在線預(yù)測方法主要分為以下幾類:重新建模方法、動態(tài)神經(jīng)網(wǎng)絡(luò)方法、在線支持向量回歸方法、遞歸貝葉斯估計方法和KAF方法.

KAF 使用核方法實(shí)現(xiàn)非線性傳遞函數(shù).在KAF中,信號被映射到高維線性特征空間,并且非線性函數(shù)被近似為核的總和,其域是特征空間.如果這是在再生核希爾伯特空間(Reproducing kernel Hilbert space,RKHS)中完成的,則核方法可以是非線性函數(shù)的通用逼近器.內(nèi)核方法具有凸損函數(shù)的優(yōu)點(diǎn),同時沒有局部最小值[13].近年來,隨著環(huán)境的不斷復(fù)雜化,其預(yù)測、跟蹤問題也日趨復(fù)雜化.在線預(yù)測作為一種實(shí)時預(yù)測、跟蹤時變的有效方法,在時間序列預(yù)測方面展現(xiàn)出較好的能效結(jié)果,并滿足用戶的實(shí)時監(jiān)測與控制的要求[19?21].基于KAF的在線預(yù)測方法在許多實(shí)際應(yīng)用領(lǐng)域中都已展現(xiàn)出較好的預(yù)測性能,其中主要包括三類:核最小均方(Kernel least mean squares,KLMS)[19]算法、核遞歸最小二乘(Kernel recursive least squares,KRLS)[20]算法和核仿射投影算法(Kernel affine projection algorithm,KAPA)[21].在此基礎(chǔ)上,許多學(xué)者也提出相應(yīng)的改進(jìn)算法,根據(jù)KAF的發(fā)展進(jìn)程,KAF在線預(yù)測模型的研究進(jìn)展具體如圖2所示,它詳細(xì)地概括了文章的整體研究脈絡(luò).

圖2 KAF方法分類框圖Fig.2 Classification diagram of the KAF method

然而,KAF方法在時間序列在線預(yù)測過程中還存在以下的問題:隨著新樣本的加入,系統(tǒng)所占用的內(nèi)存不斷增加(主要表現(xiàn)為核矩陣維度的增加),計算復(fù)雜度會隨樣本量的增加而增長.針對該問題,學(xué)者們對以上三類KAF方法進(jìn)行了相應(yīng)的改進(jìn)[22?36].在一定程度上,在線預(yù)測幫助研究者實(shí)現(xiàn)了對非線性、非平穩(wěn)、復(fù)雜時間序列系統(tǒng)的實(shí)時預(yù)測,對進(jìn)一步將要發(fā)生的變化做出更科學(xué)、合理的決策.

本文的貢獻(xiàn)主要集中在:總結(jié)基于KAF的時間序列在線預(yù)測研究進(jìn)展,重點(diǎn)介紹基于KAF的時間序列在線預(yù)測方法,主要包括KLMS、KRLS和KAPA三類,在本文還介紹了這一研究領(lǐng)域的研究趨勢和發(fā)展延伸,并展望未來的挑戰(zhàn),即充分理解基于KAF的時間序列在線預(yù)測的發(fā)展趨勢,以供進(jìn)一步研究.

1 基于KLMS在線預(yù)測算法

對于KLMS中存在的計算復(fù)雜度和核矩陣的增長問題,文獻(xiàn)[22]提出一種量化核最小均方(Quantization kernel least mean square,QKLMS)算法,其量化操作限制了核函數(shù)維數(shù)的無限增長,基本思想是通過量化操作壓縮輸入數(shù)據(jù),而不像其他稀疏化方法那樣直接丟棄冗余數(shù)據(jù).文獻(xiàn)[23]提出了單反饋核最小均方(Single feedback kernel least mean square,SF-KLMS)算法,它使用單個延遲輸出以循環(huán)方式更新權(quán)重,過去信息的使用也顯著加快了收斂速度.文獻(xiàn)[24]提出了改進(jìn)的量化核最小均方(Modification quantization kernel least mean square,M-QKLMS)算法,它在使用預(yù)測誤差的同時還用梯度下降方法來更新濾波器系數(shù).不同于QKLMS只考慮預(yù)測誤差,M-QKLMS采用新的訓(xùn)練數(shù)據(jù)和預(yù)測誤差來調(diào)整字典中最接近中心的系數(shù).文獻(xiàn)[25]提出了一種基于隨機(jī)特征網(wǎng)絡(luò)的KLMS算法(Kernel least mean square base on random feature networks,KLMS-RFN),它與理論上隱式地將輸入映射到無限維空間高斯核相反,隨機(jī)特征映射是將樣本輸入到相對低維的特征空間,并使變換后的樣本與使用移位不變內(nèi)核的特征空間中近似等效.

KAF作為在線預(yù)測模型,已經(jīng)在時間序列預(yù)測領(lǐng)域展現(xiàn)出較好的性能[18].以下將詳細(xì)說明基于KLMS及其改進(jìn)方法的時間序列在線預(yù)測機(jī)理.

1.1 核最小均方算法

目前,對于復(fù)雜難預(yù)測環(huán)境,LMS與核方法結(jié)合的應(yīng)用方式隨之出現(xiàn).2008年,Liu 等將LMS嵌入KS提出KLMS[19].KLMS是指在RKHS中進(jìn)行的自適應(yīng)過程,它結(jié)合核技巧和LMS來實(shí)現(xiàn)樣本到樣本的更新[37].

對于一個有限的訓(xùn)練數(shù)據(jù)集,KLMS可通過未知映射將輸入樣本由低維的原始空間映射到高維特征空間,再在高維特征空間執(zhí)行簡單的線性計算.其中涉及步進(jìn)參數(shù)的預(yù)設(shè)置,主要有兩種方法實(shí)現(xiàn):1)根據(jù)經(jīng)驗(yàn)設(shè)置步進(jìn)參數(shù);2)隨著新樣本的到來,自適應(yīng)更新權(quán)重w(i)的同時實(shí)時改變步進(jìn)參數(shù).

其中,μ是步進(jìn)參數(shù).e(i)表示預(yù)測誤差,φ(i)表示在特征空間映射后的輸入樣本.

其中,d(i)=φT(i)w(i) .

上述過程在增加較少運(yùn)算量的情況下加快了模型收斂速度,可較快跟蹤到自適應(yīng)參數(shù),減少訓(xùn)練序列的預(yù)處理時間,從而提高自適應(yīng)參數(shù)的利用效率.通過以上過程,得到KLMS模型的預(yù)測輸出y(i).

其中,αj(i)=ηe(j),η表示學(xué)習(xí)率.k(·,·)表示核函數(shù),該計算過程也被稱為核技巧.

總的來說,KAF在時間序列預(yù)測中是一個記憶強(qiáng)化操作.同時KAF還屬于在線操作范疇,它通過使用之前的樣本和預(yù)測誤差來逐步構(gòu)造出KAF的輸出.

隨著KLMS不斷應(yīng)用于時間序列預(yù)測,其預(yù)測也出現(xiàn)了許多亟待解決的問題[38].隨著預(yù)測樣本的不斷增多,預(yù)測過程中出現(xiàn)計算復(fù)雜度較大的問題,即隨著新樣本的不斷到來,核矩陣維數(shù)不斷增大,模型內(nèi)存消耗也不斷增大,從而出現(xiàn)預(yù)測時間長、效率低、精度低等問題.對于上述問題,第1.2節(jié)～第1.5節(jié)對給出的多種解決方案進(jìn)行詳細(xì)說明.

1.2 量化核最小均方算法

2012年Chen 等在KLMS的基礎(chǔ)上提出矢量量化(Vector quantization,VQ)操作,得到量化核最小均方算法.VQ方法不同于近似依賴準(zhǔn)則(Approximate linear dependence,ALD)[20],驚奇準(zhǔn)則(Surprise criterion,SC),固定預(yù)算準(zhǔn)則(Fixed budget,FB)[39?40]和新奇準(zhǔn)則(Novel criterion,NC)等稀疏方法.VQ作為稀疏[41?42]的一種替代方法,其基本思想是矢量量化并以此壓縮輸入或特征空間,用以遏制自適應(yīng)濾波器中高斯核結(jié)構(gòu)的增長.QKLMS中權(quán)重?(i)的更新過程如下所示:

其中,Q[·]是量化算子.與稀疏方法不同,VQ操作是使用“冗余”數(shù)據(jù)來更新最接近中心的系數(shù),該過程提高了數(shù)據(jù)的利用效率[22].

QKLMS的預(yù)測輸出y(i)如下式所示:

其中,C j(·)表示字典C中的第j個元素.

QKLMS已經(jīng)應(yīng)用于短時混沌時間序列預(yù)測[22].同時VQ利用“冗余”數(shù)據(jù)來更新最接近的中心系數(shù),以產(chǎn)生更緊湊的網(wǎng)絡(luò),最終在時間序列在線預(yù)測上得到更高的預(yù)測精度和預(yù)測效率.

1.3 單反饋核最小均方算法

前述的K LMS和QK LMS都是前饋網(wǎng)絡(luò),2015年Zhao等首次提出具有單反饋結(jié)構(gòu)的單反饋核最小均方(SF-KLMS)算法.在SF-KLMS中只有一個延遲輸出被用于以循環(huán)方式更新權(quán)重,過去信息的使用顯著地加快了模型的收斂速度.SF-KLMS具有更緊湊、更高效的循環(huán)結(jié)構(gòu).

在SF-KLMS中包含兩個權(quán)重更新過程:1)前饋權(quán)重w(i);2)反饋權(quán)重γ(i).

其中,ηw和ηγ是學(xué)習(xí)率,ρw和ργ是歸一化參數(shù),βw和βγ是調(diào)整最新梯度信息的參數(shù),D w(i)=k(i)+βw(i)γ(i)D w(i ?1)是當(dāng)前梯度信息,Dγ(i)=y(i ?1)+βγ(i)γ(i)Dγ(i ?1).

SF-KLMS具有以下優(yōu)勢:1)SF-KLMS利用延遲輸出的先前梯度信息D w(i ?1)來更新當(dāng)前梯度D w(i);2)與無反饋的KAF(如KLMS)和含多反饋的KAF(如LRKOL)相比,SF-KLMS具有更緊湊的結(jié)構(gòu),更快的收斂速度和更好的預(yù)測性能.

根據(jù)上述分析,得到SF-KLMS模型的輸出y(i).

其中,u(C l)表示字典的第l個信號.

在短時時間序列預(yù)測中,調(diào)節(jié)因子βw被設(shè)置成較小值,而βγ可被設(shè)置為相對較大的值用以提高反饋的效果[43].

1.4 改進(jìn)的量化核最小均方算法

KAF在線預(yù)測算法已經(jīng)在解決復(fù)雜系統(tǒng)的預(yù)測、跟蹤方面展現(xiàn)出強(qiáng)大的能力.改進(jìn)的量化核最小均方(M-QKLMS)算法于2016年被Zheng 等提出,該方法是在QKLMS方法的基礎(chǔ)上進(jìn)行的改進(jìn)[24].M-QKLMS采用梯度下降方法來更新核自適應(yīng)濾波器系數(shù),不同于QKLMS只考慮預(yù)測誤差,該方法還采用新訓(xùn)練數(shù)據(jù)與預(yù)測誤差來共同調(diào)整字典最接近中心的系數(shù).

計算新樣本與現(xiàn)存字典之間的距離.

其中,γ是量化參數(shù).如果dis(u(i),D(i ?1))≤γ,那么權(quán)重矩陣為w l?(i)=w l?(i ?1)+ηκ(D l?(i ?1),u(i))e(i).否則,權(quán)重矩陣為w(i)=[w(i ?1),ηe(i)].

根據(jù)上述判斷結(jié)果,得到輸出y(i).

M-QKLMS先執(zhí)行VQ操作,再利用梯度下降方法與預(yù)測誤差共同作用,從而有效地降低網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度.該過程提高了歷史信息的利用效率[24].總之,M-QKLMS利用新訓(xùn)練數(shù)據(jù)隱藏的信息,達(dá)到了更好的預(yù)測精度.

1.5 基于隨機(jī)特征網(wǎng)絡(luò)的核最小均方算法

為了在非靜態(tài)環(huán)境中構(gòu)建在線KAF,Liu等于2018年提出了基于隨機(jī)特征網(wǎng)絡(luò)的核最小均方算法[25].KLMS-RFN與將輸入映射到高維特征空間的高斯核相比,隨機(jī)特征映射變換是將樣本輸入到相對低維的特征空間,其中變換后的樣本近似等于在特征空間中使用一個移位不變核,如下所示:

其中,φ(x):Rm→RM,表示特征映射后的輸入矩陣.

然后,KLMS-RFN模型的預(yù)測過程可總結(jié)為:

1)計算隨機(jī)傅立葉特征向量φ(x(n))

2)得到自適應(yīng)濾波器的輸出y(n)

3)得到權(quán)重更新矩陣w(n)

其中,e(n)=d(n)?y(n)表示預(yù)測誤差.

KLMS-RFN不需要存儲重要樣本,可節(jié)省大量存儲成本.當(dāng)所選樣本較多時,KLMS-RFN的計算復(fù)雜度明顯低于核矩陣的計算復(fù)雜度.此外,KLMS-RFN還可以約束不斷增長的權(quán)重網(wǎng)絡(luò)的結(jié)構(gòu),同時更新樣本來跟蹤輸入的特征變化.該模型已經(jīng)在時間序列得到應(yīng)用,明顯的提高了模型在非平穩(wěn)環(huán)境下的預(yù)測性能[25].

1.6 基于KLMS在線預(yù)測的總結(jié)分析

通過對KLMS及其改進(jìn)模型的說明,就降低核矩陣維數(shù)、提高歷史信息的利用效率方面來說,可以看出KAF在時間序列在線預(yù)測領(lǐng)域已得到廣泛的應(yīng)用[44?46].在本節(jié),主要討論基于KLMS在時間序列在線預(yù)測中出現(xiàn)的核矩陣計算量大,“冗余”信息利用效率低等問題的解決方法.針對上述問題,通過VQ來提高歷史信息的利用效率,并在此基礎(chǔ)上采用預(yù)測誤差來自適應(yīng)更新濾波器結(jié)構(gòu),降低核矩陣的維數(shù).

KLMS是在高維特征空間中推導(dǎo)的,它使用隨機(jī)梯度方法解決最小二乘問題,從Hadamard意義上來講,KLMS不需要明確的正則化.KLMS及相應(yīng)的改進(jìn)模型已經(jīng)在復(fù)雜時間序列中得到廣泛的應(yīng)用[19,22,24,47].KAF在一定程度上縮短了預(yù)測時間,簡化了核矩陣的計算步驟,降低了計算復(fù)雜度,也通過使用“冗余”樣本,提高了信息的利用效率,提高了時間序列在線預(yù)測精度.

2 基于KRLS在線預(yù)測算法

對于KRLS建模中出現(xiàn)的在線樣本量和核矩陣維數(shù)的限制問題,文獻(xiàn)[26]提出滑動窗口核遞歸最小二乘方法(Sliding window kernel recursive least squares,SW-KRLS),它只選取固定長度的序列樣本進(jìn)行計算,從而降低核矩陣維度.文獻(xiàn)[27]提出擴(kuò)展核遞歸最小二乘(Extended kernel recursive least squares,EX-KRLS)算法,該方法可以在KS內(nèi)表達(dá)狀態(tài)空間模型,還可以利用狀態(tài)空間模型動態(tài)表示在時變環(huán)境條件下的時間序列的變化趨勢.文獻(xiàn)[28]提出固定預(yù)算核遞歸最小二乘(Fixed budget kernel recursive least squares,FBKRLS)算法,它只選取固定數(shù)量樣本,且保留相關(guān)性較強(qiáng)的數(shù)據(jù)樣本進(jìn)行計算,拋棄相關(guān)性弱的數(shù)據(jù)樣本,該過程不僅降低了核矩陣的維度,而且提高了預(yù)測精度.文獻(xiàn)[29]提出核遞歸最小二乘跟蹤(Kernel recursive least squares with tracker,KRLS-T)算法,包括遺忘因子原則和數(shù)值穩(wěn)定的方式,它固定了內(nèi)存量和每一個時間步長的計算,限制了核矩陣的維數(shù),并以自然的方式結(jié)合正則化,從而跟蹤每次預(yù)測的時變特性.與文獻(xiàn)[22]類似,文獻(xiàn)[30]提出了量化核遞歸最小二乘(Quantization kernel recursive least squares,QKRLS)算法,其基本思想也是通過量化操作壓縮輸入數(shù)據(jù),限制核矩陣維數(shù),該方法將“冗余”數(shù)據(jù)利用起來,用以提高預(yù)測精度.文獻(xiàn)[31]提出了多反饋核遞歸最小二乘(Multi-feedback kernel recursive least squares,MF-KRLS)算法,它是利用多個先前輸出來遞歸更新結(jié)構(gòu)參數(shù),具有跟蹤時變的特性.文獻(xiàn)[32]提出自適應(yīng)歸一化稀疏核遞歸最小二乘(Adaptive normalized sparse kernel recursive least squares,ANS-KRLS)算法,它結(jié)合一致性準(zhǔn)則、ALD和動態(tài)自適應(yīng)調(diào)整來限制核矩陣維數(shù),同時提高了預(yù)測精度.

目前,KRLS已經(jīng)廣泛應(yīng)用于數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等領(lǐng)域[20].KRLS將輸入樣本通過Mercer核映射到高維特征空間,然后在高維特征空間中利用矩陣反演引理執(zhí)行線性回歸,從而在線解決復(fù)雜時間序列預(yù)測問題[48?57].以下將詳細(xì)說明基于KRLS及其改進(jìn)方法的時間序列在線預(yù)測機(jī)理.

2.1 核遞歸最小二乘算法

KRLS利用矩陣反演引理簡化核矩陣的求逆過程,目的在于簡化計算,并降低存儲要求、提高預(yù)測效率.目前,KRLS已經(jīng)在復(fù)雜時間序列預(yù)測中展現(xiàn)出較好的預(yù)測性能[20],它能夠以在線的形式實(shí)時處理樣本序列.

KRLS模型的ALD閾值是根據(jù)經(jīng)驗(yàn)獲得,太大或太小都會降低預(yù)測精度[20].當(dāng)樣本進(jìn)入KRLS模型后,計算該樣本與當(dāng)前字典在特征空間的線性擴(kuò)展距離δ(i),如果大于ν,那么該樣本滿足要求被加入字典進(jìn)行預(yù)測.反之,如果小于ν,那么該數(shù)據(jù)樣本被移除,這保證了核矩陣維數(shù)的有限性.

其中,ν是設(shè)置的ALD閾值.

根據(jù)以上過程,得到權(quán)重矩陣w(i).

其中,λ是正則化參數(shù),Φ(i)表示特征空間映射后的輸入矩陣,I表示單位矩陣,d(i)表示期望輸出.該過程使用矩陣反演引理.

再將w(i)代入輸出模型,得到輸出結(jié)果f(u?).

根據(jù)上述過程對預(yù)測結(jié)果進(jìn)行分析[48?51],得到復(fù)雜系統(tǒng)下一步的發(fā)展趨勢及實(shí)時信息,最終做出更科學(xué)的決策.

與第1節(jié)的KLMS相比,就收斂速度而言,KRLS模型比KLMS模型小一個數(shù)量級,但是這種性能的改善是以增加計算復(fù)雜度為代價的.所以,如何改善預(yù)測模型的計算復(fù)雜度?第2.2節(jié)～第2.8節(jié)對給出的多種改進(jìn)方法進(jìn)行詳細(xì)說明.

2.2 滑動窗口核遞歸最小二乘算法

滑動窗口核遞歸最小二乘方法[26]是Van Vaerenbergh 等于2006年提出.SW-KRLS是結(jié)合滑動窗和傳統(tǒng)L2范數(shù)正則化得到的.SW-KRLS中滑動窗對核矩陣維數(shù)的要求是固定而非限制,是始終保持字典的維度不變.L2范數(shù)正則化則是改進(jìn)了模型的泛化能力.該方法多用于無記憶非線性系統(tǒng),并在時變環(huán)境、跟蹤突變問題上體現(xiàn)出較好的預(yù)測性能.在SW方法中,選定窗口n,得到正則化核矩陣K n.

其中,c是正則化參數(shù),I表示單位矩陣,觀測矩陣被表示為X n=[X n,X n?1,···,X n?N+1]T.當(dāng)處于在線環(huán)境時,核矩陣的維數(shù)取決于觀測值N.

如何保持核矩陣維度固定不變？對于新到來樣本,核矩陣添加新行和新列通過式(20)實(shí)現(xiàn),核矩陣移除最舊行和列可通過式(19)實(shí)現(xiàn).

其中,A是非奇異矩陣,g=(d ?bTA?1b)?1,K是添加新行和列后的矩陣,D是移除最舊行和列后的矩陣,bTf+dg=1.

根據(jù)以上過程,得到系數(shù)矩陣αn.

其中,y(n)=[y n,y n?1,···,y n?N+1]表示觀測向量,

SW-KRLS采用正則化解決了過擬合問題,并結(jié)合滑動窗口(Sliding window,SW)和矩陣反演引理來解決計算復(fù)雜度的限制問題,不僅節(jié)省了內(nèi)存空間,簡化了計算,也提高了預(yù)測精度[26].

2.3 擴(kuò)展核遞歸最小二乘算法

2009年Liu等又提出了在RKHS中的擴(kuò)展遞歸最小二乘算法的核化形式,即擴(kuò)展核遞歸最小二乘算法[27].EX-KRLS在RKHS中首次實(shí)現(xiàn)了一般線性狀態(tài)模型.

EX-KRLS使用顯式狀態(tài)轉(zhuǎn)移和卡爾曼濾波器來學(xué)習(xí)內(nèi)核回歸權(quán)向量,也通過樣本數(shù)據(jù)完成在線學(xué)習(xí)[27].當(dāng)A=αI時,得到的狀態(tài)轉(zhuǎn)換模型(22)與觀測模型(23).

其中,φ(i)∈F代替u(i)∈U,α是一個升降參數(shù),既可放大也可衰減.

EX-KRLS具有明確的狀態(tài)轉(zhuǎn)移過程,且可以提高KRLS的跟蹤能力[27],其跟蹤模型如式(24).

其中,r(i)=λ+φT(i)φ(i)?zT(i)k(i),λ是用以控制初始狀態(tài)向量的正則化參數(shù),z(i)表示非奇異矩陣,k(i)表示核矩陣,e(i)是預(yù)測誤差,a(i)是系數(shù)矩陣,它們都是根據(jù)樣本點(diǎn)不斷地自適應(yīng)更新.所以,EX-KRLS適合于慢衰落、狀態(tài)變化小的非線性系統(tǒng)建模.

2.4 固定預(yù)算核遞歸最小二乘算法

對于計算復(fù)雜度較大問題,固定預(yù)算核遞歸最小二乘方法于2010年被Van Vaerenbergh 等提出[28].其中FB準(zhǔn)則在限制內(nèi)存的同時,不僅減少預(yù)測時間,還提高歷史信息的利用效率.

FB準(zhǔn)則是Dekel 等在2006年提出的.在預(yù)測時間序列樣本時,隨著新樣本的加入,直到字典達(dá)到預(yù)設(shè)閾值M之前,FB準(zhǔn)則不起作用.當(dāng)樣本達(dá)到M+1時,核矩陣如式(25),FB起作用,拋棄最不重要、不相關(guān)的數(shù)據(jù)如式(26),期間字典大小始終為M,即當(dāng)新樣本滿足條件時,就刪除最不相關(guān)的數(shù)據(jù).反之,新樣本如果不滿足條件,那么新樣本就不被允許加入字典,即字典保持原來的狀態(tài)不變.該過程不僅限制了輸入數(shù)據(jù)的維數(shù),也提高了數(shù)據(jù)利用效率.

為保持核矩陣維度不變,FB準(zhǔn)則中的拋棄計算如下所示:

根據(jù)上述拋棄準(zhǔn)則,FB-KRLS模型可以有效地跟蹤時變序列的信息[28].FB-KRLS主要應(yīng)用于非線性系統(tǒng)識別問題.它不僅能夠保持內(nèi)存不變,拋棄最不重要的樣本點(diǎn),提高信息利用效率,而且其標(biāo)簽更新過程也表現(xiàn)出模型的跟蹤時變特性,更拓寬了FB-KRLS的應(yīng)用范圍[28].

2.5 核遞歸最小二乘跟蹤算法

不同于SW-KRLS、EX-KRLS和FB-KRLS,核遞歸最小二乘跟蹤[29]是引入貝葉斯框架,在統(tǒng)一現(xiàn)有的KRLS理論下,提出的“遺忘”的概念,即通過明確方式處理復(fù)雜的時間序列數(shù)據(jù).為保證最優(yōu)性能,需要確定核參數(shù)、正則化參數(shù),以及在非平穩(wěn)環(huán)境中的遺忘因子.

由于KRLS-T等價于特定時空協(xié)方差的高斯過程(Gaussian processing,GP)回歸模型,所以可通過GP超參數(shù)估計來確定KRLS-T的所有參數(shù).采用潛在函數(shù)邊緣化的方法,用超參數(shù)表示觀測數(shù)據(jù)的概率[29].

其中,?表示Hadamard乘積,Λ是一個對角矩陣,它的第j個對角元素值為,λ∈(0,1].

在KRLS-T中,需要存儲和更新三個變量:1)字典中與基對應(yīng)的當(dāng)前預(yù)測均值μt;2)表示先驗(yàn)值的核逆矩陣;3)相應(yīng)的預(yù)測方差Σt它可以捕獲后驗(yàn)協(xié)方差.

其中,q t+1=Q t k t+1,ε是遺忘因子且ε∈(0,1),σ2是超參數(shù),δ是正則化參數(shù).

因?yàn)镵RLS-T不能提供對過去時刻的預(yù)測,僅保留與當(dāng)前時刻相關(guān)的小部分樣本,所以對短期時間序列預(yù)測有更好的預(yù)測效果.同時這樣的預(yù)測機(jī)制極大降低了計算成本[29].

2.6 量化核遞歸最小二乘算法

Chen 等于2013年又將VQ應(yīng)用到KRLS模型,它是以遞歸形式被推導(dǎo)得到量化核遞歸最小二乘算法[30].QKRLS也是將輸入空間量化分配,其基本思想也是使用較小數(shù)據(jù)集來表示整個輸入數(shù)據(jù)的信息,從而提高預(yù)測精度[23,30].

VQ具有多種優(yōu)勢:1)計算簡單;2)量化的大小比較容易選擇;3)冗余數(shù)據(jù)可以很容易的被利用,用以提高預(yù)測性能.

首先在線VQ需要設(shè)置量化尺碼ε,然后計算u(i)和C(i ?1)之間的距離.

其中,j?=arg min1≤j≤|C(i?1)|∥u(i)?C j(i?1)∥,C j(i ?1)表示C(i ?1)的第j個元素.

當(dāng)新樣本u(i) 進(jìn)入預(yù)測模型時,如果dis(u(i),C(i ?1))不大于ε,此時的量化碼本保持不變,用式(30)更新權(quán)重系數(shù)矩陣.如果dis(u(i),C(i?1))小于ε,那么新樣本被加入到量化碼本C(·)中,用式(31)更新權(quán)重系數(shù).

QKRLS在預(yù)測時間序列時,除了能夠保持期望性能,在產(chǎn)生緊湊模型方面也非常有效[30].計算復(fù)雜度和預(yù)測精度之間的折衷也可以通過改變量化碼本的大小進(jìn)行簡單、有效地控制.

2.7 多反饋核遞歸最小二乘算法

近年來,大多數(shù)KAF都是無反饋結(jié)構(gòu)的預(yù)測模型[26?30].在第1.3節(jié),SF-KLMS首次將反饋結(jié)構(gòu)引入KAF模型.隨后Wang 等在2017 年提出了具有反饋結(jié)構(gòu)的多反饋核遞歸最小二乘算法[31].MFKRLS是將延遲輸出與最近的輸入結(jié)合來估計最近輸出的過程.

在MF-KRLS結(jié)構(gòu)中,它的前饋系數(shù)(Feed forward coefficient,FFC)和反饋系數(shù)(Feedback coefficient,FBC)利用最速下降法進(jìn)行更新.同時MF-KRLS采用多個先前的輸出以遞歸的形式更新結(jié)構(gòu)參數(shù).FFC 和FBC 都采用最速下降法進(jìn)行在線更新.

其中,μα(i)=ηα(i)/ρα(i)表示FFC的步進(jìn)參數(shù),μλ(i)=ηλ(i)/ρλ(i)表示FBC 的步進(jìn)參數(shù).Dα(i)=?y(i)/?α(i),Dλ(i)=?y(i)/?λ(i).

根據(jù)上述分析,在時變環(huán)境中,MF-KRLS具有較好的自適應(yīng)更新調(diào)整能力,在估計精度和收斂速率上也得到改善[31].

將FFC和FBC代入輸出模型得到y(tǒng)(i).

在MF-KRLS的時間序列在線預(yù)測應(yīng)用中,其前饋和反饋結(jié)構(gòu)的有效結(jié)合不僅提高了KRLS的濾波精度,還加快了收斂速度[31].

2.8 自適應(yīng)歸一化稀疏核遞歸最小二乘算法

隨著在線稀疏方法的不斷發(fā)展,Han 等于2017 年提出自適應(yīng)歸一化稀疏核遞歸最小二乘方法[32],該方法已經(jīng)在多元混沌時間序列在線預(yù)測方面得到較好的預(yù)測性能.

ANS-KRLS是結(jié)合動態(tài)調(diào)整策略和一致性準(zhǔn)則(Coherence criterion,CC),并基于KRLS得到的改進(jìn)模型.在ANS-KRLS中,一致性準(zhǔn)則不僅可以減少核矩陣維度,還可以降低模型的計算復(fù)雜度.動態(tài)調(diào)整策略在時變環(huán)境中具有自適應(yīng)調(diào)整權(quán)值的能力.

其次,一致性稀疏準(zhǔn)則如下式所示:

其中,當(dāng)maxj=1,2,···,i?1|k(x(i),x(j))|≤μ0,x(j)被加入字典.否則,字典保持不變,且μ∈(0,1).

當(dāng)新樣本到來時,如果x(j)不滿足式(15)且式(36)不大于μ0時,新樣本x(j) 被加入字典,權(quán)重系數(shù)根據(jù)式(37)進(jìn)行更新.如果x(j)不滿足式(15),或式(36)大于μ0時,字典大小保持不變,此時根據(jù)式(35)更新權(quán)重系數(shù).

其中,δ(i)表示ALD閾值.

總之,ANS-KRLS在時間序列在線預(yù)測可通過上述稀疏過程降低計算復(fù)雜度.ANS-KRLS還具有在線操作和在時變環(huán)境中自適應(yīng)調(diào)整的能力.所以,ANS-KRLS 在提高預(yù)測精度和效率方面更具優(yōu)勢[32].

2.9 基于KRLS在線預(yù)測的總結(jié)分析

通過以上對KRLS及其改進(jìn)模型的介紹,就基于KRLS時間序列在線預(yù)測方法中改進(jìn)的KAF模型而言,SW-KRLS、FB-KRLS、QKRLS和ANSKRLS是以不同類型的“稀疏”方式來簡化核矩陣維數(shù),從而降低計算復(fù)雜度、提高預(yù)測精度.EXKRLS、KRLS-T除了降低計算復(fù)雜度和提升預(yù)測精度外,在跟蹤時變方面也展現(xiàn)出優(yōu)越的性能.而MF-KRLS是以添加反饋結(jié)構(gòu)的形式來提高模型的預(yù)測精度.

KRLS改進(jìn)方法的自相關(guān)矩陣在后期運(yùn)算時會出現(xiàn)秩虧的現(xiàn)象,引入正則化可以解決秩虧的問題.和第1節(jié)的KLMS模型相比,KRLS的不同之處在于需要明確的正則化.但該正則化過程也存在以下問題:隨著數(shù)據(jù)樣本的增加,正則化的效率會開始緩慢地減弱.

從以上分析可知,基于KAF的時間序列在線預(yù)測在降低計算復(fù)雜度、提高預(yù)測精度和效率,以及在跟蹤時變方面都展現(xiàn)出較好的優(yōu)勢[58?60].

3 基于KAPA在線預(yù)測算法

對于KAPA建模中出現(xiàn)的計算復(fù)雜度和核矩陣維數(shù)限制問題,文獻(xiàn)[33]提出了歸一化復(fù)合核仿射投影算法(Normalized composite kernel affine projection algorithm,NC-KAPA).文獻(xiàn)[34]提出并行滑動窗口核仿射投影算法(Parallel sliding window kernel affine projection algorithm,PSWKAPA)和級聯(lián)滑動窗口核仿射投影算法(Cascade sliding window kernel affine projection algorithm,CSW-KAPA).文獻(xiàn)[35]首次將多核引入APA中,提出混合核仿射投影算法(Kernel hybrid affine projection algorithm,KHAPA),它將最大相關(guān)熵準(zhǔn)則與均方誤差策略結(jié)合來改進(jìn)KAPA.文獻(xiàn)[36]提出了量化核仿射投影算法(Quantization kernel affine projection algorithm,QKAPA),它將矢量量化操作應(yīng)用于KAPA來提高預(yù)測精度.

KAPA是Liu等在2008年提出的,它是由核技巧與APA(Affine projection algorithm)[61]結(jié)合產(chǎn)生的非線性擴(kuò)展方法[21,62].KAPA使用隨機(jī)梯度法解決最小二乘問題,該非線性擴(kuò)展已經(jīng)在時間序列在線預(yù)測領(lǐng)域得到廣泛應(yīng)用[21].以下將詳細(xì)說明基于KAPA及其改進(jìn)方法的時間序列在線預(yù)測機(jī)理.

3.1 核仿射投影算法

KAPA通過類似KLMS的方法將APA擴(kuò)展到RKHS中,除了樣本數(shù)量以外,還存在另外兩個自由度:1)代價函數(shù)的正則化;2)Newton 更新方法.文獻(xiàn)[21]通過輸入相關(guān)矩陣的特征值擴(kuò)展來解決梯度下降法收斂速度慢的問題.

根據(jù)不同的參數(shù)設(shè)置得到不同KAPA,從而組成KAPA族.

1)根據(jù)梯度下降法得到KAPA-1的權(quán)重矩陣w1(i).

其中,η表示學(xué)習(xí)率,d(i)表示期望輸出.

2)根據(jù)Newton法得到KAPA-2的權(quán)重矩陣w2(i).

其中,Φ(i)=[φ(i?K+1),···,φ(i)],ε是正則化參數(shù).

3)再給定正則化代價函數(shù),根據(jù)隨機(jī)梯度下降法可得到KAPA-3的權(quán)重矩陣w3(i).

4)相應(yīng)地,再根據(jù)Newton 法得到KAPA-4的權(quán)重矩陣w4(i).

其中,λ也是正則化參數(shù),當(dāng)傳統(tǒng)風(fēng)險最小化病態(tài)時,通常是約束解的范數(shù)得到式(40).與KAPA-1不同,KAPA-3添加了尺度因子 (1?λη)用于對先前數(shù)據(jù)強(qiáng)加“遺忘”機(jī)制,并使該部分?jǐn)?shù)據(jù)的影響呈指數(shù)下降趨勢.

上述的4種變換中,前三種都需要誤差信息來更新網(wǎng)絡(luò),計算量較大.而KAPA-4 不需要,因?yàn)樗恍鑼σ粋€階的矩陣求逆.總之,KAPA算法的性能已經(jīng)在時間序列、信道均衡方面得到體現(xiàn)[21,62].

3.2 歸一化復(fù)合核仿射投影算法

近年來,KLMS和KRLS及其改進(jìn)模型的研究都集中在單核形式.Ogunfunmi等在2011年首次將復(fù)合核應(yīng)用于APA模型,得到歸一化復(fù)合核仿射投影算法[33].該算法適用于復(fù)雜數(shù)據(jù)的實(shí)時非線性建模.

在NC-KAPA中,使用復(fù)雜核函數(shù)κ(z,w).

其中,z,w∈C N,σ是影響轉(zhuǎn)換映射的核參數(shù).

定義X ap(i)=[Φ(z(i ?K+1))···Φ(z(i))],得到權(quán)重矩陣w(i).

NC-KAPA算法在理論上推導(dǎo)并擴(kuò)展了復(fù)雜RKHS的Wirtinger演算,最終還得到APA的梯度MSE代價函數(shù).該算法更適用于對收斂速率要求較高的高維復(fù)雜的混沌時間序列的在線預(yù)測[33].

3.3 并行、級聯(lián)滑動窗口核仿射投影算法

由上節(jié)Ogunfunmi等提出的NC-KAPA[33]可知,KAF的發(fā)展已經(jīng)由單核研究逐漸過渡到多核研究[63].2012年Gil-Cacho 等提出并行和級聯(lián)滑動窗口核仿射投影算法[34].該類算法由線性核和高斯核的加權(quán)和組成.機(jī)理是分離線性和非線性子問題.

PSW-KAPA的并行配置在KAPA-3中可直接應(yīng)用得到核矩陣k w sk.

CSW-KAPA中的級聯(lián)結(jié)構(gòu)由以下2個步驟組成:1)獨(dú)立執(zhí)行標(biāo)準(zhǔn)線性歸一化最小均方算法(Normalized least mean square,NLMS),存儲濾波器輸出.2)將存儲的NLMS輸出用作SW-KAPA的輸入.得到基于PSW-KAPA和CSW-KAPA的預(yù)測輸出

與KAPA相比,PSW-KAPA和CSW-KAPA降低了計算復(fù)雜度.與線性NLMS相比,它提高了預(yù)測性能.PSW-KAPA和CSW-KAPA中核函數(shù)的分離、加權(quán)和過程都在滑動窗口方法中執(zhí)行.當(dāng)對其施加不同的“遺忘”機(jī)制時,它又轉(zhuǎn)化為更靈活的正則化形式,進(jìn)一步提高時間序列的預(yù)測性能[34].

3.4 核混合仿射投影算法

2014年Yang 等提出了核混合仿射投影算法[35].KHAPA將混合準(zhǔn)則(Hybrid criteria,HC)應(yīng)用于APA中,并將得到的HAPA映射到RKHS.HC是均方誤差和最大相關(guān)熵準(zhǔn)則(Maximum correntropy criterion,MCC)的混合.

HC 是從最小裁剪平方(Least trimmed squares,LTS)估計的角度避免異常值的過度影響.在LTS中,數(shù)據(jù)通過排序的方式被分為兩類:正常數(shù)據(jù)集和異常值數(shù)據(jù)集,且異常值數(shù)據(jù)被完全丟棄.HC不是單純地丟棄這些數(shù)據(jù),而是對大數(shù)據(jù)采用魯棒MCC準(zhǔn)則.KHAPA就是利用上述準(zhǔn)則來進(jìn)一步提高預(yù)測性能[35].

HC準(zhǔn)則不僅避免了異常值的過度影響,還充分利用了異常值,從而獲得更好的性能.定義HC如式(45),并將HC應(yīng)用于KAPA模型,用f i表示它的學(xué)習(xí)映射.

HC充分利用了數(shù)據(jù),避免了異常值數(shù)據(jù)集的不恰當(dāng)影響.所以KHAPA在時間序列預(yù)測過程中提高了數(shù)據(jù)的利用效率,同時也得到了更準(zhǔn)確的預(yù)測結(jié)果[35].

3.5 量化核仿射投影算法

2015年Ren等提出量化核仿射投影算法[36].QKAPA和QKLMS、QKRLS算法相似,QKAPA是在KAPA模型上加入VQ用以約束網(wǎng)絡(luò),并進(jìn)一步減小計算負(fù)擔(dān)和內(nèi)存占用.

根據(jù)上述更新過程,得到QKAPA模型的預(yù)測輸出f(n,i).

其中,κ(·,·)表示核函數(shù).

由于時間序列都是復(fù)雜的,且包含未知噪聲.QKAPA模型在預(yù)測中不僅減小了梯度噪聲,而且約束了網(wǎng)絡(luò)規(guī)模,提高了“冗余”數(shù)據(jù)的利用效率,進(jìn)一步減小了計算負(fù)擔(dān)和存儲占用,明顯加快了運(yùn)算速度,提高了預(yù)測性能[36].

3.6 基于KAPA在線預(yù)測的總結(jié)分析

通過以上對KAPA及其改進(jìn)模型的說明,就基于KAPA的改進(jìn)模型來說,PSW-KAPA、CSWKAPA[34]和NC-KAPA[33]以投影次梯度的方式簡化了預(yù)測模型.QKAPA[36]和KAPHA[35]分別通過VQ和HC稀疏方式降低了計算復(fù)雜度,并提升了預(yù)測精度.KAPA及其改進(jìn)模型都在RKHS中應(yīng)用隨機(jī)梯度法解決最小二乘問題.同KLMS或KRLS相比,KAPA能提供靈活的在線非線性濾波器計算方法.根據(jù)實(shí)際預(yù)測需求,還可在應(yīng)用性能與計算復(fù)雜度之間選擇平衡點(diǎn),以達(dá)到最優(yōu)結(jié)果.

KAPA的通用形式是基于自適應(yīng)投影次梯度法被推導(dǎo).通過投影映射測度完成分類,再通過正交投影實(shí)現(xiàn)稀疏化,還可以通過斜投影解決在線存儲需求和自適應(yīng)跟蹤能力[32].此外,KAPA也為徑向基函數(shù)(如NN)、正則化提供了理論認(rèn)識基礎(chǔ).

在性能方面,KAPA介于KLMS和KRLS之間,KAPA的性能可以通過窗口長度K調(diào)整,同時窗口長度也控制計算復(fù)雜度.而且大部分時間序列都呈現(xiàn)非線性、非平穩(wěn)、復(fù)雜的特點(diǎn),通常的離線算法不能滿足在線實(shí)時性要求.所以基于KAF的時間序列在線預(yù)測方法在降低計算復(fù)雜度、提高預(yù)測精度和效率方面都展現(xiàn)出獨(dú)特的優(yōu)勢[32?36].

總的來說,基于KAF的3類在線預(yù)測方法已經(jīng)在多元混沌時間序列中得到較好的預(yù)測性能[12?13].

其中,模型中部分參數(shù)的設(shè)置也起著關(guān)鍵的作用,比如步進(jìn)參數(shù)μ∈(0,1),學(xué)習(xí)率η ∈(0,1)等,它們的選取對模型的預(yù)測效果有較大的影響.一般情況下,步進(jìn)參數(shù)和學(xué)習(xí)率都會選取(0.5,1)之間的值,這樣可以得到較好的性能結(jié)果[19?36].同樣的,正則化參數(shù)λ,調(diào)整參數(shù)β等參數(shù)的選取也會影響實(shí)驗(yàn)結(jié)果[29],比如正則化參數(shù)λ可以根據(jù)高斯過程回歸的標(biāo)準(zhǔn)超參數(shù)估計來進(jìn)行選取[17,29],此時得到的λ更適合模型的后續(xù)預(yù)測.所以,參數(shù)的恰當(dāng)選擇可以有效地反映模型的某些性能[41?42,61,64],這里不再贅述.

4 基于KAF在線預(yù)測的應(yīng)用

目前,動態(tài)神經(jīng)網(wǎng)絡(luò)(Dynamic neural network,DNN)、支持向量回歸(Support vector regression,SVR)、KAF等方法已應(yīng)用于復(fù)雜時間序列預(yù)測[8?10].DNN與SVR 都是離線操作,前者在更新過程中涉及大量計算[65],后者適用于小樣本預(yù)測與跟蹤[13].而KAF不僅具有較低的計算復(fù)雜度和簡單的遞歸更新形式,且滿足在線預(yù)測的要求,因此受到許多學(xué)者的青睞[11?13].Frieb和Harrison根據(jù)“核化”思想提出ADALINE,該方法基于所有的訓(xùn)練數(shù)據(jù)并采用確定性梯度法得到[65].Kivinen 等提出NORMA,該方法直接對正則化代價函數(shù)進(jìn)行微分獲取隨機(jī)梯度[17].Engel等使用矩陣求逆引理研究了KRLS[20].Liu 等研究了具有正則化特性的KLMS[19].Liu和Principe,Ogunfunmi和Paul,Ren 和Yu等從不同角度研究了KAPA[21,33?36,61].

根據(jù)KLMS、KRLS和KAPA三類模型在時間序列中的預(yù)測效率、預(yù)測精度、收斂速度以及相應(yīng)的特點(diǎn),三類典型KAF方法在時間序列在線預(yù)測中的性能對比結(jié)果如表1所示.由表1可知,與KLMS和KAPA相比,KRLS的預(yù)測效率較低,但在收斂速度和預(yù)測精度方面更具優(yōu)勢.所以,我們可以得到以下結(jié)論:1)在實(shí)際應(yīng)用中,如果將預(yù)測效率放在首位而不追求收斂速度,那么KLMS模型可以得到較好的結(jié)果;2)如果以提高目標(biāo)預(yù)測精度為目的,同時要求較快的收斂速度,KRLS模型無疑成為最佳選擇;3)如果預(yù)測目標(biāo)中包含多種噪聲,KAPA模型更具優(yōu)勢.

表1 不同KAF方法的時間序列在線預(yù)測特性對比結(jié)果Table 1 Comparison of online prediction characteristics of time series of different KAF methods

目前,大多數(shù)時間序列都表現(xiàn)出非線性、非平穩(wěn)、復(fù)雜難預(yù)測的特點(diǎn),所以對其進(jìn)行合理的預(yù)測具有十分重要的意義.例如,從氣象數(shù)據(jù)的歷史信息預(yù)測未來天氣變化[1?2].從水文數(shù)據(jù)的歷史信息預(yù)測水資源的變化趨勢,并作出合理的控制及調(diào)配[3?4].根據(jù)醫(yī)學(xué)上的不同癥狀序列進(jìn)行提前預(yù)測并做好預(yù)防,降低發(fā)病幾率等[5?6].復(fù)雜系統(tǒng)中包含著許多相關(guān)的有用信息,而且隨著時間的推移,其中包含的信息量也在不斷增加.隨著信息技術(shù)的發(fā)展,時間序列的數(shù)據(jù)量和應(yīng)用也隨之快速增長.

如何實(shí)現(xiàn)復(fù)雜時間序列的實(shí)時預(yù)測,并跟蹤其將要發(fā)生的變化,是諸多研究領(lǐng)域非常關(guān)注的問題.文獻(xiàn)[55?56]在LSSVM的基礎(chǔ)上添加過濾窗、迭代誤差補(bǔ)償和組合核函數(shù)的形式對復(fù)雜時間序列進(jìn)行預(yù)測.文獻(xiàn)[66]采用卡爾曼濾波在高頻金融時間序列進(jìn)行預(yù)測.文獻(xiàn)[57]采用自適應(yīng)遺傳算法和基于大腦情感學(xué)習(xí)模型預(yù)測時間序列.對于含噪聲和數(shù)據(jù)缺失的時間序列來說,文獻(xiàn)[58?60]給出了很好地解決方案.但是,傳統(tǒng)的數(shù)據(jù)預(yù)測方法集中于建模檢驗(yàn)預(yù)測、自適應(yīng)預(yù)測等,難以實(shí)時預(yù)測數(shù)據(jù)將要發(fā)生的變化.現(xiàn)有的真實(shí)數(shù)據(jù)本身較復(fù)雜,在實(shí)際應(yīng)用中會出現(xiàn)計算時間長、效率低、存儲空間占用量大、預(yù)測精度低、跟蹤能力差等問題.

因此,通常需要對復(fù)雜時間序列進(jìn)行稀疏選擇來降低核矩陣維度,然后再進(jìn)行更為有效地預(yù)測與跟蹤.綜上所述,用KAF模型對復(fù)雜難預(yù)測系統(tǒng)進(jìn)行在線預(yù)測、跟蹤具有十分重要的意義[52?54].

KAF通過分析現(xiàn)有時間序列的有效信息,能較好地反映當(dāng)前時間序列的潛在特征.然后再根據(jù)所得特征跟蹤時變信息,并進(jìn)行相關(guān)分析總結(jié),以提醒相應(yīng)部門對于將要到來的各種變化做出科學(xué)的決策[67?71].

KAF是人工智能領(lǐng)域中常用于時滯時變預(yù)測的技術(shù),它采用濾波的形式解決預(yù)測中出現(xiàn)的問題[37?38],并能夠有效地增強(qiáng)預(yù)測模型的泛化性能與自適應(yīng)跟蹤能力.總的來說,KAF在處理非線性系統(tǒng)時,隨著新樣本的不斷到來,模型不斷地迭代更新.就已提出的KAF模型來說,不同的在線預(yù)測模型對應(yīng)不同的計算復(fù)雜度.原始核矩陣的計算的復(fù)雜度為O(L3),當(dāng)采用ALD準(zhǔn)則時,其計算復(fù)雜度為O(L2).對于不同的稀疏方法得到的KAF模型,其復(fù)雜度也不同.表2給出了三類KAF模型在每次迭代過程涉及的計算復(fù)雜度(其中,L表示樣本長度,K表示字典大小).從表2可以看出:首先,表述的8種在線稀疏方法都在不同程度上降低了核矩陣的維度,即降低了模型的計算復(fù)雜度.其次,由于SW、FB和CC準(zhǔn)則在預(yù)測過程中都需要固定字典的大小(K遠(yuǎn)小于L),所以它們在降低核矩陣維度、模型內(nèi)存占用和計算復(fù)雜度上都表現(xiàn)出較大優(yōu)勢.最后,SF、MF和HC不僅在降低模型計算復(fù)雜度上出較大貢獻(xiàn),而且在對有效利用歷史信息上也具優(yōu)勢(主要是反饋信息的有效利用).

表2 每次迭代過程涉及的計算復(fù)雜度比較Table 2 Comparison of computational complexity involved in each iteration

由于KAF具有自適應(yīng)更新能力,因此常用于復(fù)雜時間序列預(yù)測.基于KLMS的隨機(jī)行為分析,如文獻(xiàn)[72]在LMS的基礎(chǔ)上采用核在線技術(shù)提出順序優(yōu)化方法,并采用隨機(jī)梯度法順序更新權(quán)重,分析網(wǎng)絡(luò)流量序列的行為特征,從而實(shí)現(xiàn)網(wǎng)絡(luò)流量序列的在線預(yù)測.基于KRLS的在線異常檢測,如文獻(xiàn)[55]通過迭代誤差補(bǔ)償彌補(bǔ)SVM的誤差特性,從而減少冗余信息的殘差干擾,最終達(dá)到異常檢測的效果.基于KAPA的在線時間序列分類等[56],如文獻(xiàn)[36]在KAPA的基礎(chǔ)上添加可重構(gòu)的FPGA加速器,該過程減小了梯度噪聲,在處理數(shù)據(jù)路徑和處理單元數(shù)量方面具有突出的優(yōu)勢.總之,KAF通用的非線性建模能力對復(fù)雜時間序列預(yù)測更具優(yōu)勢.

所以,根據(jù)KAF的特殊思想,許多學(xué)者已經(jīng)將KAF應(yīng)用于時間在線序列預(yù)測[72?77].由于環(huán)境變化不斷加劇,時間序列包含的噪聲也不斷復(fù)雜化,傳統(tǒng)的線性模型并不適應(yīng)非線性、復(fù)雜系統(tǒng)的劇烈變化,所以KAF在線模型在數(shù)據(jù)挖掘處理噪聲方面也展現(xiàn)出較好的結(jié)果[67].文獻(xiàn)[72]是以在線形式將KAF應(yīng)用于含噪聲的時間序列,過濾冗余噪聲信息,從而實(shí)現(xiàn)平滑太陽黑子數(shù)量時間序列的預(yù)測.KAF還通過最小平均絕對第三損失函數(shù)來濾除噪聲,從而得到更好的預(yù)測性能.文獻(xiàn)[74]在時間序列上執(zhí)行在線學(xué)習(xí),使用遺憾最小化技術(shù)解決在噪聲條件下的最小假設(shè)問題,為執(zhí)行有效地在線學(xué)習(xí)過程剔除干擾項(xiàng).文獻(xiàn)[75]結(jié)合奇異魯棒策略和KRLS來解決非線性系統(tǒng)識別問題.文獻(xiàn)[76]采用序貫在線學(xué)習(xí)方法預(yù)測水文時間序列(包括氣溫、水位、風(fēng)速、總發(fā)電量等),由于水文數(shù)據(jù)包含噪聲,所以該方法在濾除噪聲方面具有更好的特性.文獻(xiàn)[77]通過“核技巧”以循環(huán)在線訓(xùn)練的方式來執(zhí)行學(xué)習(xí)過程,該過程在循環(huán)損失函數(shù)中涉及自動更新權(quán)重的正則化項(xiàng),在提升泛化能力的同時執(zhí)行在線學(xué)習(xí).文獻(xiàn)[78]將KAF以遞歸的形式應(yīng)用于腦電和自適應(yīng)天線陣列過程,該過程排除了腦電和天線陣列的噪聲信號.文獻(xiàn)[79]將VQ和MC準(zhǔn)則應(yīng)用于KAF模型,它在處理異常值和脈沖噪聲方面更具特色.文獻(xiàn)[80,82]基于貝葉斯框架建立“遺忘”機(jī)制,它能很好地處理帶噪的腦電信號,衰落和突變信道的跟蹤.

此外,文獻(xiàn)[83]推導(dǎo)和分析了用于二元和多元分類、回歸和預(yù)測的算法,它們的更新步驟都是基于簡單約束優(yōu)化問題的分析解決方案.文獻(xiàn)[84?85]提出采用矩陣分解或負(fù)矩陣分解的降維方式來實(shí)現(xiàn)在線稀疏學(xué)習(xí),它已經(jīng)廣泛應(yīng)用于圖像處理和模式識別.文獻(xiàn)[86]提出子梯度方法動態(tài)地結(jié)合早期迭代中觀察到的數(shù)據(jù)幾何知識,以執(zhí)行更具信息性的基于梯度的在線學(xué)習(xí)過程.文獻(xiàn)[87]介紹了在線凸優(yōu)化,在線分類,在線批量轉(zhuǎn)換以及在線預(yù)測過程的約束限制問題.文獻(xiàn)[88?89]提出預(yù)算方法實(shí)現(xiàn)對核的約束,從而推導(dǎo)出以預(yù)算隨機(jī)梯度下降和近似逼近的方式來適應(yīng)大規(guī)模SVM預(yù)測.文獻(xiàn)[90]提出一個用于大規(guī)模在線分類任務(wù)的高效且可擴(kuò)展的在線學(xué)習(xí)算法庫.文獻(xiàn)[91]討論了在線預(yù)測和批處理在使用有限計算資源的過程中漸近地提供最佳的泛化性能的有效方法.文獻(xiàn)[92]介紹了基于LS回歸的收斂率問題,該方法通過對初始條件和Hessian 矩陣的假設(shè)進(jìn)行分析,并最終實(shí)現(xiàn)平均加速正則梯度下降.文獻(xiàn)[93]研究了與凸損失函數(shù)相關(guān)的RKHS中的在線學(xué)習(xí)算法.

就預(yù)期的超額泛化誤差而言,它們可以作為基于內(nèi)核的批量學(xué)習(xí)算法快速收斂.從而實(shí)現(xiàn)對學(xué)習(xí)序列規(guī)范的預(yù)期值和在線學(xué)習(xí)算法的精確誤差分解的敏銳估計.

文獻(xiàn)[94]提出KNLMS方法,它使用自適應(yīng)步長加速學(xué)習(xí),并在收斂速度和穩(wěn)態(tài)之間提供合適的折中.文獻(xiàn)[95]提出具有非線性主路徑的有源噪聲控制系統(tǒng)的Kx LMS方法,主要用于改進(jìn)在參考噪聲與多個窄帶信號和附加高斯白噪聲混合時的預(yù)測性能.文獻(xiàn)[96]研究了在RKHS中沒有正則化條件時在線梯度下降法的收斂性,以收斂期望中的超泛化誤差.文獻(xiàn)[97]提出了改進(jìn)的在線隨機(jī)梯度下降法,由于特征稀疏性的異質(zhì)性,該方法用于解決收斂速度慢和方差大的問題.文獻(xiàn)[98]建立了高斯核參數(shù)的自適應(yīng)更新方法并應(yīng)用于KAF,該方法的更新規(guī)則與L1正則化一同作用來避免預(yù)測中的過擬合和維數(shù)高問題.文獻(xiàn)[99]提出尺度自適應(yīng)在線學(xué)習(xí)方法,通過評估核函數(shù)和系數(shù)向量之間的內(nèi)積實(shí)現(xiàn)KAF.文獻(xiàn)[100]提出了基于L2空間迭代投影的新型在線非線性函數(shù)學(xué)習(xí)、估計方法.文獻(xiàn)[101]提出了一種由節(jié)點(diǎn)網(wǎng)絡(luò)進(jìn)行非線性函數(shù)分布式學(xué)習(xí)的自適應(yīng)方案,基于多個RKHS的笛卡爾積度量,證明了方法的全面收斂性.

綜上所述,KAF在時間序列預(yù)測領(lǐng)域已經(jīng)得到了廣泛的應(yīng)用[96?101].由KAF的改進(jìn)模型可以看出,其計算復(fù)雜度被明顯降低,內(nèi)存空間的占用也明顯減小,相應(yīng)的預(yù)測效率和預(yù)測精度也顯著提高.同時,對于含噪聲和缺失值的時間序列還具有特殊的濾除噪聲和補(bǔ)差性能[58?59].

5 結(jié)論與展望

KAF的研究在近年來受到了越來越廣泛的關(guān)注,諸多學(xué)者對KAF學(xué)習(xí)機(jī)理和應(yīng)用進(jìn)行了全面的研究.KLMS、KRLS和KAPA奠定了LMS、RLS和APA在核空間應(yīng)用的基礎(chǔ).近年來對KAF的研究已經(jīng)取得了一定的進(jìn)展,并廣泛應(yīng)用于時間序列在線預(yù)測,如氣象領(lǐng)域的溫度、濕度、風(fēng)速、風(fēng)向、日照時數(shù)、氣壓等實(shí)時性預(yù)測,水文領(lǐng)域的水位、水溫、流量、凝結(jié)度等預(yù)測,金融領(lǐng)域的股票聯(lián)動性和股指期貨套期保值預(yù)測,醫(yī)療領(lǐng)域的心電、腦電數(shù)據(jù)異常檢測,交通領(lǐng)域的車流量、密度預(yù)測等.本文首先對KAF的學(xué)習(xí)方法和發(fā)展現(xiàn)狀進(jìn)行了詳細(xì)綜述,探討了KLMS、KRLS和KAPA的基本原理,以及其改進(jìn)模型在提高時間序列在線預(yù)測精度和預(yù)測效率,跟蹤時變特性和如何利用有效數(shù)據(jù)信息等方面的機(jī)理,同時將KLMS、KRLS和KAPA作為KAF在線預(yù)測的研究基礎(chǔ),分析在線稀疏策略在具有時變特性的非線性系統(tǒng)上的預(yù)測精度和預(yù)測效率的提高,接著結(jié)合其在線稀疏過程對計算復(fù)雜度進(jìn)行分析,最后總結(jié)KAF模型在時間序列預(yù)測、數(shù)據(jù)挖掘噪聲處理、性能補(bǔ)差、性能估計等方面的實(shí)際應(yīng)用.然而隨著研究的不斷深入,仍存在著一些值得研究和關(guān)注的問題:

1)KAF在線預(yù)測方法中包含KLMS、KRLS、KAPA等多種模型,對于不同的模型所對應(yīng)的預(yù)測領(lǐng)域存在較大差異.例如,KLMS模型多用于非線性系統(tǒng)建模,即在非線性時間序列預(yù)測、信道均衡領(lǐng)域獲得較好的性能.KRLS模型多用于慢衰落和狀態(tài)變化很小的非線性時間序列跟蹤領(lǐng)域.KAPA模型多用于時間序列預(yù)測、非線性信道均衡和非線性濾除噪聲等領(lǐng)域.所以,不同的模型可能對應(yīng)不同領(lǐng)域及不同的問題,這是當(dāng)前研究的一個重點(diǎn).同時如何對預(yù)測模型進(jìn)行正則化,提高模型的泛化能力也是一個研究重點(diǎn).

2)KAF在線預(yù)測方法對復(fù)雜時間序列預(yù)測具有更好的跟蹤性能,通過建模過程中的動態(tài)更新機(jī)制,使在線預(yù)測過程能夠?qū)崟r反映核矩陣權(quán)重更新和系數(shù)矩陣更新,最終得到的預(yù)測模型具有自適應(yīng)實(shí)時更新能力.然而KAF在預(yù)測樣本時,隨著新樣本的不斷加入,核矩陣維數(shù)不斷增加,其計算復(fù)雜度也隨之增大(線性關(guān)系),同時內(nèi)存消耗(占用量)也增大,相應(yīng)的降低了計算效率.對于上述問題,有學(xué)者已經(jīng)提出了ALD、NC、SC、HC等多種在線稀疏方法來解決此類問題.因此,在預(yù)測模型中如何對輸入樣本進(jìn)行在線稀疏已經(jīng)成為繼續(xù)深入研究KAF的方向之一.

3)在時間序列在線預(yù)測過程中,隨著ALD、NC、SC、HC等多種在線稀疏方法加入預(yù)測模型,一些“冗余”的數(shù)據(jù)被剔除,在這個過程中也會伴隨數(shù)據(jù)利用效率的降低,即剔除的數(shù)據(jù)可能包含有效的歷史信息,如何判斷稀疏后的樣本序列是否包含有效信息也是需要研究的重點(diǎn).所以,在加入在線稀疏方法時如何保持稀疏后數(shù)據(jù)的“有效性”也是KAF在線預(yù)測未來研究的重要方向之一.

4)目前,隨著單核自適應(yīng)濾波器研究的深入,多核自適應(yīng)濾波器也不斷地發(fā)展.大多數(shù)多核算法是將兩個相同類型的核函數(shù)應(yīng)用于預(yù)測模型,或者將兩種不同的核函數(shù)的加權(quán)和應(yīng)用于預(yù)測模型,此類方法已經(jīng)取得了較好的預(yù)測結(jié)果.由于核函數(shù)表示的是一種將輸入(數(shù)據(jù))空間非線性映射到高維(隱藏)特征空間的過程,該過程是隱式的、未知的.所以在選用單核函數(shù)或多核函數(shù)的過程中,不同的選擇得到的預(yù)測結(jié)果大相徑庭,其預(yù)測性能也存在較大差異.所以,如何在復(fù)雜的非線性預(yù)測系統(tǒng)中選擇合適的核函數(shù)及其參數(shù),也是KAF在線預(yù)測的研究熱點(diǎn)之一.