一類區間值時間序列IO型異常點檢測方法 及其在金融時序分析中的應用

陶志富, 馮浩洋, 陳華友,2

(1.安徽大學 大數據與統計學院,安徽 合肥 230601; 2.安徽大學 數據融合與開發應用中心,安徽 合肥 230601; 3.安徽大學 金融與統計研究中心,安徽 合肥 230601)

0 引言

隨著社會的發展,海量和瞬時數據使得準確把握現實觀測對象的時間序列觀測值變得困難。自從MOORE提出區間分析以及BILLARD和DIDAY開創符號數據研究以來,區間值數據為解決上述困難提供了有效分析工具。實際上生活中普遍存在一些區間型的數據,如:一天中股票的開盤價和收盤價、氣溫的變化、空氣污染濃度等。將原始數據匯總為單個值可能意味著相關的信息丟失,因此區間值時序分析成為近年來國內外備受關注的研究熱點。

區間值時間序列分析主要包括預測原理和方法的構建、特征分析[1]以及應用三個方面。其中,預測原理和方法的構建又可以具體劃分為基于統計分析[2]、模糊工具[3]、人工智能原理[4]和混合模型[5]等預測技術。BILLARD最早從數據中心對區間數據進行預測模擬,后又提出最大值和最小值法,對區間的上下界分別建立回歸模型進行區間模擬和預測。NETO等[6]提出了中點與極差法,并且通過蒙特卡洛模擬,得出中心和極差法預測效果要比BILLARD的最大值和最小值法好。MAIA等[7]直接從區間出發,應用自回歸(AR)和自回歸移動平均(ARIMA)模型以及神經網絡等建立區間型時間序列分析模型。HAN等[8]提出一種具有外生解釋區間變量(IVARMA)的區間時間序列過程的簡約自回歸模型。可以看出,將區間值時序通過上、下限或中心、半徑視角劃分為點值時序以及以區間整體形式代入計算的區間計量模型成為當前區間值時序分析主要模式。

應用方面,楊威等[9]從區間時間序列出發,利用美國股市和中國股市的數據研究發現區間時序模型比傳統的點值AR模型和VAR模型更具穩健的預測優勢,因此對于區間型時間序列建模研究是非常有必要的。

點值時間序列分析過程中,異常值的存在對預測精度會產生重要影響[10]。類似地,以2020年4月22日美原油2005合約價跌破負值異象為例。區間值時間序列,特別是金融時序也存在異常值情形。因此,檢測并處理異常值對區間時間序列預測建模同樣具有重要意義。

針對點值時間序列,Fox(1972)最早將時間序列異常點分為加性異常點(Additional Outlier, AO)和革新異常點(Innovative Outlier, IO),后有學者在此基礎上又補充了三種前兩者變形的異常點水平位移異常點(Level Shift, LS)、暫時變化異常點(Temporary Change, TC)和斜線上升異常點(Ramp Effect, RP)。在性質上后三者其實是AO和IO的特例,一般認為時間序列中最基本的異常點就為AO和IO兩類異常點。對于點值時間序列異常值的檢測,已經出現了很多的異常檢測算法。常見的有基于統計模型[11]的異常點檢測方法、基于聚類的異常點檢測方法[12]和基于機器學習[13]的異常點檢測方法。但是,目前鮮見有關區間值時間序列異常檢測的相關報道。因此,針對金融行業區間價格等數據直接影響投資者預期進而可能改變投資行為的特征,因而異常值更容易造成對后續序列產生影響,本文在現有點值時間序列IO型異常值檢測的方法上,定義了區間型IO型異常區間的概念以及給出了檢驗原理和算法。最后,應用上證綜指區間觀測數據進行了實例驗證。結果表明,所提出的方法能夠較好的識別到區間型時間序列中的IO型異常區間。

1 預備知識

1.1 區間值時間序列

依據上述減法運算,對?β∈R,我們有βa+(-β)a=[βaL-βaL,βaR-βaR]=[0,0]。

1.2 一類穩健的IO型異常點檢測

點值時序{Yt}對應ARMA(p,q)模型如下:

(1)

其中εt是一個零均值的白噪聲。

由文獻12可知,在點型時間序列IO型異常點檢驗中,如果時間序列只在時刻T發生IO型異常,那么用于檢測時刻T的檢驗統計量為:

λT=eT/σ

(2)

其中eT表示模型(1)在T時刻的殘差,σ表示模型(1)所有殘差的標準差。

在滿足零假設沒有異常點時,檢驗統計量(近似)服從標準的正態分布。在T事先已知且確定觀測量為IO型異常點的情況下,對應的標準差大小在的顯著性水平下不能超過。但現實中往往沒有時刻T的先驗知識,因此需要對所有的時刻t進行檢驗,另還需對σ進行估計。對所有時刻t的多重檢驗,對其整體誤差控制最簡單有效的方法為應用Bonferroni律,令

(3)

這里,n表示時間序列的觀測期數。

若異常值僅在T時刻開始發生,最大值在t-T時刻取得,此時若λ1超過正態分布上百分位數0.025/n×100,則拒絕原假設,認為時間序列T時刻的觀測值為IO型異常點。Bonferroni律保證了錯誤認定IO型異常概率最大為5%。

可見對于T時刻IO型異常值檢測主要是檢測統計量λT取值,而λT取值大小由eT和殘差的標準差σ所決定。但殘差σ的大小往往受到異常點影響,IO型異常點的存在會使得σ取值變大,從而極大地影響了檢測的準確性。因此文獻12采用了σ的更穩健估計量即絕對離差均值。對于絕對離差均值的定義為:

(4)

其中xi為總體X中的第i個觀測值,MED(X)表示中位數。

采用離差均值有效的避免了IO型異常值檢測過程中的“淹沒”現象和“掩蓋”現象。

因此檢驗統計量可最終表示為:

(5)

2 理論研究過程

2.1 區間型時間序列IO型異常區間概念

革新異常點(IO)通常涉及到時間序列內在相關結構,故往往是成片出現的,即出現一個IO,由于相關性使得它后續點也表現出一定的異常。

點值時間序列IO型異常本質上可以歸納為時序數值水平一定時期持續的規律性變化。區別于點值時序,區間值時序的數值水平受到上、下限序列或中心、半徑序列共同作用。由于中心、半徑序列能夠綜合上、下限序列作用,為此本文從中心、半徑序列視角進行分析。

從數的拓展角度,當區間數的上、下限相等時,區間數退化為普通的點值。反之,點值時間序列可以視為區間下限和上限一致的特殊區間值時間序列。因而,當這一特殊區間值上、下限數值水平發生波動時易知出現以下3種情形:

情形1上、下限數值水平發生同向變化,表現為中心序列數值水平發生變化,半徑序列數值水平保持相對不變;

情形2上、下限數值水平發生反向變化,表現為半徑序列數值水平發生變化,中心序列數值保持水平相對不變;

情形3上、下限數值水平僅有一個發生變化,表現為中心和半徑序列數值水平同時發生變化。

因而,區間值時序數值水平異常變化可以歸納為中心或者半徑序列兩個點值序列數值水平的異常變化。基于文獻14,類似給出區間值時間序列IO型異常的三種特殊表現:

(1)水平漂移

當某時刻的區間發生水平漂移異常時,具體表現為區間中心或區間半徑或兩者同時突然增加(或減少,即反向增加)到某一新的數值水平且保持這一水平。從金融時序角度即金融產品平均價格或價格波動的數值水平發生變化。

類似點值時間序列水平漂移的數學表達[14],圖1所示的區間值時間序列突然增加情形下考慮區間中心和區間半徑水平漂移的數學描述為:

圖1 區間值時序數據水平漂移型異常點

(2)暫時變化

當某時刻區間發生暫時變化異常時,其表現形式為中心或半徑或者兩者同時突然增加(或減少,即反向增加)到某一水平并且隨著時間的變化這種異常逐漸的減少,最終恢復正常趨勢。

類似地,圖2所示的區間值時間序列突然增加的暫時變化可以表示為:

圖2 區間值時序數據暫時變化型異常點

(3)斜線上升

某時刻的區間發生斜線上升異常時,具體表現為中心或半徑或者兩者同時呈漸變式增長(或減少,即反向增加)到某一水平且保持這一水平。

同理,圖3所示的區間值時間序列突然增加的漸變式上升可以表示為:

圖3 區間值時序數據斜線上升型異常點

其中,

結合傳統點值時間序列IO型異常點定義,以下結論是直接的。

定理1當區間值時間序列退化為點值時間序列時,式(6～8)給出的區間型異常點同時退化為點值時序的異常點。

2.2 區間值時序IO型異常點檢測原理

區間值時序IO型異常點檢測步驟如下:

3 實證分析

3.1 數據來源和描述性統計

為探究區間型時間序列IO異常點檢測有效性和可行性,選取上證指數日數據作為實例探究,采樣區間為2016年1月4日到2018 年12月28日。上證指數每日最低價和最高價構成區間型時間序列。運用2.2節中所提方法對上證指數區間時間序列進行IO型異常區間的檢測。

首先將區間型數據進行預處理,把區間型金融時序轉化為中心和半徑形式,圖4和圖5分別描述了預處理之后中心和半徑走勢。

圖4 上證綜合指數觀測區間值時序中心序列圖

圖5 上證綜合指數觀測區間值時序半徑序列圖

由圖4局部放大圖可以看出,區間中心序列存在多處可識別的由較高(或低)水平持續下滑(或上升)到較低(或高)水平的情形,因而是可能的斜線上升型異常。由圖6也可看出區間時間序列也存在區間范圍或者區間整體水平突然由較高(或低)水平持續下滑(或上升)到較低(或高)水平的異常情況。

圖6 上證綜合指數觀測區間值時序數據圖示

從區間中心序列走勢和區間半徑序列的變動情況看,2016年上證綜合指數有較大的波動,可以初步判斷這一年可能存在較多的異常區間。

表1給出了中心和半徑的描述性統計分析結果。從表1中可以看出區間中心呈現中等左偏、扁平分布,區間半徑呈現出高度右偏、尖峰分布,由于有異常區間的存在使得區間半徑變化波動較大,因此有必要對數據進行異常區間的檢測。

表1 描述性統計表

3.1 異常點檢測

對區間中心和區間半徑分別應用進行建模,得到:

其中ΔY1、ΔY2分別表示區間中心和半徑差分后的序列且

W1=(0.6397,-0.0346,0.0202,-0.0635)T

W2=(-0.4663,0.0970,0.0999,0.1288)T

θ=(ΔYt-1,ΔYt-2,ΔYt-3,ΔYt-4)T

Q1=(-0.4976,0)′,Q2=(-0.2967,-0.5114)T

β=(et-1,et-2)T

根據AIC和SBC準則,基于最小二乘估計原理,最終針對中心和半徑兩個子序列分別建立ARIMA(4,1,1)和ARIMA(4,1,2)模型。對模型殘差進行Q檢驗來診斷模型,結果如表2所示。

表2 不同滯后階數下模型殘差Q檢驗P值

依據表3,累計檢測出28個時點對應的區間觀測值出現異常,其中有18個異常區間時間點在2016年。這與一開始對時間序列的趨勢分析結果符合。

表3 IO型異常區間檢測結果

根據檢測出的異常時間點,按照2.1節所給的三種形式異常表現形式,給出符合異常表現的異常時點:2016/1/5～2016/1/7發生斜線上升(反向)異常,2016/1/12發生水平漂移(反向)異常,2016/1/25～2016/1/27發生斜線上升(反向)異常,2016/2/16和2016/2/25發生暫時變化異常,2016/5/6～2016/5/9發生斜線上升(反向)異常,2016/6/24發生暫時變化(反向)異常,2018/2/7～2018/2/9發生斜線上升(反向)異常,2018/10/11和2018/10/22發生暫時變化(反向)異常。

3.2 結果分析

為驗證區間值金融時間序列異常區間檢測結果的有效性,本節對檢測出的28個異常區間從統計意義、實際表現和點值時序異常點檢驗結果對比三個視角進行分析。

首先,從均值、方差、標準差的角度比較正常區間和異常區間,結果如表4所示。

表4 IO型異常區間檢測結果

對區間中心和區間半徑分別進行均值t檢驗及方差齊性檢驗。結果顯示區間中心的t檢驗和方差齊性檢驗的P值分別為0.099和0.6532,大于0.05,不能拒絕兩者相等的原假設,即0.05顯著性水平下正常區間中心和異常區間中心均值和方差相等。區間半徑的t檢驗和方差齊性檢驗的P值分別為2.2×10-6和6.518×10-11,小于0.01,拒絕兩者相等的原假設,認為正常區間半徑和異常區間半徑的方差存在顯著性差異。說明檢測出的異常區間在區間范圍上的波動遠大于正常區間,與異常區間的區間范圍異常特征相符。

異常區間對應時點上證指數實際表現分析表明:區間值金融時間序列異常區間檢測方法是有效的。

作為對比,選取2016年1月4日到2018年12月28日上證指數每日的收盤價構成的點值時間序列數據,按照1.2節所用方法對其檢測,最終的檢測結果如表5所示。

表5 IO異常時間點檢測結果

在點值時間序列IO型異常點的檢測中,最終檢測出17個異常時間點,其中有11個異常時間點和區間異常檢測方法得到的時間點一致,可以確定對應上證指數的實際表現。

在等長時間范圍內,區間值金融時序異常點檢測輸出結果較實值時序確定的異常時點更多,且通過實際數據表現得到了驗證,間接地表明區間型數據較實值型數據在金融時序分析中蘊含了更加豐富的信息。另外,采用基于聚類的診斷方法和基于密度的診斷方法對區間數據進行檢測,最終異常區間檢測結果對比如表6所示。

表6 不同檢驗方法結果對比

如表6所示,三種方法均檢測出的時刻上證指數跌幅都在6%以上。由表5和表6可以看出,對比基于聚類分析和基于密度的異常點診斷方法,本文給出的區間值時序異常點診斷能夠獲得相對更多的異常檢驗結果,且與其余兩種方法的診斷結果在異常點的日期上較為相近,一定程度上反映出不同的診斷方法存在互補性。因而,運用多種檢驗方法有望提高檢測結果的穩健性。

4 結論

時序異常點檢測對模型精度影響深遠,國內外學者對于異常點檢測也進行了大量研究,但大多數學者都是針對點值時間序列,對區間型時間序列的研究甚少。而區間型數據是金融市場中常見的數據類型且其較點值型時間序列蘊含更加豐富的信息,因此本文研究一種針對區間值時序IO型異常點檢測方法并應用上證指數數據實證分析。檢測結果顯示2016年1月4日～2018年12月28日區間上證指數數據包含28個異常區間,其中大多分布于2016年,這與中國股市發展情況相符合,且所提區間異常檢測方法基本涵蓋了點值時間序列異常檢測所輸出有效結果,證明所研究方法的有效性和可行性。

下一步,區間值時序異常點檢測研究還將進一步從方法拓展、更多類型異常區間檢測和異常區間建模三個方面進行進一步研究。其中,區間值時序AO型異常區間的概念界定和檢測尚未見具體報道,檢測輸出結果后如何在預測或者分析模型中進行處理也有待進一步在學理上加以研究。除此之外,類似點值時間序列的異常點檢測,不同方法給出的檢測結果往往具有一定差異性。因而區間值時序異常點檢測原理和方法的穩健性是一個開放性問題。如何構建更加穩健的區間值時序異常點檢測方法值得進一步深入研究。