基于時(shí)域卷積網(wǎng)絡(luò)的股票指數(shù)預(yù)測(cè)

摘" "要：股指預(yù)測(cè)一直是金融研究的熱點(diǎn)問(wèn)題，然而股指數(shù)據(jù)的非線性、高噪聲、非平穩(wěn)性和不確定性增加了人們預(yù)測(cè)的難度。時(shí)域卷積網(wǎng)絡(luò)（TCN）吸收了卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)勢(shì)，在時(shí)序數(shù)據(jù)方面具有很大的潛力?；诖?，借助時(shí)域卷積網(wǎng)絡(luò)模型實(shí)現(xiàn)對(duì)股票指數(shù)的預(yù)測(cè)分析，以開(kāi)盤(pán)價(jià)為預(yù)測(cè)目標(biāo)，將股指的收盤(pán)價(jià)、最高價(jià)等相關(guān)的技術(shù)因子作為輸入因子，對(duì)股票指數(shù)進(jìn)行數(shù)據(jù)特征提取，訓(xùn)練模型的權(quán)值參數(shù)，然后通過(guò)仿真實(shí)驗(yàn)，得到TCN模型預(yù)測(cè)結(jié)果，通過(guò)對(duì)比實(shí)驗(yàn)，論證模型的有效性。

關(guān)鍵詞：指數(shù)預(yù)測(cè)；深度學(xué)習(xí)；時(shí)域卷積網(wǎng)絡(luò)

中圖分類(lèi)號(hào)：F830.91" " " 文獻(xiàn)標(biāo)志碼：A" " " 文章編號(hào)：1673-291X（2023）15-0098-03

引言

股票市場(chǎng)在推動(dòng)我國(guó)社會(huì)主義市場(chǎng)經(jīng)濟(jì)發(fā)展方面起到很大作用。對(duì)股票市場(chǎng)的研究工作，一方面可以幫助政府針對(duì)股票市場(chǎng)的大幅波動(dòng)采取針對(duì)性行為，引導(dǎo)股票市場(chǎng)良好有序運(yùn)行；另一方面可以幫助投資者掌握投票市場(chǎng)變動(dòng)趨勢(shì)，協(xié)助投資者進(jìn)行投資判斷。股票指數(shù)預(yù)測(cè)一直以來(lái)都是研究的熱點(diǎn)，在方法上主要分為線性預(yù)測(cè)模型和非線性預(yù)測(cè)模型。最初，研究者主要通過(guò)一些線性模型來(lái)進(jìn)行分析研究。由于金融數(shù)據(jù)具有不穩(wěn)定性和高噪聲性，單純的線性模型很難有效分析預(yù)測(cè)，在后來(lái)的發(fā)展中非線性模型逐漸取代線性模型在金融預(yù)測(cè)領(lǐng)域的應(yīng)用。

近年來(lái)，深度學(xué)習(xí)方法在機(jī)器學(xué)習(xí)領(lǐng)域成為關(guān)注的熱點(diǎn)。卷積神經(jīng)網(wǎng)絡(luò)（CNN）[1]憑借強(qiáng)大的特征提取和識(shí)別能力在時(shí)序數(shù)據(jù)分類(lèi)和圖像識(shí)別領(lǐng)域取得成功的運(yùn)用。循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）[2]在序列建模問(wèn)題上取得良好表現(xiàn)，特別是其改進(jìn)版長(zhǎng)短期記憶人工神經(jīng)網(wǎng)絡(luò)（LSTM）[3]和門(mén)控循環(huán)單元（GRU）[4]，這兩種方法改進(jìn)了RNN的記憶范圍，令數(shù)據(jù)可以將距離很遠(yuǎn)的文本信息聯(lián)系利用，同時(shí)采用門(mén)結(jié)構(gòu)防止早期信息的遺忘，但模型在實(shí)際應(yīng)用時(shí)存在一些缺陷。如，梯度爆炸或者消失現(xiàn)象，訓(xùn)練時(shí)需要的內(nèi)存大和運(yùn)行時(shí)間長(zhǎng)等問(wèn)題。TCN融合了CNN和RNN的架構(gòu)，不但能夠像CNN那樣進(jìn)行大量數(shù)據(jù)特征提取，大規(guī)模并發(fā)執(zhí)行處理過(guò)程，節(jié)省運(yùn)算時(shí)間，并且還能夠像RNN那樣使用任何長(zhǎng)度的數(shù)據(jù)序列，并將其直接映射到相同長(zhǎng)度的輸出數(shù)據(jù)序列，同時(shí)通過(guò)擴(kuò)展卷積結(jié)構(gòu)和殘差鏈接，擴(kuò)展感受野，從而使得模型預(yù)測(cè)中擁有相當(dāng)長(zhǎng)時(shí)間的有效歷史長(zhǎng)度，提高模型預(yù)測(cè)的準(zhǔn)確性[5]。本文以股票的指數(shù)交易日開(kāi)盤(pán)價(jià)為預(yù)期目標(biāo)，并運(yùn)用開(kāi)盤(pán)價(jià)、收盤(pán)價(jià)、最高價(jià)、最低價(jià)、交易量和交易額六種因子，用TCN模型進(jìn)行訓(xùn)練和預(yù)測(cè)，用python語(yǔ)言進(jìn)行網(wǎng)絡(luò)代碼的實(shí)現(xiàn)，通過(guò)仿真實(shí)驗(yàn)，借助均方根誤差指標(biāo)，判斷模型的預(yù)測(cè)精準(zhǔn)度，并設(shè)置對(duì)比實(shí)驗(yàn)對(duì)比CNN和LSTM模型預(yù)測(cè)結(jié)果，驗(yàn)證TCN模型的有效性。

一、模型構(gòu)建

（一）CNN的結(jié)構(gòu)和原理介紹

CNN是一個(gè)前饋式的神經(jīng)網(wǎng)絡(luò)，它的基本組成結(jié)構(gòu)包含輸入層、卷積層、池化層、全連接層和輸出層，并采取三種措施來(lái)實(shí)現(xiàn)輸入的位移、縮放和扭曲不變的特性。卷積層主要用于獲取局部、初級(jí)的特征，并采用權(quán)值共享的方法使網(wǎng)絡(luò)中存在更少的自由參數(shù)，從而有效降低網(wǎng)絡(luò)建模的高度重復(fù)性、避免模型過(guò)擬合值，同時(shí)增強(qiáng)建模的泛化能力。每個(gè)卷積層后面都連著池化層，池化層主要作用是通過(guò)某種池化方法，采樣并保留顯著特征，減少特征維度，減少模型的計(jì)算量。卷積層與池化層相互交替連接，使得模型實(shí)現(xiàn)從海量數(shù)據(jù)中挖掘數(shù)據(jù)的深層特征。全連接層連接在最后一個(gè)池化層后面，主要功能是分析，利用從卷積層和池化層所得出的特性，在全連接層面上對(duì)特性加以綜合，并通過(guò)輸出層得出最后結(jié)論。CNN因?yàn)槠鋸?qiáng)有力的大數(shù)據(jù)特征提取與辨識(shí)能力，在圖象識(shí)別和時(shí)間序列分析領(lǐng)域中獲得廣泛的運(yùn)用。

（二）TCN模型介紹

迄今為止，深度學(xué)習(xí)背景下的序列建模主要與循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)如LSTM和GRU相關(guān)，主要是因?yàn)檠h(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)非常適用于時(shí)間序列數(shù)據(jù)。傳統(tǒng)的CNN，由于受卷積核的限制，不能很好地捕捉到長(zhǎng)時(shí)間的信息，通常被認(rèn)為不太適合時(shí)序建模問(wèn)題。而TCN作為一個(gè)特殊的卷積神經(jīng)網(wǎng)絡(luò)能夠使用任何長(zhǎng)度的序列信息，并且它們都能夠直接映射到同樣長(zhǎng)度的輸出序列信息。TCN有很長(zhǎng)的有效歷史長(zhǎng)度，可以回顧久遠(yuǎn)的過(guò)去進(jìn)行預(yù)測(cè)，而且需要的內(nèi)存也更少，尤其是對(duì)于長(zhǎng)輸入序列的數(shù)據(jù)。在TCN上可以實(shí)現(xiàn)對(duì)大量數(shù)據(jù)分析的并行數(shù)據(jù)處理，從而有效地縮短了網(wǎng)絡(luò)訓(xùn)練與測(cè)試所需要的時(shí)間。同時(shí)TCN也在調(diào)整感受野尺寸方面帶來(lái)許多操作靈活性，一般是采用堆疊更多的卷積層、使用較大的膨化系數(shù)和增加濾波器的大小，使用這種方法能夠更好地管理模型的記憶長(zhǎng)度。TCN 的反向傳播路徑和序列的時(shí)間方向是不同的，這就避免了在循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中出現(xiàn)的梯度爆炸或梯度消失等問(wèn)題。在長(zhǎng)輸入順序數(shù)據(jù)訓(xùn)練中，所需的內(nèi)存則更少。

（三）TCN結(jié)構(gòu)介紹

1.時(shí)序建模。時(shí)序建模的本質(zhì)，給定一個(gè)輸入序列x0，……，xT，期望得到相關(guān)的輸出y0，……，yT。時(shí)序建模從形式上講，是一個(gè)序列網(wǎng)絡(luò)建模是任意函數(shù)f：xT+1→yT+1生成映射

如果滿足yt只依賴因果約束x0，……，xt，而不是未來(lái)的輸入xt+1，……xT。時(shí)序建模的學(xué)習(xí)目標(biāo)是找到一個(gè)f，使輸出值和預(yù)測(cè)之間損失的期望值最小化。

2.因果卷積。傳統(tǒng)的CNN無(wú)法直接解決Sequence Modeling這種排序問(wèn)題，采取了因果卷積的方式，這種卷積的含義在于可以對(duì)排序問(wèn)題抽象定義為x1……xt和y1……y去預(yù)測(cè)yt，使得yt更貼近實(shí)際值。

從圖1因果卷積結(jié)構(gòu)中可以看出，因果卷積每一層的輸出由前一層對(duì)應(yīng)未知的輸入及其前一個(gè)位置的輸入共同得出。但輸入層與輸出層之間的隱藏層越多，則一個(gè)輸出對(duì)應(yīng)的輸入就越多。輸入與輸出距離越來(lái)越遠(yuǎn)時(shí)，要考慮更早或之前的輸入與參數(shù)變量運(yùn)算，因此卷積層數(shù)也越來(lái)越多。但卷積層層數(shù)過(guò)多就會(huì)帶來(lái)梯度的爆炸，模型訓(xùn)練過(guò)程復(fù)雜，且擬合結(jié)果也較差，針對(duì)上述問(wèn)題，出現(xiàn)了擴(kuò)張卷積。

3.擴(kuò)張卷積。單純的傳統(tǒng)因果卷積算法，對(duì)時(shí)間模型長(zhǎng)度往往限制于時(shí)間卷積核的大小，而想要抓住更長(zhǎng)的時(shí)間依賴關(guān)系，就需要把時(shí)間線性地堆疊為多個(gè)層次，而通過(guò)使用擴(kuò)張卷積算法，就可以解決傳統(tǒng)因果卷積算法所造成的問(wèn)題，擴(kuò)張卷積可以使時(shí)間模型在層數(shù)較小的情況下，有非常大的感受野。擴(kuò)張卷積通過(guò)跳過(guò)部分輸入來(lái)使filter能夠應(yīng)用到超過(guò)原filter自身尺寸的范圍，相當(dāng)于通過(guò)增加0由原來(lái)的filter得到更大的filter。

從圖2擴(kuò)展卷積結(jié)構(gòu)中可以看出，越到上層，卷積窗口越大，卷積窗口中的“空洞”越多，d是擴(kuò)展系數(shù)，隨著網(wǎng)絡(luò)深度的增加，指數(shù)d增加，擴(kuò)張卷積進(jìn)行了降采樣池化，一方面擴(kuò)大了感受野，另一方面可以降低運(yùn)算量。同時(shí)，擴(kuò)張卷積可以設(shè)置參數(shù)dilation rate，用于捕獲多尺度上下文信息。

4.殘差連接。TCN為提高模型預(yù)測(cè)的準(zhǔn)確率加入殘差連接，一個(gè)殘差塊包括兩個(gè)部分，輸入與一系列操作之后的輸出，如下所示：

TCN的感受野大小取決于網(wǎng)絡(luò)深度n、濾波器大小的k和在擴(kuò)張卷積中的擴(kuò)展系數(shù)d，因此獲得足夠大的感受野的關(guān)鍵是使TCN更深更大。使網(wǎng)絡(luò)更深變大，可堆疊加大量的層，并且選擇較細(xì)尺度的過(guò)濾器尺寸。殘差連接技術(shù)已經(jīng)被證實(shí)，對(duì)于在深度網(wǎng)絡(luò)訓(xùn)練中十分有用。在殘差網(wǎng)絡(luò)中，整個(gè)網(wǎng)絡(luò)采用跳躍連接來(lái)加快訓(xùn)練過(guò)程，從而避免深度學(xué)習(xí)模型的梯度消失問(wèn)題，殘差連接可以使深層網(wǎng)絡(luò)模型通過(guò)跨層的方式進(jìn)行信息的傳遞，如圖3所示，一個(gè)殘差塊包含兩層的卷積和非線性映射，而且還能夠添加WeightNorm和Dropout來(lái)正則化網(wǎng)絡(luò)。

二、實(shí)驗(yàn)及結(jié)果分析

（一）實(shí)驗(yàn)數(shù)據(jù)來(lái)源

本文選取的股指數(shù)據(jù)（下載自優(yōu)礦），選取2005.01—2020.12每一個(gè)交易日的上證指數(shù)、上證50、創(chuàng)業(yè)板指數(shù)、深證指數(shù)、滬深300指數(shù)，選取的因子包括前一日的收盤(pán)價(jià)（preClose Index）每天的開(kāi)盤(pán)價(jià)（open Index）、收盤(pán)價(jià)（close Index）、最高價(jià)（highest Index）、最低價(jià)（lowest Index）、交易量（turnover Vol）和成交額（turnover Value）。

（二）實(shí)驗(yàn)數(shù)據(jù)處理

數(shù)據(jù)預(yù)處理：由于獲取到的原始數(shù)據(jù)存在缺失情況，將數(shù)據(jù)缺失的樣本刪除。

數(shù)據(jù)標(biāo)準(zhǔn)化：選取的數(shù)據(jù)之間量級(jí)差異。例如，開(kāi)盤(pán)價(jià)、收盤(pán)價(jià)、最高價(jià)、最低價(jià)和交易量、成交額之間的數(shù)據(jù)量級(jí)出現(xiàn)很大差別，因此為了將不同量級(jí)的數(shù)據(jù)轉(zhuǎn)換為一個(gè)量級(jí)，并減少指標(biāo)間的量綱影響，同時(shí)提高模型準(zhǔn)確度和收斂速率，先對(duì)歷史數(shù)據(jù)實(shí)現(xiàn)歸一化處理。轉(zhuǎn)換函數(shù)如下：

將處理后的數(shù)據(jù)按時(shí)間先后順序分成訓(xùn)練集和測(cè)試集，其中，前80%的數(shù)據(jù)作為訓(xùn)練集進(jìn)行模型的訓(xùn)練，后20%作為測(cè)試集對(duì)模型的效果進(jìn)行評(píng)估。

（三）模型的構(gòu)建

本實(shí)驗(yàn)?zāi)Ｐ驮趐ython 3.7中的Keras框架下搭建并實(shí)現(xiàn)計(jì)算過(guò)程，在進(jìn)行多次試驗(yàn)調(diào)參之后，將參數(shù)設(shè)置為卷積核（kernel_size）為4，訓(xùn)練批次大?。╞atch_size）為256，迭代次數(shù)（epochs）為500，激活函數(shù)（activation）為relu，損失函數(shù)（loss）設(shè)置為mean_squared_error，優(yōu)化器（optimizer）為Adam，將時(shí)間步長(zhǎng)設(shè)置為5。

（四）實(shí)驗(yàn)結(jié)果

為驗(yàn)證模型預(yù)測(cè)的有效性，本文選取了上證指數(shù)、深證成指、滬深300、創(chuàng)業(yè)板指數(shù)，利用各個(gè)指數(shù)數(shù)據(jù)集，分別用CNN、LSTM、TCN模型進(jìn)行實(shí)驗(yàn)。預(yù)測(cè)結(jié)果如下：

均方根誤差（RMSE）代表真實(shí)值和預(yù)測(cè)值之間的偏差程度，RMSE值越小，真實(shí)值和預(yù)測(cè)值之間的偏差越小。從表1中綜合上證指數(shù)、深證指數(shù)、滬深300和創(chuàng)業(yè)板指數(shù)預(yù)測(cè)結(jié)果來(lái)看，TCN模型具有較好的預(yù)測(cè)性能，均方根誤差值小于CNN和LSTM模型算法，因此，就預(yù)測(cè)精確度而言，TCN模型優(yōu)于CNN和LSTM模型。

三、結(jié)束語(yǔ)

本文將時(shí)域卷積網(wǎng)絡(luò)應(yīng)用于我國(guó)股票指數(shù)的預(yù)測(cè)研究，時(shí)域卷積網(wǎng)絡(luò)模型既繼承了卷積神經(jīng)網(wǎng)絡(luò)用于特征抓取的優(yōu)點(diǎn)，又能融合循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)適合處理時(shí)間序列問(wèn)題的特點(diǎn)，同時(shí)解決了循環(huán)神經(jīng)網(wǎng)絡(luò)運(yùn)行時(shí)間長(zhǎng)，易產(chǎn)生梯度爆炸或消失的特點(diǎn)。選取2005.01—2020.12每一個(gè)交易日的上證指數(shù)、上證50、創(chuàng)業(yè)板指數(shù)、深證指數(shù)、滬深300指數(shù)進(jìn)行對(duì)比實(shí)驗(yàn)，選取的因子包括前一日的收盤(pán)價(jià)、每天的開(kāi)盤(pán)價(jià)、收盤(pán)價(jià)、最高價(jià)、最低價(jià)、交易量和成交額。從實(shí)驗(yàn)結(jié)果可以看出，TCN對(duì)股票指數(shù)的預(yù)測(cè)，預(yù)測(cè)精確度明顯優(yōu)于CNN和LSTM結(jié)構(gòu)，該模型的研究具有廣闊的前景。未來(lái)，可以在研究股票的數(shù)據(jù)集上進(jìn)行拓展，融入其他指標(biāo)，也可研究如何將時(shí)序神經(jīng)網(wǎng)絡(luò)與其他模型相結(jié)合形成集成模型，進(jìn)一步提高預(yù)測(cè)精準(zhǔn)度。

參考文獻(xiàn)：

[1]" "Lee K.B.，Cheon S.，Kim C.O.A Convolutional Neural Network for Fault Classifications and Diagnosis in Semiconductor Manufacturing Processes[J].IEEE Transactions on Semiconductor Manufacturing，2017，30（2）.

[2]" "Giuseppe Ciaburro，Balaji Venkateswaran.Neural Networks with R：Smart models using CNN，RNN，deep learning and artificial intelligence principles[M].Birmingham：Packt Publishing，2017.

[3]" "陳佳，劉冬雪，武大碩.基于特征選取與LSTM模型的股指預(yù)測(cè)方法與研究[J].計(jì)算機(jī)工程與應(yīng)用，2019，55（6）：108-112.

[4]" "Wang Y.，Liao W.，Chang Y.Gated recurrent unit network based short-term photo voltaic forecasting[J].Energies，2018，11（8）：1-14.

[5]" "Hewage P.，Behera A.，Trovati M，et al.Temporal convolutional neural（TCN） network for an effective weatheer forecasting using time-series data from the local weather ststion[J].Soft Computing，2020，24（21）：16453-16482.

[責(zé)任編輯" "衛(wèi)" "星]