基于Pearson特征選擇的隨機森林模型股票價格預測

閆政旭，秦 超，宋 剛

1.山東財經大學 金融學院，濟南 250014

2.山東財經大學 計算機科學與技術學院，濟南 250014

3.山東大學 數學學院，濟南 250100

在股票市場中，股票價格的漲跌受價格指標、流通量指標以及活躍程度等多種因素的影響。在股票市場中，人們希望能夠有效地預測出股票價格的走勢，從而避免帶來不必要的損失，并分析出影響股票價格波動的重要影響因子。但在股票市場中，股票價格的波動本身就是一種非線性、動態、不平穩的過程。其波動過程中本身就含有或大或小的噪聲，從而對股票價格的走勢造成重大的影響。所以，如何更加準確地在多維數據特征下準確地預測股票價格走向以及波動程度成為了國內外諸多學者關心的問題。

股票價格作為一種時序性的時間序列，對其預測的方法一直是人們關注的重點。機器學習是近年來流行起來對股票價格進行預測的一種新的方法，支持向量機（Support Vector Machine，SVM），BP 神經網絡以及邏輯回歸都曾先后用于股票的預測。彭燕等[1]用LSTM對股票進行了良好的預測，但LSTM因遺忘門的存在將先前的股票數據保留一部分對未來股票價格進行分析預測從而具有滯后性，使得預測結果整體后移，增加了實驗誤差。張晨希等[2]采用支持向量機的方法對股票建立了預測模型，但是其并未對支持向量機的參數進行優化。而在缺失數據的情況下，支持向量機會變得敏感，影響輸出結果。在復雜的特征以及大量數據下這些單分類器模型并不能對股票預測取得良好的效果。集成學習是一種多分類器學習方法，在面對復雜的股票數據，單分類器因分類結果單一而導致誤差更大。隨機森林[3]作為一種分類和回歸的集成學習算法在不同的領域中分別取得了不錯的效果[4-9]。隨機森林采取Bootstrap抽樣法。通過多輪抽樣，生成k個數據集并構成含有k棵決策樹的隨機森林。隨機森林通過其隨機性使得其不易陷入過擬合并降低敏感數據對實驗預測結果的影響。曹正鳳等[10]利用隨機森林對優質股票進行選擇，但沒有考慮無關特征對選股的影響。根據文獻[11-12]可知，在對股票進行回歸預測時為了減少數據復雜度以及降低無關變量因素對實驗預測的影響，首先需要建立初始指標體系進行相關性篩選，將篩選完成后的指標體系放入隨機森林中進行訓練得出結果。Nesselroade 等[13]對相關系數進行了詳細的描述。相關系數是用來判斷兩個變量是否具有相關關系及其關系的密切程度。相關系數描述的變量是隨機變量，且變量之間不必區分因變量和自變量。而回歸系數則是研究因變量和自變量，并用該系數擬合一元或多元線性回歸。相關分析是回歸分析的基礎，當相關關系很低時，則對兩個變量進行分析是沒有實際意義的。股票價格呈現非線性趨勢波動，而股票的指標特征與股票價格預測存在相關關系的強弱，即股票指標特征對價格預測的貢獻程度存在差異。特征方法選擇主要有Pearson 系數、Spearman系數和Kendall 系數。但由于股票價格是定比數據變量。Spearman 系數和Kendall 系數都適合于定序變量或是間隔相同的時點數據，且Kendall 相關系數是用來對分類變量進行相關性的檢驗。Pearson系數是用來分析特征與響應變量相關關系程度的大小。股票價格的漲跌情況作為響應變量，且不具備等級相關程度，Cai等[14]利用Pearson 系數來衡量變量之間的線性相關關系，從而篩除影響因素。因此選擇Pearson 系數對股票特征選擇。

但隨機森林中決策樹的參數以及決策樹的棵數將會直接影響特征重要性排序以及股票價格的預測結果。莊進發等[15]以及Genuer[16]對隨機森林的最大特征數選取進行了實驗，研究了最大特征數對隨機森林的影響。網格搜索法通過對超參數范圍的設定，將所有參數組合進行循環迭代組合，通過窮舉法對所有參數進行評分從而尋得最優參數。網格搜索法不會遺漏掉任何參數組合，但在大量參數組合情況下，網格搜索法運算速度將會降低，因此本文在原有基礎上對其進行改進，提高了參數尋優的速度。

因此，本文在原有的隨機森林的回歸算法基礎上進行改進，將Pearson系數和改進網格搜索法相結合，提出了一種新的隨機森林算法——基于Pearson相關系數的隨機森林算法。首先，利用Pearson 進行第一次特征篩選，選擇出與股票價格相關性強的因素，將無關因素刪除。其次，利用改進網格搜索法找尋出決策樹的最優參數并通過對隨機森林的各項重要指標進行逐步測試，如決策樹的棵數以及樹節點的最大特征數并對特征進行重要性排序；然后，將剩余變量進行建模，組成改進的隨機森林對股票價格的預測模型；最后，將改進的隨機森林與其他模型在預測值的平均絕對誤差（MAE）、均方誤差（MSE）進行對比分析。

1 實驗方法理論

1.1 Pearson系數結構原理

Pearson相關系數是用來衡量自變量與因變量之間的相關程度的大小，其值介于?1 和1 之間，其絕對值越大，相關性則越強。皮爾遜相關系數大于0 代表正相關，小于0代表負相關。其公式為：

其中，xi是自變量，yi是因變量。

1.2 決策樹結構原理

決策樹（Classification and Regression Tree，CART）是一種單分類回歸器的歸納學習算法，由根節點、葉子節點以及非葉子節點組成。決策樹通過對訓練集進行回歸分析，生成從根節點到葉子節點的路徑并分析出路徑規則。根據路徑規則對新數據進行分類或預測。CART是基于信息熵，通過Gini系數最小原則指標來進行節點分裂，對訓練集D={(x1,y1),(x2,y2),…,(xn,yn)}的輸入空間劃分區域，遞歸地將每個樣本劃入相應的區域并得出確定的輸出值，其算法步驟如下：

（1）假設自變量特征為j，該特征的取值為s。假設取值s將特征j的空間劃分兩個區域，其式如下：

（2）依次遍歷計算每個切分點(j,s) 的損失函數（Loss Function，LF），并選取損失函數最小的切分點。

其中，c1、c2分別為R1、R2區間內的輸出平均值。

（3）將劃分的兩部分進行計算切點，依次進行，直到不能繼續劃分。

（4）將輸入空間劃分成M個部分R1,R2,…,RM生成最終的決策樹為：

1.3 隨機森林結構原理

隨機森林是一種集成學習算法，由多個弱分類器組合成一個強分類器。隨機森林利用bootstrap 對訓練集采取隨機有放回地抽取m個樣本，并在bagging的基礎上對每棵決策樹進行隨機特征的選擇。將這m個樣本建立m個決策樹模型。最終，通過這m個決策樹模型進行投票得出結果。隨機森林具體算法步驟如下：

（1）輸入訓練集D。

（2）利用bootstrap抽樣形成k個訓練子集Dk。

（3）從原始特征中隨機抽取m個特征。

（4）對訓練子集Dk進行訓練，將隨機選擇的m個特征做出最優切分，得出k棵決策樹預測結果。

（5）根據k個預測結果進行投票得出票數最高的預測結果。

2 基于特征選擇的隨機森林模型

隨機森林是一種容易受自身參數以及特征變量影響的機器學習算法。為提高隨機森林的預測效果，本文將特征方法選擇與改進網格搜索法相結合。先利用Pearson 特征選擇刪除無關數據特征，利用改進的網格搜索法對決策樹的參數進行調優，通過優化后的k棵決策樹所構成的隨機森林來得到預測結果。其算法過程如圖1所示。

圖1 基于Pearson特征選擇的隨機森林模型Fig.1 Random forest model based on Pearson feature selection

2.1 相關性分析

利用Pearson 系數對所有解釋變量進行劃分，找出解釋變量中的高度、中度、弱以及無關變量。（特征變量的Pearson系數大于0.8為高度相關，介于0.5到0.8之間為中度相關，在0.3與0.5之間為弱相關，小于0.3為幾乎不相關。）

本文將前一天的OPEN、PP等指標因子作為解釋變量，當天的收盤價作為被解釋變量，利用Python 語言進行Pearson 相關性的檢測，得到解釋變量與被解釋變量的相關性結果，然后根據Pearson 系數的大小來判定解釋變量與被解釋變量之間的相關性強弱，以今世緣為例，其系數結果如表1所示。

表1 今世緣Pearson相關系數Table 1 Pearson’s temporal correlation coefficient

根據相關性大小，BUYVOL和RF為幾乎不相關變量，說明該兩種解釋變量與被解釋變量收盤價沒有直接或間接的必要聯系。為了避免因指標太多從而使隨機森林的計算時間增加且無關變量對實驗精確度的影響。從指標變量中剔除與收盤價不相關的RF 和BUYVOL特征變量，將剩余變量作為模型的最終解釋變量。

2.2 改進網格搜索法優化

網格搜索法是對指定的參數值進行窮舉尋優，將指定參數通過交叉驗證進行評估來得到最優參數的方法。在傳統的網格搜索法的基礎上，先對參數進行大范圍的區間劃分，選取出最優點，在最優點處進行小范圍的參數調優，直至尋找出最優點。對決策樹的深度，節點最小分割樣本以及節點最小樣本量進行參數調優，網格搜索法如圖2所示。

圖2 改進網格搜索法參數選擇和模型評估Fig.2 Improved grid search method parameter selection and model evaluation

2.3 Pearson特征選擇模型參數優化及分析

輸入篩選后的解釋變量，根據解釋變量的數量，對決策樹的max_depth、min_samples_split、min_samples_leaf三個參數進行取值范圍設定并依次進行組合。

通過改進的網格搜索法先對參數進行大步長網格尋優，在評分最優點處再進行小步長劃分網格尋優，重復此步驟直至尋找到最優參數組合。

利用改進網格搜索法，用損失函數評價出最優的參數。搜索出最佳參數組合并以此參數生成決策樹。改進網格搜索法使運算速度提升，其運算時間對比如表2所示。

表2 搜索時間比較Table 2 Comparison of search times

在確定好決策樹的最優參數之后，利用隨機森林的袋外誤差分數來進行來尋求隨機森林最大的決策樹棵數和樹節點的最大特征數，并對剩余的特征進行重要性排序，以便于投資者后期根據不同的解釋變量來進行股票投資。今世緣模型的隨機森林的最大特征數和最佳棵數分別為如圖3和圖4所示。

通常情況下，當特征數數量為M時，max_features取值為在圖3 中，最大特征數為4 時，OOB袋外分數最高，所以尋得最大特征數為4。通過實驗，圖像化地展示了袋外分數與n_estimators的關系。通過圖4 可以觀察出，在n_estimators 大于260 之后，隨機森林的袋外分數逐漸趨于平穩且趨于0.75，誤差逐漸降低且袋外分數較高。根據目前的學術研究來看，n_estimators大于100較為合適。根據本文的研究數據，當n_estimators取值為300時符合當前的研究，所以尋得決策樹的數量為300棵對本實驗來說較為合適。

圖3 最大特征數Fig.3 Maximum characteristic number

圖4 決策樹的最佳數量Fig.4 The best number of decision tree

根據決策樹的max_depth、min_samples_split、min_samples_leaf的參數以及隨機森林中決策樹的棵數和最大特征數，將數據進行訓練，得到今世緣股票特征重要性排序結果，如圖5所示。

圖5 特征重要性排序Fig.5 Feature importance ranking

3 實驗結果

為更好地驗證特征選擇的隨機森林模型對股票的預測。本文分別從白酒行業、保險行業以及房地產行業選取了今世緣、中國平安和上海臨港三只股票進行預測。選取2019 年9 月1 日到2019 年9 月30 日的數據作為訓練樣本，2019年10月1日到2019年10月31日的數據作為預測樣本。

3.1 今世緣預測

今世緣參數指標如表3所示，其實驗結果如圖6，綠色實線代表真實值，紅色實線代表預測值。通過圖6的預測結果顯示，機器學習方法相比于傳統的金融擬合方法要好。幾何布朗運動對于股票的價格波動是不會隨著時間的變化而變化的，而隨機森林、支持向量機等監督類學習算法，能夠良好地跟隨股票的波動，受股票波動的影響較小。并且幾何布朗運動的隨機過程St在實際情況下并不符合正態分布，股票的真實收益具有更高的峰度，所以價格波動將會更大。支持向量機的模擬曲線較為良好的符合股票的實際趨向走勢，但是具有一定程度上的誤差性和滯后性。這是因為SVM對數據非常的敏感，在股票價格的分析特征中，部分特征對股票價格的預測產生不利影響，從而導致支持向量機的預測效果不如隨機森林。而經過特征方法選擇改進之后的隨機森林模型在股票的模擬走勢上因刪除無關變量對實驗預測的影響以及對隨機森林的參數進行調優，使得縮小了誤差。由于隨機森林通過對股票特征重要性的排序并以前一天的數據作為訓練集從而不受之前數據集的影響，使得滯后性減弱，更接近股票的真實走勢。對時間序列的股票進行預測時，因可利用Pearson 系數對與時間序列無關的變量以及產生消極影響的變量刪除的特點，因此Pearson 系數的隨機森林更合適。經過改進的隨機森林在價格波動上更小，可以使預測價格更好地接近于實際價格，使投資效用達到最大，投資風險降低相比單一的隨機森林，改進后的隨機森林能夠在短時間內進行較好的預測，預測的結果具有較好的跟隨能力。為了進一步比較改進后的隨機森林和邏輯回歸以及其他兩種算法對模型擬合的準確性和有效性，分別選取均方誤差（MSE）、平均絕對誤差（MAE）來進行比較：

圖6 今世緣各模型預測結果比較Fig.6 Comparison of prediction results of each model of King’s Luck

表3 今世緣參數指標Table 3 Parameter index of King’s Luck

其中，ym是股票價格的真實值，是股票價格的預測值。

四個算法模型的MSE、MAE比較如表4所示。

表4 今世緣各模型預測指標對比Table 4 Comparison of prediction indexes of each model of King’s Luck

MSE 是用來評價股票價格的變化程度，即進一步反應股票的預測程度，MSE越小，則說明預測的精確度越高。MAE 則是更好地反映出預測值的誤差程度，即進一步反應股票的預測價格與實際價格的誤差，MAE越小，則說明股票價格的波動誤差率越小。觀察表4的預測指標對比結果和圖7誤差率對比結果發現，改進后的隨機森林在MSE和MAE中都是最小的，即說明其在預測股票的漲跌中預測得最為精準且價格的波動誤差率最小。而與傳統的幾何布朗運動相比，改進的隨機森林算法的MSE 和MAE 值都有顯著減小。與一般的機器學習相比，MSE 和MAE 也都有較好的改觀。說明改進后的隨機森林使得股票的預測效果相比傳統的金融方法和一般的機器學習方法有了顯著提高。改進后的隨機森林的兩項指標優于傳統隨機森林模型，但兩者的差距并不明顯，原因在于兩者具有相同的基礎單元結構——決策樹，而改進后的隨機森林的優勢在于減少無關變量，降低其對股價預測的影響并通過網格搜索法實現決策樹以及隨機森林的最優調參，而且運行時間和預測結果都要好于隨機森林。

圖7 今世緣隨機森林與Pearson-隨機森林預測結果比較Fig.7 Comparison of prediction results between King’s Luck random forest and Pearson-random forest

3.2 中國平安預測

中國平安的參數指標如表5。各模型預測結果比較如圖8所示，支持向量機在股票價格持續下跌或持續上漲時跟隨性較好，而在股票價格發生大幅度變化時其跟隨能力遠不如隨機森林和Pearson-隨機森林。隨機森林和Pearson-隨機森林在股票的實際走勢上基本一樣，但改進后的隨機森林在時間點上的誤差要小于隨機森林。隨機森林的模型要優于幾何布朗運動模型，邏輯回歸模型以及SVM模型。但是在中國平安股票的預測模型中，Pearson-隨機森林模型的預測效果最好，其預測值更好地逼近真實值。該股票的指標評價標準如表6 所示，Pearson-隨機森林模型的評價指標結果均優于其他模型。

表5 中國平安參數指標Table 5 Parameters index of Ping An of China

圖8 中國平安各模型預測結果比較Fig.8 Comparison of prediction results of each model of Ping An of China

表6 中國平安各模型預測指標對比Table 6 Comparison of prediction indexes of each model of Ping An of China

改進后的隨機森林與隨機森林的進一步比較如圖9所示。

圖9 中國平安隨機森林與Pearson-隨機森林預測結果比較Fig.9 Comparison of prediction results between China Ping An random forest and Pearson-random forest

3.3 上海臨港預測

為進一步驗證Pearson-隨機森林對個股的實驗效果，選取房地產業的上海臨港進行實驗，其參數指標如表7所示。

表7 上海臨港參數指標Table 7 Parameters index of Shanghai Lin-Gang

實驗結果如圖10 所示，幾何布朗運動在前期的跟隨能力較好，而后期的跟隨能力較差，對股票的預測走向也沒有跌落的現象，出現了極大的預測偏差。支持向量機和邏輯回歸在股票價格的拐點預測能力相相比隨機森林要較差。原因在于SVM 對部分數據極為敏感，當碰到實際情況發生變故時，SVM 的預測能力便不如隨機森林穩定。Pearson-隨機森林使原始隨機森林在拐點處價格的預測變得更加精準。相比于其他的預測模型，Pearson-隨機森林在上海臨港股票的預測中仍表現較好。該股票的評價指標如表8所示。Pearson-隨機森林的MSE和MAE略好于傳統隨機森林，說明改進后的隨機森林在預測誤差上要優于傳統隨機森林。其進一步比較結果如圖11所示。

圖10 上海臨港各模型預測結果比較Fig.10 Comparison of prediction results of each model in Shanghai Lin-Gang

圖11 上海臨港隨機森林與Pearson-隨機森林預測結果比較Fig.11 Comparison of prediction results between Shanghai Lin-Gang random forest and Pearson-random forest

表8 上海臨港各模型預測指標對比Table 8 Comparison of prediction indexes of each model of Shanghai Lin-Gang

3.4 上證指數預測

為了減少個體股所帶來的偶然性和隨機性，更好地驗證特征選擇的隨機森林模型的優越性，本文選取上證指數對股票進行進一步預測。其參數指標如表9。

表9 上證指數參數指標Table 9 Shanghai Index parameters indicators

實驗結果如圖12 所示，幾何布朗運動在前期預測方向與實際方向相反。原因在于上證指數是以上海證券交易所所有股票數為樣本，通過計算樣本股在基期和計算期的總市值，并按照指定常數將計算期總市值與基期值相比得出。支持向量機預測跟隨力不如個股，這是因為指數價格較高，對數據的歸一化處理以及其核函數無法良好的對高價格進行跟隨預測。

圖12 上證指數各模型預測結果比較Fig.12 Comparison of prediction results of each model of Shanghai Index

指數價格的評價指標如表10所示，Pearson-隨機森林的指標要明顯地優于其他預測模型。其與隨機森林的比較如圖13所示。

表10 上證指數各模型預測指標對比Table 10 Comparison of prediction indexes of each model of Shanghai Index

圖13 上海指數隨機森林與Pearson-隨機森林預測結果比較Fig.13 Comparison of prediction results between Shanghai Index random forest and Pearson-random forest

3.5 滬深300預測

為了進一步減少實驗帶來的隨機性與誤差性，選取滬深300 指數來進一步驗證基于Pearson 特征選擇的隨機森林模型的普遍適應性。參數指標如表11所示。實驗結果如圖14所示。

圖14 滬深指數各模型預測結果比較Fig.14 Comparison of prediction results of each model of Shanghai and Shenzhen Index

表11 滬深指數參數指標Table 11 Shanghai and Shenzhen Index parameters indicators

幾何布朗運動的后期預測較好，但前期預測走向與滬深300 指數的走向相反，這是由于滬深300 是選取的上交所以及深交所中重要的股票編制而成，反映的是上交所以及深交所大盤的整體走向，而支持向量機對其預測跟隨更為平緩且跟隨能力差。這是由于滬深300指數價格較高，且選取的不再是個股，支持向量機核函數導致其預測跟隨能力遠不如個股。而隨機森林雖在前期產生了較大的誤差，但其中期跟隨能力較好。Pearson-隨機森林使得后期價格的預測誤差變小。滬深300 指數的價格評價指標如表12 所示。Pearson-隨機森林的MSE和MAE指標要優于未改進的隨機森林和其他的機器學習及傳統金融模型。為更直觀地觀測Pearson-隨機森林與隨機森林的預測結果，其比較圖如圖15所示。

圖15 滬深指數隨機森林與Pearson-隨機森林預測結果比較Fig.15 Comparison of prediction results between Shanghai and Shenzhen Index random forest and Pearson-random forest

表12 滬深指數各模型預測指標對比Table 12 Comparison of prediction indexes of each model of Shanghai and Shenzhen Index

3.6 實驗數據對比

彭燕等[1]利用LSTM 神經網絡對美國的蘋果公司進行了股票價格的預測，宋剛等[17]通過基于粒子群的LSTM 對五糧液進行了股票的模擬走向。為了進一步增加實驗的可行性，在原有三支股票的基礎上選取A股的五糧液和美股的蘋果進行Pearson-隨機森林實驗并與兩篇文章利用LSTM 取得的實驗結果進行數據對比。

Pearson-隨機森林與彭燕等[1]在單層LSTM 網絡模型下取得的效果相比指標數據得到良好的改進，預測精度遠高于單層LSTM，原因在于LSTM 具有滯后性，從而導致預測結果向后偏差使得誤差偏大。而與兩層的LSTM 網絡模型相比，Pearson-隨機森林在MSE 上略優于LSTM，而在MAE 中所取得的效果不及兩層LSTM網絡模型的效果。相比MAE，MSE 更能反映價格波動的大小，其更能反映出價格的誤差大小。其數據對比如表13所示。

表13 實驗數據對比（蘋果）Table 13 Comparison of experimental data（Apple）

Pearson-隨機森林與宋剛[17]的原始LSTM 相比取得了較為良好的效果，也再一次證明了改進后的隨機森林相比一般情況下的LSTM 網絡模型來說是有更加良好的效果。其實驗數據對比如表14所示。

表14 實驗數據對比（五糧液）Table 14 Comparison of experimental data（Wuliangye）

4 結束語

本文使用Pearson系數相關性檢驗以及隨機森林算法對股票價格的趨勢進行實驗研究。利用改進網格搜索法對決策樹的參數進行調優并提高了調優速度。用隨機森林的重要性排序篩選出了在市場上影響股票因素的重要市場因子。兩種方法的結合以及對參數的優化使得預測效果得到提高。該組合算法在對股票的短期預測上具有良好的效果、精確度較高，能夠達到讓人滿意的預期收入。此外，該方法還同樣適用于其他的股票價格預測，從而驗證了該方法在實際應用中具有一定的有效性和實用性。

在時代飛速發展的今天，行業的發展在不斷地變化，黑天鵝事件的產生越來越多，一件小的黑天鵝事件將會產生巨大的影響。因此，在日后對股票的分析中，如何降低時間序列的噪聲將是今后的研究重點，如何更好地及時預測黑天鵝事件對股票走向的影響將顯得尤為重要。