基于Stacking-Bagging-Vote多源信息融合模型的財務預警應用

張 露，劉家鵬，田冬梅

（中國計量大學經濟與管理學院，杭州 310018）

0 引言

市場競爭的日益激烈，資本市場的瞬息萬變，使得企業陷入財務困境的可能性也在提高。財務預警模型在一定程度上能夠使得企業及時規避、有效防范財務風險，對投資對象和項目審慎決策，防止企業陷入財務困境。而基于大數據的海量性、多樣性、高速性和價值性［1］，越來越多的學者嘗試將以機器學習為代表的大數據人工智能技術應用到財務預警領域［2］。隨之出現的財務預警樣本的嚴重不平衡性［3］，一定程度上限制了分類器的性能［4］。重采樣技術［5］被提出應用到財務預警研究領域，并取得了一定的成果。但是經典的不平衡采樣技術存在一定的缺陷，隨機上采樣［6］通過對小樣本的多次重復來達到平衡，容易造成過擬合；隨機下采樣［7］通過刪減大樣本從而達到樣本平衡，但是對數據信息利用不足，預測存在很高的隨機性；人工合成新樣本的重采樣技術（Synthetic Minority Over-sampling TEchnique，SMOTE）［8］通過合成新樣本，來使得樣本達到平衡，但是合成樣本容易造成與原樣本之間的邊界模糊問題。有學者嘗試將集成學習的思想應用到重采樣技術中［9］，證實可以有效提高算法性能。

人工智能技術快速發展，性能優越的分類器如彈性網（Elastic Net，EN）［10］、隨機森林（Random Forest，RF）［11］和極端梯度提升（eXtreme Gradient Boosting，XGBoost）［12］等在財務預警研究中有了一定的應用。但基于單分類器的性能提升陷入了一定的瓶頸，因此有學者將目光投向集成分類器的研究中，目前比較成熟的集成技術［13］有裝袋法（Bagging）、提升法（Boosting）和堆疊法（Stacking）等［14］。集成技術對簡單分類器如決策樹等的性能有明顯的提升，隨機森林是基于決策樹的Bagging 集成［15］，XGBoost 也是基于樹的Boosting 提升［16］。Stacking 集成方法被應用在網頁檢測［17］、網貸違約檢測［18］等領域，可以有效融合不同種類的機器學習分類器，從而有效提升預測準確率。

本文的主要工作有：1）通過Up-Down 集成采樣技術解決隨機上采樣容易發生過擬合問題與隨機下采樣的信息利用不足的問題，找到了上下采樣之間的平衡點，提高信息利用率的同時防止發生過擬合問題，從而提高算法性能；2）通過Tomek link 對訓練集數據進行清洗，降低SMOTE 算法在人工合成數據時發生邊界劃分的不清晰，一定程度上提高了財務預警的預測準確率。3）構建SBV（Stacking-Bagging-Vote）多源信息融合模型，綜合多個集成技術，相較于單獨集成方法，多層次多框架的SBV 模型，將數據層次與模型層次進行交互式融合，進一步較為全面地提高了財務預警的各項指標，為不同的利益相關者提供更為契合的財務預警模型。

1 不平衡數據集成采樣算法

1.1 Up-Down集成采樣算法

上采樣是指二次采樣中，隨機重復抽取小樣本，使得樣本均衡的方法。比如訓練集中，有80%的數據屬于類別I，20%的數據屬于類別Ⅱ，該訓練集的數據存在不平衡現象，上采樣就是將類別Ⅱ數據重復采樣，從而使樣本比例均衡。下采樣與上采樣相反，是通過隨機篩除大樣本，使得大樣本的數量與小樣本相等。比如上述的訓練集，就是將80%的類別I 的數量降為與20%的類別Ⅱ的數量相等，因此，訓練集一共使用了40%的數據。

由于小樣本的數據遠遠小于大樣本的數據，在本文的研究中，小樣本數據僅占全體樣本的2.86%，因此若單獨使用上采樣技術，會使小樣本重復的次數過高，造成模型產生過擬合現象；而單獨使用下采樣技術，大量的樣本信息將被拋棄而無法被模型所學習，只能學習到不到6%的數據集，分類器的學習效果并不盡如人意。因此，在本文的研究中，嘗試將上采樣和下采樣算法進行集成，具體的過程如圖1所示。

圖1 Up-Down集成采樣算法的過程Fig.1 Process of Up-Down ensemble sampling algorithm

在集成Up-Down 過程中，將訓練集中的大樣本和小樣本進行不同比例的集成，將使用的上采樣比例記為over ratio，代表少數類樣本進行隨機上采樣后，占到的全體訓練集樣本的比例。然后對訓練集樣本數據用10 折的交叉驗證進行訓練。本文將over ratio 作為控制變量，以5%為間隔，基于數據有效性和過擬合的考慮，在初步的實驗中，將over ratio 的取值范圍控制在0%～50%，根據實驗表現逐步確定所有over ratio 的取值范圍，最終得到的訓練集可以在一定程度上有效避免過擬合與欠擬合的發生。

1.2 Tomek-Smote采樣算法

SMOTE 算法屬于上采樣技術，其基本思想是分析少數類樣本，并根據少數類樣本的數據特征，人工合成后向數據集添加新的樣本。樣本合成方式為對樣本X以歐氏距離為標準，計算X到少數類的樣本集Smin中所有樣本的距離，并得到其k最近鄰。根據樣本的不平衡比例設置采樣比以確定采樣率n，對于每個少數樣本X，從其k個最近鄰隨機選擇幾個樣本，假設所選的最近鄰為Xn。對于每個隨機選擇的最近鄰Xn，根據式（1）構造新樣本。

Tomek links 的定義為：假設樣本點Xa和Xb屬于不同的類別，d（Xa，Xb）表示兩個樣本點之間的距離，如果不存在第三個樣本點Xc使得d（Xc，Xa）＜d（Xa，Xb）或者d（Xc，Xb）＜d（Xa，Xb）成立，稱（Xa，Xb）為一個Tomek link 對。從定義容易看出，如果兩個樣本點為Tomek link 對，則其中某個樣本為噪聲（偏離正常分布太多）或者兩個樣本都在兩類的邊界上，容易造成誤判。Tomek-Smote 算法的思想是用Tomek links 對訓練集數據中的正常上市企業樣本進行清洗，篩除位于邊界的樣本對，然后用SMOTE 算法產生基于訓練集的人工合成新樣本，進行模型構建與運行。

2 SBV多源信息融合模型

2.1 Stacking框架

Stacking 算法使用10× 10 折嵌套交叉驗證，對訓練集樣本進行訓練，并將得到的值輸出到下一層，用初級分類器對回測結果進行堆疊。由于Stacking 模型使用初級分類器的預測值作為第二層的輸入，因此初級分類器和次級分類器學習到的數據應該有所不同，在不能動用測試集數據的情況下，本文使用交叉驗證解決了這一問題。

使用了三個元分類器——彈性網、隨機森林和XGBoost，作為初級分類器，分別使用決策樹（Decision Tree，DT）、邏輯回歸（Logistic Regression，LR）、支持向量機（Support Vector Machine，SVM）作為次級分類器，構建Stacking 融合模型，構建流程如圖2 所示。

圖2 Stacking融合框架工作流程Fig.2 Workflow of Stacking fusion framework

將每家公司的經營狀態設為Y，為0-1 屬性的類別變量，即正常上市和被特別處理。每家公司的財務特征指標與市場特征指標集設為X，包括營業狀況指標、財務風險指標、資產配比、股票價差等。將實驗數據分為訓練集和測試集，在實驗中，測試集數據不進行處理變動。

首先，將訓練集樣本特征作為輸入變量，使用集成分類器隨機森林、彈性網和XGBoost，分別產生三個初級分類模型，得到三組的預測概率Pi（Y=0|X）和Pi（Y=1|X）。通過隨機搜索的方式得到三個初級分類器的最優參數，使用10×10 折嵌套交叉驗證，解決Stacking 策略中可能出現的交叉學習現象。

然后用基礎分類器決策樹、Logistic 回歸和SVM 作為次級分類器，將初級分類器進行依次堆疊，輸出三組預測概率，完成模型構建。

最后，用最終輸出的Stacking 策略模型，對測試集數據進行預測，并對最終的預測結果進行對比分析。

2.2 Bagging-Vote算法

裝袋（Bagging）是一種集成的元算法，通過對訓練集數據自行復制，并獲得匯總的預測變量，從而生成基礎分類器的多個版本，提高了算法模型的穩定性和準確率，并減少了過擬合的問題。投票裝袋（Bagging-Vote，BV）是本文基于Bagging 基本理論，結合投票集成思想設計的算法。

Bagging-Vote 算法的集成工作流程如圖3 所示。

圖3 基于Bagging-Vote算法的集成工作流程Fig.3 Ensemble workflow based on Bagging-Vote algorithm

BV 的步驟可以大致分為5 部分：

步驟1 從訓練集數據中創建驗證集樣本。

步驟2 在每個訓練集和驗證集樣本上訓練模型。

步驟3 根據各算法創建分類模型并保存結果。

步驟4 將分類模型對測試數據進行預測，并保存預測結果。

步驟5 對訓練集數據進行統計分析對比，加入預測結果池，實現數據層面與模型層面的交互。

步驟6 基于模型的性能，對預測概率進行加權投票，輸出最終預測結果。

用裝袋算法分別對多個元分類器進行集成，對得到的分類模型進行分別排列組合式投票集成，結合了多個分類器的最終分類結果。在此基礎上，將訓練集的數據特征結果進行統計對比分析，將統計結果作為預測值放入投票池中，實現了模型與數據層面的交互預測。最終將得到的模型組進行對比分析，選擇預測準確率與整體均衡性最高的模型。

2.3 SBV多源信息融合優化

在Bagging-Vote 算法和Stacking 融合框架的基礎上，結合不平衡數據集成采樣算法，嘗試將Tomek-Smote-Stacking 框架與Up-Down-Bagging-Vote 集成算法相融合，并加入經過卡爾曼濾波技術過濾后的收益率數據，形成數據層面與模型層面的交互式優化提升，構建SBV 多源信息融合模型，其構建流程如圖4 所示。

圖4 SBV信息融合模型構建流程Fig.4 Construction process of SBV information fusion model

對于SBV 信息融合模型的構建流程大致分為如下幾個步驟：

步驟1 對訓練集樣本進行Tomek 清洗后用SMOTE 算法人工樣本合成新樣本得到STS，用不同框架下的Stacking 分類器進行訓練學習，具體流程如圖2 所示。

步驟2 對訓練集樣本進行Up-Down 集成抽樣，得到SUD，用單分類器模型彈性網、隨機森林和XGBoost 對處理過的SUD樣本集進行訓練學習，得到若干個單分類器ENi、RFi和XGBi，具體流程如圖3 所示。

步驟3 用在步驟1 和步驟2 得到的分類器對測試集樣本進行預測，得到對樣本集的預測概率。

步驟4 參考卡爾曼濾波方法在β 估計中的應用［19］，結合資本資產定價模型，過濾掉樣本集的收益率中大盤的影響，并進行分析比較，形成數據層次與模型層次的交互式融合。

步驟5 基于Stacking 融合框架、BV 集成算法與過濾后收益率的直接融合，得到若干個基于不同框架與不同層次的信息融合模型，并將最終的預測結果進行對比分析，得到合適的模型。

3 實驗與結果分析

3.1 評價準則

本文的模型設計與結果驗證基于Rstudio 編程實現，設定的分類結果矩陣如表1，其中TP（True Positive）和TN（True Negative）代表預測和真實值一致的情況，FP（False Positive）和FN（False Negative）代表預測值和真實值不一致的情況。

表1 分類結果矩陣Tab.1 Matrix of classification results

本文的正類樣本為財務預警企業，負類樣本為正常上市企業，使用的4 個指標公式如下所示。

召回率（Recall）表示正類樣本被正確分類的完整度，是指分類器對正例樣本分類“能力”的度量，即正確挑選出財務預警企業樣本的概率。

精確率（Precision）表示正確挑選出正類樣本的概率，用來度量被預測為財務預警企業的樣本真實值為財務預警企業的概率。

G-mean 綜合考慮了正類分類和負類分類的準確率，表示正例分類準確率和負例分類準確率的均衡值。

F1 值綜合了準確率和召回率的結果，當F1 值較高時說明算法分類結果比較理想。

3.2 數據來源與指標設計

本文的數據來自國泰安數據庫，在A 股上市公司中，選取在2019 年由正常上市狀態轉為特殊處理的84 家企業，記為財務危機樣本；將剩下的正常上市公司，篩除數據嚴重缺失的樣本后，得到2 854 家上市企業，記為財務正常樣本。選取樣本公司2018 年第一季度到第三季度的財務指標數據和股票市場數據，進行分析處理：其中，本文將股票市場的日度數據轉化為季度數據，留下數據較為齊全且有一定代表性的財務指標，篩除數據缺失嚴重的企業。對剩下的缺失值用RF 算法補齊。將第一季度和第二季度的數據作為訓練集，用于訓練模型；將第三季度的數據作為測試集，來對模型的預測結果進行評估。本文對訓練集數據使用不平衡數據的集成采樣算法使其平衡，但是測試集數據用于模型預測效果的驗證，故而不進行任何處理。

在財務預警模型的構建中，將是否發生財務預警記為因變量Y，將財務指標和市場指標記為自變量Xi。

將在2019 年由正常上市公司轉變為被特殊處理的企業記為發生財務預警的因變量Y=1，將在2019 年未存在特殊處理、退市或被證交所警告的正常上市企業記為因變量Y=0，剔除掉樣本嚴重缺失的企業后，得到樣本分布情況如表2 所示。ST 代表被特別處理，財務狀況異常；ST*代表存在退市風險警示。表2 中，將在2019 年當年發生財務狀況異常、存在退市風險警示和發生退市的企業記為財務預警企業。如表2 所示，AB 代表企業在2019 年被證監會特別處理，由正常上市狀態轉變為ST 企業；AD 代表在該企業在當年由正常企業轉換為ST*企業；AX 代表該企業由正常上市狀態轉為退市；AA 代表該企業為正常上市狀態。

表2 樣本分布情況Tab.2 Distribution of samples

本文的解釋變量在財務指標的基礎上，加入股票市場指標，更契合財務預警成因，以提高財務預警預測的準確性。核心解釋變量體系的構建如圖5 所示，包括資本結構指標、營運能力指標、盈利能力指標和股票市場指標。資本結構指標包括流動比率等的流動資產分布，資產與負債、權益分布，現金流的分布和應收賬款與收入比的分布；營運能力指標包括周轉率與存貨收入比等；盈利能力指標包括利潤率、成本率與費用率等；股票市場指標包括季度回報率、股票流動性指標和大盤指標離差等。

圖5 解釋變量體系的構建Fig.5 Construction of explanation variable system

3.3 結果分析

3.3.1 基于Stacking和BV模型的財務預警預測

本節將Bagging-Vote 信息融合模型與多框架Stacking 融合模型分別應用到財務預警領域，并依次通過集成Up-Down采樣技術、SMOTE 采樣技術與Tomek-Smote 采樣技術對數據樣本進行處理，改變樣本的不平衡性，提高模型性能。實驗結果如表3 所示。

如表3 所示，集成Up-Down 采樣技術下的BV-EN、BV-RF和BV-XGBoost 分別代表不同采樣比例與不同參數下的彈性網、隨機森林和XGBoost 分類器的BV 集成模型；BV-Models代表彈性網、隨機森林和XGBoost 分類器三類分類器同時進行BV 集成得到的融合模型；Stacking-DT、Stacking-SVM 和Stacking-LR 分別表示以決策樹、支持向量機與邏輯回歸為次級分類器的Stacking 融合模型。

表3 基于不同采樣算法的模型預測結果Tab.3 Model prediction results based on different sampling algorithms

通過對比分析研究可以發現：Bagging-Vote 算法與集成Up-Down 采樣技術的適配性更高。就召回率而言，最高的為Up-Down-Stack-SVM 模型，但此時的G-mean 值明顯偏低，可以最大限度上避免遺漏財務預警企業；從總體樣本的預測準確率來看，Up-Down-BV-Models 的綜合預測性能較為均衡，G-mean 值達到90.44%。

通過對比分析可知，多層次的BV（Bagging-Vote）融合模型與不同框架下的Stacking 融合模型對分類器都有一定的提升，但是二者各有特點。BV 算法對多個分類器的集成的提升效果在對數據進行集成Up-Down 采樣的環境下，有一定的提升，可以相對均衡地提高召回率與精確率，但是提升幅度有 限；Stacking 融合框 架則與SMOTE 和Tomek-Smote 采樣技術的適配性更高，在犧牲了模型精確率的基礎上，對召回率有明顯的提升。

基于此，實驗進一步考慮將Tomek-Smote-Stacking 框架融合到Up-Down-Bagging-Vote 集成算法中，得到SBV 融合模型。

3.3.2 基于SBV多源信息融合模型的財務預警預測

Bagging-Vote 算法的優點在于對融合的分類器類型沒有嚴格的限制，因此實驗考慮進行數據層次與模型層次的交互式融合，嘗試對模型性能進行進一步的提升。

在數據層次，公司收益率受大盤短期波動因素的影響，較難很好地對經營狀況形成真實的反映。基于此，通過使用卡爾曼濾波技術對樣本公司的收益率數據進行處理，過濾掉公司收益率中受大盤短期波動影響的部分。過濾后的收益率，對公司的真實經營狀況具有一定的詮釋性，并加入模型池中，用Bagging 算法與分類模型和Stacking 框架進行融合。卡爾曼濾波過濾后的收益率數據分布如圖6 所示。

圖6 卡爾曼濾波過濾后的收益率分布Fig.6 Distribution of return rates after Kalman filtering

如圖6 所示，財務預警企業的數量遠少于正常上市企業，就極值的分布而言，正常上市企業的收益率分布區間為［-0.389 0，0.456 2］，存在財務風險的企業的收益率分布區間為［-0.431 1，0.301 1］。根據收益率上下限和數據分布的數據結構，進行數據層面和模型層面的融合分析。

SBV 多源信息融合模型的構建思路參考了BV 模型的排列組合與投票集成的方式，從而得到可以應用在不同場景，適合不同對象的，以單框架融合（SBV-S）的、多框架融合（SBV-M）的與多框架多層次融合（SBV-MF）的總計420 個模型。

單框架融合模型（SBV-S）是以Stacking 單框架融合BV集成的模型；多框架融合模型（SBV-M）是以多個Stacking 框架融合BV 集成的模型；多框架多層次融合模型（SBV-MF）是多個Stacking 框架結合BV 集成與數據層次的交互式融合得到的多層次多框架的融合模型。實驗以召回率（Recall）、精確率（Precision）和G-mean 值度量指標，對信息融合模型進行排序，選取不同框架不同層次融合下的指標排名前兩名，共計6 組模型進行對比分析。

如表4 所示，分別以召回率、精確率和G-mean 值作為模型預測結果排序的度量指標。

表4 基于不同排序指標的預測結果Tab.4 Prediction results based on different ranking indexes

召回率衡量了模型成功預測出財務困境企業的概率，最高達到97.62%，為多框架多層次的SBV 多源信息融合模型，此時的精確率有較大程度的下降，整體樣本的預測準確率大約維持在89%。

精確率衡量了模型預測出來的財務預警企業的精準度，通過表4 可以發現，在以精確率排序的預測結果中，SBV-S 的精確率最高，達到26.92%。將Tomek-Smote-Stacking-LR 融合模型（表3）與SBV-S 進行對比，可以發現：兩個模型在召回率相同的情況下，后者的精確率、F1 值和G-mean 都有一定的提升。

G-mean 衡量了模型預測性能的綜合能力，均衡地衡量了財務預警企業和正常企業預測準確率。從表4 整體來看，SBV-MF 的G-mean 值相對比較低。SBV-MF 通過加大財務預警企業預測錯誤的懲罰系數，提高成功挑選出具有財務風險企業的概率，在一定程度上犧牲了正常企業的預測準確率。

對表4 進行對比分析可以發現，SBV 模型兼具BV 集成和Stacking 模型的優點，對于模型的性能在準確率和精確率上都有較為全面的提升，并且根據模型的特性，可以為不同需求的利益相關者提供一定的參考。

基于Stacking 多框架與多層次的BV 集成得到的模型（SBV-MF），能最大化地幫助投資者挑選出存在風險的企業，但與此同時，將財務正常的企業誤判為財務風險企業的概率也較大。利益相關者可以通過投資需求選擇恰當的模型，對于風險規避者，可以選擇SBV-MF，有效規避投資失敗的風險；對于風險中性者，可以選擇SBV-M，得到較為均衡的預測結果；對于追求高風險者，可以選擇SBV-S，在一定程度上可以減少將正常企業誤判為財務風險企業的成本。

基于Stacking 單框架的BV 集成得到的模型（SBV-S），能得到較高的精確率和整體樣本的預測準確率，能夠較為精確地挑選出財務預警企業，從而降低對正常上市企業的誤判成本。總體而言，SBV 信息融合模型顯著提升了財務預警的預測準確率，相較于BV 集成模型和Stacking 融合框架又有了進一步的提升，與單分類器相比，提升效果更為顯著，并且利益相關者可以通過實際需要挑選恰當的財務預警模型。

4 結語

在人工智能財務預警研究中，財務風險的企業數量要遠少于正常上市企業，由此產生了嚴重的樣本不平衡問題。為了解決這一問題，重采樣技術被應用到財務預警研究中，然而典型的重采樣技術存在一定的缺陷，比如隨機上采樣容易產生過擬合問題，隨機下采樣則丟失了大部分的信息，SMOTE 人工合成的新樣本容易產生樣本分類的邊界模糊問題等。此外，現有的研究大多使用基礎分類器對財務預警問題進行研究，其分類器的提升始終有限。因此，通過對現有研究的梳理與對前沿技術的深入挖掘，將隨機上采樣與隨機下采樣進行結合，得到集成Up-Down 采樣技術；將Tomek link對應用到SMOTE 采樣中，降低人工合成新樣本產生的邊界模糊，得到Tomek-Smote 采樣技術。集成不平衡采樣技術有效提升了分類器的性能，一定程度上降低了樣本不平衡對財務預警模型預測效果的影響。

在指標的選擇上，考慮到企業遭受財務危機同時受到內因和外因的影響，因此在財務指標數據的基礎上，加入了市場指標數據，將市場信息納入考慮，使得指標體系的構建與財務預警風險的成因更加貼近。在進行模型的BV 集成預測中，加入了使用卡爾曼濾波過濾之后的收益率，過濾了大盤影響之后的企業個體收益率更為真實，并實現數據層次與模型層次的交互，一定程度上提高了模型的預測準確率。

本文的研究還嘗試通過不同層次的Bagging-Vote 集成技術和不同框架的Stacking 模型來提高現有機器學習分類器的預測準確率。隨機森林和XGBoost 作為當前性能較強的分類器，對其本身進行改進得到的提升有限，因此，本文通過融合Bagging-Vote 和Stacking 框架構建的SBV 多源信息融合模型，顯著提高了預測準確率，并且可以根據利益相關者的實際需要選擇對應的模型。對于市場監管者而言，可以選擇精確率較高的模型，減少重點監管企業的數量，實現高效、準確的監管范圍；對于投資者而言，可以選擇召回率值較高的模型，一定程度上規避投資失敗的風險，并降低投資失敗的成本；對于上市公司自身而言，則可以利用多個模型對自己進行預測判別，及時發現并防范風險；對于債權人而言，可以通過財務預警模型判斷債務人的財務境況，降低資金無法回收的風險。

在未來的研究中，可以從以下方面進行深入探討：1）對于數據的真實性問題，由于上市公司公開的財務數據可能經過了一定的修飾與潤色，并不能真實地反映企業的經營發展狀況，在分類器的學習過程中，財務指標數據的失真問題在一定程度上會影響分類器的判斷。在未來的研究中，將通過文本挖掘技術等方法，對財務數據的真實性進行進一步的審核與改進，使用更為真實的數據，來構建具有更廣泛、更貼合實際應用的企業財務預警模型。2）在評估模型性能的指標方面，本文使用了較為傳統的統計學指標。然而，基于財務預警的特殊性，統計指標并不能準確地衡量模型的性能。因此結合具體的實際情景，未來的研究中將構建更具有經濟意義的指標，從契合財務預警研究的角度衡量模型的性能。