基于XGBoost的上市企業財務違約預測研究*

王 行，李亞瓊

(1.湖南大學 數學學院，湖南 長沙 410082；2.湖南大學 金融與統計學院,湖南 長沙 410006)

1 引 言

近些年A股市場規模發展迅速，已然成為重要的資本市場.A股上市公司作為中國實體經濟的典型代表和經濟發展的中流砥柱，一旦出現財務違約引發財務危機，不僅公司自身會遭受經濟損失和信譽損耗，同時投資者的利益也將蒙受嚴重損害，甚至可能對金融市場和社會的穩定造成沖擊.因此科學合理地建立上市公司財務違約風險預警機制，為風險管理者和投資者提供可靠決策，這對上市公司、投資者以及社會經濟的發展都具有重要意義.

上市企業的財務違約風險預測一直是學界和業界關注和研究的熱門課題，而過去的研究中采用的模型較為簡單，建模時所用數據也以財務指標為主.Beaver[1]采用單一財務指標變量分析的方法測算違約概率.但僅用一個指標是難以對公司的財務狀況進行多維度評價，其后有學者提出多元財務變量的預測模型.比如Altman[2]提出基于幾個固定的財務比率的Z-score模型，Ohlson[3]基于Logistic模型對反映公司經營盈利能力等多個財務指標數據進行建模分析, 曹勇等[4]則針對國內上市公司采用Logistic進行違約預測.

由于近些年人工智能的蓬勃發展，機器學習領域的支持向量機、隨機森林、決策樹等經典模型被廣泛用于預測研究.Shin等[5]基于支持向量機模型擬合韓國1996-1999年間上市公司破產的數據.Frydman等[6]首先將決策樹引入財務預警研究中，鮑新中等[7]選取反映公司成長能力、償債能力等多維財務指標利用決策樹對制造業上市公司財務違約進行預警，但單棵的決策樹容易發生過擬合導致在新數據上的泛化能力不強.孟杰[8]則考慮基于集成學習的隨機森林算法，學習生成多棵決策樹，各個決策樹的結果以“投票”的形式選出公司預測的最終結果，雖然預測準確率有所提升但樹的獨立性對變量的解釋性有所減弱.XGBoost(extreme gradient boosting)[9]是目前機器學習領域較新的算法，不同于隨機森林Bagging的集成學習思路，XGBoost是基于梯度提升完成集成學習.在違約預測問題上具有以下優勢：1)XGBoost模型使用前無需對數據歸一化處理，對缺失值能有效處理.2)模型增加了對樹結構復雜度的懲罰項，能夠有效避免過擬合的問題.3)模型迭代式生成樹，并提供增益、覆蓋、權重等多個選項和維度描述特征重要性，具有較強變量解釋性.

從上市公司信息披露的內容來看，主要包含財務指標數據和文本報告.上述論文在財務違約預測主要使用的財務指標數據，但文本報告也是信息披露中的重要部分.賀建剛等[10]、Muslu等[11]的研究表明年報中管理層討論與分析可以為外部投資者提供了解企業現狀和預測未來的有用信息，在一定程度上可以緩解投資者、分析師等外部信息使用者與上市公司之間的信息不對稱.因此本文同時采用定量財務指標數據與定性的管理層討論與分析文本數據對上市公司進行財務違約預測和分析.

對于管理層討論與分析文本的研究，有學者以正負面情感來量化年報中的文本語調并實證檢驗了其存在參考價值.謝德仁等[12]基于英文年報用詞構建的詞典來分析中文年報中管理層討論與分析的文本語調.雖然翻譯成中文后具有一定參考性，但中文用詞和英文用詞存在差異.王澤霞等[13]基于專業性、真誠性和前瞻性深度等語言特征測度指標來分析年報中的管理層討論與分析文本和企業未來業績表現的關聯.由于過多地依賴詞匯類別字典和人工判別，造成特征間信息重疊的可能性較大且操作方法不易推廣.

為此本文采用Jiang等[14]基于Loughran 和 MacDonald[15]詞典，word2vec算法等方法構造的全新的中文金融文本情感詞典，依據積極和消極情感詞典構建表面語調情感指標.另一方面，為了克服依賴情感詞典導致對文本中出現的包括無情感而實際隱含積極和消極意味或行為等特征詞的忽視，本文對ST公司和正常公司年報中管理層討論與分析文本的非情感的特征詞進行提取，并構建隱含違約傾向指標.通過表面語調情感指標和隱含違約傾向指標兩個指標，將管理層討論與文本中有助于財務違約預測的增量信息進行充分的提取，并結合定量的公司財務數據組成特征集.最后基于XGBoost模型實現對上市公司的財務違約風險的準確預測.

本文應用定性文本數據參與違約預測。基于全新的中文情感詞典構建表面情感語調指標以量化文本字面的積極或消極的情感傾向，進一步利用擴展的TF-IDF方法構建隱含違約傾向指標量化文本隱含的違約傾向。兩種指標特征間信息重疊較小，并對定性文本數據有效地降維；利用XGBoost模型對特征進行重要性排序，并結合敏感性分析對本文構建的文本特征的有效性進行了有力驗證。

2 實證研究設計

2.1 樣本和數據

學術界普遍將風險警示ST視為上市公司陷入財務危機的標志.本文選取2017-2019年期間A股制造業上市中被ST的78家公司和日期對應并規模相似的78家正常的公司，樣本配對比例為1∶1.由于上市公司發布t-1年報與其在t年是否被特別處理這兩個時間點相近，為此本文采用了t-2年的財務數據和年報文本數據進行分析并建立模型預測公司是否會在t年出現財務違約.因此對應數據的時間區間為2015-2017年.

本文樣本公司的財務數據來源于國泰安數據庫，考慮相關財務違約預測研究的指標選取經驗,并兼顧數據的可獲取性.從反映上市公司償債能力、經營能力、盈利能力和發展能力的四個方面初選取26個財務指標.公司的年報文本是從新浪財經網下載，并截取管理層討論與分析的文本內容.獲取共156家的公司的管理層討論與分析文本，在去除停用詞后共有55.285萬字數.

2.2 數據預處理

獲取財務數據和文本數據后，對數據進行預處理，主要包括對財務數據的缺失值填充和文本數據的分詞.在財務數據預處理中，對選取的26個財務指標中的缺失值采用均值填充方法.

在文本數據預處理中，首先基于Python的中文分詞工具庫Jieba對管理層討論與分析文本分詞，再基于中文停詞表對中出現頻率較高的符號、虛詞、介詞等無實際含義的符號和詞匯刪除.

2.3 管理層討論與分析的文本量化方法

上市公司在年度報告中會對公司經營和財務情況進行披露，在管理層討論與分析中對當期財務做進一步解釋，并從公司管理層的角度對未來一年的經營和發展中可能遇到的風險和挑戰進行說明.該部分的措辭會受到上市公司經營狀況的影響，量化具有差異性的措辭信息并納入財務風險預警的考量因素中，或許對投資者和市場管理者規避風險有所幫助.

本文基于“詞袋”假設，其假定文檔是詞的集合且詞的出現是相互獨立的.采用兩種方法對管理層討論與分析文本進行違約傾向的量化.一種方法是從語調情感出發，對文本中積極和消極情感進行量化，并構建表面語調情感指標STONE.另一種方法是從特征詞的角度量化文本，借鑒Cecchini[16]的TF-IDF擴展方法，對不同類別文本的特征詞匯進行提取計算ts得分作為權重，進一步構建隱含違約傾向指標IPD.

2.3.1 基于情感詞典的表面語調情感指標構建

基于Jiang等[14]構建的中文金融文本情感詞典，將分詞后的文本對應情感詞典進行積極詞匯和消極詞匯的匹配，計算出管理層討論與分析的積極傾向值POSTONE和消極傾向值NEGTONE，其表達式分別：

(1)

(2)

其中postwordsj和negwordsj分別表示t年財務正常或出現財務違約的上市公司j在t-2年年報中管理層討論與分析文本積極詞和消極詞的頻數.進一步構建文本的表面語調情感傾向指標STONE(Superficial Tone)的表達式：

(3)

最終計算的STONEj表示公司j的t-2年年報中管理層討論與分析文本的表面情感傾向值，STONEj的值越大，則表明語調情感越傾向于樂觀積極.相反，STONEj的值越小則表示越傾向于悲觀消極.

2.3.2 基于擴展的TF-IDF方法的特征詞提取

基于特征詞在不同文檔間重要程度差異和在不同類別間重要程度差異的思想，通過擴展的TF-IDF方法，計算各個類別中特征詞的得分，特征詞的得分高低體現重要程度.不同于經典的TF-IDF方法僅考慮特征詞匯所在文檔詞頻和出現在其他文檔頻率，擴展的TF-IDF方法考慮了特征詞匯所在文檔詞頻、同類文檔詞頻和出現在異類文檔頻率.

建立ST公司文本語料庫和正常公司文本語料庫，兩個語料庫中各自包含ST公司和正常公司t-2年年報中管理層討論與分析的文本文檔.所有文檔經過文本預處理.首先計算一篇文檔中某個詞在本篇文檔中的出現頻率和在另一個語料庫的文檔數次數，通過式(4)計算每篇文檔中每個詞的詞匯文檔得分tds.再利用式(5)對一個語料庫中每個詞在每篇文檔中的得分進行求和，得到詞得分ts.計算詞匯得分ts之后，經過排序之后根據需要選取前n個詞作為文本的特征詞匯.

(4)

tsik=∑jtdsijk·log(nk),k∈{0,1}.

(5)

2.3.3 基于特征詞的隱含違約傾向指標構建

通過選取特征詞并利用式(5)計算其權重ts，以及利用式(4)中已經計算的特征詞頻率tf.由此構建基于文本分析的公司隱含違約傾向指標 IPD(Implicit Propensity for Default)：

(6)

其中k=1,表示第一類t年出現財務違約的公司,l=0,表示第二類t年財務正常公司.IPDj表示上市公司j的違約傾向值，tfik表示財務違約公司的文本特征詞匯ti在t-2年年報管理層討論與分析中出現的頻率，tsik表示財務違約公司的文本特征詞匯ti的權重.相應的，tfil和tsil分別表示正常公司的特征詞匯ti的詞頻和權重.

2.4 實證模型

上市公司財務違約預測是二分類預測的問題，一類狀態是財務正常，另一類狀態是財務違約被ST特殊處理.目前在財務違約預測的研究中被廣泛使用的基本模型和方法集中在傳統統計模型和機器學習方法.機器學習方法中的XGBoost算法具備預測分類的能力，其在預測分類問題中表現較強的優越性、穩健性以及泛化能力，因此本文選擇XGBoost作為實證模型.

XGBoost是目前機器學習領域中較新的一種集成學習算法，其迭代地生成學習器，前后的學習器間存在強依賴性.提取財務數據和文本數據的特征后，得到數據集

D={(xi,yi)},i=1…n，xi∈Rm,yi∈{0,1}.

其中n表示樣本量，每個樣本具有m個特征并且對于標簽值yi，其中yi=0表示上市公司i在t年財務正常，yi=1表示上市公司i在t年被ST處理，xi表示上市公司在t-2年時的財務指標和年報中管理層討論與分析部分的文本特征.假設有K棵回歸樹，則模型表示為：

(7)

其中，fk表示第k棵回歸樹，fk(xi)表示第k棵對第i個樣本的計算值，F表示回歸樹的集合.下面是模型求解過程中經過一系列推導得到的目標函數：

(8)

目標函數Obj又被稱為結構分數，分數越小表示樹整體的結構越好，其建立了樹的結構與模型效果的直接聯系.采用貪心算法對樹進行分枝，即每進行一次分枝需要選擇結構分數增益高的特征.當整體結構分數低于先前設定的閾值時，樹停止生長.分枝前后結構分數的增益可表示為

(9)

其中

GL=∑i∈ILgi,GR=∑i∈IRgi,HL=∑i∈ILhi,HR=∑i∈IRhi.

(10)

IL和LR分別表示樹分類后左右子樹和右子樹的樣本組.分枝特征的平均結構分數增益可以體現出特征的重要性程度，即對于上市公司的財務違約預測的重要性，由此可得出所有特征的重要性排序.

3 實證分析與結果

3.1 財務和文本數據的處理

對財務定量數據和文本定性數據分別處理和分析，并對抽取后得到的特征進行建模.通過相關性分析和獨立樣本t檢驗對財務定量數據選擇出11個財務指標.這11個財務指標是流動比率(x1)、現金比率(x2)、資產負債率(x3)、權益對負債比率(x4)、資產報酬率(x5)、凈資產收益率(x6)、營業凈利率(x7)、應收賬款周轉率(x8)、現金及現金等價物周轉率(x9)、流動資產周轉率(x10)、資本保值增值率(x11).

對定性文本數據，首先基于積極和消極情感詞典對所有公司t-2年年報中的管理層討論與分析的文本逐一進行積極詞和消極詞的匹配和詞頻計算得到poswords和negwords，再通過式(3)計算表面語調情感指標得分.通過擴展的TF-IDF計算詞匯得分，本文分別選取tsi0和tsi1得分前300個特征詞，并從中選取卡方檢驗顯著的特征詞，此外為防止與STONE指標產生信息重疊，剔除出現在情感詞典中的詞匯，如“增長”“提高”“訴訟”“虧損”等具有表面積極、消極情感的詞匯.最終得到90個ST公司特征詞和90個正常公司特征詞，利用式(6)計算公司的隱含違約傾向指標IPD.

3.2 財務違約風險預測模型評價

3.2.1 交叉驗證

對數據進行訓練集和測試集分割，70%樣本作為訓練集，30%樣本作為測試集.通過K折交叉驗證來確定模型的最佳參數，即將訓練集分為K份，輪流擇其1份作為驗證集，剩余K-1份作為訓練數據，依次進行訓練和驗證，計算相應的評價指標，最后將K次試驗的評價指標值的均值作為模型預測精度的估計.本文采用常規的十折交叉驗證進行試驗.

3.2.2 財務違約預測評價指標的構建

考慮到ST公司而被預測為正常公司的代價不同于正常公司而被預測為ST公司的代價，代價的差異取決于風險管理者和投資者所關注的決策效益，因此構建不同評估指標，包括漏警率(Missing Alarm Rate, MAR)、假警率(False Alarm Rate, FAR)、總體準確率(Accuracy, ACC)和受試者工作特征曲線下的面積(Area Under Curve，AUC).

MAR是指實際為ST公司被預測為正常公司的比例，FAR是實際為正常公司而被預測為ST公司的比例，MAR和FAR的值越小表示模型誤判比例小.ACC表示公司狀態預測準確的總體比例,AUC表示模型受試者工作特征曲線下的面積，是衡量模型優劣的性能指標.ACC和AUC值越大表示模型具有越好的預測分類和擬合效果.

3.3 財務違約預測和分析

采用XGBoost對公司的財務數據和管理層討論與分析文本量化STONE和IPD特征建立上市公司財務違約預測模型，并且和基于其他分類器的預測模型比較分析.進一步地，為了判斷情感語調和隱含違約傾向對定量財務違約模型的增強效果和驗證指標的有效性，并且考慮在財務特征集的基礎上不加STONE和IPD特征、僅增加STONE特征、僅增加IPD特征、增加STONE和IPD特征四種情況，來對STONE和IPD特征進行敏感性分析.

3.3.1 模型預測效果比較

針對目前在財務違約預測中常用算法，采用XGBoost、支持向量機(Support Vector Machine, SVM)、決策樹(Decision Tree, DT)、隨機森林(RandomForest, RF)以及邏輯回歸(Logistic Regession, LR)建模.從表1可以看出，XGBoost財務風險預測模型在假警率和總體準確率方面優于其他模型，預測的假警率低至8.69%，同時總體準確率高達91.48%.

表1 預測分類結果對比 %

3.2 財務違約預測模型解釋性驗證

XGBoost除了在預測精度上具有優勢外，同時還具有良好的可解釋性.基于XGBoost集成了50棵回歸樹對財務違約預測模型進行解釋性驗證.如圖1所示，此處只展示第1棵樹和第50棵樹.

圖1 基于XGBoost的財務違約預測模型的決策圖

樹的每個節點在做分枝決策時都在選取特征集中結構分數增益大的特征，由于XGBoost模型生成多棵樹，所以一個特征會在多棵樹上出現.因此可以將每個分枝特征的平均結構分數增益Gain作為度量特征重要性的標準.Gain越高意味著相應的特征對于預測財務違約越重要.對于重要性程度高的特征，在收集數據階段應該加以重視，保證預測精度.

隱含違約傾向指標IPD和表面語調情感指標STONE位于特征重要性排序的前兩位，如圖2所示，這表明管理層討論與分析的文本特征能夠反映上市公司財務健康狀況，其重要性不亞于財務指標.凈資產收益率x6的重要性僅次于文本特征，說明具有財務違約風險的公司與正常公司在自有資本獲得凈收益的能力上是具備較高差異的.相比之下，流動比率x1處于特征重要性排序最后一位，相對于其他參與排序的特征重要性不足，除此之外，由于在所有樹的分枝中流動資產周轉率x10都沒有發揮作用，所以沒有Gain值且未參與重要性排序，可以考慮舍棄以加速模型訓練.

特征

3.3.3 文本特征的敏感性分析

為了進一步驗證構建的表面語調情感指標和隱含違約傾向指標對于財務違約預測的重要性和增強效力，利用敏感性分析，考慮在財務指標特征集的基礎上的4種特征組合，XGBoost財務違約模型的預測結果見表2.

表2 不同特征組合下XGBoost預測結果比較 %

當財務指標特征集結合表面語調情感特征STONE時，模型預測的假警率FAR指標有較大幅度降低，總體準確率ACC略有提高.當財務指標特征集結合隱含違約傾向IPD特征時，模型預測的漏警率MAR指標有較大幅度降低同時總體準確率有所提高.當STONE和IPD同時加入特征集，結合STONE和IPD特征兩種預測優勢，模型預測的MAR和FAR同時降低，總體準確率ACC達到91.48%.當模型的應用場景中更關注漏警率時，可考慮使用財務指標特征集結合IPD特征組合三，這時模型的漏警率MAR最低僅有4.16%.當應用場景中更重視總體準確率時，可考慮使用財務指標特征集結合STONE和IPD的特征組合四.因此，管理層討論與分析的文本特征對于財務違約預測具有較高的增強效力，在數據收集和特征提取時應以重視.

應用XGBoost方法對上市公司財務違約進行預測，不僅能夠實現較高的準確率，并且有利于風險管理者和專業量化投資者判別該模型的可靠性，進一步可結合特征重要性對預測模型作出改進.

4 結 論

本文選取A股制造業2017-2019年間78家ST公司與78家正常公司為研究對象，結合定量財務數據與年報中管理層討論與分析的文本數據建立上市公司財務違約預測模型.針對定性文本數據，本文分別基于情感詞典和擴展的TF-IDF方法抽取特征詞匯，構建表面語調情感指標(STONE)和隱含違約傾向指標(IPD)，并將兩種量化文本的指標與財務指標數據結合，基于XGBoost模型對上市公司財務違約風險預測.實證表明構建的XGBoost財務違約模型相比支持向量機、隨機森林、決策樹和邏輯回歸在預測精度上具有明顯優勢.最后通過特征重要性排序和敏感性分析驗證了所構建的表面語調情感指標和隱含違約傾向指標的有效性.

本文的研究局限于A股制造業上市公司，雖未對其他行業的公司進行研究，但本文的研究思路和操作可供推廣和借鑒.此外在本文財務指標數據和管理層討論與分析文本數據的基礎上，進一步地，還可以增加內部控制、股權結構和宏觀經濟方面的定量數據，以及其他渠道如新聞報道和社交媒體上的定性文本數據.當然這些數據能否在本文的指標基礎上額外提供有助于預測的增強效力，還需要進一步的研究.