深度學習在金融領域的應用研究綜述

付鈺菲　汪明艷

摘? 要：隨著人工智能和金融科技的快速發展，機器學習尤其是深度學習在金融領域的應用引起了人們濃厚的研究興趣。為了探索金融深度學習的應用領域，對近十年金融深度學習的文獻進行了總結，并分別從模型介紹和應用領域兩個方面進行了歸納。結果發現：金融深度學習常用的模型包括卷積神經網絡、循環神經網絡和長短期記憶神經網絡，并且它們在金融文本分析、金融風險評估和異常檢測以及投資組合管理方面均有著廣泛的應用。未來可以將新的文本挖掘和自然語言處理技術應用到行為金融學領域進行更深入的研究，同時還可以探索將深度學習應用到加密貨幣和區塊鏈等新興金融領域的更多可能性。

關鍵詞：深度學習;神經網絡;文本分析;風險評估;投資組合管理

中圖分類號：TP399? ? ?文獻標識碼：A

A Research Overview of the Application of Deep Learning in the Financial Field

FU Yufei， WANG Mingyan

（School of Management， Shanghai University of Engineering Science， Shanghai 201620， China）

291732841@qq.com; wmy61610@126.com

Abstract： With the rapid development of artificial intelligence and financial technology， the application of machine learning， especially deep learning in the financial field， has aroused strong research interest. In order to explore the application fields of financial deep learning， this paper proposes to summarize the literature of financial deep learning over the past ten years， from two separate aspects： model introduction and application field. Results show that the commonly used models of financial deep learning include convolutional neural network， recurrent neural network and long short-term memory neural network. They have a wide range of applications in financial text analysis， financial risk assessment and anomaly detection， and portfolio management. In future， new text mining and natural language processing techniques can be applied to the field of behavioral finance for more in-depth research. At the same time， more possibilities for applying deep learning to emerging financial fields such as cryptocurrency and blockchain can also be explored.

Keywords： deep learning; neural network; text analysis; risk assessment; portfolio management

1? ?引言（Introduction）

早在40 年前的國外，金融就一直是機器學習研究最多的應用領域之一。我國關于機器學習在金融領域的應用研究雖然起步較晚，但是隨著我國人工智能的發展，文獻數量也急劇增長，股票市場預測、金融風險評估、投資組合管理等是其中最需要解決的幾個問題。而在機器學習領域中，深度學習又是一個新興領域。相對于傳統的機器學習算法在訓練之前需要預處理和特征提取，深度神經網絡可以使用多層非線性處理單元的級聯來進行自動特征提取和轉換，這些層可以使神經網絡發現數據之間的非線性關系，并提高從原始數據學習的能力（LECUN，2015）[1]。基于此，本文首先介紹了金融領域最常用的三個深度學習模型，包括卷積神經網絡（Convolutional Neural Network， CNN）、循環神經網絡（Recurrent Neural Network， RNN）和長短期記憶神經網絡（Long Short-Term Memory， LSTM）;然后通過收集并整理相關文獻對深度學習在金融領域的幾個應用做了詳細介紹;最后進行了總結分析。

2? 金融領域常用的深度學習模型介紹（Introduction to deep learning models commonly used in the financial field）

深度學習模型是一種具有多層神經網絡的復雜體系結構，可以逐步從輸入中提取高級特征。金融領域出現最多的深度學習模型主要有三種：卷積神經網絡（CNN）、循環神經網絡（RNN）、長短期記憶神經網絡（LSTM）。

2.1? ?卷積神經網絡（CNN）

CNN是一種受人類視覺機制啟發的深度學習模型，主要用于圖像分類、圖像識別問題，后來也被用于文本分類。在大多數CNN架構中，有不同類型的層：輸入層、卷積層、池化層（平均值或最大值）和全連接層。具有不同層的廣義CNN架構如圖1所示。

輸入層獲取原始輸入，接下來特征提取層（包括卷積層和池化層）學習相關的特征。卷積層運用被稱為特征檢測器的濾波器來學習特征并生成特征圖，一般使用1×1、3×3和5×5的濾波器尺寸。池化層也被稱為降維方法，用來提取相關的特征，留下不必要的特征，這樣就減少了輸入的空間維度。最大池化是運用最多的池化類型，它從每個窗口取最大值。經過卷積運算獲得的輸出層和池化層的降維可以加快計算速度。最后，將特征提取層產生的特征傳遞到全連接層，其中全連接層中的每個神經元都連接到前一層的神經元。

CNN的優點是可以通過卷積自動對需要的特征進行提取，并且它還共享卷積核，可以用來處理高維數據。CNN的缺點是在池化層采樣的過程中丟失很多有用的信息，并且由于特征提取的封裝，為改進網絡性能罩了一層黑盒。

2.2? ?循環神經網絡（RNN）

RNN主要用于處理時間序列數據，包括音頻、語音和語言等序列數據，由連續結構化的RNN單元組成，結合之前狀態的RNN結構，如圖2所示。用于傳統預測分析的人工神經網絡（Artificial Neural Network， ANN）模型不適用于序列數據，因為它們將每個輸入視為一個獨立的實體，而序列數據中的觀察結果不是相互獨立的。與其他前饋網絡不同的是，RNN使用內部存儲器來處理傳入的輸入，在其操作過程中，逐個處理序列數據。值得注意的是，它考慮了處理序列中元素的時間因子，使用隱藏狀態保留先前處理的觀察結果，并在下一個將要處理的觀察結果中使用。因此，RNN中的輸出不僅取決于當前的輸入，而且還取決于從網絡先前隱藏狀態計算出的輸出。

RNN的特殊結構使其具有如下兩個優點：首先，它可以針對任意長度的序列輸入向量進行建模;其次，在處理序列數據時，可以考慮到每個時間步驟的前后信息。RNN中的信息通過循環傳播，這使得模型可以使用相同的參數，從而降低參數的復雜度。RNN的缺點是不支持長期記憶并且面臨梯度消失問題。

2.3? ?長短期記憶神經網絡（LSTM）

LSTM是RNN的一種變體，LSTM網絡由LSTM單元組成。LSTM單元由輸入門、輸出門和遺忘門組成，這三個門控制著信息的流動。遺忘門決定應該保留或丟棄單元狀態中的哪些信息，而輸入門負責在單元狀態中應該存儲哪些新信息，輸出門接收當前輸入、先前隱藏狀態輸出和新計算的單元狀態，以便為當前輸入觀察依次生成新的隱藏狀態和輸出。有了這些功能，每個單元格都會記住任意時間間隔內的所需值。基本的LSTM單元如圖3所示（σ：sigmoid函數;tanh：雙曲正切函數;×：乘法;+：加法）。

LSTM通過引入門控機制解決了RNN的缺點，如梯度消失和不支持長期記憶問題。LSTM網絡的優勢在于可以記住網絡中的短期和長期值，因此被廣泛應用于自動語音識別、語言翻譯、手寫字符識別、時間序列數據預測等序列數據分析。

3? 深度學習在金融領域的應用（The application of deep learning in the financial field）

3.1? ?金融文本挖掘

隨著社交媒體和實時新聞媒體的快速傳播，基于即時文本的信息檢索也被應用于金融模型開發。通過對新聞、財務報表、公司信息披露等內容的上下文進行分析可以得到很多有用的信息，因此金融文本挖掘研究在最近幾年變得非常流行。例如，HAN等人[2]首先基于一種新的事件類型模式分類算法，對中國企業的不同事件類型進行了分類。此外，還使用其他的輸入因素對股票價格進行了預測。KRAUS等人[3]基于金融新聞和股票市場數據，使用文本挖掘技術實現了具有遷移學習的LSTM模型。DANG等人[4]使用Stock2Vec和雙流GRU（TGRU）模型從金融新聞和股票價格中生成輸入數據，用于股票價格分類。張夢吉等人[5]提出了一種基于CNN-RNN的新聞事件分類模型，并運用LSTM模型結合資金流向和公司財務來對個股趨勢進行預測。

3.2? ?金融文本情感分析

行為金融學最重要的組成部分之一是情緒或投資者情緒。文本挖掘技術的進步為通過網絡媒體或社交媒體成功提取情感提供了可能性。人們對金融情感分析越來越感興趣，尤其是將使用深度學習的情感分析模型應用于金融市場預測方面。ZHUGE等人[6]利用指數數據的價格和文本帖子中的情緒數據預測第二天的股票開盤價。DAS等人[7]利用Twitter情緒數據和股票價格數據預測谷歌、微軟和蘋果三個公司股票的價格。耿立校等人[8]提出了一種基于CNN的情感分析模型來構建投資者情緒特征，并運用LSTM模型進行股票趨勢的預測。溫玉蓮等人[9]采用Word2vec和BiLSTM相結合的方法進行情感分析，然后利用股票時序數據和情感指標進行股票預測。

3.3? ?異常檢測

金融欺詐檢測也被稱為異常檢測，是各國政府都非常重視的一個問題，亟待研究出一個良好的解決方法。異常檢測可以說是機器學習研究最廣泛的領域之一，一般是分類問題。

信用卡異常檢測是此研究領域研究最多的一個問題。ANDER等人[10]運用MLP網絡對信用卡交易是否存在異常進行分類。JURGOVSKY等人[11]使用LSTM從信用卡交易序列中檢測信用卡欺詐問題，并將結果與RF進行了比較。楊磊等人[12]應用深度學習中的Transformer編碼器挖掘用戶的數據和信息，然后將其作為分類模型的輸入來判斷用戶是否違約。劉穎等人[13]首先構建了利用boosting算法增強的支持向量機（SVM）和隨機森林（RF）結合的基分類器簇，然后運用深度信念網絡（DBN）和基分類器簇共同進行信用卡欺詐的分類。

對于其他異常檢測問題，WANG等人[14]使用文本挖掘和DNN模型來檢測汽車保險欺詐。GOUMAGIAS等人[15]使用深度Q學習預測風險厭惡型企業的逃稅行為，并提供了使稅收收入最大化的相關建議。黃良瑜等人[16]提出一種基于網絡嵌入和LSTM模型的異常交易行為檢測方法，能有效檢測出市場上的異常交易行為。

3.4? ?金融風險評估

風險評估指的是識別任何給定資產、公司、個人、產品、銀行等的“風險”，包括但不限于破產預測、財務困境預測、企業信用評級、債券評級、貸款申請、消費者信用評分等。能夠準確地識別這些風險是至關重要的，因為資產定價高度依賴于這些風險評估措施。其中一個最廣為人知的例子就是2008 年全球金融危機，由于金融機構間信用違約互換（CDS）風險評估不當的抵押貸款危機導致房地產泡沫破滅，進而導致全球經濟大蕭條，而將深度學習應用于風險評估領域可以獲得更高的準確性。

大多數風險評估研究集中在信用評分和財務困境預測上。關于信用評分分類問題，LUO等人[17]使用信用違約互換數據進行企業信用評級，并將其信用等級劃分為A、B、C三類。在測試的模型中，帶有受限玻爾茲曼機（Restricted? Boltzmann Machine， RBM）的深度信念網絡（Deep Belief? Network， DBN）表現最好。類似地，YU等人[18]采用DBN、反向傳播（Back Propagation，BP）和SVM的級聯混合模型進行信用分類，取得了良好的性能結果（準確率為80%—90%）。王重仁等人[19]提出了一種融合注意力機制的LSTM和CNN相結合的神經網絡模型來對個人信用進行評分，以提高信用風險評估的準確性。陳學彬等人[20]運用擅長處理長時間依賴關系的LSTM神經網絡方法構建了中國信用債違約風險預測模型，并且達到了較高的預測準確率。

關于銀行和企業的財務困境預測問題，RONNQVIST等人[21]運用文本挖掘識別銀行是否處于困境，具體做法為從金融新聞中提取數據，然后使用深度前饋網絡（Deep Feedforward Network， DFFN）對從詞嵌入中提取的語義句子向量進行分類。KVAMME等人[22]使用CNN和RF模型來預測客戶是否會違約其抵押貸款。

3.5? ?投資組合管理

投資組合管理是在一個給定時期內選擇投資組合中的各種資產的過程。一般來說，投資組合管理包括以下相關領域：投資組合優化、投資組合選擇、投資組合分配。投資組合管理實際上是一個優化問題，確定在給定時期內選擇表現最好的資產的最佳可能行動路線。

針對投資組合選擇問題，LEE等人[23]比較了用于股票價格預測的三個RNN模型（S-RNN、LSTM、GRU），然后根據預測選擇股票來構建基于閾值的投資組合。張虎等人[24]運用自注意力神經網絡模型結合過去60 個交易日的因子數據預測滬深300成分股未來一個月的價格變動趨勢，從而選出前50 個上漲概率最大的股票構建投資組合。閆洪舉[25]提出了一種基于深度自動編碼器的方法，以確定構建指數跟蹤組合所需的股票，并利用深度神經網絡模型對個股的權重進行測算。

4? ?結論（Conclusion）

金融領域常用的深度學習模型主要有三種：CNN、RNN、LSTM。CNN使用卷積濾波器來識別數據中的模式，廣泛應用于圖像識別領域和自然語言處理領域。RNN旨在識別序列模式，它在上下文至關重要的情況下尤其強大，因此常用于情感分析。LSTM網絡是一種特殊的RNN，能夠學習長期上下文和依賴關系，彌補了RNN的梯度消失和不支持長期記憶的問題。金融深度學習主要的應用領域有金融文本分析、異常檢測、金融風險評估和投資組合問題。其中，金融文本分析為研究最多的領域，通常運用文本挖掘和情感分類對財經新聞、社交媒體等文本信息進行分析，從而實現對股票價格、股票趨勢等的預測。

雖然文本挖掘和情感分析已經受到了很多的關注，但行為金融學是一個廣泛的研究領域，還有很多值得深入研究的東西，尤其是在我國利用深度學習進行研究的文獻還比較少。而文本挖掘技術、自然語言處理技術以及基于代理的計算金融和語義相結合的技術的發展為此研究領域提供了新的研究機會，未來可以進一步對這一領域進行研究。此外，隨著一些新的金融領域的興起和流行，它們對金融市場的影響也越來越大，例如加密貨幣和區塊鏈技術，將深度學習創新地應用于這些新興的金融領域可以為金融市場探索更多的可能性。

參考文獻（References）

[1] LECUN Y， BENGIO Y， HINTON G. Deep learning[J]. Nature， 2015， 521（7553）：436-444.

[2] HAN S Q， HAO X L， HUANG H L. An event-extraction approach for business analysis from online Chinese news[J]. Electronic Commerce Research and Applications， 2018， 28（3/4）：244-260.

[3] KRAUS M， FEUERRIEGEL S. Decision support from financial disclosures with deep neural networks and transfer learning[J]. Decision Support Systems， 2017， 104：38-48.

[4] DANG L M， SADEGHI-NIARAKY A， HUYNH H D， et al. Deep learning approach for short-term stock trends prediction based on Two-Stream Gated Recurrent Unit Network[J]. IEEE Access， 2018， 6：55392-55404.

[5] 張夢吉，杜婉鈺，鄭楠.引入新聞短文本的個股走勢預測模型[J].數據分析與知識發現，2019，3（05）：11-18.

[6] ZHUGE Q， XU L Y， ZHANG G W. LSTM neural network with emotional analysis for prediction of stock price[J]. Engineering Letters， 2017， 25（2）：167-175.

[7] DAS S， BEHERA R K， KUMAR M， et al. Real-time sentiment analysis of twitter streaming data for stock prediction[J]. Procedia Computer Science， 2018， 132：956-964.

[8] 耿立校，劉麗莎，李恒昱.多源異構數據融合驅動的股票指數預測研究[J].計算機工程與應用，2021，57（20）：142-149.

[9] 溫玉蓮，林培光.基于行業背景差異下的金融時間序列預測方法[J].南京大學學報（自然科學），2021，57（01）：90-100.

[10] ANDER G J， AREVALO J， PAREDES R， et al. End-to-end neural network architecture for fraud scoring in card payments[J]. Pattern Recognition Letters， 2017， 105（04）：? 175-181.

[11] JURGOVSKY J， GRANITZER M， ZIEGLER K， et al. Sequence classification for credit-card fraud detection[J]. Expert Systems with Applications， 2018， 100（06）：234-245.

[12] 楊磊，姚汝婧.基于Transformer的信用卡違約預測模型研究[J].計算機仿真，2021，38（08）：440-444.

[13] 劉穎，楊軻.基于深度集成學習的類極度不均衡數據信用欺詐檢測算法[J].計算機研究與發展，2021，58（03）：539-547.

[14] WANG Y B， XU W. Leveraging deep learning with LDA-based text analytics to detect automobile insurance fraud[J]. Decision Support Systems， 2018， 105（01）：87-95.

[15] GOUMAGIAS N D， HRISTU-VARSAKELIS D， ASSAEL Y M. Using deep Q-learning to understand the tax evasion behavior of risk-averse firms[J]. Expert Systems with Application， 2018， 101（07）：258-270.

[16] 黃良瑜，王薏婷，詹杭龍，等.基于深度學習的銀行間債券市場異常交易行為檢測[J].計算機應用與軟件，2021，38（09）：?78-85.

[17] LUO C C， WU D S， WU D X. A deep learning approach for credit scoring using credit default swaps[J]. Engineering Applications of Artificial Intelligence， 2017， 65：465-470.

[18] YU L A， ZHOU R T， TANG L， et al. A DBN-based resampling SVM ensemble learning paradigm for credit classification with imbalanced data[J]. Applied Soft Computing， 2018， 69：192-202.

[19] 王重仁，王雯，佘杰，等.融合深度神經網絡的個人信用評估方法[J].計算機工程，2020，46（10）：308-314.

[20] 陳學彬，武靖，徐明東.我國信用債個體違約風險測度與防范——基于LSTM深度學習模型[J].復旦學報（社會科學版），2021，63（03）：159-173.

[21] RONNQVIST S， SARLIN P. Bank distress in the news： Describing events through deep learning[J]. Neurocomputing， 2017， 264：57-70.

[22] KVAMME H， SELLEREITE N， AAS K， et al. Predicting mortgage default using convolutional neural networks[J]. Expert Systems with Application， 2018， 102（07）：207-217.

[23] LEE S I， YOO S J. Threshold-based portfolio： The role of the threshold and its applications[J]. The Journal of Supercomputing， 2018， 76（10）：8040-8057.

[24] 張虎，沈寒蕾，劉曄誠.基于自注意力神經網絡的多因子量化選股問題研究[J].數理統計與管理，2020，39（03）：556-570.

[25] 閆洪舉.基于深度學習的指數跟蹤方法研究[J].統計與決策，2021，37（05）：143-147.

作者簡介：

付鈺菲（1996-），女，碩士生.研究領域：信息管理.

汪明艷（1975-），女，博士，教授.研究領域：應急管理，輿論治理，電子商務.