基于大數據的金融風險預警系統

楊凱森，付飛蚺

（1.浙江萬里學院 大數據與軟件工程學院，寧波 310000；2.長春理工大學 人工智能學院，長春 130022）

隨著互聯網、數字設備、物聯網和其他技術的發展，全球數據正在迅速增長。大數據是更廣泛和深入的數字化，是整個社會內部的數據互連。此外，大數據也被理解為解決問題的一種新方法，即通過收集，分類和分析與特定問題相關的海量數據，通過實驗，算法和模型獲得有價值的信息，從而發現規律并從中獲利。大數據正在迅速發展為新一代的信息技術和服務格式，可以收集、存儲和分析大量分散來源和各種格式的數據，并發現新知識，創造新價值并增強新功能。

金融業擁有最密集的數據，包括客戶、運營、金融交易和監管數據，以及各種類型的衍生大數據［1］。據中國人民銀行統計，僅2016年第三季度，全國銀行卡交易量3 303.40億筆，金額177.72萬億元，分別比上年增長35.71%和2.65%［2］。同比銀行業金融機構辦理電子支付交易364.88億筆，總金額519.69萬億元。非銀行支付機構網上支付服務8 440.42億元，金額26.34萬億元。支付系統共處理交易額154.13億筆，交易總金額1 344.34萬億元。第三季度的業務量是全國GDP的 71 倍［3］。

因此，金融業具有實施大數據的基本條件。未來，金融大數據將應用于精準營銷、客戶畫像、運營流程優化、客戶關系管理、風險控制等領域。大數據時代將對整個科技產業乃至世界產生顛覆性影響，并將成為未來金融業的主導角色。但是，大數據技術及其應用給金融監管和金融安全帶來了嚴峻的挑戰，對區域金融風險的監測、預警和解決提出了更高的要求。

區域性金融風險是指在經濟區域內，某些金融機構或某些金融活動在金融系統運作中的不確定性造成的風險。它通過金融活動中的經濟實體傳播，導致區域金融環境的不穩定或金融危機。區域性金融風險將擾亂該區域的經濟和社會發展秩序，區域性金融風險的積累也將轉移到與經貿關系密切的其他地區，這將帶來國家金融風險并導致國家金融危機，甚至世界金融危機。因此，建立科學可行的區域金融風險預警系統是需要研究和探索的重要課題。

當前，世界主要的區域金融預警系統如下：

（1）駱駝信用等級制度［4］。該系統主要評估銀行業務的整體運營狀況，例如銀行的運營和信用狀況，包括資本充足率、資產質量、管理、收益、流動性和市場風險敏感性，以及加權匯總后的整體評估。可以根據駱駝等級直接了解銀行的風險狀況。

（2）金融部門評估計劃（FSAP）［5］。金融部門評估計劃主要用于評估各國金融體系的穩定性，包括宏觀審慎指標和綜合微觀審慎指標。宏觀審慎指標主要包括經濟增長，通貨膨脹，利率等，綜合微觀審慎指標包括資本充足率，盈利能力指數，資產質量指數等。作為評估項目的共同發起者，國際貨幣基金組織和世界銀行期望加強對成員國金融部門脆弱性的監測，減少發生金融危機的可能性。

（3）法國銀行業委員會的銀行分析支持系統［6］（saaba）。Saaba通過匯總三年中的單個潛在損失來獲得整個信貸組合的潛在總損失，并全面評估銀行體系的健康狀況。Saaba全面考慮了影響商業銀行運作的所有方面，包括會計數據，資產風險調查，股東質量評估，企業信用等級，銀行信用等級，公司逃稅統計數據，監管數據，國家風險等，希望能盡可能多地捕獲銀行運營的各種內部和外部風險因素。

（4）荷蘭銀行（ABN AMRO）的風險分析支持工具［7］（RAST）根據大小，中小型和大型的權重來評估銀行的各種風險和控制能力。將風險評估的結果與償付能力和獲利能力進行比較，并將分析結果用于確定每個銀行的監管實力。

國內學者利用大數據來研究金融風險，主要側重于統計結合計算機技術在金融行業的應用。還有針對個別存貨案例的詳細指標分析和預測模型的建立。更有影響力的研究證實了或有債權分析法［8］（CCA）風險指數對我國系統性金融風險預警具有良好的適用性，為我國金融風險計量提供了良好的理論研究基礎。李志輝等人［9］基于風險依賴進行了擴展研究，實現了CCA方法的優化。在金融風險預測方面，采用大數據技術建立預測模型，并通過股票市場歷史數據進行實證分析。例如，本文討論了馬爾可夫鏈過程理論在證券市場中股票價格綜合指數的分析和預測模型中的應用，討論了在大數據時代如何正確進行股票投資，研究了由大數據時代產生的隨機變量。從大數據，機器學習和行為金融的角度進行股票投機，并基于特定股票的歷史數據應用相應的算法實現預測功能。國內也有一些學者研究用戶參與金融市場的影響。他們更傾向于研究投資者與金融新聞，在線論壇，微博和其他媒體之間的關系，表明它們可以在很大程度上影響證券市場。

在現有研究的基礎上，可以發現在研究股票宏觀市場趨勢以及基于國內外大數據的相應預測模型的生成方面取得了豐碩的成果。對于單個股票趨勢的分析和預測模型也進行了微觀研究，而對相關參與者對金融市場影響的研究則較少。目前，大數據在中國各行各業的應用已取得初步成果，某些領域的應用已處于世界領先地位。其中，關于大數據與資本市場關系的研究也是金融市場的研究熱點。使用大數據建立用戶參與的預測模型對上市資本市場的總體影響基本上沒有影響。相關金融市場參與者的結構分析（年齡，收入，教育背景），行為分析，交易量分析（網民和投資者），包括企業家，消費者，互聯網用戶（包括移動互聯網用戶，下同）和投資者等，本文以大數據源和用戶參與行為為觀察點，基于用戶參與的角度以及大數據技術對財務風險的影響和預警系統的構建，設計了用戶參與度評價系統和用戶參與度預測模型。預警系統可以有效降低金融風險，防范金融風險。

1 基于大數據的金融風險預警系統的構建

1.1 設計原則

（1）系統原則。區域金融風險預警系統是用于監視，預警和處置區域金融風險的系統。它必須涵蓋區域金融和經濟活動的所有方面，包括吸收和支付存款，發行和回收貸款，發行和轉讓證券，保險，信托，國內和國際貨幣結算等；它應該涵蓋所有類型的區域金融活動，包括銀行，保險，證券和信貸。它涵蓋區域金融活動的所有參與者，包括中央銀行，金融機構，公司，企業，公眾和監管機構；它滲透到區域金融活動的每個環節，甚至基于金融的虛擬和信用性質，也必須考慮公眾輿論的趨勢。應全面考慮國家和地區的宏觀經濟運行，經濟社會發展和產業發展。

（2）及時性原則。區域金融活動具有快速變化的特點，區域金融風險變化非常快，要準確可靠地進行預警和保護，就必須確保區域金融風險預警系統具有良好的及時性，能夠及時識別和判斷風險因素。區域金融活動，預測和應對區域金融風險，并為監管機構提供控制區域金融風險的最有效方法。及時保留信息并留出足夠的時間和空間。

（3）可操作性原則。在數據收集和系統分析過程中，所選的社會經濟指標，數據統計分析方法和系統建模過程應易于操作和分析。

（4）靈活性原則。在預警系統的設計過程中，應盡可能考慮量化指標，以利于后處理分析。應建立一些定性指標，以反映定量指標無法代表的區域金融運作的潛在風險和不穩定因素。對于定性指標，應盡量減少人為因素的誤導，對定性指標進行清晰的描述和明確的判斷標準，以確保評價結果的客觀性和準確性。同時，在保證金融體系正常運行的前提下，隨著時間的流逝以及社會經濟的變化，預警系統不斷更新，完善和完善，以確保不同領域的獨立運作。預警系統的模塊，以提高系統的穩定性和可靠性。

1.2 模型構建

在有效市場假設下，金融市場的風險信息反映在股價走勢中。股票價格變動中包含的信息不僅有價值，而且及時準確。因此，我們可以圍繞股票價格對區域金融和金融機構進行實證研究。本研究使用數據爬蟲技術收集數據源（Internet上的大數據），并使用全球GDP和增長率，中國A股上證綜合指數（A本文借助SPSS分析了金融市場的相關參與者）并構建金融風險預警系統，在人類活動中，往往是由人為因素引發的各種大事件，面對利益，尤其是風險資本，各種人類需求，思想，情感，游戲金融風險事件中有政府層面，經濟狀況等因素，但公眾參與也是觸發系統風險的主要組成部分。資本市場交易，盡管已經出現了自動交易軟件，但核心仍然是人，因此，對用戶參與者評價系統的研究尚需時日圍繞網民，投資者，企業家，消費者和其他方面。大數據對金融研究的影響通常是多方面的。二級用戶企業家，消費者等相關指標在一定程度上反映了金融市場的投資收益和風險預期。首先對相關影響因素進行綜合分析，然后建立一定的評價體系，然后對指標進行加權。

（1）相關性分析：通過趨勢，交易量，中國A股上證指數幅度變化與用戶規模，用戶結構，用戶行為相關性分析，多層次分析。

（2）評估指標的確定：首先是用戶數和一個，然后，根據用戶在互聯網和移動互聯網上的橫向行為，例如搜索引擎，網絡新聞，微博，社交網站，網上炒股等，等等，并結合東方財富，通化順，和訊等中國權威金融網站，根據用戶在互聯網和移動互聯網（例如搜索引擎）上的橫向行為來選擇影響資本市場交易的指標。在線新聞，微博，社交網站，在線炒股等以人次和有效瀏覽時間等垂直行為為指標建立的基礎。最后，根據網民和投資者的溝通，情感，預測和賭博心理，建立用戶風險指標。詳細指標如表1和圖1所示。

表1 用戶參與評價體系指標

圖1 用戶行為圖

（3）數據的獲取和標準化：使用網絡爬蟲技術（詳細信息請參見下面的數據收集算法）收集用戶參與評價系統的各種指標數據資料，互聯網用戶與投資者之間的統計差距以及統計方法的不一致等。，需要對其進行更正以提供標準數據進行分析，包括以下內容：以日，周，月，季度等為單位的收集過程的統計周期。結果表明，開始和結束之間存在時間差。統計結束時，部分采集的數據丟失，需要人工判斷統計結果的累加或平均值。

用戶權重，用戶結構和用戶行為可以通過數據分析和統計軟件進行初步確定，而溝通，情感，預測，賭博心理等用戶風險指標和其他用戶風險指標難以通過統計數據確定，則權重由專家評分方法確定。具體工作過程如下。

通過方差（公式1）測試，包括水平方差（公式2）和組內方差（公式2），根據數據的穩定性篩選了不必要的分析指標，例如用戶的年齡變化趨勢。表達公式如下。

其中，n是統計數據的數量，μ是n個統計數據的平均值，σrow是級別或不同組之間的方差，σcol是同一級別或同一組內的方差。根據三類指標的數量與一類指標的關系，根據2000年至2017年的數據計算單位間隔內的頻次或數量，并不斷累加。根據數據分布圖（散點圖）和MATLAB軟件，推導了數據與指標之間的函數關系。數據擬合后，將出現高階多項式函數，但是該函數不利于圖檢驗，并且不容易確定數據是正相關還是負相關。因此，有必要將趨勢修改和模擬為低階和極項函數。具體操作步驟如下：

（1）Matlab的一階函數：polyfit（xdata，ydata，1），xdata和ydata分別表示第三級和第一級指標的數據（以數組的形式，它們按時間順序成對出現）

（2）精度（P）：擬合數據和原始數據對應點的誤差的平方和。本研究假設誤差平方和的精度在0.1以內，其公式如下：

其中，yi是實際值，y?i是擬合后的函數值。P的值越接近0，則擬合函數的可行性越高，數據預測就越成功。

根據統計數據，以用戶行為為中介變量，由用戶規模和用戶結構構成用戶行為的影響基礎，用戶行為是用戶風險的最直接指標，從而建立影響力。用戶參與評估系統的路徑（如圖2所示）。用戶參與評估系統的影響路徑和用戶參與評估系統將作為構建用戶參與模型的基礎。

圖2 用戶參與評價體系影響路徑分析

在用戶參與評價體系的基礎上，通過對用戶參與影響路徑的分析，建立了大數據用戶參與模型，以降低大背景下用戶不合理交流，情緒行為，不科學預測和賭博心理的風險。通過用戶數量的影響，用戶結構和用戶群體行為的各種數據分析來進行數據分析；另一方面，該模型使用機器。學習算法提供波動預測，趨勢預測，行為預測等，以減少劇烈波動的可能性。具體模型如圖3所示。

圖3 大數據用戶參與模型

2 基于大數據的預警系統設計

衍射峰強金融風險預警系統的功能包括數據采集系統，數據庫系統和預警系統“數據對話”，利用數據挖掘技術建立有價值的數據庫，然后通過機器學習算法設計預警跟蹤和偏差修正等。，整個過程以數據為中心，基于大數據的金融風險預警系統的具體框架如圖4所示。

圖4 大數據下金融風險預警系統框架

（1）采集系統：由于金融風險預警系統的相關指標數據包含非結構化數據，難以在Internet上進行收集，清理和分析，并且往往需要人工干預，因此需要將爬蟲技術和掃描監控技術相結合。全面的數據收集和風險預測是全面的數據收集和風險預測的基礎。

（2）數據庫系統：通過采集系統獲得的數據仍需要進一步分析，不僅需要數據挖掘技術的支持，還需要大數據分析的手段。數據庫系統是預警系統的核心。預警模型相關指標的分類和匯總在數據庫系統中完成。數據庫系統的完善直接影響機器學習的預測能力。

（3）預警系統：預警報告主要以指標臨界值和預警間隔的形式顯示。在確定風險分析和預測分析之后，形成預警報告。同時，對預警系統是否與實際需求進行實證跟蹤相結合，分析預測結果偏離的原因，并改進相關算法，以提高機器學習系統的預測功能，縮小兩者之間的差距。隨后的預測，并提高了預警系統的準確性和科學性。

3 系統數據效果分析

根據互聯網發展報告，中國互聯網用戶規模發展迅速，2018年已接近8億，互聯網普及率從不到3%增長到近60%。同時，由于智能手機，3G和4G的發展，隨著通信技術的迅速發展，移動互聯網用戶也從2006年的1 300萬（受統計數據限制，2006年之前沒有相關數據）迅速增長到7.5億（2017年12月），其中2007年至2012年的年增長率超過100%。同時，根據中登集團發布的數據，2000年參加A股股票的投資者數量為6 154萬（同年增加1 343萬）。2002年，由于大量的不定期清算，年底的投資者數量為6 841萬，到2018年已達到13 863萬（開戶數量已超過1.7億，部分分離的投資者無效）。

從投資者數量和互聯網用戶（包括移動互聯網用戶）數量的角度來看，用戶參與的數量巨大，投資者和網民的行為將產生大量數據，互聯網用戶的行為的訪問，轉載和傳播大大增加。基于大數據的群體行為，例如用戶參與結構分析，注意力，情緒反應等，對股票的上海股票指數具有重大影響。

宏索引統計和分析算法。宏觀分析采用的是A股主板市場的滬市指數（因為創業板還不成熟，漲跌幅度太大，容易產生偏見）。收集樣品。從1999年至2018年，A股上海股票指數獲得的分析信息包括收盤價，最高價，最低價，開盤價，前收盤價，漲跌幅，漲跌幅，交易量，交易量等。A股（上證指數）指數的統計過程如表3所示。統計期間為當年首個交易日至當年最后一個交易日（2018年除外），統計結果為如表2和表3所示。

根據不同指標之間的定量關系，形成了大數據訓練集。以A股（上證指數）指數為ydata（不同的區間幅度和交易量），導入不同組的指數數據xdata（包括用戶量，用戶結構，用戶行為等），然后擬合計算每組指標，并提供數據規則以進行基本分析。

表2 A股（上證指數）指標統計過程

表3 A股（上證指數）指標統計結果

用戶參與模型相關性分析測試。在用戶參與模型中，指標之間的定量關系根據年度變化具有連續變量之間的相關性。因此，本研究使用乘積差異相關系數（也稱為皮爾遜系數），可以直接篩選出具有高相關性的指標，并進一步從高相關性指標中進行分析，以驗證模型的預測功能并計算公眾利益。

式中，x和y是用戶參與模型中的不同指標。y與ydata相同。取A股（上證指數）指數數據（區間波動幅度和交易量不同），r為兩個指標之間的相關性。指標選擇的依據如表7所示。由于某些指標缺乏數據收集，在年度統計中，使用相對完整的數據間隔進行相關分析，并獲得高度相關的分析。

4 結論

根據用戶年齡統計，各個年齡段的趨勢變化不明顯，但30歲以下的網民和投資者不成熟的比例較大。這群人很容易受到網絡媒體等信息的影響，甚至被誤導，然后傳播不當的信息，這更有可能導致信息偏差和市場動蕩。

從教育背景的角度來看，不同學歷的比例是不穩定的。投資者的文化程度往往較高，而低文化程度的比例正在下降。高等教育對股票市場的影響主要包括兩個方面：一是研究更深入，信息搜索更有效，投資更加謹慎。二是更加科學的投資手段，大數據和自動交易軟件的應用率正在提高。

從用戶行為分析結果看，金融事件與股市波動性（幅度）具有很強的相關性，尤其是在負信息的下降趨勢中，其幅度將隨著金融事件的傳播而不斷增加，并產生搜索指標通過用戶也將擴大。

顯然，政治，金融，軍事，流行等事件在不同國家的感染程度不同，影響力的差異主要在于用戶參與事件傳播引起的風險傳染等主要因素。因此，在一定時間內適當引導各種金融事件引起用戶的關注，可以有效地控制和預防金融風險的發生和擴大。