金融大數據研究與應用進展綜述

祁旭陽　林天華　張倩倩

摘要： 身處大數據時代，人們生活的方方面面都離不開數據。同樣，金融行業也存在著海量的數據，將大數據技術與金融行業結合，有助于推動金融行業的發展。本文介紹金融大數據的分類和面臨的挑戰，并總結和整理了目前處理金融大數據的主要算法，具體包括基于語義的金融大數據處理算法和基于時間序列的金融大數據處理算法。介紹了金融大數據在不同分類下的應用，并展望了金融大數據的發展前景。

關鍵詞： 金融大數據? 證券大數據? 銀行大數據? 保險大數據? 機器學習

一、引言

隨著金融市場的不斷發展，金融行業與互聯網、大數據等計算機技術的結合也越來越緊密[1]。金融行業自身所產生的以及外圍產生的數據量較大，且數據更新速度快，因此需要對大量的數據進行處理、分析，應對金融市場的快速多變，并改善金融業服務，降低金融行業風險，科學推出金融產品，提高金融行業的競爭力[2]。具體來說，大數據技術作為一種蓬勃發展的信息處理技術，在證券、銀行、保險等各個金融行業得到了廣泛應用。如果能夠將金融大數據充分利用起來，那么就能更好地指導金融市場的發展[3]。

二、金融大數據的概念

（一）金融大數據的分類

根據行業不同，可以將金融大數據分為證券大數據、銀行大數據、保險大數據三個種類，其在不同的行業有各自不同的特點。

1.證券大數據。證券行業的發展對于數據的依賴度很高，證券公司在日常的運作中不僅會產生大量的數據，而且也需要運用數據來指導投資，證券數據自身的特點與大數據的特征相契合[4]。證券行業大數據主要表現在行情數據，財經網站的股票行情圖以及通達信等行情軟件所展現的各類數據、K線圖、日均線圖等，背后都是海量的數據[5]。因此，大數據的應用水平對于證券公司的發展而言越來越重要。提高大數據的應用水平是證券公司業務與計算機技術融合的表現[6]。

2.銀行大數據。隨著證券行業的不斷發展，銀行的媒介地位逐漸降低。銀行在支付領域也面臨著第三方平臺的激烈挑戰，同時又要應對手機支付的逐漸普及[7]。銀行要想在激烈的競爭中立于不敗之地，就需要認識到大數據的重要性。

銀行自身有著豐富的數據，同時也有稅務、工商、海關等外部數據[8]，目前銀行大數據的治理體系建設比較匱乏，數據資源管理的整合度不高，并且其非結構化數據占比不斷上升，因此比較難以挖掘數據資源的潛在價值[9]。

3.保險大數據。保險行業的關鍵數據有：承保數據、保險數據以及理賠數據。保單里包含有投保人信息、被保人信息，保障內容，賠付條款，免責條款等[10]，這些使得保險行業的數據規模巨大。由此可見，數據的整合處理的程度影響著保險公司的發展，而恰當使用大數據技術則有助于保險公司的發展，京東、阿里巴巴等公司投資保險行業，這是保險行業走向信息化的積極信號，如魏麗等人認為“大數據”是保險與電子商務融合的核心[11]。

（二） 金融大數據面臨的挑戰

1.數據量大，跨地域、跨系統分布。金融大數據來源于金融領域的各個行業，包括銀行業務、股票業務、用戶消費信息等[12]，這些數據都來源于實際的應用，產生量很大，數據從結構化到半結構化甚至非結構化的形態轉變[13]，數據量從太級（TB）向Z級轉變[14]。并且，金融業務廣泛，金融行業系統分布在世界各地，要將這些系統連接成為一個網絡，才能夠使得數據匯總起來，并對大量的數據進行分析，進而明確這些數據代表什么。以及面對這些數據，我們應該提出怎樣的對策，從而更好地為金融行業服務。以上幾點，對資源和時間提出了很高的要求。

2.數據組織形式多樣、結構各異。在金融企業中，技術一般更新換代較慢[15]，可能會導致各個數據中心互相孤立，難以進行數據和資源的共享，并且會因此增加服務器和存儲設備的數量，但是服務器和存儲資源卻不能得到充分利用。其次，金融行業業務種類繁多，不同的業務往往會產生各異的數據結構[16]。因此，整合、處理、分析組織形式多樣、結構各異的數據是金融大數據領域面臨的又一個挑戰。

3.大數據分析策略變化頻繁。當今的金融市場環境變化迅速，而市場監管規則往往需要被提出、形成草案提交后再到最終被審核實行，這是一個相對較為漫長的過程[17]，因此市場監管規則的滯后與企業金融運轉之間常常存在著矛盾。

三、金融大數據的處理技術

（一）基于語義的金融大數據整合技術

1.語義概述。語義即資源的含義[18]。即給符號賦予含義，使它不再單純地作為一種符號，而是轉化成為信息。

Tim Berners-Lee給出了語義web體系結構模型[19]，如圖1所示。

該體系中從低層到高層分別為：Unicode和URI （Uniform Resource Identifier），XML，RDF，Ontology，Logic，Proof以及Trust。同時，Digital Signature貫穿全過程，建立語義Web的安全機制。核心層為XML， RDF， RDF Schema以及Ontology。其中，RDF定義了底層數據模型并且為更高層次的語義網、更復雜的特征提供了一個基礎平臺。

2.基于語義的金融大數據處理。基于語義的大數據處理現在研究并不充分，浙江大學的楊鹍[20]提出利用語義技術將各種數據進行關聯，通過將復雜數據之間的關系以RDF的形式進行整合來實現數據的共享，從語義層次上進行數據的查詢與計算;另一方面，通過利用分布式計算技術實現大數據的高效處理;最后，通過采用提供編程接口的形式由客戶端實現數據采集的邏輯。

周亮[21]提出通過語義的相似性提取大數據關聯特征，通過對關聯特征的相似性判決統計量排序來排出關聯順序，關聯規則信息融合的判決統計量為：

其中表示大數據采樣序列;表示數據采樣時間間隔，;表示均值，表示數據挖掘過程中的語義相似度特征量：

實驗結果顯示，通過對大數據語義特征的提取，能夠有效提高金融大數據的處理速度。

（二）金融多元時間序列數據分析

曾海泉提出了一個金融時間序列分析的技術分析流程[22]，金融時間序列相似性查找技術，可以提供條件選股的分析，也可以進行在線相似性檢測。

萬校基等提出的金融多元時間序列數據分析[23]在度量相似性時采用了動態時間彎曲（Dynamic time warping， DTW）方法，DTW算法既可以度量不等長時間序列的相似性，還能在不同時間點上匹配相同波動形態的數據對，這一點明顯優于只能度量等長時間序列之間相似性的歐式距離，從而更好地體現了金融數據時間序列的異步相關性。在對多元時間序列進行特征降維時，則采用了自適用中心算法（Adaptive method based on Center Line，ACL），該算法可以充分反映其波動規律。

（三）兩種金融大數據處理算法的優劣性對比

在處理金融大數據時，上述算法各有其優缺點，在選取處理算法對金融大數據進行處理時，主要考慮的是算法執行速度、執行平臺、處理效果等，往往是根據這些方面來進行應用場景的選取。需要注意的是，在一些情況下，需要結合多種不同的算法來處理金融大數據，以期獲得最好的處理效果。

四、金融大數據的應用

證券大數據、銀行大數據和保險大數據等金融大數據在其各自的行業內應用廣泛，為行業的發展提供了便利和幫助。

（一）證券大數據的應用

1.量化投資。量化投資主要是通過計算機技術對證券數據進行分析和處理，結合一定的算法，形成投資策略[24]，其基礎就是海量的證券數據。證券公司在為客戶提供信息服務時，需要準確的行業報告和上市公司報告、股價的實時變動信息、大盤走勢等[25]。將海量的證券數據應用到量化模型中，進行數據的處理和分析，最終得到結論從而可以為客戶提供投資決策的建議[26]。在不斷的發展過程中，形成了許多效果很好的量化投資模型。如Fame提出的三因子選股模型[27]和五因子選股模型[28]，謝合亮等提出的Elastic Net量化投資模型[29]，田利輝提出的我國股票定價的五因子模型[30]等。這些模型為人們的投資提供參考策略，而它們都需要對海量證券數據進行分析才能得到良好的結果，因此，證券大數據在量化投資中起著支撐作用。

2.個性化服務。在互聯網大數據背景下，證券公司可以獲得的證券數據量增大[31]，根據收集到的數據，可以設計出符合客戶需求的產品。并且由于收集到的數據具有實時性，因此可以不斷根據客戶喜好的改變而改變產品的設計，目前，很多公司從數據分析展開業務設計，取得了良好的個性化服務效果[32]。可以分析的數據包括股票價格、換手率、無結構化新聞和文本以及隱含在社會媒體和網絡中的消費者信心和商業情緒等[33]。

（二）銀行大數據的應用

1.客戶畫像。針對個人客戶和企業客戶，都可以通過銀行大數據對其進行特征提取進而形成客戶畫像。消費能力數據、興趣數據、風險偏好等都是個人客戶畫像描述的重點目標[34];企業的生產、運營、財務、銷售和客戶數據、相關產業鏈上下游等數據則是在對企業客戶進行畫像時需要考慮的方面[35]。通過對銀行大數據進行分析，得到個人客戶和企業客戶的畫像，可以提高銀行自身的業務收入，并更好的服務于客戶。

2.智能風控。銀行大數據包含的數據范圍大、數據量大，可以利用恰當的算法，從風險控制的角度對銀行的大數據進行分析處理，產生針對于不同場景的模型，用科學的方法挖掘出客戶可能存在的風險[36]。例如可以分析客戶的還款能力和意愿，對客戶的異常消費行為進行風險預警，形成主動和積極的風險管理模式[37]。

（三）保險大數據的應用

1.精準營銷。在精準營銷這一方向，保險企業已經逐步關注怎么能夠在整個的保險業務流程中更好地去整合各方面的客戶數據，借助于外部的數據資源，對客戶的購買需求、消費能力等形成全面、精準的描述，然后再對客戶進行產品推薦、交叉銷售、保險顧問等營銷行為[38]。曾小波提出將大數據技術應用于保險企業，有利于精準營銷[39]。

2.風險控制。騙保行為頻繁發生，風控對保險公司來講一直是比較嚴峻的話題。有效的風控對保險公司具有重要意義[40]。而大數據技術可以幫助保險企業全面提高風控能力。李起義提出通過收集市場上存在的關于投保人的大量數據，包括人際關系、消費能力等，并利用大數據技術，對投保人的信用進行評估，進而預測相應的風險[41]，從而降低保險公司的承保風險。馮子超認為大數據對于保險公司的風險方法、業務流程、業務管理等方面有積極意義[42]。

五、金融大數據的發展趨勢

（一）數據融合

目前，數據融合在許多領域都在不斷使用，金融行業也不例外。主要是金融行業可以獲取到其他行業的數據，更好地了解到客戶的需求，制定出更為切合客戶的營銷策略，同時降低行業風險。另一方面，跨行業數據融合可以更精確地了解到客戶在不同領域的需求，使金融行業得以設計出適合于不同場景的金融產品，擴大客戶選擇的范圍，提高金融公司的盈利。

（二）金融大數據安全問題

大數據應用于金融行業也是一把雙刃劍，一方面有助于金融行業的發展，但同時也帶來了一些問題，其中較為突出的是數據安全問題。

隨著互聯網的發展，惡意的網絡攻擊層出不窮，而金融行業的數據往往具有相對較高的價值，因此更容易受到不法分子攻擊[43]。大數據技術應用于金融行業的一個特點就是造成數據的集中性，一方面數據容易存儲、讀取和管理，但從另一方面來看，一旦數據發生泄漏，那么將會造成數據的大量甚至全部泄漏[44]，被竊取的數據又可能通過互聯網快速傳播，給客戶和金融公司造成不可預想的嚴重后果。因此，隨著大數據技術的發展，也迫切需要有效的計算機技術以及規范的法律法規來保障金融大數據的安全。

參考文獻：

[1]靳玉紅.大數據環境下互聯網金融信息安全防范與保障體系研究[J].情報科學，2018，36（12）：134-138.

[2]周煜.大數據在金融領域的應用研究[J].計算機產品與流通，2018（10）：254.

[3]劉園，鄭忱陽，江萍，劉超.金融科技有助于提高實體經濟的投資效率嗎？[J].首都經濟貿易大學學報，2018，20（06）：22-33.

[4]劉妍慧.大數據技術在證券交易中的應用分析[J].現代商貿工業，2018，39（18）：152-153.

[5]郭震洲.大數據改造金融業[J].清華金融評論，2017（11）：98-100.

[6]徐力.大數據證券監管之路[J].中國金融，2015（05）：63-64.

[7]何金星.關于大數據驅動商業銀行金融科技創新轉型的探討[J].中國商論，2019（03）：37-38.

[8]孫速超.商業銀行大數據應用現狀[J].納稅，2018，12（29）：199.

[9]趙倩倩.大數據技術在傳統銀行中的應用研究[J].現代商貿工業，2018，39（30）：54-56.

[10]馬向東.大數據時代的保險營銷[J].中國保險，2018（04）：40-42.

[11]魏麗，王治軍.保險電子商務應抓住“大數據契機”[J].中國金融家，2013（6）.

[12]FU Yong Gui，ZHU Jian Ming，ZHANG Ning.Analysis on Information Value of Big Data in Internet Finance.2015 Int.ernational Conference on Logistics，Informatics and Service Sciences （LISS）.

[13]顧君忠.大數據與大數據分析.軟件產業與工程[J].2013年第4期.

[14]張鼐，張英，杜云，李英劍.大數據環境下基于云的分析即服務平臺研究[J].情報探索，2014（08）：5-7+10.

[15]趙大偉.大數據技術驅動下的互聯網消費金融研究[J].金融與經濟，2017（01）：41-45+92.

[16]孫杰.大數據時代互聯網金融創新與傳統銀行轉型[N].金融時報，2014，11（009）.

[17]Nir Kshetri.Big datas role in expanding access to financial services in China[J].International Journal of Information Management.

[18]袁金平，鮑愛華，姚莉.語義Web技術及其邏輯基礎[C].計算機工程，2008.34（24） 194-196.

[19]Tim Berners-Lee，James Hendler，Ora Lassila.The Semantic Web[C].Scientific American.2001.

[20]楊鹍.基于語義的金融行業大數據整合及處理技術[D].浙江大學，2013.

[21]周亮.基于語義相似性關聯特征提取的大數據挖掘技術[J].智能計算機與應用.2018，8（05）： 134-137+142.

[22]曾海泉.”時間序列挖掘與相似性查找技術研究”[D].2003.

[23]萬校基，李海林.基于特征表示的金融多元時間序列數據分析[J].統計與決策，2015（23）： 151 -155.

[24]許龍.量化投資的應用現狀與發展前景[J].現代商業，2019（05）：68-69.

[25]謝東東.量化投資的特點、策略和發展探討[J].時代金融，2018（27）：245+252.

[26]陳健，宋文達.量化投資的特點、策略和發展研究[J].時代金融，2016（29）：245-247.

[27]Fama，E.F.and French，K.R.The Cross-Section of Expected Stock Returns[J].Journal of Finance Econimics，1992，47（2）：427-465.

[28]Fama，E.F.and French，K.R.A five-factor asset pricing model[J].Journal of Financial Economics，2015（1）：1-22.

[29]謝合亮，胡迪.多因子量化模型在投資組合中的應用——基于LASSO與Elastic Net的比較研究[J].統計與信息論壇，2017，32（10）：36-42.

[30]田利輝，王冠英.我國股票定價五因素模型：交易量如何影響股票收益率[J].南開經濟，2014（2）.

[31]楊莎，余偉，李石君，曹晶晶，劉晶.基于Web大數據挖掘的證券價格波動實時影響研究[J].計算機科學，2015，42（04）：166-171.

[32]楊龍.借力大數據技術 證券行業迎轉型契機[J].清華金融評論，2017（08）：32-34.

[33]孟慶江.解讀大數據及其在證券公司的應用[A].中國證券業協會.創新與發展：中國證券業2014年論文集[C].中國證券業協會：中國證券業協會，2014：8.

[34]丁立，何堅.大數據技術在銀行的應用[J].數字技術與應用，2018，36（06）：122-123.

[35]欒林，王建寧，黃斐，丁玲.基于大數據的商業銀行對公客戶畫像體系的構建及應用[J].國際金融，2018（11）：51-55

[36]李小慶.銀行大數據智能風控平臺建設及應用[J].中國金融電腦，2019（04）：71-74.

[37]黃莉莎.大數據助推商業銀行信貸業務與風險管理創新[J].經濟師，2018（11）：165-167.

[38]王琪，鄂海紅，宋美娜，黃叒.論大數據技術對保險行業的影響[J].軟件，2017，38（05）：7-11.

[39]曾小波.大數據的“3j”服務——保險企業營銷服務與大數據應用[J].當代金融家，2014（2）.

[40]蔣韜.大數據和人工智能在保險行業的應用及展望[J].清華金融評論，2017（12）：49-51.

[41]李起義.基于大數據和機器學習的保險風險管理應用研究[J].信息系統工程，2019（01）：145-146.

[42]馮子超.大數據對保險公司未來發展的影響探究[J].商業文化，2013（12）.

[43]康瑛石，鄭子軍.大數據整合機制與信息共享服務實現[J].電信科學，2014，30（12）：97-102.

[44]Lin Liu.Security and Privacy Requirements Engineering Revisited in the Big Data Era.2016 IEEE 24th International Requirements Engineering Conference Workshops （REW）.

（作者單位：河北經貿大學）