大數據技術在金融領域的應用淺析

蔡欣衛 江蘇省啟東中學

一、引言

近年來在銀行、證券公司、投資公司的推動下，金融領域快速發展，但處于自身封閉發展之中。使得銀行、金融行業無法達到金融信息的有效互通，處于平穩發展期。因此大數據的海量信息處理能力與金融信息的聯合應用，可以使金融信息得到有效利用，從而推動金融領域快速發展，金融領域的發展也從封閉走向開放。

二、大數據概述

（一）大數據的概念

大數據是指傳統數據庫管理系統無法處理的大量數據，它包括從大量非結構化數據中提取隱藏信息和模式的技術。所謂大數據處理技術，就是能夠在廣大范圍內對不同用戶的分析需求實現響應的技術[1]。大數據隨著非結構化數據的增加而出現沒有預定義的結構或格式，二十世紀九十年代，數據倉庫之父的Bill Inmon 就常提及Big Data。2011年五月，在“云計算相遇大數據”的EMC world 會議中，EMC拋出了Big Data的概念，自此，大數據概念風靡全球。作為一個面向應用的領域，不可避免地需要將相關領域知識集成到信息系統中，這類似于傳統的數據庫系統，它具有嚴格的數學基礎、一套設計規則和實現機制，可以想象我們在大數據方面可能有類似的應用。今天大數據全產業市場規模逐步提升，大數據在各個領域蓬勃發展。

從數據的類別上看，“大數據”是指傳統數據或軟件工具無法處理或分析的信息。大數據定義了哪些信息超出了正常處理范圍，從而使用戶必須采用非傳統處理方法。大數據是復雜數據的集合，大數據可以優化海量信息，從而提取多樣化、高增長率信息資產，信息資產是信息本身所帶有的價值，即有價值的信息便是一種資產，信息的價值是基于信息所具有的重要性質。由于數據的種類來源多樣，數據的價值密度較低，面對信息數據之海單單用人力去提取是不現實的，正是有了大數據從而使得我們研究問題有了方向性。大數據就存在于我們日常生活中，可以給我們所處的時代帶來翻天覆地的變化，解決數據匱乏的種種問題，大數據技術可以提取最有價值的信息，提高獲取信息的效率[2]。

大數據的特點也十分明顯，即“大體量（Volume）、多樣性（Variety）、快速化（Velocity）、價值（Value）”。大數據的顯著特征，簡稱4v特征[3]。大數據種類來源多樣化，需要存儲能力強，容量較大，價值密度較低，采集數據如浪里淘沙；數據的多樣性是指不同的數據源，非結構化數據越來越多，需要進行清洗、整理、篩選等操作變為結構數據；所謂的“價值密度低”是由于數據采集的不及時，數據樣本不全面，數據可能不連續；大數據可以有效提取有價值數據，通過數據創造價值，使得提取數據有效快速傳遞，從而使得大數據的應用變得廣泛。

（二）大數據技術

大數據的主要來源是啟用互聯網的應用程序，如：電子商務、社交媒體等。據估計，到2020年底將產生大約40個zeta字節的數據，這是2005年數據的300倍左右。

近十年來，大數據領域的技術空間突飛猛進，各種類型的技術試圖解決大數據相關問題的關鍵方面。大數據中“什么是大”的特征實際上是相對于特定上下文的。今天，在一個典型的定義中，大數據問題被確定為現有的軟件工具無法在規定的時間內（速度）以所需的準確性(精確性)和合理的成本(價值）存儲、細化和處理任何任意語義和結構(體積）的有針對性的高容量數據[4]。現代大數據問題是由過去20年技術和業務發生的三個根本性變化驅動的。首先，數字存儲比紙張更具成本效益，用于存儲文檔、數字、圖表等內容，對于任何其他存儲媒體，如照片、音頻、視頻等存儲其他人力消耗資產也是如此；其次，通過網絡（以及現在與物聯網）在各個領域使用非常大規模的固定或移動設備創造和消費數據的速度是前所未有的；最后，每個企業越來越需要監測和預測微觀和宏觀層面的業務活動，以應對日益增長的市場壓力和競爭。這些變化最終導致在過去15年左右數據管理軟件領域出現各種大數據工具和平臺，所有這些都沒有被標記為大數據工具和平臺，因為“大數據”一詞在本世紀初才流行起來。

三、大數據與金融領域關系

大數據時代，每個生成的數據都是可能有用的，因為可以從中提取一些重要的特征。例如，來自推文的情感分析、來自報紙的正面和負面評論、來自各種電子商務網站的評級。在各部門有效利用大數據有助于各決策者作出適當決策，也有助于迅速獲取風險并及時采取適當行動。一段時間以來，金融研究所一直在使用傳統的數據方法收集大量數據[5]，但大數據是指龐大和復雜的數據集，以至于很難使用手頭的數據庫管理工具或傳統的處理應用程序進行處理。零售行業、金融、醫療保健和媒體等部門由于交易和庫存的高流通而產生大量的千兆字節數據。這些公司可以利用大數據洞察力來確保更高的可移植性。在所有這些部門，數據是最重要的資產之一，因為它有助于決策和風險管理。

例如，銀行正在使用大數據來改變他們的業務流程、組織和整個行業。在一天結束時，銀行部門最終每天進行數百次交易，從而生成一個數據池，而目前這些公司的一個尚未解決的問題是如何分析這些數據并為決策獲得有用的信息，同時金融部門正在利用大數據通過開發預測算法來預測股票的走勢和市場上的證券。大數據是一個非常有用的工具的另一個領域是分析大量復雜的股票市場交換數據，并利用它做出關鍵的財務決策。利用機器學習和數據挖掘的智能決策系統可以對股票市場進行預測。有了大數據平臺，股市交易員和投資組合經理可以處理大量的非結構化數據，以確定投資的最佳情況。金融公司使用非結構化的公共信息，如新聞、產品評審、供應商數據和價目表更改，并使用大數據技術對其進行處理，從而產生數學模型，幫助交易者決定購買或出售哪種股票。根據一項調查，大約30%的公司和金融部門已經開始實施大數據，并以各種方式使用大數據的技術為目標，以減輕風險，并從生成的數據中獲得更多的利益[6]。

四、大數據在金融領域的應用

大數據是科技界最熱門的研究課題之一，在氣候、經濟、衛生、社會科學等社會各個領域都具有巨大的潛力。大數據目前被視為數據集，其大小超出了常用軟件工具捕獲、管理和管理的能力。我們目前已經體會到了大數據在金融，商業，健康等各種應用中的威力。大數據具有跨越變革企業運營和流程的潛力，可以從大數據中高度受益的部門之一是金融部門。他們可以獲得大量的交易數據，這些數據可以被處理，以獲得相對于同行的競爭優勢，增強客戶銀行體驗、風險分析和緩解、操作和優化[7]。

解決系統金融工程等問題的研究通常需要收集和分析大量的復雜數據，這使它們成為大數據應用的自然范例。由于使用互聯網和技術，數據正在迅速增加，因此使用技術和管理這些數據并從中提取有用的信息和模式是非常重要的。在這種情況下，大數據可以成為處理如此龐大和復雜的數據集的非常有用的技術，金融機構正在以各種方式利用大數據為其組織提供更好的業務成果。大數據掃描組織中發生的所有金融交易，這確保了欺詐活動的實時檢測，使得任何對正常行為的改變都會立即被抓住；而數據分割過程上下文營銷，這總是導致更大的回報相比廣譜營銷。

如前所述，對金融行業數據的健康統計的遠程監測將產生大量的數據增量，所以銀行數據管理庫程序將需要升級，以處理增加的數量，并提供設備狀況的實時分析。從大數據的角度來看，現有的程序已經捕捉和演示了大數據不同特征的處理，隨著程序規模的擴大，將需要更強大的大數據管理工具和分析。在這一點上，大數據和分析的行業趨勢正在發展，反過來，這導致了前所未有的大數據解決方案的提供。

五、總結與展望

大數據工具的開發在當今時代既具有挑戰性又令人興奮。雖然研究提高了快速處理大量數據的能力，但新技術更廣泛的用例仍然受到以下事實的限制：還有更多的問題不是大數據性質的。然而獲取和利用更多數據的范圍可能會增加，而不是出于以下兩個原因：首先，隨著大數據工具的成熟，易用性將使該技術更容易獲得，這加強了更多數據收集的理由，特別是考慮到降低了存儲成本；其次，隨著采用技術的增加和對技術的理解在更廣泛的范圍中得到增強，將建立更多的商業價值主張。同樣，這將提供更多的數據。因此，大數據的發展也會更加迅速，在金融等行業的應用也會更加廣泛。