大數據技術在銀行業中的應用分析

沈帥奇/Shen Shuaiqi

（香港理工大學 香港999077）

1 銀行業呼喚大數據技術

隨著信息技術的飛速發展，數據正在迅速膨脹并呈現出幾何級數的增長，大數據時代已經來到了每個人的身邊。大數據的特點可以用所謂的“4V”概括：Volume，數據規模龐大，增長速度快；Variety，數據類型多樣，大部分是非結構化數據，構成復雜；Value，數據中的信息價值巨大卻隱藏較深，需要復雜的算法提取；Velocity，對數據處理要求速度快、時效性強，并進行實時反饋。大數據技術分析處理海量的數據，并從中提取有價值的信息，大數據技術的應用正在為各行各業帶來創新與變革，而其中最重要的應用領域便是銀行業。

銀行業是天生擁有數據資源的行業，同時也是數據驅動的行業。其業務從儲蓄、信用卡、信貸，到各種金融理財產品，都會產生和積累大量數據，反過來這些業務的經營發展也離不開數據分析的支撐。例如，為了提高服務質量，降低貸款風險，提升投資收益，銀行需要對客戶的各項業務數據進行長期存儲、整合和分析，從而對客戶產生更全面的了解，例如信用評級、消費傾向等。

長期以來，銀行在傳統數據庫上對結構化數據的處理技術（例如SQL分析）已經趨于完善。然而，傳統數據庫的信息量并不豐富，也不完整。例如，銀行存儲有客戶的基本身份信息，但對于客戶的興趣愛好、生活習慣、行業領域、家庭狀況等其他信息卻難以準確掌握。而對于非結構化的數據，例如客戶網頁瀏覽行為、資金往來、話音服務記錄等，傳統的數據庫架構難以進行處理，更無法結合多維度信息進行綜合分析。尤其值得關注的是，隨著銀行用戶數量的增加、業務和產品的擴張以及近年來互聯網金融的興起，銀行的數據產生量也呈現爆發式增長，使數據分析的規模和復雜度都超過了傳統數據庫的處理能力。數據處理與計算因龐大的數據量而難以及時完成，一些模型甚至由于過于復雜而無法在傳統數據庫上應用。正因如此，大數據技術在銀行業受到了空前的重視。

大數據技術對于銀行業最重要的作用在于兩個方面：一方面在于能夠為其處理日益增加的海量數據，用大數據平臺替代結構化關系數據庫，解決傳統數據技術面臨的困境；另一方面，銀行需要通過種種算法模型，從數據中挖掘出更多價值，為銀行的業務發展帶來進一步的提升。

2 銀行業大數據的技術架構

銀行業的大數據應用，每家有不一樣的側重點和目的，因而有著多種多樣的實現途徑、技術路線和具體方案，但大多不外乎以下兩大類。

建立大數據的數據倉庫：利用大數據平臺強大的處理能力處理原有的數據分析業務，對大量報表的關聯和聚合進行分析。

對數據的進一步挖掘：使用數據挖掘算法開發一些新的應用，從數據中獲取更多價值，為客戶提供更優質、更具個性化的服務。

2.1 大數據倉庫

主要目標是對過于集中的數據庫進行分布式改造，建立大數據的存儲和備份數據池，大力提高存儲、處理海量非結構化數據的能力。數據管理和應用如圖1所示，數據存儲和備份如圖2所示。分布式數據庫有如下技術架構。

●通過數據分布實現海量數據處理能力，把這些數據打散到不同的節點，來實現橫向擴展以及處理能力的提高。

●數據匯集機制支持本銀行全國集中管理模式，通過網絡和云計算平臺，把數據匯集到總行集中管理模式的應用上。

●通過將數據復制至備份節點實現高可靠性，節點與節點之間也有數據復制的機制，來實現數據出現異常情況下的快速恢復。

●基于硬件的可靠消息總線，每秒能有50～60萬消息的處理能力，可以通過增加硬件的設備來提高它的處理能力。

●隨著用戶規模增長的需要，系統處理能力可以無限橫向擴展，理想效果達到可以不斷地通過新增加的資源，包括數據中心的資源，來滿足業務發展的需要。

●硬件方面：使用大量標準化的硬件，如機房機柜采用的標準x86服務器，目前運行在其上的數據庫（TD-SQL）可實現數十萬級IOPS的讀寫能力。

● 軟件方面：采用了大量開源軟件，如Java、MySQL、Linux等，同時使用包括LVS、TGW、TLinux、TD-SQL、TDW等有實際運營經驗的開源軟件。

2.2 銀行非結構化數據管理架構

IDC研究表明，金融行業未來80%的數據主要呈現為影像、照片、音頻、視頻等非結構化數據。2010～2020年，非結構化數據將以44倍的發展速度迅猛增長。同時，非結構化數據對傳統針對結構化數據的現有處理系統也提出了嚴峻挑戰。如何有效地保存和處理這些海量非結構化數據？其管理架構應主要具備以下4個功能板塊。

（1）分級存儲功能

根據票據影像文件生成時間與訪問頻度，合理利用在線、近線、離線存儲介質，減少生產存儲容量。

（2）自動歸檔功能

根據歸檔策略，將訪問頻度低的文件通過“打包歸檔”方式實現數據保護，滿足監管要求。

（3）自動備份功能

實現“海量小文件”的高速備份，在系統故障和個別文件損毀的情況下，能有效管理數億的文件，并能夠實現數據的快速恢復。

（4）透明訪問功能

當應用系統訪問已經歸檔的文件時，方案可以自動將歸檔數據從近線存儲中回調至生產存儲，保證應用在等待若干秒后能夠訪問到所需數據，無需人工干預，操作人員無感知。

2.3 大數據挖掘的平臺系統

（1）主流技術之一：甲骨文（Oracle）大數據系統

甲骨文將大數據平臺的行為概括為數據獲取、數據組織和數據分析，并為這3個階段開發了不同的產品，而這些產品又與其推出的“大數據機”完全集成到一起。隨著甲骨文大數據機的推出，甲骨文成為了以全面、軟/硬件集成的產品滿足企業關鍵大數據需求的公司。

甲骨文完整的大數據平臺包括Oracle NoSQL數據庫、甲骨文大數據連接器、大數據一體機、數據庫云服務器、商務智能云服務器等產品。其中，Oracle NoSQL數據庫支持水平擴展、彈性配置、透明負載平衡等特性，Oracle大數據連接器實現Hadoop與Oracle數據庫和Oracle數據庫云服務器的優化集成，大數據機實現軟件與硬件的完美結合。整個大數據平臺完成了數據的流動、獲取、組織、分析和可視化等全過程。

（2）主流技術之二：SAP大數據平臺

SAP 大數據平臺由 SAPHANA、SAP IQ、Hadoop、高級分析和可視化工具組成。SAP大數據業務涉及4個層面，包括吸收、存儲、處理以及展現，針對半結構性數據、結構性數據以及非結構性數據，其中數據處理的SAPHANA是SAP大數據解決方案的核心。

SAPHANA是一個利用內存計算的新型實時數據平臺，能夠實現在海量數據持續增加的情況下支持實時業務驅動，可以在本地部署，也可以通過云交付。SAP HANA平臺可以助力企業的實時業務，包括對運營報表、數據倉庫、大數據預測分析和文字分析的實時分析；涉及核心流程加速、計劃優化應用和感知響應應用等實時應用以及數據庫、移動端、云端的實時平臺。

3 典型應用

大數據技術在銀行業的應用非常廣泛，目前國內多家銀行已經開始了有益的嘗試，并在業內實現了許多成功的應用案例。主要是在大數據平臺上使用數據挖掘算法，開發新的應用，從數據中獲取更多價值支撐業務，例如歷史交易數據存儲查詢、客戶畫像、用戶流失預測、精準營銷和個性化服務、金融產品個性化推薦、信用卡欺詐檢測等。

3.1 歷史交易數據存儲查詢

（1）需求

隨著銀行交易數據的爆發性增長，傳統數據庫結構難以對海量歷史數據進行長期存儲和處理，存儲成本昂貴，橫向擴展能力欠缺。

移動互聯網的發展，使用戶可以隨時隨地對賬戶進行歷史交易數據的查詢及分析操作。數據庫系統面對高并發數據查詢壓力激增，響應延遲，亟需提升查詢、分析的性能。

（2）方案

使用TDH下的交互式SQL分析引擎Transwarp Inceptor支持銀行的數據倉庫業務，Transwarp Inceptor采用分布式內存計算方式，將涉及海量數據的復雜任務分割成小任務交給多臺機器同時處理，加快計算速度。

TDH采用通過添加服務器的方式來橫向擴展（Scale Out）處理能力，保證投入和處理能力的提升是線性關系，擴展性極佳，可以無限提升存儲和計算能力，具體如圖3所示。

（3）實例：銀聯實時查詢服務系統

銀聯公司利用上述大數據平臺，實現了海量歷史交易數據的快捷高效處理，為持卡人提供實時交易查詢服務，并提供多維度統計分析，持卡人可通過手機、電腦等不同渠道享受豐富的大數據服務。圖4是電子對賬單示意。

3.2 圖片等小文件數據存儲管理

（1）需求

當前，銀行日常營業窗口產生大量單據、證件等紙質文件，均需掃描成照片文檔在系統上保存。傳統的數據庫對半結構化、非結構化文檔和圖片支持較差，現有管理平臺性能不足，檢索、查詢、統計等繁瑣而低效，加之數據量龐大，只能分頭存放在分行，因此，無法滿足數據管理的智能化、集中化要求，亟需利用大數據技術來解決。

（2）方案

一是實現數據文件存儲保管的二級索引。二級索引的設計是將記錄文件的一級索引與介質一起存放，由介質服務器管理，備份服務器只管理二級索引。這種分布式的索引技術可以支持數十億文件的高性能管理。

二是實現數據文件查詢調用的透明訪問。歸檔操作時，一方面將超過一定時間的數據文件遷移到近線存儲，另一方面在生產存儲留下相應的存根。該存根指向文件遷出后的實際位置。在應用系統訪問已經歸檔的文件時，就訪問到了存根，此時會觸發一個將歸檔文件回調至生產存儲的操作，使得應用系統能夠讀取到該文件。IBM中小銀行影像管理基礎架構解決方案如圖5所示。

（3）實例：中國農業銀行票據影像文件管理平臺

農業銀行數據庫中，大量支票、交易票據、證件都以圖片存檔，大小為50 kB～1 MB不等，每天新增存儲量達到2 TB，為此，農行建立了票據影像文件管理平臺，利用大數據技術進行了小文件存儲的全面優化。

●海量小文件的備份效率提高到每小時數百GB，備份時間約縮短至傳統方式的1/10。相對于備份方式，該平臺可以支持更高頻率的備份，大大提高數據安全性。

●通過數據生命周期思想，有效控制在線數據規模，降低存儲采購成本；一站式解決海量文件存儲、備份、歸檔、容災問題，建設成本低。●實現全自動數據管理，減少大量運維成本與人員投入；索引、文件一體化存儲，并融合備份與容災，簡化系統組網，一套平臺統一管理；通過軟件可視化進行電子影像系統的容災管理，隨時掌控容災的路徑、狀態。

●矩陣式多控架構，系統資源支持線性擴展，滿足客戶未來長期的數據增長需求。

3.3 客戶信息挖掘

（1）需求

銀行卡交易數據能夠反映持卡人消費行為習慣以及消費市場中企業的經營狀況。通過對客戶的數據挖掘，可以形成特定的客戶畫像，并為商戶提供有價值的關聯信息或是出售分析服務，打造新的商業模式，如圖6所示。

（2）方案

首先，將銀行卡客戶的完整消費行為記錄，按照多副本進行半結構化數據的分布式存儲。在各分布式存儲節點的物理機上，部署數據挖掘分析系統、風險分析模型系統和交易報文分析系統，利用相應數學模型、多維指標綜合處理系統，在海量數據的基礎上進行數據的整理、分析、統計和結果輸出。

（3）實例：中國銀聯客戶畫像系統

中國銀聯利用客戶信息系統（如圖7所示）挖掘銀聯持卡人歷史交易數據中的潛在規律，從多角度形成數據支持，刻畫出持卡人的交易行為特征，為精準營銷、客戶服務等工作提供強有力支持。

同時，挖掘商戶之間的關聯性，直接（銀聯的商戶服務）或間接（面向收單機構等合作伙伴）為商戶提供經營決策支持、合作性指導、競爭性指導等服務，在商圈品牌引進、店鋪選址、聯合營銷等領域有很大的潛在價值。

3.4 利用社交媒體大數據分析開展精準營銷

在社交媒體風靡世界各國，引發各階層、各年齡段、各文化背景的人們大量使用社交軟件的背景下，人們對網絡社交應用的粘性和依賴性越來越強。微信、微博、Facebook、Twitter等社交媒體上匯集著大量豐富多樣的大數據資源，是人們行為特征的最大信息資源池，對大數據分析者們有著巨大的吸引力。當然，銀行業經營者也不會放棄這塊寶地，紛紛試圖從社交媒體上得到用戶行為數據和消費規律，從而開展精準營銷。

亞太地區的幾大銀行，如新加坡銀行、香港匯豐銀行等，已開始創建自己的用戶社交媒體活動圈，發布Facebook頁面，并創建Twitter賬戶以及Linkedln檔案。他們認識到通過社交媒體不僅能展示自己，更重要的是可與客戶開展互動。

營銷方法有以下幾個方面。

●利用社交媒體分析工具判斷消費者情緒。

●利用銀行整體品牌分析模型將品牌認知度與客戶特定的營銷活動相集成。

●利用情緒分析來判斷對營銷活動的實施響應情況。

獲得的成效如下。

●實時了解品牌認知度以及競爭品牌認知度。

●設定新的情感目標，以提高營銷活動的反饋率。

●利用情緒知識和有針對性的營銷反饋數據提高服務中心參與度。

3.5 客戶信用評估

（1）需求

近年來銀行信用卡發卡量迅速增長，在大量發卡的同時，申請者和持卡者的風險評估、信用評估等方面面臨越來越多的壓力。不僅數量龐大、工作量繁雜，而且時效性和準確度要求高。迫切需要一個可拓展、高性能的數據倉庫解決方案，提升業務敏捷性，建立對客戶信用風險的自動化、智能化評估機制，從而減少不良貸款比例。

（2）方案：Greenplum

銀行采用無共享開放平臺的MPP架構，將所有分行和支行用于保存已有客戶和潛在客戶的信用記錄、交易特征記錄等的服務器、數據庫，均通過網絡連通，沒有磁盤級共享或連接，服務器以完全并行的方式處理每個查詢。這種方式更容易添加模塊化設備集群，確保現有資源優化，降低初始成本支出。數據集中在同一平臺，減少了系統維護工作量。Greenplum架構如圖8所示。

（3）實例1：中信銀行客戶營銷和信用評估系統

中信銀行自2014年建立起大數據客戶系統后，實現了業務數據的集中整合，建立了數據庫營銷平臺。同時，結合實時、歷史數據的挖掘分析，建立了統一的客戶視圖，更清楚地了解客戶的價值體系，針對性地開展營銷活動。

中信銀行根據建立的數據挖掘模型，風險管理部門每天評估客戶的行為，并對客戶的信用額度在同一天進行調整，從而減少了信用卡的不良貸款比率。

（4）實例 2：阿里小貸征信系統

阿里小貸為客戶提供小額貸款業務，無需抵押物和擔保人，客戶能否申請貸款和貸款額度完全取決于大數據平臺計算出的信用值。阿里小貸部門依據貸款者線上經營的信用數據、財務數據，通過對這些海量數據的在線分析，予以授信。

阿里小貸征信系統每天處理上PB的數據量，包括店鋪等級、收藏、評價等幾百億個信息項，運算上百個數據模型，甚至需要測評用戶對假設情景的掩飾和撒謊程度，對大數據平臺的可靠性、安全性以及計算的準確性提出了極高要求。

阿里公司將是否放貸、貸款額度和風險評估完全交給大數據處理平臺，無需人工處理，實現“3分鐘申請、1秒放款、0人工干預”的高效工作模式。有效識別和分散風險，提供更有針對性、多樣化的服務，減少不良貸款比率。批量化、流水化的作業使得交易成本大幅下降。無需抵押物、擔保人和繁瑣的申請流程，降低了貸款申請門檻，吸引了更多小額貸款用戶。