基于分布式技術的銀行大數據架構方案

韓健

摘 要：大數據技術在銀行業引發了越來越多的關注。在數據爆發式增長的今天，銀行每天都在生成、獲取海量數據，如何能夠更加有效的處理和存儲銀行的數據成為銀行的新課題。本文以分布式數據處理和存儲技術為核心，試圖為傳統銀行搭建一條大數據的架構路線。

關鍵詞：銀行；大數據；分布式；架構

中圖分類號：TP311.13 文獻標識碼：A 文章編號：1671-2064（2017）24-0036-01

自2013年大數據元年之后，互聯網、物聯網、社交網絡的數據洪流不斷沖擊傳統數據存儲和處理手段。據IDC（International Data Corporation）報告顯示到2020年全球數據總量將達到40ZB，全球在15年的數據總量為7.9ZB，而中國數據總量約占全球數據總量的13%。面對數據的爆炸性增長，傳統的數據存儲系統、傳統的數據庫技術和數據倉庫架構越來越感到吃力。數據庫也在從傳統的關系型數據庫到NoSQL非關系數據庫再到現在基于內存的NewSQL數據庫遞進發展。數據存儲量上數據處理速度上也在遞進發展。

對于如何處理大數據，計算機科學界有兩大方向：一種是集中式計算，一種是分布式計算。過去，分布式計算理論比較復雜，技術實現比較困難，因此在處理大數據方面，集中式計算一直是主流解決方案。IBM的大型機就是集中式計算的典型硬件，很多銀行和政府機構都用它處理大數據。不過，一方面大型機的價格過于昂貴，另一方面由于大型機技術長期以來被國外壟斷，不利于我國自主技術的研發。因此，國家提出了“去IOE”的計劃，大力鼓勵我國自主研發的技術。在這種大的時代背景下，基于分布式數據存儲和計算的系統在大數據領域擁有更加廣闊的前景。

1 分布式處理技術和存儲系統

當前，IT廠商推出的大數據平臺或產品以及各種開源大數據解決方案基本都采用了分布式計算和分布式文件系統，很好地解決了海量數據的存儲與計算難題。

1.1 分布式計算處理

分布式計算，即把一個需要非常大計算能力才能解決的問題分成若干部分，然后把這些部分分配給許多計算節點處理，再把計算結果綜合起來得到最終的結果。這種算模式，改變了原有的數據庫模式，即將所有的數據集中起來，通過不斷縱向擴展計算機性能來實現高性能的大數據處理。其靈活可擴展的架構，使得計算性能的橫向擴展更易實現。

1.2 分布式存儲系統

分布式存儲系統，多部署于低廉的硬件上（x86及本地磁盤）。在分布式存儲系統中，數據文件被分割成一個或多個數據塊，存儲在一組數據節點上，并通過多副本的機制有效保障了數據的可用性和完整性。同時，分布式存儲系統還提供高吞吐量來訪問應用程序的數據，適合那些有著超大數據集的應用程序。一些分布式存儲系統還可以實現以流的形式訪問文件系統中的數據。在集群中我們可以通過橫向擴展集群，來提高其性能與吞吐量。分布式存儲系統在高性能磁盤系統高效高成本和磁帶系統低效率低成本之間，找到了大數據存儲的解決方案。

2 MPP關系型數據庫與Hadoop的非關系型數據庫

目前分布式大數據存儲技術路線很典型的主要有兩種：第一種是采用MPP架構的新型數據庫集群，采用Shared Nothing架構，通過列存儲、粗粒度索引等多項大數據處理技術，再結合MPP架構高效的分布式計算模式，完成對分析類應用的支撐，運行環境多為低成本PC Server，具有高性能和高擴展性的特點，在企業分析類應用領域獲得極其廣泛的應用。這類MPP產品可以有效支撐PB級別的結構化數據分析，這是傳統數據庫技術無法勝任的。對于企業新一代的數據倉庫和結構化數據分析，目前選擇是MPP數據庫。

第二種是基于Hadoop的技術擴展和封裝，圍繞Hadoop衍生出相關的大數據技術，應對傳統關系型數據庫較難處理的數據和場景，例如針對非結構化數據的存儲和計算等，充分利用Hadoop開源的優勢，伴隨相關技術的不斷進步，其應用場景也將逐步擴大，目前很為典型的應用場景就是通過擴展和封裝Hadoop來實現對互聯網大數據存儲、分析的支撐。這里面有幾十種NoSQL技術，也在進一步的細分。對于非結構、半結構化數據處理、復雜的ETL流程、復雜的數據挖掘和計算模型，Hadoop平臺更擅長。

3 多種技術平臺相結合的大數據架構

在大數據時代，為了更好地挖掘不同類型數據的價值，同時更有效地使用各類數據處理平臺，大數據存儲和管理方案，應采用多種處理平臺相結合的模式，這樣可以實現高效低成本的儲存目標。由于業務處理層（ODS層）對事務完整性和實時性的要求都比較高，因此，從數據處理角度上來看，可采用傳統的高性能關系型數據庫（OLTP型數據庫）作為處理平臺。而對于數據消費層（ADS層），則可以采用大數據技術，使用MPP分布式數據庫和Hadoop技術作為分析型數據庫處理平臺。

MPP分布式數據庫較Hadoop分布式系統，在復雜邏輯的結構化數據處理上具有一定的優勢，且可基于SQL開發，對于有較豐富SQL經驗的銀行系統開發者開發與運維更容易。當然，業界MPP分布式數據庫產品價格也要高于Hadoop這個源于開源社區的產品。如表1所示。

銀行系統數據中，結構化數據價值密度通常高于非結構化或半結構化數據，而在銀行數據中非結構化數據占用了大量的存儲資源。這是因為銀行系統中結構化數據以賬務數據為主，而非結構化數據則主要集中在憑證影像等數據。當然結構化數據中也包括部分日志信息等價值密度不高的數據。

參考文獻

[1]張冬.大話存儲[M].北京：清華大學出版社，2008：19-58.

[2]王月，賈卓生.網絡存儲技術的研究與應用[J].計算機技術與發展，2006，16（6）：107-109.endprint