面向互聯網金融行業的大數據資源服務平臺

蔣昌俊 丁志軍 王俊麗 閆春鋼

受全球信息化、人類社會發展和需求多樣性、云計算和物聯網等信息技術發展的推動，全球數據增長超越了歷史上任何一個時期，據IDC研究報告中指出，2011年全球數據總量為1.8 ZB，預計到2020年將增至35.2 ZB，年均增長率超過40%。《福布斯》分析指出全球90%的數據都是在過去2年中生成的。其中，信息爆炸式地增長最為典型的當屬互聯網行業，而且這些信息和數據包括不同數據類型（結構化數據、半結構化數據和非結構化數據）。據統計，全球每個月發布10億條Twitter信息和300億條Facebook信息。而且現在越來越多的新興科學研究領域完全建立在大量數據的基礎上，比如系統生物學、宏生態學、基因組學、腦科學等。除此之外，全世界有著無數的傳感器，隨時測量和傳遞著有關位置、運動、溫度、濕度等變化，產生了海量的數據信息。因此，大數據已經不同程度地滲透到工業、科技、交通、電力、醫療、金融、社保、國防、公共安全等人類社會的各個行業領域和部門。作為新一輪科技和產業競爭的戰略制高點，大數據將推動整個信息產業的創新發展，促進社會生產力的發展，改善人們的生活和工作方式，成為推動世界經濟增長和社會發展的重要動力。

早在1980年美國社會思想家托夫勒在《The Third Vave》中就預言，“如果說IBM的主機拉開了信息化革命的大幕，那么大數據則是第3次浪潮的華彩樂章”。“大數據”一詞首次被正式提出是在2011年麥肯錫全球研究院發布的研究報告中，這份報告從經濟角度講解了處理這些數據能夠釋放出的潛在價值，引發全球對大數據的關注。當今數據正以前所未有的速度在不斷地增長和累積，但是人類對這些數據的利用率卻很低。學術界、工業界甚至政府機構都已經開始密切關注大數據問題，并對其產生濃厚的興趣。英國《Nature》雜志2008年“大數據”專刊集中報道了大數據所帶來的技術挑戰及未來的發展方向，標志著大數據分析與處理已經成為科學研究、商業活動、日常生活中的一個核心問題，成為計算機科學研究最重要的內容之一。《Science》雜志2011年的“數據處理”專刊主要圍繞科學研究中大數據的問題展開討論，闡明大數據對科學研究的重要性。微軟研究院出版的《The Fourth Paradigm》一書中，圖靈獎獲得者、著名數據庫專家Jim Gray博士揭示了在海量數據和無處不在的網絡上發展起來的與實驗科學、理論推演、計算機仿真這3種科研范式相輔相成的科學研究第4范式——數據密集型科學發現。最初的科學研究是以實驗物理學為代表的實驗科學；隨后出現了運用了各種定律和定理，比如開普勒定律、牛頓運動定律等的理論科學；而對于許多問題，理論分析方法變得非常復雜以至于難以解決，人們開始借助計算機仿真的方式來模擬現實世界，例如模擬神舟飛船從發射到返回各個階段的飛行狀態，在這一階段數據主要體現在計算機的輸入和輸出；當前，大數據的重要性正在不斷凸顯，數據已成為科學研究甚至是產業的源泉，因此以數據為中心，包括數據的識別與獲取、數據的存儲與分析、數據的交易與決策等主要內容的數據驅動式的研究方式正成為一種新型的科學研究思路。

基于以上考慮，本文將面向可信網絡金融交易典型行業，提出大型數據資源服務架構，并介紹項目組所開展的大型數據存儲與分析研究與應用方面的相關工作。

1 大型數據資源服務架構

大數據技術及相應的基礎研究已經成為科技界的研究熱點，大數據研究作為一個橫跨信息科學、社會科學、網絡科學、系統科學、心理學、經濟學等諸多領域的新興交叉方向正在逐步形成。盡管大數據中幾乎包含了所有我們需要的信息，但是由于大數據在數量、類型、動態特征等方面已大大超出了人類的認知，如何高效處理這么多的動態信息成為一個公認的難題。最近幾年來研究者們已經提出了一些創新的方法來構建大數據平臺，這些研究推動了大數據相關技術的發展和創新。Google針對大數據問題提出了具有代表性的技術：Google文件系統（GFS）和MapReduce處理模型。有研究顯示，Hadoop和HDFS已經發展成為大數據分析的主要平臺。Garlasu等人提出了采用網格體系結構的方式來管理大數據的框架。Wu等人提出了包括數據的訪問和計算、數據隱私和領域知識及大數據挖掘算法3個層次的大數據處理框架。目前已有的這些大數據分析平臺的研究工作，側重于大數據管理、處理、分析和可視化這幾個部分中的一個或兩個方面。但是，隨著大數據爆炸式增長、多樣化趨勢等特征越來越顯著，現有的方法本質上缺少對數據整體上的考慮，無法刻畫和度量數據資源的總體分布和數據成分等特征。

基于這樣的考慮，我們指出大數據分析的首要任務是通過數據“勘探”的方法，形成大數據資源宏觀上的認識。為此，我們提出了一個基于索引網絡的大型數據資源服務框架，其中包括3個主要部分：數據資源識別和獲取、數據資源存儲和分析、構建服務支撐平臺。

1.1 數據資源識別和獲取

大型數據資源通常是分散的、異構的，而且由于數據量非常之大，數據完全獲取的方式顯然是不可能，需要通過抽樣的方法，獲取少量有效樣本以統計出總體的分布。因此，在數據資源識別和獲取這一層次，一方面，將通過探討所訪問的互聯網資源的類型、數據成分、網絡接口限制等特點，正確分析這些因素對于數據獲取和分析的影響，建立符合大規模網絡數據資源特性的統計模型。另外一方面，將在綜合考慮各種網絡限制的基礎上，通過數據資源勘探和探索等方法，引入拒絕抽樣等技術確保樣本單元的獨立性。

1.2 數據資源存儲和分析

目前海量異構數據一般采用分布式存儲技術，如GFS和HDFS，但它們仍不能解決數據的爆炸性增長帶來的存儲問題，靜態的存儲方案并不能滿足數據的動態演化所帶來的挑戰。因此，在數據資源存儲和分析這一層次，需要根據特定的數據資源建立相應的分析和存儲方法，一個良好的存儲機制可以從多樣化的方面支持資源分析。而資源分析的目的是為了提取數據資源之間的關聯。其中，復雜數據分析方法有助于從多個數據源推斷出的聚集的分析結果，側重于結構化數據的數值型統計分析，而針對非結構化和半結構化數據，為了得到更有價值的數據信息分析結果，需要借助于機器學習等語義分析技術，獲取數據資源之間的語義和邏輯關系。

1.3 網絡信息服務平臺

網頁是目前互聯網服務中最基本的資源，在信息呈現、支持應用程序和提供服務等方面發揮主導作用。每天都有眾多的網頁加入到互聯網中，其中大部分是冗余的、無序的。因而從互聯網上查找所需的服務資源是非常有挑戰性的。為此，我們之前已經在Web超鏈分析領域進行了深入的研究，并將網頁之間的超鏈接視作現實世界的客觀關系，并在此基礎上，提出建立基于網頁的分類和超鏈接分析的索引網絡模型，并給出了其代數運算的定義。索引網絡支持根據具體要求獲取服務資源，以及尋找它們之間的語義關聯，能產生更豐富的知識和有價值的信息服務。文獻對這一原型系統進行了更深入的探討。在此基礎上，面向典型的數據驅動行業，開發了相應的服務應用系統。本文接下來將重點介紹項目組在可信網絡金融交易系統研究與開發過程中開展的數據勘探、分析等方面的工作。

2 可信網絡金融交易系統

金融業是大數據的重要產生者，交易、報價、業績報告、消費者研究報告、官方統計數據公報、調查、新聞報道無一不是數據來源。據中國人民銀行支付結算司的《2013年第一季度支付體系運行總體情況》，第一季度，全國共發生電子支付56.12億筆業務，金額217.59萬億元，同比分別增長29.99%和26.20%，其中網絡移動支付1.98億筆，金額1.10萬億元，同比分別增長139.30%和206.46%，移動支付增長速度位于各類支付業務之首，這與互聯網金融的快速發展有相當大的關聯。金融業也高度依賴信息技術，應用大數據方法與技術收集、處理、分析金融數據，并對數據進行挖掘提取，尋找其中有價值的信息，并將這些信息轉化為知識，可以幫助企業做出及時準確的決策。阿里巴巴集團是互聯網金融企業的代表，數據顯示，支付寶2013年雙11全天交易額達350.19億元，相當于9月份中國社會零售總額的一半，其年交易額過萬億元，用戶從搜索到瀏覽、支付，每一個節點都將產生大量數據。淘寶首席商業智能官車品覺表示：“阿里集團目前擁有的大數據達到30 PB，目前有800名員工從事大數據相關的工作”，大數據可以幫助他們分析歷史數據，尋找其中的金融創新機會。

互聯網金融環境中，數據作為金融核心資產，具有相當大的價值，但同時它又存在著巨大的安全隱患，金融行業不能容忍任何安全問題，一旦出現問題，必然會對企業和個人造成巨大的損失。針對網絡金融信息安全問題，項目組研究并開發了以行為認證為核心的可信網絡金融交易系統，圍繞軟件行為認證等關鍵技術，搭建了行為認證平臺體系。

2.1 行為認證平臺體系

在認證中心搭建過程中，我們通過在用戶安全客戶端以及在電商網站和支付平臺部署行為監控器，形成網絡交易可信認證系統平臺，并制定網絡交易可信認證的認證協議。在網絡交易可信認證系統中，認證中心主要負責管理用戶行為和軟件行為證書，同時能夠實時認證軟件及用戶行為的可信性。

網絡交易可信認證中心底層支持多種操作系統，具有良好的跨平臺能力。系統之上的支撐技術為上層的應用開發提供了良好的支持。在支撐技術之上設計通信管理模塊、證書管理模塊和數據庫管理模塊；通信管理模塊能夠針對本系統特定需求對網絡通信功能進行封裝，為上層提供數據交換等通信服務；證書管理模塊對軟件行為證書、用戶行為證書以及數字證書進行統一的管理，包括證書的搜索、更新、發布等操作；數據庫管理模塊負責更新和維護數據庫，提高數據訪問效率。在基礎管理模塊之上，就是網絡交易可信認證系統的第四方認證域，其主要功能是監控和認證網絡交易過程，對交易三方進行數字認證、通過用戶行為證書驗證用戶身份的可信性、通過軟件行為證書驗證交易三方的網絡交易行為的可信性。

網絡交易可信認證中心的認證協議流程如下：當網絡交易發生時，用戶通過登錄安全客戶端，上傳數字證書進行數字認證，電商和第三方支付也同時上傳其數字證書進行相應的數字認證。當數字認證通過后，用戶通過用戶行為證書下載模塊下載行為證書，三方正式進入交易流程。在交易過程中，安全客戶端通過用戶行為采集模塊實時采集用戶行為，并交給用戶行為認證模塊，根據從第四方認證中心下載的該用戶行為證書認證用戶當前訪問行為的可信性。如果認證通過，那么繼續采集用戶的訪問行為，進行認證；若認證不通過，則將詳細認證結果上傳至認證中心，由認證中心進行審查、判定。同時，通過軟件行為采集模塊實時采集客戶端軟件行為，并由通信交互模塊上傳至認證中心。而電商和第三方支付也同樣通過軟件行為監控模塊實時采集其軟件行為，并由通信交互模塊上傳至認證中心。如果軟件行為認證通過，則認證中心發回反饋信息，繼續進行交易流程，同時三方軟件行為監控繼續進行實時采集；若認證不通過，則由認證中心廣播通知交易三方交易流程出現異常，并終止交易。當交易完成后，安全客戶端由用戶訪問日志上傳新的訪問日志至認證中心，當認證中心收到新的訪問日志后，發回反饋信息，用戶退出安全客戶端。接著，認證中心通過證書管理模塊調用用戶行為證書挖掘模塊對新的用戶訪問日志進行挖掘，更新該用戶的行為證書。當一個新的電商或第三方支付平臺加入，則首先對其進行審核，通過后頒發數字證書；接著通過分析其網站源碼，挖掘出其相應的軟件行為證書，上傳至認證中心，由行為證書管理模塊統一進行管理。

2.2 軟件行為認證

根據用戶、電子商務網站、第三方支付平臺在正確交易流程下的三方通信數據包，由專業人員刻畫三方正常合法交互行為，形成軟件行為模型，構建軟件行為證書。

軟件行為證書將三方之間的交易信息交互過程抽象成Petri網，將三方每次執行一步作為一個變遷，例如修改數據庫、修改訂單狀態等；將三方特定的行為理解為觸發條件并抽象為庫所，如訂單消息、狀態消息等和單擊購買按鈕行為等；同時，規定一個變遷中每個輸入庫所必須有且唯有一個token，變遷才有資格被觸發。在軟件行為證書構建完成后，三方身份判別由軟件行為監控驗證系統來實現。軟件行為監控驗證系統由三方軟件行為監控器和軟件行為實時驗證系統2個部分組成。三方軟件行為監控器主要監控三方交易交互數據包并提取必要信息（URL地址、參數等），將關鍵信息以數據包的形式發送給軟件行為實時驗證系統。軟件行為實時驗證系統在接收三方監控器分別提交的交易交互信息數據包后，提取并整合其中的關鍵序列與信息，并將此序列信息設置為交互序列與軟件行為模型進行實時對比，一旦發生亂序，如假冒身份等非法行為則進行警報并關閉交易。

2.3 可信認證在線監控可視化呈現

可信認證中心監控中心屬于可信網絡交易軟件系統試驗環境與示范應用項目下，用于監控用戶、商家和第三方支付公司在進行在線交易行為時產生的用戶行為數據與軟件行為數據，并采用多種類、多維度的表格與圖表的方式直觀動態地展現過程中產生的數據。監控中心作為直觀動態展現以上數據的平臺，目前主要分為3個部分，每個部分又分別由3個屏幕組成，共9個屏幕組成。3個部分分別為平臺軟件行為監控、平臺交易數據監控和平臺用戶行為監控。軟件行為監控分屏顯示了包括購物者、電商、第三方支付平臺三方的軟件行為監控日志。平臺交易數據監控為模擬經過四方認證平臺的實時交易模擬數據，具體包含了滾動展現的交易日志，全國交易數據的分布以及平臺實時的交易額與交易筆數數據。用戶行為監控以單用戶與多用戶的用戶行為瀏覽日志與評分，以及包含頻繁訪問類和訪問時間段在內的多維度的用戶瀏覽習慣展現。

第一部分為平臺軟件行為監控，其主要監控包含了電商、第三方支付以及用戶的軟件行為監控，監控系統通過滾動列表的方式，展示軟件行為的日志，并高亮顯示異常交易，以此幫助業務人員分析異常報警。

第二部分是平臺用戶行為監控可視化，這部分是對平臺用戶行為習慣監控數據的可視化，其子部分包含了多維度的用戶網絡行為信息，如用戶的上網時間段的分布、用戶訪問的網站類的成分等，通過多維度信息展現用戶的行為習慣。

最后一部分為平臺交易數據可視化，用于展示經過平臺的交易數據，其數據可以通過實時數據服務從受監控的外部電商平臺獲取，包括全國交易量統計，實時交易量監控等信息。

3 結束語

當今人類社會的各個行業，如工業、科技、交通、醫療、金融等領域和部門都產生了大量的數據信息，這些大數據已成為一種資源，幾乎包含了所有我們需要的信息，蘊含著巨大價值。但正是由于這些大數據的廣度和容量，以及這些數據的多源異構的本質對數據收集、存儲和處理，特別是數據分析與計算帶來了非常大的困難。大數據分析與處理已經成為科學研究、商業活動、日常生活中的一個核心問題。本文中我們以典型的數據驅動行業（網絡金融行業）為背景，介紹了項目組前期在數據勘探、分析等方面開展的工作。在互聯網金融環境中，數據作為金融核心資產，僅阿里巴巴集團就擁有PB量級大數據，具有相當大的價值。但同時它又存在著巨大的安全隱患，針對這一問題，項目組研究并開發了以行為認證為核心的可信網絡金融交易系統，圍繞軟件行為認證等關鍵技術，搭建了行為認證平臺體系。?