大數據技術在金融行業內部審計中的應用探究

武茗馨

【摘要】隨著大數據時代的到來，審計工作在思維模式、技術方法、審計重點等方面發生了重大變化。在金融信息快速增長、金融創新不斷升級的環境下，金融行業內部審計部門對大數據技術的需求也在不斷增加。本文從金融行業內部審計應用大數據技術的背景出發，通過對大數據及其相關技術的介紹，分析大數據的具體應用，探討大數據對相關領域的影響，對金融行業內部審計的發展做出展望。

【關鍵詞】大數據 大數據技術 內部審計 大數據

一、大數據及基本技術概述

（一）大數據概述

作為一個新興概念，大數據至今尚未有明確統一的定義。大數據研究先驅麥肯錫公司（McKinsey & Company）認為，大數據指的是大小超出常規數據庫軟件的采集、存儲、管理和分析等能力的數據集。這一定義包含兩方面的意義：第一，隨著時間推移和技術進步，符合大數據標準的數據集的大小會有所變化；第二，不一定要超過特定容量值的數據才算是大數據。此外，大數據研究機構高德納咨詢公司（Gartner Group）也對大數據給出定義：大數據是需要高效創新的處理模式來提高洞察力、增強決策力的海量、快速和多樣化的信息資產。這一定義提出了大數據的三大特征：大量化（Volume）、快速化（Velocity）和多樣化（Variety），簡稱大數據的“3V”特點。近年來，隨著對大數據的深入研究，大數據的特點逐漸由“3V”演變為“4V”甚至更多，包括：真實性（Veracity）、價值（Value）、可變性（Variability）、有效性（Validity）、波動性（Volatility）、復雜性（Complexity）等等，圖1.1展示了大數據的特點。

（二）大數據技術

根據大數據處理的生命周期，大數據技術體系中的關鍵技術包括：非結構化數據采集技術、數據清洗篩選技術、數據分布式存儲系統、數據并行計算分析技術、數據可視化技術等。

1.非結構化數據采集技術。大數據時代，數據信息來源十分廣泛，包括手機、電腦、網絡、衛星、社交媒體、交通工具、射頻信號、電子發射器等。從這些渠道所采集的數據往往格式不一，對大量數據進行格式轉換的效率低下，并會增加數據采集的難度。據統計，在現有大數據存儲系統中，非結構化數據和半結構化數據約占80%，因此，傳統的數據采集工具已經無法滿足時代的需要，非結構化數據采集技術必不可少。如今，大多數互聯網企業都建立了自己的大數據采集系統，例如：Facebook的Scribe系統、Cloudera的Flume系統、Apache的Chukwa系統、Linkedin的Kafka系統等。這些非結構化數據采集系統具有良好的可擴展性和容錯機制，并且是開源的系統，用戶可以根據不同需要選擇適合的數據采集技術。

2.數據清洗篩選技術。在大數據采集之后，需要對海量數據進行簡單的預處理，主要包括清洗技術和篩選技術。這兩項大數據技術適用于將網絡中的大量損壞、冗余、無用的數據進行徹底清理，優化多源數據和多模式數據，對采集來的數據進行整合，將高質量數據轉化為信息，并加以提取用于分析。因此，數據清洗篩選技術能夠控制不同來源的數據質量，為數據分析提供基礎性的技術保障。Hadoop平臺正是為了加快數據清理、數據轉換、數據加載進程，提高并行數據預處理而開發的。概括來說，Hadoop是一系列開源產品的組合，其核心的內容是：HDFS（Hadoop Distributed File System）和MapReduce，HDFS可以為海量數據提供存儲功能，MapReduce則為海量數據提供計算。

3.數據分布式存儲系統。非結構化數據存儲于分布式文件系統中，因而分布式存儲系統在大數據時代相當重要。傳統的數據存儲系統采用集中的方式，將所有數據存儲于一臺服務器中，存儲服務器的可靠性和安全性成為系統性能的瓶頸，也無法滿足大規模數據存儲應用的需要。而分布式數據存儲系統采用可擴展的系統結構，借助多臺服務器分擔存儲負荷，利用位置服務器定位存儲信息，不僅可以提高系統整體的可靠性、安全性、可用性和存取效率，還具備可擴展功能。目前，常見的數據分布式存儲系統主要有：GFS（Google File System）、HDFS、Lustre并行分布式文件系統、Ceph存儲系統等。以HDFS為例，圖1.2展示了數據分布式存儲系統的運行模式。

4.數據并行計算分析技術。對于混合負載的大數據庫進行分析處理是十分復雜困難的，對海量數據進行依次順序計算分析不僅費時費力，還存在影響系統安全的風險。表1.1展示了大數據分析技術的基本要求，由此可見，數據并行計算分析技術是大數據分析的關鍵技術。

非結構化數據主要通過分布式計算結構進行處理分析，基于不同的計算模型。目前，主要的并行計算結構有如下三種：

第一，MapReduce模型。這一模型應用較為廣泛，運用映射（Map）和規約（Reduce）函數，將一組鍵值對映射成一組新的鍵值對，從而保證所有映射的鍵值對共享相同的鍵組，適用于大規模數據集（大于1TB）的并行運算。

第二，Bulk Synchronous Parallel模型，簡稱BSP模型。這是一種具有可擴展并行性能的并行程序模型，與簡單計算模型相似，但區別在于：BSP模型在每次運算過后，對所有節點都會進行同步處理，適用于迭代計算。Google的圖算法引擎Pregel即基于此模型。

第三，DAG圖模型。這一模型利用無回路有向圖（DAG）描述復雜的計算處理關系和過程。微軟公司的Dryad項目即采用這一模型。

5.數據可視化技術。數據可視化技術是指利用表格、圖像、色彩、動畫等形式，對數據信息加以可視化解釋的技術。在大數據時代，面對海量數據信息，利用數據可視化技術能夠更加直觀、便捷的對數據分析結果進行展示，并進一步幫助研究人員進行大數據分析與挖掘。數據可視化技術適用范圍廣泛，涉及生物醫藥、氣象地理、商務金融、社交媒體、公共服務等眾多領域，并處在進一步發展開發階段。