基于Hadoop技術的商業銀行數據審計模式研究

張博宇

[摘要]商業銀行各業務領域大多采用基于關系型數據庫的集中統一信息管理模式，為審計工作逐漸由傳統的抽樣現場審計模式向數據審計模式轉變提供了新的發展契機。Hadoop作為一個高效、擴展性強、應用靈活的技術載體，與數據審計的需求相契合，對于數據審計的開展具有十分重要的意義。

[關鍵詞]商業銀行 數據審計 結構化 Hadoop技術

一、數據審計的發展

近年來，隨著商業銀行各類業務管理系統的建設及應用，各類業務行為都被記載于數據庫中，相關數據反映的業務特征逐漸成為審計運用的重要資料。通過對數據的篩選分析及比對，發現疑點線索，繼而鎖定重點，深入核查，從而實現審計全覆蓋、提高工作效率。因此，各商業銀行審計部門也逐漸建立起專業技術團隊，將業務數據分析研究、模型構建等審計信息化建設作為重點工作內容。

此項工作開展早期，審計部門引入了專業技術人員，利用如Sql Server、DB2等傳統關系型數據庫作為業務數據的匯總集市及分析工具，為數據審計工作的開展邁出了堅實的第一步。

隨著商業銀行業務的不斷發展，風險控制管理不斷從嚴，對審計工作的要求不斷提高，傳統關系型數據庫本身的技術瓶頸也逐漸顯現。

一是處理海量數據運算效率低。一家商業銀行賬戶數量往往達到幾千萬乃至上億，每年流水記錄至少數億條，在傳統數據庫環境下，一條語句命令的執行往往需要幾十分鐘。

二是只能展現提取日的業務數據狀態。因為普通關系型數據庫為二維數據存儲模式，無法對每日的數據狀態進行保存，無法實現與以前部分業務狀態的比對以及對銀行賬戶日均存量等信息的統計。

三是存儲擴展性不強。隨著數據提取范圍及數據的積累，存儲空間及運算能力逐漸接近飽和，解決運算和資源存儲問題，往往只能采用更換硬件的方式。

四是無法存儲非結構化數據。對非結構化數據進行智能分析，已逐漸成為審計技術人員研究的方向，但傳統數據庫不支持非結構化數據的存儲。

二、Hadoop技術

隨著信息化技術日新月異的發展，審計人員也在不斷嘗試探索新的數據審計技術手段以提高審計工作效率，擴展數據分析功能。繼傳統關系型數據庫之后，基于Netezza或者Teradata平臺的數據倉庫技術，也一度成為數據審計集市的基礎平臺。但其高額的成本，也讓一些中小型商業銀行望而卻步。

近年來，Hadoop作為基于分布式計算及存儲的技術，以其高效、靈活擴展、高容錯等特點，逐漸進入審計技術人員的視野。部分商業銀行在建設審計系統方案中，已將Hadoop作為底層數據集市的應用平臺。

（一）Hadoop技術架構

Hadoop提供了一個穩定的共享存儲器和分析系統，存儲由HDFS實現，分析由MapReduce實現。

HDFS（Hadoop Distribute File System）存儲Hadoop集群中所有存儲節點上的文件，邏輯上像一個傳統的分級文件系統，存儲在HDFS中的文件被分成數據塊，復制到多個計算機中。該架構的優勢在于數據可以在節點之間動態地移動，并保證各個節點的動態平衡，因而處理速度非常快，并且自動保存數據的多個副本，自動將失敗的任務重新分配。

MapReduce是一種面向大數據并行處理的計算模型、框架和平臺，其本質是并行運算原理，適合處理需要分析整個數據集的運算，以批處理的方式運行，將單個任務打碎，并將碎片任務發送至多個節點，之后再以單個數據集的形式加載處理。此外，MapReduce的另一優勢是能夠對非結構化數據進行處理。

（二）Hadoop技術優勢

1.無容量和類型的限制。Hadoop的運算及存儲資源可以由若干臺并行的服務器提供，當資源不足時，只需將新的服務器并入資源池即可，資源池節點數量無上限，管理方便靈活。此外，實現了數據的并發運算及數據存儲的多備份均衡分布。

2.統一的平臺可運行多種分析處理引擎。傳統的關系型數據庫底層只有一個引擎，只處理關系型應用。而Hadoop在底層共用一份HDFS存儲，上層有很多組件分別服務多種應用場景。如以Cloudera的Impala組件為代表的確定性數據分析，其突出優勢是響應速度快；Search組件可實現探索性數據分析，實現對非結構化的數據分析；承擔ETL的數據處理及轉化引擎，負責IO吞吐率及可靠性。

3.相比傳統商業數據平臺具有成本優勢。Hadoop技術應用環境為普通的PC Server群，不依賴某些品牌專用設備，在成本投入方面具有明顯優勢。此外，其開源性特點也降低了用戶的投入成本。

4.開源模式加速了Hadoop的研發和普及。目前，很多機構提供基于Hadoop的技術服務，該產品代碼的開源性，也為Hadoop技術的不斷優化升級及推廣應用創造了便利條件。目前，國外的Cloudera、IBM公司及我國的華為公司等都在進行基于Hadoop的技術研發，并為客戶提供技術支持服務。

三、Hadoop技術在商業銀行審計工作中的應用

近年來，商業銀行大多建設了自己的審計系統，包括數據審計模塊，但后臺使用的數據支持平臺各不相同。早期建設的審計系統也隨著數據量的不斷積累，開始出現運算效率下降、存儲容量不足等問題。對于數據審計中數據存儲的大容量、高效率、低成本需求，以及未來智能化分析處理等需求，Hadoop的技術優勢逐漸得到一些商業銀行技術部門的關注。

（一）商業銀行審計系統建設

要實現Hadoop技術在商業銀行審計系統的落地應用，應結合Hadoop的技術特點及商業銀行審計系統的建設功能需求，進行整體規劃設計。

以某商業銀行審計系統的建設為例。建設目標包括以下方面：實現審計人員對常用業務數據進行靈活、快速的查詢，對現場審計環節前的數據調研分析以及在審計過程中的數據補充提供支持；支持審計人員根據風險點特征及對應相關數據邏輯關系構建數據分析模型；實現本行重要業務系統數據的T+1自動增量采集，根據風險點在系統中設置預警模型，定制周期自動執行并提示預警，在系統中完成疑點線索的核查工作；實現各類現場檢查工作流程的標準化系統線上處理；參考內外部規定，以內控五要素為基本結構，以風險點的形式嵌入系統中，指導檢查工作的開展；實現審計條線內部信息及資料的系統線上管理。

通過對系統建設目標的分析發現，數據的使用與現場審計階段的工作緊密銜接、高度契合、相互作用，通過若干環節對數據的調閱、分析與處理，能夠最大程度地發揮數據在整個審計工作中的支持作用。據此，確定系統的整體邏輯架構如圖1所示。

部分商業銀行在建設審計系統時，只建設數據審計模塊功能，希望通過科技部乃至軟件公司的技術支持，解決自身的技術短板。但審計現場與非現場的數據分析不應是彼此獨立的，不僅在工作開展期間互相穿插，在成果運用方面也應互相促進。因此，在設計審計系統功能架構時，應從更高角度、全局視角去規劃，將現場檢查功能模塊與數據審計分析功能合理結合、同步建設，從而發揮更大效能。

（二）Hadoop技術在審計系統架構中的應用

根據系統功能目標，結合Hadoop技術本身的優勢，從底層架構進行設計規劃，解決需求中數據使用方面的問題。首先，實現數據的快速查詢。其次，實現數據的自動采集以及對非流水類數據的三維立體拉鏈存儲。最后，實現不同數據分析模型的邏輯構建及展現。

基于整體功能需求的明確，某商業銀行審計系統基礎技術架構為：以Hadoop作為存儲、調閱銀行各業務系統數據的容器，DB2作為審計系統管理數據庫，用于存儲系統用戶權限、現場檢查底稿及數據分析成果等管理類數據。

審計系統對接Hadoop大數據平臺，對業務數據進行管理，并集成Impala數據分析引擎組件，用于數據的高速訪問。同時，數據訪問增加了Kerberos認證機制，保障了業務數據訪問安全。此外，大數據平臺與用于審計系統自身管理的DB2數據庫也存在交互，交互采用Sqoop組件，保證模型數據的及時同步。

根據業務需求和科技規劃，建設基于Hadoop平臺的審計數據集市，并按照不同主題進行劃分，引入Control-M工具對ETL過程進行管理監控。

（三）Hadoop技術在商業銀行審計應用中的成果

1. 構建了商業銀行審計所需資源的數據集市。一般來說，商業銀行主要的業務系統包括核心系統、信貸風險管理系統、貸款核算系統、財務管理系統、各交易渠道系統等。這些系統業務數據都可以作為審計所需要的數據資源，將以上數據進行充分分析和梳理后，分類進行采集和存儲，作為數據分析的基礎資源池。根據在源系統中的數據管理模式，需將流水類數據與時點狀態類數據進行區分，以不同形式存儲。如存儲授信余額及分類狀態類的數據表，要以拉鏈的形式，記錄每天的狀態信息，這樣在作數據分析時，可以追溯該筆業務之前某時點的信息狀態。該數據集市的存儲空間可隨業務數據的增加，以物理的方式靈活擴展，Hadoop系統可智能判斷擴展后的物理節點，重新構建數據的分布形態，保證查閱效率。

2.實現了銀行審計人員審前及審計過程中數據的靈活查詢。基于Hadoop技術搭建的數據查詢環境，由于應用Impala這類對數據檢索效率更具優勢的組件，讓審計人員在對日常業務數據、尤其是海量數據的流水類信息進行查詢時，速度優勢更加明顯。面對幾億條數據的條件搜索及相關字段的條件加工及展現，從觸發指令到展現結果，只需十幾秒，大大提高了審計工作效率。此外，基于Hadoop的技術原理優勢，即便被訪問數據量隨著時間的積累增加若干倍，查詢時間也不會成倍增加，處理時間依然能保持在十幾秒以內。

3.實現了針對風險點構建監測模型。由于數據審計自身的工作特點，某一模型的分析成果所反映的是某項業務以前或者當前某時點的運行狀態，單一或者某幾個模型無法體現該項業務全貌。所謂風險模型的構建，都是根據各類業務某一風險點的數據特征構建的。因此，審計系統上線后，依托Hadoop搭建的數據資源池，在同步建設風險點庫的基礎上，結合不同風險點對應的數據邏輯特點，運用Sql語言搭建風險分析模型，進而逐步完善非現場監測體系。

4.實現了預制風險模型的自動預警。以Hadoop為底層架構的數據集市的投產，以及與貼源層數據的ETL自動對接與T+1頻率采集，使分析模型的定期自動持續監測成為可能。系統投產后，針對銀行柜員異常行為、授信資金使用等風險等級較高的風險點而構建的模型，在系統中設置為固定頻率運行監測，自動展現疑點線索，按照審計系統工作流程提交審計人員核查處理。監測內容還可擴展為某些業務數據的閾值以及KPI指標，對異常情況進行深入分析。疑點線索數據處理流程如圖2所示。在某商業銀行實施的審計案例中，通過持續的數據監測，發現柜員為本人辦理業務的情況頻發，此類行為屬銀行嚴禁行為，經核實后向會計營運部門提示風險，通過完善核心系統功能堵塞風險。此外，通過對逾期不良貸款借款人的行內賬戶監測，發現該銀行在追索逃廢債務方面存在管理漏洞，通過加強授信后管理與系統改造升級，保全了銀行資產。

5. 體現了數據審計的優勢。數據審計較傳統審計模式的優勢體現在全面性與時效性。可根據問題業務的數據特征，利用全轄數據進行拉網式搜索；由于實現了T+1模式的數據采集，當日的問題疑點，在下一日即可自動提示，在相關被審計單位中形成了較高的威懾力，進而增強了風險的防范。

此外，當各類問題實現系統化記錄后，審計系統也將成為一套積累審計成果資料的數據庫，通過進行不同角度的統計與分析，可以總結出商業銀行存在的管理與內控方面的不足，為商業銀行制定下一步風險管理政策及審計工作計劃提供借鑒與參考。

四、商業銀行數據審計應用與展望

（一）數據審計工作面臨的困難及解決途徑

近年來，孜孜不倦的審計人員在數據審計方面做了大量努力探索，也取得了一定成果，但其過程并不是一帆風順的，也存在著很多困擾和曲折。首先，在對數據審計的理解方面，業內一直沒有標準的定義，大多是不同單位的審計人員根據自身工作經驗的理解。筆者認為，數據分析模型運行后的結果，在深入核查之前只能稱作疑點，不能定位為問題，數據審計成果確認離不開現場核實環節。數據審計手段與現場審計手段相輔相成，而不能相互代替。其次，數據質量一直是困擾數據審計人員的難題，也是各家商業銀行共同面臨的問題，更是開展數據審計工作的前提之一。最后，在數據審計方面，大部分商業銀行更傾向于資金投入，而非人才投入和高質量的工作規劃設計。部分機構在開展數據審計工作方面急功近利，沒有進行合理規劃，部分基礎性工作不扎實，動輒投入幾百萬乃至上千萬而效果不明顯。此外，由于承擔此項工作的審計人員必須掌握數據庫管理及分析技術，而大部分銀行內審人員由于沒有此類專業背景，對參與此項工作望而卻步。

目前，有的商業銀行已開始從理論層面分析、思考數據審計在審計工作體系中的特點與定位，并以此為依托，對數據審計工作的開展進行規劃，配置相關資源，搭建審計系統。此外，部分商業銀行也初步培養了一支具備模型構建能力的技術隊伍。放眼未來，數據審計的方法和手段會逐漸為大部分審計人員接受和掌握，并成為一項基本技能。

（二）數據審計工作的開展離不開技術的發展與應用

數據審計工作早期由審計部門引入，技術人員利用數據庫語言對業務數據進行分析，篩選出檢查重點，從而提高審計工作效率。隨著數據審計工作的開展以及技術人員的不斷探索，不斷有新的技術手段應用到審計工作中，提高了分析水平與工作效率。從最初的Sql Server、SAS，到數據倉庫技術的應用，都為數據審計的發展提供了新的契機。可以說，數據審計工作的發展隨著新技術的應用不斷成長和發展。

Hadoop技術作為一種新的數據管理與分析工具，以其特有的技術優勢，促進了數據審計工作的進一步發展。當然Hadoop技術也不是完美的，應用中也發現了一些缺陷，比如，當前版本對Delete、Insert等數據庫修改函數指令暫不支持。對于審計人員來說，可能相較傳統關系型數據庫，在使用習慣上略有不同，這就要求數據審計人員在進行模型構建時，想辦法繞開此類函數，實現最初的原始構思邏輯。由于Hadoop屬于開源產品，其功能也隨著版本的升級不斷完善，缺陷終將得到解決。

（三）數據審計工作發展與展望

數據審計工作取得一定成效后，逐漸得到商業銀行高管層的重視。目前，對于傳統結構化數據的分析，技術手段方面已較為成熟。隨著IT技術朝著智能化方向發展，智能化技術在審計領域應用的呼聲越來越高，已達成共識的方向為對圖像、影像等非結構化數據的分析，Hadoop技術可以存儲非結構化數據的特點，使對審計智能化的進一步探索成為可能。

（作者單位：天津農商銀行，郵政編碼：300203，電子郵箱：zhangby@trcbank.com.cn）

主要參考文獻

Tom White，曾大聃，周傲英譯. Hadoop權威指南[M].北京：清華大學出版社， 2010