銀行業數據挖掘：一般數據結構的嘗試及挖掘應用策略

王昭彧　中國銀監會白銀市銀監分局經濟師

?

銀行業數據挖掘：一般數據結構的嘗試及挖掘應用策略

王昭彧中國銀監會白銀市銀監分局經濟師

摘要：金融大數據蘊藏巨大價值，但受通用數據結構缺失等歷史因素影響，差異化的銀行業海量數據目前仍難真正成為“數據資產”，持續創造“經濟價值”。為此，本文嘗試提出了銀行業一般數據結構，并就銀行業數據挖掘實踐的應用方向與基本策略提出了建議。

關鍵詞：銀行業；大數據；一般數據結構；數據挖掘

1　引言

自2012年以來，大數據、大數據分析、互聯網金融等概念持續熱議，銀行業因為擁有海量的電子化數據，且多為結構化數據，為迎接互聯網金融的沖擊，或被動或主動地加入到數據挖掘的隊伍之中，尋覓著隱藏在“數據資產”中的“金礦”。但如果依照KDD進程（Knowledge Discoveryin Database，基于數據庫的知識發現）及數據挖掘（DataMining）理論和技術的要求，客觀評估銀行現有的數據結構與信息處理方式，雖然大數據分析為有效利用點多、面廣、非結構化的數據提供了可行之路，但基礎性問題的存在，諸如不同產品數據規范不一致、新舊數據標準不兼容、銀行業統一數據架構缺失等，明顯遲滯了數據價值的挖掘進程。為此，筆者嘗試介紹一種銀行通用數據結構，并梳理出銀行數據挖掘當前實踐亟待解決的若干問題，供同業者參考。

2　銀行業一般數據結構

2.1以銀行為中心的6個考察維度

借鑒業內監管專家與基層骨干的觀點，基于銀行業通用數據的視角，以單家法人銀行為分析對象，在保證與其它銀行業機構橫向可比的原則下，可以確定以下5個考察維度：

●維度1：客戶是誰？

●維度2：產品（服務）是什么？

●維度3：擔保方式與擔保物是什么？

●維度4：每一筆業務的合同如何管理，業務流程如何操作？

●維度5：每一筆業務在財務會計處理中如何記錄、處理？

以上5個維度從既有管理架構出發，全面反映單家銀行在特定時點的靜態信息。需要說明的是，雖然依照《GB/T32319-2015銀行業產品說明書描述規范》的表述，維度2被統稱為“產品”，而維度3～5也可納入產品描述的范圍，但考慮到歷史因素，本文仍使用上述區分方法。同時，為體現全面風險管理的理念，持續、動態考察銀行經營管理，筆者認為應加入第6個維度：

●維度6：全流程管理——銀行內控制度建設與執行情況。

從該維度出發，需考察銀行現有治理架構、物質資源、制度體系與運行機制是否能滿足全流程管理要求，建立基于全面風險管理的內控體系并有效防止系統性風險，該維度同時涉及以上5個維度的全部內容。

2.2維度1～5的概念操作化過程——5個模塊

上文提到的5個維度，涉及銀行具體業務時內容會有交叉，通過矩陣解析，會包括5個模塊（見表1）。

模塊一：客戶信息

核心是解決“客戶是誰”的問題，包括對公客戶名稱、組織機構代碼、規模、財務、信用等級、股權結構、經營范圍等信息，自然人客戶姓名、職業、性別、收支、信用等信息，對其描述可依據《GB/T31186-2014銀行客戶基本信息描述規范》。從初始信息的生成與采集渠道，又可分為銀行之外生成的“外源性信息”，與銀行通過自身業務生成的“內源性信息”兩種，從信息覆蓋面考察，大致可分以下幾個部分：

（1）基礎信息

●外源性信息：又可分為兩類，一類是客戶自身屬性，如對公客戶組織機構代碼、中外文名稱、工商執照登記號，稅務登記號，注冊地址，注冊地行政區劃代碼，主營業務范圍，管理層構成、股權結構、關聯人情況，主要（或全部）股東的身份證件代碼、姓名（名稱）；自然人客戶姓名，性別，職業，聯系方式；另一類是關聯（關系）人屬性，如客戶關聯人信息，對公客戶法定代表人、董事會及高管人員專兼職情況，自然人的直系親屬信息。另外，還包括以上信息的生效起止日期、時間等。

●內源性信息：客戶生命周期信息。例如，銀行為唯一識別客戶而確定的內部識別碼，內部管理客戶代碼（一個或多個，采自外源性信息或者自定），大中小微客戶類型，對公客戶、個體工商戶、筆者客戶類別判定，各項信息生效與失效日期、時間等。

（2）財務信息

●外源性信息：對公客戶資產狀況，投融資情況，財務報表，審計報告，知識產權等無形資產情況；自然人客戶資產，收支，個體工商戶經營流水等。

●內源性信息：客戶與該銀行之間的資金交易往來，逾期、不良、欠息情況等。

（3）信用評級、風險分類

●外源性信息：標普、惠譽、大公等外部評級公司對銀行客戶的當前信用評級及各期歷史變動、評級主要依據，人行征信體系對該客戶信用情況（貸款逾期、債券違約等）的調查，涉訟法律判決等。

●內源性信息：銀行對客戶信用的初始評級及過程信息，各次內部評級變動及過程信息，同一客戶不同評級標準下評級結果的對照等。

（4）授信情況

●外源性信息：各銀行業機構向客戶整體授信的額度，該客戶貸款、發行債券的筆數、金額、余額、期限、定價等。

表1　維度1～5的概念操作化過程——5個模塊

●內源性信息：該銀行向客戶整體授信額度，授信方案，客戶已用/未用授信的品種、額度等。

模塊二：銀行產品（服務）的實務性操作

銀行已開發的產品（服務），在各流程環節的實際操作中生成的各類信息，主要是內源性信息，包括產品（服務）從啟動、授信、用信、資金支付、本息計算、貸后管理、不良資產清收處置、信用敞口控制等信息，涉及產品主要包括：

●表內貸款及墊款。

美國政府高度重視科技創新，率先組織實施各類科技創新計劃，如曼哈頓計劃、人類基因組計劃以及信息高速公路計劃等[3]。2007年，美國的次貸危機對美國甚至全球經濟產生了巨大沖擊，為了激活美國經濟，聯邦政府于2009年[4]、2011年[5]、2015年[6]相繼發布了結合時代背景的《美國創新戰略》，對實現美國經濟增長和持續創新具有重大的推動作用。以下將對3版美國創新戰略進行比較分析。

●表外授信（保函、承兌、信用證）。

●表內其它資產項目（銀行購買的客戶債券、被動持有的客戶股權）。

●同業負債/資產、理財產品等。

模塊三：客戶提供的擔保物（保證）相關實務性操作

●外源性信息：擔保物（保證）的種類、名稱、標識代碼、第三方評估報告等初始登記信息，擔保人資質、擔保物保單，他項權證登記，信息有效起止時間等。

●內源性信息：擔保合同，擔保關系，擔保物登記、保管，銀行對擔保物（保證）評估材料，抵（質）押率，資產減記，警示，擔保物補充信息等。

模塊四：銀行產品（服務）的會計處理

銀行為客戶辦理業務、提供產品（服務），均需使用統一的會計制度、會計科目進行核算，保證自身全部獨立核算單位的1～3級科目（部分行有5級科目）的總賬、分戶賬、分戶賬明細的一致性，并據此核算成本，分攤費用，因此形成了科目編碼、科目名稱、賬號、賬戶名、幣種、金額、借貸標識、摘要等賬務信息，多為內源性信息。

模塊五：客戶提供擔保物的會計處理

●外源性信息：擔保物的市場估值。

●內源性信息：銀行對擔保物的估值、再估值信息，資產減記、補充擔保物的價值評估等，以及所涉及的會計科目設置、會計處理信息。

2.3維度6：全流程管控（內控制度建設）的操作化

之前介紹的模塊1～5所涉及的5個維度，均假定業務是在合規環境下辦理的，而從內控建設角度來看，為有效避免各類風險，應以信息系統為支撐，通過流程再造，建立全流程管控。而流程中的每一環節，均覆蓋模塊1～5。據梁國新（2014）觀點，合規風險與巴塞爾委員會所確定的信用風險、操作風險等8類風險皆有交集；違規行為既可引發合規風險，也可能誘發信用風險、操作風險等8類風險，而其它風險的合規性監管要求越多，與合規風險的交集也就越多。

筆者認為，在實際操作層面，全流程管控（內控制度建設），即是以合規性要求為目標，在科學設置各業務流程的基礎上，分解落實各項指標，通過識別、采集、監測、分析相關數據，為管理合規風險、以及信用風險、操作風險等8類風險而服務的一個完整的控制體系。至于信息科技風險，早期被視為操作風險的一種，后隨其重要性上升而分立而成第9類風險，其風險管理的邏輯與之前8類風險相同。

以對公信貸業務為例，在受理與調查、風險評價與審批、合同簽訂、發放與支付、貸后管理等業務處理的全過程，依照業務處理流程的需求，研究信息系統，設定技術參數，來規范管理流、數據流，通過采集、分析客戶信用評級、授信與審批、信貸主合同與擔保合同、擔保物登記、價值評估、客戶類型等數據，為管理信用風險等8類風險，有效減少合規風險提供豐富的信息（見圖1）。

圖1　8類風險

以上表述的是銀行業的一般數據結構，就監管者而言，自2012年以來，銀監會先后頒布《監管數據標準化規范（中小銀行及農村金融機構）》V1.0與V2.0版，以及《商業銀行監管數據標準化規范》，其中包含了機構信息、會計賬務、客戶基礎信息、交易對手、卡業務、信貸管理等11類近2000個數據項，為銀行業數據挖掘進程提供了很好的起點。

3　銀行業數據挖掘的應用方向

結合對KDD進程的理解與自身實踐，筆者嘗試為銀行數據挖掘下一個定義，即基于各行業信息化建設所采集的金融業海量電子化數據，依托金融數據規范的標準化成果與云支撐平臺，通過數據倉庫、數據集市、NOSQL等技術手段，實現大數據的物理整合（包括分布式數據倉庫）與邏輯整合；由數據分析師通力協作業務/技術人員，運用深度學習等人工智能與神經元網絡等計算技術，采用金融經濟、貨幣銀行、財務分析、統計學等專業知識，以人機協同、反復迭代方式進行的探索性知識發現過程。其目的在于有效處理海量數據，發現隱藏模式與知識，減少信息不對稱，提高數據復用性，為銀行業全面風險管理與精細化經營提供支撐，實現“數據資產”的價值最大化。

從實現路徑而言，可能涉及以下步驟：

3.1數據采集與數據調查

數據采集與數據調查可說是兩個互不可分的過程。現實中，因不同行業的信息化水平不一，同一行業內部不同規模/地域的組織也存在巨大差異，如果誤將“差異化”當作“多樣化”，就會基于個性化的產品（服務）需求，使得各類數據對象的底層數據架構、采集數據項、格式、實際值域千差萬別。為持續、準確地報送統計數據、分析相關信息，在部署長周期統計報表與快速調查時，皆應在事前進行扎實的數據調查，據此提出的采集要求才可能科學規范、切實實際。現實中常能遇到某些快速調查，其涉及機構、業務、時間段、時點、指標種類、定義、計量單位等時常含糊不清，讓實際填報人無所適從，只好“差不多、捏數字”，這是數據“臟亂差”的一個重要原因。對于那些不經數據調查、拍腦袋想出來的采集需求，設想很美好，現實很骨感，要么碰壁，要么被應付，實例很多，不必多說。“沒有調查研究，就沒有發言權”，這一論斷對于數據挖掘進程也是同樣適用的。

3.2元數據與數據元管理

以上兩個概念皆是數據標準化建設的專業術語。數據元是結合數據調查成果，根據分析需求為數據對象設定的，在數據庫中實際使用的屬性（字段、指標、數據項等），對它的定義需要依據統一、規范的標準來設定，這個標準就是元數據。關于元數據定義的標準化問題，國標《GBT18391.1-2009信息技術元數據注冊系統（MDR）》等做出了專門而詳盡的規定。某特定領域的元數據標準，如正在起草中的國標《擔保物數據采集規范》就是此類標準。在數據采集中經常用到的《GBT4754-2011國民經濟行業分類》也可說是此類標準。之所以這樣說，是因為該標準2003年制訂時，元數據注冊系統（MDR）尚未頒布，而《國民經濟行業分類》在2011年修訂時并未嚴格依據MDR進行定義，且新舊《國民經濟行業分類》門類劃分的銜接上也存在多對多問題，因此仍需進一步規范。

3.3數據規范與數據治理

這是另一個十分重要卻少人關注的領域。如前所述，要采集一個特定數據對象的信息，需設定采集數據元（指標、屬性等），需依照元數據定義數據元，經過這一艱苦細致的分類、解析、定義過程，所確定的一整套關于各數據元之間邏輯關系與業務含義的標準化信息列表就是數據標準（數據規范）。依照有效性級別，可分為國家標準、行業標準、企業標準、某信息系統內標準4種。

就銀行信息系統規劃與建設的實際情況而言，絕大多數銀行都是數據采集在前，數據標準在后，而且計劃永遠跟不上變化，使得原始數據所依據的數據標準體系含混不清，新舊混雜，且各不兼容。在此基礎上，原始數據采集過程十分繁雜，數據的物理整合工作更加繁重，要實現包含歷史數據的邏輯整合則面對幾乎海量的任務。

以上情況直接導致數據ETL（清洗、轉換、加載）過程的低效率。據了解，一個數據挖掘項目至少要花70%～80%的時間與精力是為了實現ETL；而要建立數據結構一致（物理整合）、定義一致（邏輯整合）的數據倉庫，基本成為一項不可能完成的任務。現實中，因為畏懼這一過程的巨大成本與不可測性，人們多被動接受著一個又一個、新的替換舊的數據規范的要求，在信息系統上不斷“打補丁”，即所謂“應對式數據治理”。

如果不畏繁難，或者信息化建設水平較低，就可以依照各級各類數據規范的要求，本著“規范、通用、可擴展”原則，先整合確定一個總的數據架構，建成本機構“業務數據標準化體系”；再進一步，據此調查原有各系統數據架構與定義，并做好明細對照；從此要求依照業務需求，推進所有舊系統的升級改造、新系統的研發推廣時，都必須基于該標準去實現，這就實現了主動式數據治理。

由于數據治理過程的艱巨性，制訂數據規范時就必須盡可能科學規范、各業務通用、可以擴展，并向下兼容舊規范，由此又引出了“最小信息集”的概念。此概念最初由美國人提出，意指先研究確定經同行普遍認可，業務含義無歧義的一套數據規范，供大家共享使用，之后根據業務發展與數據調查的成果不斷擴展，這一思路值得借鑒。

3.4數據倉庫與數據集市

經過以上3個步驟的艱苦工作，終于實現了本機構全部數據的物理整合與邏輯整合，建立了數據倉庫，準備進入挖掘與分析環節了，但另一個問題又出現了：“數據太多了，眼花繚亂，分析人員無法入手。”面對這一問題，數據挖掘工程師提供的解決策略是建立針對差異化用戶視圖的“數據集市”。

首先，為縮小、確定“數據集市”的涉及范圍，數據挖掘工程師需面向業務分析人員開展數據再調查，了解特定領域及不同層次分析人員的個性化分析需求。其次，應依照調查成果，將數據倉庫存儲的海量數據從物理/邏輯上分類拆分為能夠滿足各類分析人員需求的“數據集市”。為降低物理服務器與計算機網絡的運行壓力，應積極采用云支撐平臺提供的虛擬化技術，基于同一數據源，面向各類用戶分類推送，以避免再次出現“數據孤島”或數據冗余。

3.5數據挖掘與統計分析

KDD（基于數據庫的知識發現）研究指出，數據挖掘是一個非平凡過程，這一創造性過程需要一個具有創造性思維的專業團隊，其中有人了解編程技術，有人明白底層數據結構，有人清楚業務流程，有人知曉業務風險點與經營關注點，各方專家還應博而專，彼此之間交流時能明白對方在說什么，要求很高。因為要挖掘的是隱藏的、不為人所知的信息，所以就需要采用科學研究的方法，反復試驗、迭代，修正思路，過程很艱苦，收獲卻可能沒有，為什么呢？

許多數據挖掘項目終歸失敗，就是因為掌控進程的數據分析師其實并不了解最終業務需求，數據挖掘如不從信息最終使用者或決策者的客觀需求出發，就是“自說自話”。基礎科學研究中或許可以“大膽假設”，但在應用科學領域，基于銀行實際經營與風險管理視角，漫無方向的“試錯”肯定不可以。投入資本就是為了在限定時間、成本之上收回最大價值。

筆者以為，就金融領域而言，無論是風險管理還是經營管理，在各業務領域都已積累了諸多成熟經驗，如全面風險管理的8種風險（以及信息科技風險），如衡量銀行經營管理狀況的資本充足率、ROA、ROE、拔備覆蓋率、LCR、NSFR等指標與杜邦公式、MM定理等成果，這些成果體現在對數據的要求上，就是熟悉的統計分析報告與分析報表。

未來源自過去，惟需把握現在。金融數據挖掘的著眼點，確應先依托原有統計分析路徑，落實數據質量管理要求，逐步實現統計數據的全面、及時、準確，同時發現與積累海量明細數據與統計指標間的關系與規律性知識，讓挖掘盡早出成果，出好成果，方能縮短“數據資產”的變現周期，提升一個經營周期內的數據價值。

3.6知識展示與可視化挖掘

知識展示過去常不為數據挖掘工程師與分析師所重視，他們多認為：與特定知識相關的明細數據既已獲得，一般人只要整體了解挖掘過程，就會明了這些數據的業務涵義，沒必要再搞統計圖（表）等“花樣文章”，甚或PPT等動態展示來耗費人工。這一觀點值得商榷。

回到KDD的起點，“非平凡的知識發現”，說明這一知識多數人并不熟悉，包括其表現形式；為了便于其他分析者驗證，使信息使用者或決策者迅速了解核心內容，數據分析師必須竭盡全力發現好的展示方法，淺顯易用的WPS（或EXCEL）的數據透視表/圖、專業高端的SASEG多維立方體、TABLEAU圖形展示，任何可視化挖掘工具都值得嘗試。唯有當數據分析師梳理清晰決策者的需求，并綜合使用統計表/圖、明細數據與文字描述，便捷、高效地向決策者展示，艱苦挖掘所獲得的“數據資產”方能變現。

數據挖掘分析師“自說自話”不行，展示方法不適宜不行，提供的內容決策者不感興趣也不行，文字描述不簡潔明了還是不行，這對分析師提出了很高要求。

4　海量數據的價值實現

“能被計入《資產負債表》、《利潤表》、《現金流量表》等財報核算范圍的經濟資源，必須可使用貨幣來計量。”筆者理解為，其義是指唯有能為組織帶來貨幣價值的經濟資源，才有現實的價值。

大數據所具有的大體量、實時、多維、高價值、低密度等4V特點，決定了對其的利用難度。數據“大”不代表一定有價值，因為組織擁有它并不能在當期產生“經濟價值”。唯有基于銀行海量數據“臟、亂、差”的實情，積極推動數據標準化進程，方能大幅提升數據預處理的效率，建立數據倉庫與數據集市，系統研發數據分析模型，將數據挖掘所獲得的知識實際應用到組織活動之中，為組織帶來持續、穩定的現金流，獲得“經濟價值”，海量數據才會成為可以反復使用的“數據資產”。要實現這一目標，可謂任重而道遠。

數據結構差異化與海量數據的質量問題，客觀反映了各行信息化建設水平，更是其內控體系建設與機制運轉情況的客觀反映，主動式數據治理可以有效改進信息基礎設施，真正實現銀行業全面風險管理與精細化管理的要求，潛力巨大。目前，經過數據挖掘各方共同努力，銀行業及監管者已在風險管控、經營管理方面開拓了諸多應用領域，通過各方協作，不斷探索，就可通過數據資產的近于無限的復用性，讓知識持續創造價值。

5　結束語

目前，雖然海量數據正在加速積累，分布式倉儲、數據中心、云計算、云服務等先進技術正在成熟，但數據分析師的思維如不能持續進化，“數據財富”依然很難變現成為現實的經濟資產。實踐中筆者體會到，唯有推動扎實的數據調查，方能加快數據標準化建設進程，主動式數據治理的過程，就是實現流程再造、推動全面風險管理的過程，唯有數據挖掘的大量實踐，方能錘煉出具有大數據思維模式和堅實的經濟/金融/統計/數據庫知識與分析技能的數據挖掘科學家，領先半步、聚焦當下、迭代進化，知行合一致良知，是銀行業數據挖掘應始終遵循的基本原則。

參考文獻

［1］李雄飛，李軍.數據挖掘與知識發現［M］.高等教育出版社，2003.

［2］陳封能，斯坦巴赫，庫瑪爾著.數據挖掘導論（完整版）［M］.范明，范宏建，譯.北京：人民郵電出版社，2011.

［3］張新民，錢愛民.財務報表分析（第二版）［M］.北京：中國人民大學出版社，2011.

［4］梁國新.合規風險檢查：以貸款為例［Z］.銀監會2014年第五期現場檢查業務培訓班培訓PPT，2014.

［5］鄭志明，繆紹日，荊麗麗，等.金融數據挖掘與分析［M］.北京：機械工業出版社，2015.

［6］全國信息技術標準化技術委員會.信息技術元數據注冊系統（MDR）：GB/T 18391.1-2009［S］.北京：中國標準出版社，2009.

［7］國家統計局.國民經濟行業分類：GB/T4754-2011［S］.北京：中國標準出版社，2011.

［8］全國金融標準化技術委員會.銀行客戶基本信息描述規范：GB/T31186-2014［S］.北京：中國標準出版社，2014.

［9］全國金融標準化技術委員會.銀行業產品說明書描述規范：GB/T32319-2015［S］.北京：中國標準出版社，2015.

Bankingdatamining：testingof generaldatastructureand strategyof miningapplication

WANGZhaoyu

Abstract:Financial data have enormous potential values， but those data are not genuine“data assets”， which can continuously generate economic values， because of historical factors such as lack of general data structure. This paper proposes the general structure of banking data， and suggests applicable strategies for carrying out banking data mining.

Keywords:Banking； big data； big data structure； data mining

收稿日期：（2016-3-25）