淺談金融行業中的數據挖掘

□文/張俊芝

（河北大學文科綜合實驗教學中心 河北·保定）

銀行、證券公司、保險公司每天的業務都會產生大量數據，利用目前的數據庫系統可以高效地實現數據的錄入、查詢、統計等功能，但無法發現數據中存在的關系和規則，無法根據現有的數據預測未來的發展趨勢。

如何才能不被信息的汪洋大海所淹沒，從中及時發現有用的知識，提高信息利用率呢？于是，數據挖掘技術就應運而生，并得以蓬勃發展，越來越顯示出其強大的生命力。缺乏挖掘數據背后隱藏的知識的手段，導致了“數據爆炸但知識貧乏”的現象。它可以從大量的數據中抽取潛在的有用信息和模式，來幫助我們進行科學的決策。

一、基本概念

1、數據挖掘（DataMining）。數據挖掘又稱數據開采、數據發掘等，就是從大量的、不完全的、有噪聲的、模糊的、隨機的數據中，提取隱含在其中的、人們事先不知道的但又是潛在有用的信息和知識的過程。發現了的知識可以被用于信息管理、查詢優化、決策支持、過程控制等，還可以進行數據自身的維護。

2、數據倉庫（DataWarehouse）。數據倉庫是W.H.Inmon 在1993年所寫的論著《Building the Data Warehouse》中提出的。W.H.Inmon 給數據倉庫下的定義是：“數據倉庫是面向主題（Subject-Oriented）的、集成（Integrated）的、穩定（Nonvolatile）的、時變（Time-Variant）的數據集合，用以支持管理決策的制定過程。”數據倉庫可以在數據模型的指導下，收集系統內部和系統外部的數據信息，保證數據的一致性、準確性和時效性，真正實現數據共享和分析利用。

二、數據挖掘的主要技術

在應用到金融領域的各種數據挖掘技術中，主要有以下幾種方法：

1、基于神經網絡的方法。神經網絡方法是模擬人腦信息加工過程的一種智能化信息技術。人工神經網絡是電腦通過多重輸入相似平行處理結構來模擬人類識別模式的功能建造起來的。

神經網絡很適合非線性數據和含噪聲數據，所以在市場數據庫的分析和建模方面應用廣泛。神經網絡提供了一類準確性令人滿意、程度上接近金融模式的工具。

2、基于貝葉斯網絡的方法。貝葉斯網絡，又叫概率因果網絡、信任網絡、知識圖等，是一種有向無環圖。貝葉斯網絡用圖形來表示變量間連接概率關系。結點表示：領域變量；有向邊：結點間的依賴關系；對每一個結點都對應著一個條件概率分布表，該分布表指明了該變量與父結點之間的依賴關系。

3、遺傳算法。遺傳算法的基本思想是給出一個問題，在特有的人口遺傳群體中潛在地含有解決方案或者較好的解決方案。基于遺傳和進化原則，遺傳算法反復修改人口的人工結構，操作員通過預置、選擇、交叉和改變來逐步形成解決方案。

4、基于規則和決策樹的工具。決策樹方法作為一種數據挖掘實現基于統計理論的非參數識別技術，不僅保持了多元參數，非參數統計的一些優點，而且克服了其不足，主要表現在：自動進行變量選擇降低維數，充分利用先驗信息處理數據間的非同質的關系，并可有效地用于對數據的分類。

三、數據挖掘的主要步驟

1、定義問題。對目標有一清晰、明確的定義，也就是確定需要解決的問題，這個目標應是可行的、能夠操作與評價的。

2、數據收集。大量全面豐富的數據是數據挖掘的前提，沒有數據，數據挖掘也就無從作起。因此，數據收集是數據挖掘的首要步驟。數據可以來自于現有事務處理系統，也可以從數據倉庫中得到。

3、數據整理。數據整理是數據挖掘的必要環節。由數據收集階段得到的數據可能有一定的“污染”，表現在數據可能存在自身的不一致性，或者有缺失數據的存在等，因此數據的整理是必需的。同時，通過數據整理，可以對數據做簡單的泛化處理，從而在原始數據的基礎之上得到更為豐富的數據信息，進而便于下一步數據挖掘的順利進行。

4、數據挖掘。利用人工智能、數理統計等各種數據挖掘方法對數據進行分析，發現有用的知識與模式。這是整個過程的核心步驟。

5、數據挖掘結果的評估。數據挖掘的結果有些是有實際意義的，而有些是沒有實際意義的，或是與實際情況相違背的，這就需要進行評估。評估可以根據用戶多年的經驗，也可以直接用實際數據來驗證模型的正確性，進而調整挖掘模型，不斷重復進行數據挖掘。

6、分析決策。數據挖掘的最終目的是輔助決策。決策者可以根據數據挖掘的結果，結合實際情況，調整競爭策略等。

總之，數據挖掘過程需要多次的問題修改、模型調整、重新評估、檢驗等循環反復，才有可能達到預期的效果。

四、數據挖掘在金融業的應用

數據挖掘在金融領域應用廣泛，包括：金融市場分析和預測、賬戶分類、銀行擔保和信用評估等。這些金融業務都需要收集和處理大量數據，很難通過人工或使用一兩個小型軟件進行分析預測。而數據挖掘可以通過對已有數據的處理，找到數據對象的特征和對象之間的關系，并可觀察到金融市場的變化趨勢。然后，利用學習到的模式進行合理的分析預測，進而發現某個客戶、消費群體或組織的金融和商業興趣等。

1、客戶關系管理。數據挖掘可以進行客戶行為分析來發現客戶的行為規律，包括整體行為表現和群體行為模式，市場部門可以根據這些規律制定相應的市場戰略與策略；也可以利用這些信息找出客戶的關注點及消費趨勢，從而提高產品的市場占有率及企業的競爭能力。數據挖掘能夠幫助企業找出對企業有重要意義的客戶，包括能給企業帶來豐厚利潤的黃金客戶和對企業進一步發展至關重要的潛在客戶。

2、風險識別與管理。可以建立一個分類模型，對銀行貸款的安全或風險進行分類。也可利用數據挖掘技術進行信貸風險的控制。信貸風險管理主要包括：風險識別、風險測量、選擇風險管理工具、效果評價。信息的龐雜造成手工評估、管理的難度大大增加。而現有的銀行信貸系統一般都是業務運營系統，并非為決策分析應用而建立，其數據的集成性、完整性、可訪問性、可分析性都難以滿足信貸風險分析的需求。為此，可以建立一套獨立于業務系統的數據倉庫，專門解決信貸分析和風險管理的問題。

3、市場趨勢預測。數據挖掘技術可以進行數據的趨勢預測，比如金融市場的價格走勢預測、客戶需求的變化趨勢等。

4、識別金融欺詐、洗錢等經濟犯罪。金融犯罪是當今業內面臨的棘手問題之一，包括惡意透支、盜卡、偽造信用卡、盜取賬戶密碼以及洗黑錢等。要偵破洗黑錢和其他金融犯罪，重要的是要把多個數據庫的信息集成起來，然后采用多種數據挖掘工具尋找異常模式，發現短時間內，少數人員之間的巨額現金的流動，發現可疑線索。

［1］樊重俊，王浣塵.遺傳算法的改進與應用［J］.上海大學學報，1998.12.

［2］王明進，程乾生.自組織網絡在混沌時間序列預測應用［J］.系統工程理論與實踐，1997.7.

［3］姚洪興，盛昭瀚，陳洪香.股市預測中的小波神經網法［J］.系統工程理論與實踐，2002.6.