【摘要】隨著外匯業務信息系統與數據采集的全面覆蓋,調研、分析、核查與檢查等工作基本依賴于系統數據。而面向日趨龐大且結構更為復雜的外匯業務數據,如何使用數據挖掘技術從中高效獲取潛在規律的方法研究勢在必行。本文使用數據挖掘中的聚類分析技術,按安徽省轄內銀行與地區交易額匯總數據進行聚類實驗,并對聚類結果進行分析,認為將數據挖掘技術應用在外匯業務數據是值得進一步研究與探索的。
【關鍵詞】數據挖掘 聚類分析 k-means
一、引言
隨著外匯管理數據采集和信息系統不斷發展與完善,其數據組織趨向豐富與合理,同時數據量也日趨龐大。大數據時代的到來,亟須數據挖掘的方法獲取潛在但未知的規律(模式),為外匯業務監管提供新的技術手段與數據支撐。本文通過數據挖掘中經典的聚類分析算法在外匯統計數據中的實踐應用,提出劃分分類管理主體對象的一種計算方法。
二、聚類分析簡介
聚類分析(cluster analysis)簡稱聚類(cluster),是指將給定記錄的集合劃分為若干個“聚簇”,這種劃分要使同簇內記錄相似度較大而不同簇之間的差異較大。與分類或回歸等有監督學習方式不同,聚類的輸入對象并沒有相關聯的目標。不同聚類算法對不同數據集合以及目標的適用性也不同,對某應用而言相對“最優”的聚類是需要多種聚類算法去嘗試的,然后根據實際需要去確定最合適的算法。
三、k-means(k-均值)算法
k-means算法是一種基于圖形中心的算法。設輸入對象數據集D={xi|i=1,2,...,N},xi表示第i個記錄或對象。該算法將D劃分為k個聚簇,把每個xi都歸類到唯一的簇中,聚簇標識相同的xi屬于同一個簇。關于k值即簇的數量是依據某些先驗知識或者經多次嘗試確定,應是以聚類結果的實用性與有效性為依據的。聚類算法是以對象間的相似度或緊密度為出發點進行聚合的,k-means默認的緊密度衡量標準為歐幾里德距離。現以集合C={cj|j=1,2,...,k}來標識每個聚簇的數據中心,那么該算法的本質就是要最小化如下函數[1]:
由公式可以看出,目標函數要使每個xi與距離其最近的簇中心cj之間歐氏距離的平方和最小,算法簡略描述如下[2]:從數據集D中隨機選取k個數據點作為初始集合C;將D中每個xi重新劃分到與其最近的ci代表簇中,更新其聚簇標識mi(m為聚簇標識向量);更新聚簇均值向量C;直到目標函數Cost值收斂,否則轉向第二步。
四、實驗結果與分析
分別以2014年6月安徽省跨境收支按銀行和地區匯總結果為實驗數據對象,使用聚類分析工具為spss clementine。將EXCEL數據導入至clementine,k取值為3。聚類結果如表1和表2所示,其中“距離”列標識該記錄數據點距該簇最終均值位置的歐幾里得距離。
從聚類結果可以看出表1中,A獨立為1簇,另5家業務量較大分行為1簇,其余18家銀行為1簇;表2中,A市為1簇,B市、G市外匯業務量較大為1簇,其余13個地市為一簇。所得結論與按業務量經驗劃分結果基本相符(實驗數據來源為真實交易業務發生數據,統計表格隱去真實銀行名稱、地市名稱和交易額數字)。
表1 按銀行收支聚類結果
表2 按地區收支聚類結果
當決策者或外匯業務相關主管部門需要根據各地區或各金融機構的外匯業務規模、特性或其他屬性為其制定執行不同的政策,首先要做的就是將這些機構或地區進行分類。傳統做法是根據須納入考量的因子加權后進行排序,然后依據直觀結果或主觀經驗判斷各類型的邊界。此種方式存在三個主要問題,一是如果需要考量的屬性或因子太多,無法通過線性計算簡單表達,難以確定歸類“順序”。事實上,多維空間問題用簡單的線性方法解決本身也是不科學的。二是類與類之間的邊界難以劃定,如果邊界對象與相鄰兩類較為接近,那么究竟將其劃入哪一類呢?三是分類的個數如何確定。如計劃執行階梯型政策時,如何科學的確定階梯層級數量?聚類分析可以較好的解決以上問題:從前文算法可知聚類中記錄xi之間的相似性或距離計算本身就是基于多維空間的;其計算結果是能夠精確表達多維空間的數據點之間距離遠或近的;可以通過不同k值的嘗試獲得較“理想”的聚簇,即要使得簇內相似度高而簇間差異大。由此可見聚類分析能夠較好的解決以上三個問題。
五、總結
隨著大數據時代的到來,數據挖掘技術日益受到社會各行業的重視并逐漸得到廣泛應用。經濟的連續高速發展和國家開放度的提升,使外匯業務數據飛速增長。在外匯核查、檢查、分析和調研等工作中,傳統的工作與研究方法對大數據潛在的規律和線索的發現尚無更新的手段可用。加強數據挖掘技術在外匯管理業務數據中的研究、探索與應用,將會豐富形勢分析和外匯監管手段,發掘外匯業務數據的潛在價值,為外匯管理政策的制定與執行提供科學的數據支持依據[3]。
參考文獻
[1](美)吳信東(Xindong Wu),(美)庫馬爾(Vipin Kumar)編著,李文波,吳素研譯.《數據挖掘十大算法》[m].清華大學出版社,2013.5,19-20.
[2](美)韓家煒(Han,J.)等著,范明等譯著.《數據挖掘:概念與技術》[m].機械工業出版社,2012.7,293.
[3]邢江澤,陸秉煒,劉可,李興勇.數據挖掘在外匯管理中的應用——基于聚類和關聯分析的實踐[J].中國外匯蘇皖專刊.2009,14-15.