商業(yè)銀行數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型設(shè)計(jì)與實(shí)施

張杰

摘 要 商業(yè)銀行的數(shù)據(jù)是商業(yè)銀行寶貴的財(cái)富，這些未經(jīng)加工的數(shù)據(jù)并不能滿足商業(yè)銀行的需要。因此，通過(guò)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)對(duì)商業(yè)銀行的數(shù)據(jù)進(jìn)行有效的整合是一項(xiàng)重大的系統(tǒng)工程。本文以作者參與的中國(guó)建設(shè)銀行數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)為依據(jù)，探討了數(shù)據(jù)倉(cāng)庫(kù)的實(shí)施流程、模型，總結(jié)了實(shí)施時(shí)要注意的問(wèn)題，積累了倉(cāng)庫(kù)建設(shè)的一些經(jīng)驗(yàn)。利用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)成功整合商業(yè)銀行數(shù)據(jù)成功的關(guān)鍵是要做好基礎(chǔ)數(shù)據(jù)的準(zhǔn)備工作。基礎(chǔ)數(shù)據(jù)的質(zhì)量好壞直接決定了數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)工程的成敗。另外還要做好后續(xù)的管理工作。

關(guān)鍵詞 商業(yè)銀行 數(shù)據(jù)倉(cāng)庫(kù) 數(shù)據(jù)模型

中圖分類(lèi)號(hào)：TP311.13 文獻(xiàn)標(biāo)識(shí)碼：A

1實(shí)施策略

2003年中國(guó)建設(shè)銀行制定了《中國(guó)建設(shè)銀行科技應(yīng)用總體規(guī)劃》，確定了項(xiàng)目群實(shí)施規(guī)劃、數(shù)據(jù)倉(cāng)庫(kù)和管理信息系統(tǒng)實(shí)施規(guī)劃。規(guī)劃中明確了建設(shè)銀行的目標(biāo)應(yīng)用體系架構(gòu)、技術(shù)架構(gòu)以及項(xiàng)目實(shí)施路徑等，規(guī)劃出未來(lái)5-10年建設(shè)銀行信息化發(fā)展戰(zhàn)略。規(guī)劃旨在為建設(shè)銀行業(yè)務(wù)新一輪改革發(fā)展提供有力支撐，不斷提高建設(shè)銀行的盈利能力。

為實(shí)現(xiàn)這一戰(zhàn)略目標(biāo)，建設(shè)銀行以數(shù)據(jù)集中為前提，通過(guò)數(shù)據(jù)倉(cāng)庫(kù)為基礎(chǔ)，通過(guò)信息管理平臺(tái)持續(xù)開(kāi)發(fā)客戶分析管理、資產(chǎn)負(fù)債管理等應(yīng)用，使建設(shè)銀行信息化水平和內(nèi)部管理水平走上新臺(tái)階。其中數(shù)據(jù)集中和數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)是關(guān)鍵步驟。

2Teradata FSLDM客戶化

2.1 FSLDM簡(jiǎn)介

Teradata FSLDM是預(yù)先構(gòu)建的邏輯數(shù)據(jù)模型，利用它可以直接開(kāi)始數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)。它是一個(gè)純粹的邏輯數(shù)據(jù)模型，可以運(yùn)行在任何數(shù)據(jù)庫(kù)和平臺(tái)上，與Teradata數(shù)據(jù)庫(kù)無(wú)關(guān)。

2.2客戶化策略

客戶化方法論可以概括為自底向上、從頂至下以及自底向上和從頂至下的聯(lián)合使用。下面我們簡(jiǎn)要對(duì)這幾種方法進(jìn)行一下對(duì)比和分析，主要從策略、過(guò)程等方面的特點(diǎn)來(lái)決定到底采用何種方法進(jìn)行開(kāi)發(fā)。

首先，自底向上法是指先從較下層設(shè)計(jì)開(kāi)始，也就是說(shuō)去解決問(wèn)題的各個(gè)不同的小部分，然后把這些部分組合成為完整的應(yīng)用。這種設(shè)計(jì)方法主要是要根據(jù)系統(tǒng)功能要求，從具體的邏輯部件或者相似系統(tǒng)開(kāi)始，憑借設(shè)計(jì)者熟練的技巧和豐富的經(jīng)驗(yàn)，通過(guò)對(duì)其進(jìn)行相互連接、修改和擴(kuò)大，構(gòu)成所要求的系統(tǒng)并保證系統(tǒng)功能的實(shí)現(xiàn)。從設(shè)計(jì)成本和開(kāi)發(fā)周期來(lái)講，自底向上法一般優(yōu)于自頂向下法，但是由于其設(shè)計(jì)是從最底層開(kāi)始的，所以也存在難以保證總體設(shè)計(jì)的最佳性的問(wèn)題，一般適用于探索性的開(kāi)發(fā)項(xiàng)目。在銀行建設(shè)數(shù)據(jù)倉(cāng)庫(kù)，自底向上策略一般是從某個(gè)數(shù)據(jù)倉(cāng)庫(kù)原型開(kāi)始，選擇一些特定的為企業(yè)管理人員所熟知的管理問(wèn)題作為數(shù)據(jù)倉(cāng)庫(kù)建設(shè)目標(biāo)。該策略的主要優(yōu)點(diǎn)在于能夠以較小的投入在短時(shí)間內(nèi)取得局部成果。

結(jié)合銀行業(yè)務(wù)特點(diǎn)，一般來(lái)講，按照數(shù)據(jù)倉(cāng)庫(kù)的思路建設(shè)信息決策系統(tǒng)已經(jīng)有一定的先例和成功經(jīng)驗(yàn)可以借鑒，不應(yīng)該算作探索性嘗試，而是目標(biāo)明確、長(zhǎng)期規(guī)劃的建設(shè)過(guò)程，所以應(yīng)該采用從頂至下的方法進(jìn)行。也就是說(shuō)，在開(kāi)發(fā)前就已經(jīng)具備數(shù)據(jù)倉(cāng)庫(kù)的系統(tǒng)定位、實(shí)現(xiàn)目標(biāo)、應(yīng)用范圍等內(nèi)容，這種策略對(duì)開(kāi)發(fā)人員的開(kāi)發(fā)經(jīng)驗(yàn)要求和管理層、建設(shè)者的預(yù)期目標(biāo)明確程度都有非常高的要求。

實(shí)際上，在許多數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)過(guò)程中，是混合使用從頂至下法和自底向上法的，因?yàn)檫@樣可能會(huì)取得更好的效果。從銀行來(lái)講，主體策略采用從頂至下法，在一些局部的、不熟悉的領(lǐng)域，采用自底向上的方法進(jìn)行一些探索性的嘗試，以積累經(jīng)驗(yàn)、規(guī)避風(fēng)險(xiǎn)，這樣的組合應(yīng)該是理想而明智的選擇。

2.3 FS-LDM主體結(jié)構(gòu)

Teradata FS-LDM在某銀行客戶化改造覆蓋了11大主題區(qū)域，包括團(tuán)隊(duì)、資產(chǎn)、財(cái)務(wù)、營(yíng)銷(xiāo)活動(dòng)、協(xié)議、渠道、事件、內(nèi)部結(jié)構(gòu)、產(chǎn)品和地域等。

3具體實(shí)施策略

在某銀行Teradata FS-LDM客戶化的具體實(shí)施過(guò)程中，采取的是分重點(diǎn)設(shè)計(jì)主題、自主設(shè)計(jì)主題、簡(jiǎn)化設(shè)計(jì)主題等不同類(lèi)別，根據(jù)每種類(lèi)別的特點(diǎn)和目標(biāo)來(lái)分別制定有針對(duì)性實(shí)施策略的原則。

4在某銀行的BANK-LDM 管理界面

某銀行建立了專(zhuān)門(mén)的平臺(tái)管理LDM，在這個(gè)平臺(tái)界面上可以對(duì)LDM進(jìn)行詞法分析、關(guān)聯(lián)實(shí)體分析、父子實(shí)體分析等操作，LDM的開(kāi)發(fā)和維護(hù)人員可以通過(guò)IE瀏覽器改元數(shù)據(jù)管理平臺(tái)，對(duì)自己負(fù)責(zé)的相關(guān)模型進(jìn)行查詢和分析。

數(shù)據(jù)倉(cāng)庫(kù)在初期建設(shè)時(shí)還沒(méi)有到考慮模式優(yōu)化問(wèn)題的時(shí)候，因?yàn)榇藭r(shí)不僅數(shù)據(jù)量少，而且加載的應(yīng)用也少。但是，隨著應(yīng)用的推廣，數(shù)據(jù)量不斷加大，應(yīng)用不斷增多，不斷會(huì)爆出空間效率等問(wèn)題，必須后期進(jìn)行調(diào)整優(yōu)化，可以優(yōu)化邏輯模型，也可以針對(duì)物理模型優(yōu)化。在實(shí)踐中，我們發(fā)現(xiàn)充分事前的設(shè)計(jì)和實(shí)施中的不斷改進(jìn)，邏輯模型在項(xiàng)目完成時(shí)可優(yōu)化的范圍小，通常集中于協(xié)議、事件等主體。后期我們已物理模型優(yōu)化為主。

物理模型優(yōu)化的原則主要是一要結(jié)構(gòu)層次一致性、二要結(jié)合具體運(yùn)行環(huán)境、三要針對(duì)Teradata的特點(diǎn)。

邏輯模型設(shè)計(jì)是基于三范式的分層結(jié)構(gòu)，這樣可以保證模型的靈活性和穩(wěn)定性，但與此同時(shí)可能產(chǎn)生大量關(guān)聯(lián)表，優(yōu)化時(shí)需要考慮精簡(jiǎn)。另外通過(guò)腳本相關(guān)算法的優(yōu)化以及調(diào)度機(jī)制的優(yōu)化，提高運(yùn)行效率，從整體上縮短倉(cāng)庫(kù)運(yùn)行的時(shí)間窗口。

據(jù)上述目標(biāo)原則，物理模型優(yōu)化主要通過(guò)數(shù)據(jù)冗余和數(shù)據(jù)清理、拆分以及針對(duì)Teradata性能優(yōu)化來(lái)實(shí)現(xiàn)。在進(jìn)行腳本優(yōu)化時(shí)要先優(yōu)化關(guān)鍵腳本，腳本優(yōu)化要注意與物理表結(jié)合。優(yōu)化完成后需要進(jìn)行測(cè)試工作，保證優(yōu)化不改變應(yīng)用正常應(yīng)用，也可以驗(yàn)證優(yōu)化效果。優(yōu)化盡量選擇在倉(cāng)庫(kù)的非主要運(yùn)行日進(jìn)行，避免資源緊張對(duì)正常運(yùn)行造成干擾。

參考文獻(xiàn)

[1] 鄭承滿.數(shù)據(jù)倉(cāng)庫(kù)技術(shù)在商業(yè)銀行中的應(yīng)用與發(fā)展趨勢(shì)[J].中國(guó)金融電腦， 2012（07）.

[2] 馮健文，林璇.基于ODS的數(shù)據(jù)倉(cāng)庫(kù)模型研究[J]. 微計(jì)算機(jī)應(yīng)用，2012（04）.

[3] 楊俊生.淺議商業(yè)銀行數(shù)據(jù)倉(cāng)庫(kù)的邏輯數(shù)據(jù)模型設(shè)計(jì)[J].華南金融電腦，2011 （06）.

[4] 宋衛(wèi)林，徐惠民.數(shù)據(jù)倉(cāng)庫(kù)的樣本模型[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2012（02）.