商業(yè)銀行應(yīng)用系統(tǒng)數(shù)據(jù)遷移與系統(tǒng)停機(jī)研究

姜青云 山東省農(nóng)村信用社聯(lián)合社

關(guān)鍵字：應(yīng)用系統(tǒng) 數(shù)據(jù)遷移 停機(jī)

1 引言

隨著金融產(chǎn)品創(chuàng)新需求日益增多以及計(jì)算機(jī)應(yīng)用技術(shù)的快速發(fā)展，銀行應(yīng)用系統(tǒng)也處在不斷變更升級中，因此系統(tǒng)數(shù)據(jù)遷移與系統(tǒng)停機(jī)的研究受到商業(yè)銀行的普遍關(guān)注。數(shù)據(jù)遷移是指在應(yīng)用系統(tǒng)變更升級期間，將舊系統(tǒng)存儲(chǔ)的業(yè)務(wù)及批量數(shù)據(jù)轉(zhuǎn)移到新系統(tǒng)的過程，并且轉(zhuǎn)移后的數(shù)據(jù)要符合新系統(tǒng)的存儲(chǔ)規(guī)范要求。數(shù)據(jù)遷移是應(yīng)用系統(tǒng)變更升級過程的關(guān)鍵步驟，新環(huán)境與舊環(huán)境原始數(shù)據(jù)校驗(yàn)成敗，直接決定新系統(tǒng)能否繼續(xù)正常運(yùn)轉(zhuǎn)，能否為轄內(nèi)銀行業(yè)務(wù)提供更優(yōu)質(zhì)的服務(wù)。系統(tǒng)停機(jī)是指銀行向第三方監(jiān)管機(jī)構(gòu)申請停機(jī)時(shí)間后，在既定時(shí)間段內(nèi)暫停對外提供聯(lián)機(jī)交易服務(wù)的過程。由于數(shù)據(jù)遷移過程中，所有原始數(shù)據(jù)無法正常獲取，所以銀行聯(lián)機(jī)業(yè)務(wù)無法正常辦理，如何合理分配停機(jī)時(shí)間也是應(yīng)用系統(tǒng)變更升級中需要重點(diǎn)研究的問題。

2 銀行應(yīng)用系統(tǒng)數(shù)據(jù)遷移

2.1 數(shù)據(jù)遷移場景分類

根據(jù)銀行應(yīng)用系統(tǒng)變更升級項(xiàng)目的實(shí)施要求不同，升級期間的數(shù)據(jù)遷移場景主要分為如下三類：

(1）新增需求研發(fā)類項(xiàng)目。由于當(dāng)前已有的應(yīng)用系統(tǒng)無法提供此類項(xiàng)目使用，需要采集業(yè)務(wù)部分需求重新開發(fā)新系統(tǒng)，此類項(xiàng)目一般不涉及新舊系統(tǒng)數(shù)據(jù)遷移，但是在系統(tǒng)上線之前若存在業(yè)務(wù)人員手動(dòng)辦理的賬務(wù)類業(yè)務(wù)數(shù)據(jù)，需要提前錄入新系統(tǒng)。

(2）應(yīng)用自身優(yōu)化類項(xiàng)目。此類項(xiàng)目是對商業(yè)銀行已有應(yīng)用系統(tǒng)功能實(shí)施優(yōu)化改造，包括業(yè)務(wù)功能優(yōu)化或者系統(tǒng)架構(gòu)調(diào)整，由于會(huì)改變當(dāng)前業(yè)務(wù)系統(tǒng)數(shù)據(jù)結(jié)構(gòu)，因此需要實(shí)施數(shù)據(jù)遷移。這類數(shù)據(jù)遷移在應(yīng)用系統(tǒng)內(nèi)部實(shí)施，對關(guān)聯(lián)系統(tǒng)影響小，遷移過程中涉及數(shù)據(jù)結(jié)構(gòu)和程序升級，因此遷移期間不能對外提供服務(wù)。

(3）應(yīng)用系統(tǒng)遷移項(xiàng)目。根據(jù)銀行數(shù)據(jù)中心定位變更需要，本質(zhì)上就是新舊應(yīng)用系統(tǒng)的替換，包括硬件和中間件平臺(tái)的升級，需要將舊系統(tǒng)中的數(shù)據(jù)遷出存儲(chǔ)到新系統(tǒng)，此類項(xiàng)目涉及到關(guān)聯(lián)系統(tǒng)配置調(diào)整，往往是最復(fù)雜的遷移處理。遷移過程中舊系統(tǒng)需要停止對外提供服務(wù)。

2.2 數(shù)據(jù)遷移存在的問題

銀行數(shù)據(jù)遷移過程有以下考量，導(dǎo)致數(shù)據(jù)遷移過程復(fù)雜并且耗時(shí)過長。(1）應(yīng)用系統(tǒng)存放的數(shù)據(jù)量大。銀行應(yīng)用系統(tǒng)（比如核心業(yè)務(wù)系統(tǒng)、快捷支付業(yè)務(wù)等）要存放成百上千張表數(shù)據(jù)，按照內(nèi)容和功能將表數(shù)據(jù)分區(qū)分段存儲(chǔ)，并且按照業(yè)務(wù)部門要求，每項(xiàng)業(yè)務(wù)的每個(gè)客戶交易流水要保存至少一年以上，這樣大的數(shù)據(jù)量降低了數(shù)據(jù)遷移的可行性。(2）數(shù)據(jù)庫中存放的原始數(shù)據(jù)存在問題。待遷移的舊系統(tǒng)一般都已在線運(yùn)行五年以上，由于應(yīng)用程序或者維護(hù)人員的粗心難免會(huì)造成數(shù)據(jù)格式與源數(shù)據(jù)不一致或者數(shù)據(jù)缺失的問題，這樣會(huì)大大增加數(shù)據(jù)遷移工作量。(3）數(shù)據(jù)遷移時(shí)有不同存儲(chǔ)要求，比如分區(qū)表等新需求。隨著業(yè)務(wù)量不斷增長數(shù)據(jù)庫中表數(shù)據(jù)量大，造成業(yè)務(wù)查詢效率降低，這就要求遷移過程中對大表實(shí)施分表分區(qū)管理，這樣大大增加了數(shù)據(jù)遷移復(fù)雜度。

2.3 數(shù)據(jù)遷移過程

面對數(shù)據(jù)遷移存在的困難，銀行數(shù)據(jù)中心需要提前做好遷移過程設(shè)計(jì)，對不同應(yīng)用系統(tǒng)提出不同方案，才能保障數(shù)據(jù)遷移順利完成。

(1）數(shù)據(jù)傳輸容錯(cuò)后處理。在遷移之前雖然對原始數(shù)據(jù)進(jìn)行記錄分析，但是不能避免出現(xiàn)問題數(shù)據(jù)，一旦出現(xiàn)數(shù)據(jù)不一致就中斷重新傳輸，必然會(huì)延長數(shù)據(jù)遷移過程傳輸時(shí)間，若維護(hù)人員不能及時(shí)排查糾正錯(cuò)誤，也將大大增加傳輸時(shí)間，因此可以在數(shù)據(jù)遷移完成后及時(shí)改正記錄在冊的錯(cuò)誤數(shù)據(jù)，不僅減少了數(shù)據(jù)遷移時(shí)間，還為數(shù)據(jù)核驗(yàn)節(jié)省了時(shí)間。

(2）歷史表數(shù)據(jù)提前遷移。銀行應(yīng)用系統(tǒng)數(shù)據(jù)量大，在系統(tǒng)遷移停止服務(wù)后再實(shí)施全部數(shù)據(jù)遷移，會(huì)大幅增加系統(tǒng)停機(jī)時(shí)間，影響銀行聯(lián)機(jī)業(yè)務(wù)正常辦理，因此要在系統(tǒng)遷移之前，將歷史表數(shù)據(jù)提前遷移到新系統(tǒng)中，在遷移過程中只遷移小部分變化的數(shù)據(jù)，就會(huì)很大程度的減少停機(jī)時(shí)間。

(3）數(shù)據(jù)遷移結(jié)果的核驗(yàn)。數(shù)據(jù)遷移結(jié)束后，對于新舊系統(tǒng)的數(shù)據(jù)核驗(yàn)是非常重要的，這個(gè)環(huán)節(jié)往往容易被忽視，遷移過程中產(chǎn)生的數(shù)據(jù)導(dǎo)出導(dǎo)入結(jié)果清單要保存好，便于維護(hù)人員及時(shí)核對。

2.4 數(shù)據(jù)遷移的風(fēng)險(xiǎn)防范措施

為保障數(shù)據(jù)遷移順利完成，通過識(shí)別分析風(fēng)險(xiǎn)種類，主要包括以下幾類：

(1）組織風(fēng)險(xiǎn)。成立系統(tǒng)遷移領(lǐng)導(dǎo)小組、指導(dǎo)小組、實(shí)施小組，負(fù)責(zé)系統(tǒng)遷移上線工作，依次開展第三方監(jiān)管機(jī)構(gòu)報(bào)備計(jì)劃、系統(tǒng)部署、性能測試、上線模擬切換、遷移現(xiàn)場技術(shù)實(shí)施、遷移后業(yè)務(wù)跟蹤等，同時(shí)制定詳細(xì)的遷移方案和切換步驟。

(2）操作風(fēng)險(xiǎn)。遷移過程操作步驟繁雜，為避免操作失誤導(dǎo)致遷移失敗，要做到有據(jù)可依，將相關(guān)內(nèi)容細(xì)化到命令語句中，做好記錄，雙人復(fù)核，確保遷移順利完成。

(3）切換風(fēng)險(xiǎn)。數(shù)據(jù)遷移過程情況無法預(yù)料，要做好應(yīng)急預(yù)案，以防數(shù)據(jù)遷移失敗導(dǎo)致數(shù)據(jù)丟失，最常用的預(yù)防措施就是在停止服務(wù)后做好數(shù)據(jù)庫全量備份，出現(xiàn)緊急情況可以快速恢復(fù)。

(4）業(yè)務(wù)風(fēng)險(xiǎn)。遷移時(shí)間段會(huì)影響客戶正常業(yè)務(wù)辦理，通知業(yè)務(wù)部門做好客戶解釋工作，并制定詳細(xì)的業(yè)務(wù)驗(yàn)證方案，協(xié)調(diào)網(wǎng)點(diǎn)業(yè)務(wù)人員實(shí)施遷移環(huán)境數(shù)據(jù)驗(yàn)證。

3 銀行應(yīng)用系統(tǒng)停機(jī)

3.1 系統(tǒng)停機(jī)原因

銀行應(yīng)用系統(tǒng)停機(jī)時(shí)間不僅包括數(shù)據(jù)遷移的時(shí)間，還有對數(shù)據(jù)庫表的更新操作時(shí)間和應(yīng)用程序部署時(shí)間。其中數(shù)據(jù)庫表的更新操作包括對表的選擇性刪除、更新、重建，期間不能訪問該表，因此造成停機(jī)時(shí)間延長；應(yīng)用程序安裝過程中，要將舊的應(yīng)用程序取消與數(shù)據(jù)庫的關(guān)聯(lián)，同時(shí)將新的應(yīng)用程序建立與數(shù)據(jù)庫的關(guān)聯(lián)，該過程應(yīng)用無法對外提供服務(wù)，因此是停機(jī)的。

3.2 解決系統(tǒng)停機(jī)的方法

(1）大數(shù)據(jù)庫表的重建。對于數(shù)據(jù)庫表的更新刪除等操作占用停機(jī)時(shí)間的情況，可以提前建立與源數(shù)據(jù)庫相同的表結(jié)構(gòu)，利用數(shù)據(jù)庫現(xiàn)有的克隆技術(shù)手段（比如CDC技術(shù)），實(shí)現(xiàn)實(shí)時(shí)同步更新表數(shù)據(jù)，在聯(lián)機(jī)服務(wù)停止后，只需追加兩邊不一致的小部分增量數(shù)據(jù)即可，這樣只是占用數(shù)據(jù)遷移增量數(shù)據(jù)的停機(jī)時(shí)間。

(2）提前部署應(yīng)用程序。應(yīng)用程序的安裝往往花費(fèi)大量時(shí)間，需要將新應(yīng)用程序有序拷貝到相應(yīng)目錄下，其次需要建立與數(shù)據(jù)庫的綁定連接，可以在停機(jī)窗口時(shí)間外完成應(yīng)用程序的安裝，在遷移過程中當(dāng)關(guān)聯(lián)應(yīng)用系統(tǒng)更改完相關(guān)配置后，直接啟動(dòng)服務(wù)即可。

4 總結(jié)

隨著我國經(jīng)濟(jì)競爭式快速發(fā)展，銀行電子化趨勢成為形成客戶體驗(yàn)度依賴的重要來源，因此應(yīng)用系統(tǒng)穩(wěn)定性是商業(yè)銀行對科技數(shù)據(jù)中心的基本要求，本文分析系統(tǒng)變更升級期間存在的數(shù)據(jù)遷移和停機(jī)問題，并提出了一些解決方案大大壓縮停機(jī)時(shí)間，雖然這些方法目前很難做到零停機(jī)，但是這也是商業(yè)銀行今后努力提升的方向。