中國工商銀行軟件開發中心專家 魯金彪
近年來,隨著互聯網經濟的發展和金融行業數字化轉型的不斷推進,金融業務線上化和服務場景生態化,金融服務鏈與各行業社會服務鏈交織融合,金融應用系統面臨處理海量數據、超高并發、超高峰值等一系列挑戰,傳統集中式數據庫越來越難應對。同時,面對復雜的國際環境,對全球信息技術產品供應鏈體系產生了較大沖擊,基于傳統集中式數據庫構建的信息系統面臨著較大的不確定性風險。工商銀行結合金融科技發展趨勢與金融業務創新需求,綜合研判分布式數據庫技術發展情況,積極開展分布式數據庫聯合創新和應用創新,初步形成了以分布式數據庫為基礎的金融級數據庫轉型解決方案。

工商銀行自2019 年引入分布式數據庫以來,已在包括實物貴金屬、中間業務系統等20 多個業務系統試點上線,覆蓋辦公系統、一般業務系統和關鍵業務系統各類典型業務場景。近年來,結合金融行業核心系統超高并發和海量數據存儲的要求,以及多渠道、全天候持續對外服務能力的要求,工商銀行積極探索金融科技融合創新模式,以聯合創新等方式加強與頭部科技企業合作,積極開展分布式數據庫產品金融級承載能力建設,對標主機“兩地三中心”部署架構和高可用能力,基于存算分離形成多集群部署架構,夯實分布式數據庫核心承載能力。
一是數據可靠性高。基于全閃存集中存儲實現計算與存儲分離,軟硬協同,具備PB 級海量數據存儲能力和企業級高可靠能力。
二是系統可用性高。具備同城雙園區+異地園區部署能力,園區內故障場景RPO=0、RTO<60秒,同城園區級故障場景RPO=0、RTO<180 秒,同城雙園區故障場景切換到異地園區RPO<60秒、RTO<600 秒。
三是集群性能高。同城主備集群間采用磁盤級復制實現增量日志強同步,日志同步效率提升一倍以上,降低了主備同步對主集群性能的影響,基于2 路國芯服務器最小規模主備集群部署,TPMC 達到45 萬(約1.5 萬TPS)。
四是服務連續性能力高。具備業務不中斷前提下主備集群數據庫版本輪換升級和應用版本灰度升級能力,滿足了金融核心應用7×24 小時服務連續性要求。
傳統集中式數據庫以其較強的功能黏性、優秀的系統穩定性、良好的軟硬適配能力,在金融行業的存量系統中占據較大的份額;并且存量系統往往與特定傳統集中式數據庫特性高度耦合,業務邏輯內嵌至數據庫實現,具有歷史比較久遠、業務長期穩定、關聯應用較多等特點;同時,信創軟硬件產品均處于發展階段,產品的穩定性、成熟度等方面與傳統商用軟硬件產品相比還存在一定的差距。因此,有效控制轉型風險,確保轉型的平滑、穩定、安全,成為金融業數據庫架構轉型中的難點。工商銀行聚焦傳統數據庫與應用耦合度高的難點進行突破,對大型業務系統開展數據庫轉型技術攻關,初步形成了一套高效可控低成本的數據庫平滑轉型解決方案。
一是實現跨異構數據庫的自動遷移。針對部分傳統集中式數據庫特有的數據庫對象、高級特性和非標準SQL 語法,通過建設配套的自動化數據庫遷移工具,提前評估和規劃遷移工作進程,識別遷移風險,再通過工具自動化進行語法轉換和邏輯校驗,降低遷移成本、控制遷移風險,快速低成本地實現從商業專用平臺向開放創新平臺的遷移,自動遷移成功率和編譯通過率均可達95%以上。
二是實現異構數據庫轉型全過程的自動化測試。傳統集中式數據庫涉及眾多數據庫對象、功能特性和龐大的代碼行數,遷移到分布式數據庫后的功能完整性、正確性及訪問性能都面臨巨大挑戰。工商銀行建設了覆蓋單元測試、功能測試、性能測試和測試管理等研發測試全過程的自動化測試工具鏈,一方面通過SQL 解析、分支預測等技術實現技術測試自動化,另一方面復用存量業務測試資產實現業務功能測試自動化,整體自動化測試覆蓋率可達80%。
三是實現試運行階段生產環境測試驗證的系統級解決方案。研發交易錄放工具,在試運行階段,先在舊系統抓取流量,然后在新系統分別進行一致性流量回放和性能回放實現功能和性能的驗證。首先,一致性回放將抓取到的SQL 按源庫的執行順序以事務為單位在新系統進行回放,實現業務功能全覆蓋測試,保證新舊系統功能完全對等;其次,性能回放將抓取到的SQL 按照一定規則分發進行多線程并發回放,以接近實際生產業務壓力的速度回放到新系統,進行性能、可用性及可靠性測試,確保新舊系統可完整承載業務壓力。
四是實現新舊系統并行階段數據一致性的系統級解決方案。優化異構數據庫增量數據復制工具,在雙庫并行階段,新舊系統均有業務流量,通過數據復制工具進行業務高峰期增量歸檔數據在異構數據庫間的雙向復制,實現新舊系統業務數據的準實時一致,確保故障場景下能及時回切,提升對外服務的連續性。
工商銀行作為北京金融科技產業聯盟分布式專委會主任委員,發揮自身優勢,以不斷提升我國金融級分布式數據庫技術和生態建設水平為目標,以助力金融機構數據庫轉型發展為己任。工商銀行通過整合凝集產、學、研、用各方優勢力量,結合自身豐富的應用場景及應用開發實踐經驗,形成了經驗積累和資產沉淀,并立足分布式專委會不斷推進標準規范建設、聯合檢測認證、技術難點攻關和產業生態應用方面的工作,助力金融行業數據庫轉型。
一是形成技術資產沉淀。工商銀行在傳統集中式數據庫轉型實踐中,充分總結經驗,編寫了轉型部署方案、轉型技術方案、數據庫遷移技術指引、數據庫遷移測試白皮書、各類工具使用手冊等涵蓋數據庫轉型全過程的指導手冊,形成了整套的系統性技術資產和解決方案,開拓了傳統集中式數據庫轉型工作的新思路、新方法,為金融行業提供了低成本、高效可控的轉型借鑒。
二是提升金融級分布式數據庫技術和生態建設水平。工商銀行切實履行分布式專委會主任委員職責,在人行科技司的指導和聯盟秘書處的統籌協調下,并聯合專委會各成員單位,牽頭制定《分布式數據庫技術金融應用規范技術架構》《分布式數據庫技術金融應用規范安全技術要求》等5 項金融行業標準和團隊標準,圍繞分布式數據庫技術金融應用、分布式數據庫產品適配測試與安全評估、金融行業分布式數據庫應用一體化解決方案和產用對接與協作,開展標準規范建設、技術難點攻關、聯合檢測認證和產業生態應用四個方面工作,推動我國分布式數據庫產業有序、良性、可持續發展,不斷提升我國金融級分布式數據庫技術和生態建設水平,助力金融行業數據庫轉型。
根據《“十四五”國家信息化規劃》,金融行業加快數字化轉型,打造安全可控的金融信息系統已是大勢所趨。工商銀行經過技術攻關與創新實踐,充分驗證了傳統集中式數據庫向分布式數據庫轉型的可行性,為大型商業銀行核心銀行系統自主可控轉型走出了寬闊的道路。
未來,工商銀行將持續圍繞分布式數據庫的創新運用,夯實工行數字基建基礎支撐,形成金融行業傳統集中式數據庫轉型最佳實踐,通過技術沉淀和轉型實踐經驗總結,識別行業共性需求,形成的高效可控低成本的數據庫平滑轉型技術方案及配套工具,為金融同業提供轉型的良好借鑒,助力中小金融機構加快自身數據庫轉型進程,共建金融科技新生態,推動金融業實現高水平科技自立自強。