國產數據庫選型測評指標體系①

李世斌,郭永振,唐 剛

(中國軟件評測中心,北京 100048)

電子信息產業推進國產化意義之一是避免核心技術受制于人,以及保障網絡空間安全和國家安全.“核高基”研究任務中的“基”即指以數據庫、操作系統等為核心的基礎軟件產品,數據庫的國產化替代是重點技術攻關難題.通過自研國產數據庫管理系統來弱化對市場上其他數據庫產品的過度依賴是當前的產業需求.數據庫國產化替代的難點在于,當前IT 建設運行多年,類似商業銀行等對數據安全性要求較高的領域已經對Oracle 等數據庫形成依賴,因此政府機構、商業銀行、金融證券公司、中央企業在進行信息系統建設與改造時面臨數據庫的選型問題.如何實現國產數據庫遷移、評估國產化改造對業務運行的影響、分析國產數據庫及架構的適用性都是國產化進程中需要解決的問題.

1 數據庫國產化

1.1 主流數據庫產品

DB-Engines是關于關系型數據庫和非關系型數據庫的全球性知識庫,每月對數據庫管理系統進行熱度排名.表1是DB-Engines 評選的近二年國際市場上熱度排名前5的數據庫管理系統,圖1是排名趨勢變化,排名策略是根據Google、Bing、Yandex 搜索引擎、技術網站及社交平臺上的查詢頻度[1].目前主流數據庫管理系統以關系型數據庫為主導產品,尤其是Oracle、MySQL、Microsoft SQL Server、PostgreSQL、MongoDB 等.

目前以Oracle為代表的國外商業數據庫占主導地位.PostgreSQL 開源對象關系型數據庫的關注度持續增高.隨著保障數據庫國產化與信息安全的總體規劃,國產數據庫產業發展提速,國內典型的數據庫產品有人大金倉Kingbase 數據庫、達夢數據庫、南大通用GBase、神舟通用數據庫等[2].信息技術迅速發展導致海量數據激增問題,國內數據庫廠商尤其是大型云平臺廠商開發出分布式架構的數據庫系統以解決多用戶并發支持、在線擴容等問題,并向政府、金融等領域推廣.分布式關系數據庫OceanBase 具有數據強一致、高可用、高性能、在線擴展、高度兼容SQL 標準等特點;RDS MySQL、MongoDB 云數據庫等分布式架構產品可根據云租戶需求被部署于虛擬機、ECS云服務器并有良好兼容性;GaussDB 采用大規模并行處理MPP(Massive Parallel Processing)架構,提供PB 級別數據量的處理能力;分布式架構的Taurus 具備可彈性擴展的虛擬塊存儲服務、高可靠性、高I/O 吞吐能力.

表1 DB-Engines 總結的數據庫熱度排名

圖1 DB-engines 總結的數據庫熱度排名趨勢

1.2 國產化必要性

當前重要應用領域數據庫系統依賴于國外的技術、產品及服務.2018年美國商務部對中興、華為進行芯片、軟件禁售.銀監發[2014]39 號文《關于應用安全可控信息技術加強銀行業網絡安全和信息化建設的指導意見》指出安全可控信息技術在銀行業總體達到75%左右的使用率.由于大數據、物聯網、移動互聯網等新技術的發展與產業融合,網絡數據量異常龐大且不斷有增量數據產生.大型企業日數據處理量已達到百TB 級別(如微信官方統計其每天處理的信息量為450 億條).作為信息存儲的主要載體,數據庫系統國產化是保障網絡安全和國家安全的必然要求.

2 數據庫選型測評指標研究

2.1 DBMS 選型性能分析

數據庫國產化替代關鍵在于適配性調研、測試選型、SQL 性能優化以及網絡安全評估.技術層面的調研應包含數據庫事務正確執行的4 個基本特性(ACID),即原子性(atomicity)、一致性(consistency)、隔離性(isolation)、持久性(durability).原子性強調事務是不可分割的工作單位,如果事務中一個SQL 語句執行失敗,則數據庫事務回滾到之前狀態.一致性強調數據庫的完整性約束不受破壞.隔離性是事務之間隔離,并發執行的各個事務之間無法相互干擾.持久性強調事務提交后的永久性,其它操作或故障不應對事務產生影響.

數據庫評價指標的確定要考慮關系型數據庫(RDMS)和非關系型數據庫(NoSQL)的差異性.關系型數據庫采用了關系模型來組織數據,符合嚴格的范式設計與ACID 要求.對通用SQL 語言的支持使得關系型數據庫具備易用性、實體完整性、參照完整性和用戶定義的完整性等特征,但存在難以應對高并發、海量數據表查詢時的低效率問題以及難以橫向擴展問題.非關系型數據庫是分布式、不保證遵循ACID 原則的數據存儲系統,以鍵值對存儲數據且結構不固定,數據之間沒有耦合性及庫表關聯.NoSQL 數據庫基于BASE(基本可用、軟狀態、最終一致)模型,具有更高的水平可擴展性、靈活性、可用性[3],但不適合持久存儲海量數據.根據OWASP 組織發布的十大最關鍵Web 應用風險(OWASP Top 10),SQL 注入攻擊在2017年被列為威脅最嚴重的攻擊方式.2019年初我國境內大量使用的MongoDB、Elasticsearch 數據庫相繼曝出存在網絡安全漏洞,存在泄露信息的風險,因此應將數據庫網絡安全評價指標納入測評指標體系[4,5].

2.2 選型測評指標體系模型

在數據庫產品特性分析的基礎上建立一個選型測評指標體系模型,指標的確定適當考慮了數據庫ACID特性的實現,保證在重要系統建設中實現國產化替代后的業務功能銜接.

依據GB/T 25000.51-2016《系統與軟件工程 系統與軟件質量要求和評價(SQuaRE)第51 部分:就緒可用軟件產品(RUSP)的質量要求和測試細則》、TPC事務處理性能委員會測試基準(如TPC-C/E/H)及GB/T 28448-2019《信息安全技術網絡安全等級保護測評要求》中的三級安全計算環境測評要求,可以從3 個方面建立選型測評指標體系模型,第一類是性能效率指標,包括高并發支持性、TPC 基準性能、時間性能、傳輸效率;第二類是信息安全性指標,包括身份鑒別、訪問控制、安全審計等,信息安全目標可保證數據的保密性、完整性、可用性;第三類是其他的不可量化質量特性指標,包括功能性、兼容性、可靠性、可維護性、可移植性;國產數據庫選型測評指標體系模型如圖2,主要評價數據庫的產品質量特性[6,7].

通過產品質量特性確定數據庫選型指標,測評結果映射到不同的區域,可以綜合評價不同數據庫產品的差異.選型測評基本思路是在新建設系統或者原系統升級前進行業務特征提取與分析,對現運行系統的數據庫性能和業務增量評估,對不同數據庫產品進行橫評測試,最終在國產化遷移完成后進行性能壓力測試以確保對業務的良好支撐.

圖2 國產數據庫選型測評指標體系模型

3 指標體系測試內容

3.1 性能效率指標

一般通過可量化指標對性能效率進行評價,通過開源或行業通用工具模擬正常、峰值及異常負載條件對數據庫的各項性能指標進行測試.

3.1.1 高并發支持性

通過Loadrunner、Jmeter 模擬壓力測試,(1)庫表建立,針對被選型的多款數據庫產品建立同樣的表結構及外鍵約束,生成關聯表及大于5000 萬條記錄;(2)建立測試進程與連接配置,國產數庫廣泛支持JDBC接口(JDBC Driver Class 驅動),選擇Query_Type 并添加庫表的讀寫測試腳本;(3)進行持續性壓力測試并收集平均響應時間、吞吐率、錯誤率等結果.

3.1.2 TPC 基準測試

TPC 組織公布的測試標準包括TPC-C/E/H.TPCC是專門針對聯機交易處理系統(OLTP)的測試規范,被眾廠商認可(TPC-E 比TPC-C 基準模擬的應用環境更真實,模型的仿真性和完備性也更優秀).本文量化指標體系將TPC-C/E/H 基準全部納入,在進行國產數據庫選型時可裁減選擇一種基準,在不少于1000 個數據倉庫與虛擬終端并發的場景下記錄其tpmc 值[8].

3.1.3 時間性能與傳輸效率

性能與效率測評是對數據庫基本寫入、讀取、同步、遷移性能進行量化評估.(1)庫表建立,建立與高并發支持性相同的數據環境;(2)進行關聯查詢與寫入測試,對SQL 語句(如Select、Insert)進行嚴格的條件限定并對比返回時間;(3)全量數據遷移的傳輸性能(單位MB/s)和同步性能(單位TPS);(4)數據庫異地實時同步備份的時間效率,搭建跨區域測試環境,設計用例驗證實時同步的時間效率.

3.2 信息安全性指標

信息安全性指標的目標是實現數據可用性、完整性、保密性.評估方法為身份鑒別、訪問控制、安全審計、入侵防范、數據備份恢復[9].

3.2.1 身份鑒別

(1)評估是否對登錄用戶進行身份標識和鑒別,核查標識唯一性、鑒別信息復雜性、更換周期性要求;(2)評估是否對登錄失敗及登錄超時情況進行處理;(3)是否支持SSL/SSH 等安全的遠程連接方式以保證重要信息的加密傳輸;(4)是否支持雙因素身份認證.

3.2.2 訪問控制

(1)數據庫的賬戶和權限分配策略;(2)檢查數據庫系統是否可設置安全策略,應支持用戶和/或用戶組可以根據身份規定對庫表的訪問控制策略;(3)訪問控制的粒度應達到主體為用戶級或進程級,客體為文件、數據庫表級.

3.2.3 安全審計

安全審計評估數據庫的日志記錄及審計功能,審計應覆蓋到每個用戶并對重要的用戶行為和重要安全事件進行審計,審計記錄可備份,審計進程受保護.

3.2.4 入侵防范

入侵防范方面主要評估數據庫系統是否有高風險漏洞、產品補丁更新周期與更新策略等.

3.2.5 數據備份恢復

數據備份恢復主要評估數據庫系統是否提供本地備份與恢復功能,包括數據全量備份、增量備份、異地實時同步、故障可恢復能力等.

3.3 其他指標

其他指標包括了不可量化的一些質量特性,測試順序為搭建測試環境、部署測試數據及場景、驗證指標是否可達.

3.3.1 功能性

驗證國產數據庫基礎表管理功能,對數據定義語言DDL、數據操作語言DML、數據查詢語言DQL、事件控制語言TCL、數據控制語言DCL 進行SQL 語句驗證,評估數據庫事務處理功能支持、完整性約束(唯一性約束、非空值約束),對分布式部署數據庫應驗證分表分庫、SQL 自動路由、讀寫分離、主副本節點數據一致性等功能.

3.3.2 兼容性

驗證對JDBC、ODBC 接口的兼容性、支持的數據類型,數據類型包括字符串、數值、日期時間、布爾、二進制串、XML 等.增強要求下驗證中間件、B/S 架構Web 應用中對瀏覽器的兼容性、多源異構及Oracle 語法和數據類型兼容性等.

3.3.3 可靠性

通過ACID 中一致性和持久性的反映驗證可靠性,測試用例從容錯性、數據保護、易恢復性、運行穩定性角度設計.(1)對人機接口輸入的SQL 語法及數據進行有效性檢驗,以避免失效、誤操作、死機;(2)數據庫在規定的極限情況下不丟失數據;(3)黑盒測試模擬異常,可實現數據恢復功能;(4)模擬數據庫讀寫壓力并運行8 小時,驗證是否出現故障和錯誤.

3.3.4 可維護性

從可重用、易修改、易測試等方面驗證可維護性,要求數據庫補丁升級時中斷服務時間小于特定指標,集群架構及分布式數據庫應保證節點個數在業務繁忙時可即時擴展,能承載更多的業務流量QPS.

3.3.5 可移植性

從適應性、易替換性方面驗證可移植性,(1)對Windows、Linux 操作系統的兼容性驗證,以及網絡軟件及合作應用軟件的適應性;(2)支持異構數據庫遷移,且遷移停服時間受控.

4 國產數據庫選型測評實踐

4.1 測評實施

在測評實踐過程中,針對具有代表性的國產數據庫進行選型測評,參考測評指標體系模型,通過適用性原則選擇具體3 類指標并設計測試用例,針對大量業務并發運行及全國分布式訪問節點的業務特點,搭建圖3所示的模擬測試環境.

圖3 模擬測試環境

設計測試流程與指標,如圖4所示.A 類非量化指標重點針對分布式數據庫事務功能、ACID 特性及接口兼容性等.B 類量化指標測試中選用TPC-C 基準,通過TPCC、BenchmarkSQL 創建1000 個warehouse的測試數據并執行1 小時,分析tpmc 值;設計外鍵關聯查詢的Select 腳本,模擬10 000 虛擬用戶并發執行腳本10 分鐘,記錄不同數據庫的平均響應時間RtAVG及錯誤率ErrAVG;時間性能方面主要對數據批量Select/Insert、全量/增量遷移時間進行測評.C 類指標僅選擇身份鑒別、安全審計、備份恢復3 項指標.最終進行結果分析與選型比對.

圖4 測試流程及指標

4.2 測試結果分析

5 類數據庫tpmc 結果對比如圖5所示.

圖5 TPC-C 基準測試的tpmc 值

通過圖5對性能效率指標中的TPC-C 基準測試結果進行分析.在TPC-C 基準測試階段工具腳本建立客戶表、商品表、訂單表等9 個數據表,添加交易數據并持續模擬1 小時內該商品交易市場的訂單流通場景,導出的評價因子為每分鐘商業事務(tpmc)吞吐量,值越大則相同情況下數據庫性能可判定為更優.圖5的對比,可以部分反映不同數據庫的質量特性可達程度,其中數據庫E、數據庫A 呈現出更好的高并發支持性(對環境配置具有強依賴性),本次結果分析僅通過可量化的性能效率指標對數據庫性能進行評價,在其他測評應用中需兼顧性能效率、信息安全性、其他類不可量化指標的結果.

5 結論與展望

本文分析了主流數據庫市場應用情況,以及實現數據庫國產化選型測評的必要性.本文研究了關系型數據庫與NoSQL的特性,結合軟件質量特性及安全測試標準,提出了數據庫選型測評指標體系模型,從性能效率、信息安全性、其它類指標3 個方面進行建模,并針對各指標給出了通用的測試內容.使用該指標體系針對5 類國產主流數據庫進行測評實踐,并給出了基于TPC-C 基準的量化測評結果,驗證了測評指標體系的合理性和可操作性.