基于Redo log的復制技術實現(xiàn)跨平臺的數(shù)據(jù)庫容災應用研究

賴如勤

（福建省煙草公司南平市公司 信息中心，福建 南平 353000）

基于Redo log的復制技術實現(xiàn)跨平臺的數(shù)據(jù)庫容災應用研究

賴如勤

（福建省煙草公司南平市公司 信息中心，福建 南平 353000）

文中針對Oracle數(shù)據(jù)庫跨平臺容災的目的，通過了解各種數(shù)據(jù)庫復制解決方案，對各種復制技術進行分析和對比。研究基于Redo log復制技術的數(shù)據(jù)庫復制軟件原理。結合模擬常用系統(tǒng)環(huán)境進行方案設計的試驗，得出基于Redo log復制技術的數(shù)據(jù)庫備份方式，不僅具有高效的資源利用、跨平臺數(shù)據(jù)庫同步、主備庫雙活、斷點續(xù)傳等功能，可以實現(xiàn)Oracle數(shù)據(jù)庫的高可用、提高保護數(shù)據(jù)的安全性、降低業(yè)務系統(tǒng)中斷時間、減少硬件設備投入成本等迫切需求。而且支持跨平臺容災，為將來核心生產數(shù)據(jù)庫從小型機平臺轉型到X86架構平臺奠定基礎。

Oracle；數(shù)據(jù)庫；Redo log；跨平臺容災

隨著信息化技術的廣泛應用，各行各業(yè)已經形成了“業(yè)務依賴信息化、管理依靠信息化、決策需要信息化”的格局。在這樣的時代背景下，數(shù)據(jù)成為了企業(yè)寶貴的資源，重要性不言而喻。尤其在大型的商務系統(tǒng)中，要支持成千上萬用戶同時訪問和7*24小時不間斷的運行要求，如何保證業(yè)務連續(xù)性及數(shù)據(jù)的可靠性是一項重要的研究課題。

為了提供高性能、高可靠性的保護數(shù)據(jù)，以前大部分重要的生產數(shù)據(jù)庫均采用小型機來保障業(yè)務的連續(xù)性和穩(wěn)定性。而如今X86架構服務器的發(fā)展日新月異，其性能已經超越了傳統(tǒng)小型機，穩(wěn)定性也得到非常大的改善。而無論是硬件成本還是維護成本都遠遠低于小型機。在這種發(fā)展趨勢下，使用X86架構的數(shù)據(jù)庫替換原有小型機數(shù)據(jù)庫是早晚且必然的。但是在各方面的壓力和條件下，去小型機的道路卻是困難重重。

1 數(shù)據(jù)庫復制解決方案的基本介紹

1.1 基于存儲層復制技術的解決方案

該解決方案是通過基于SAN的存儲設備之間進行復制，復制針對每個IO進行，復制的數(shù)據(jù)量比較大。系統(tǒng)可以實現(xiàn)數(shù)據(jù)的同步或異步兩種方式的復制。對大數(shù)據(jù)量的系統(tǒng)來說有很大的優(yōu)勢（每天日志量在60 G以上）但是對主機、操作系統(tǒng)、數(shù)據(jù)庫版本等要求必須一致，沒辦法做到跨平臺跨數(shù)據(jù)庫的容災需求。

1.2 基于數(shù)據(jù)庫同步軟件的解決方案

通過在生產中心和災備中心的服務器上安裝專用的數(shù)據(jù)復制軟件，通過分析Redo log。兩中心間使用TCP/IP網絡連接作為數(shù)據(jù)通道?？梢栽诜掌鲗釉黾討眠h程切換功能軟件，從而構成完整的應用級容災方案。這種數(shù)據(jù)復制方式相對投入較少，主要是軟件的采購成本，兼容性較好，可以兼容不同品牌的服務器和存儲設備，較適合硬件組成復雜的用戶。

1.3 解決方案應用現(xiàn)狀分析

目前，國內外常用的數(shù)據(jù)容災方案大致分為3種類型：一是通過跨數(shù)據(jù)中心的數(shù)據(jù)庫集群，該方案優(yōu)點是實現(xiàn)集群內多套數(shù)據(jù)庫集合對外提供服務。但缺點是對鏈路的延遲和要求很高，基本需要多條裸光纖，遠距離下能以實現(xiàn)，且成本非常高。一般更多用于同城雙活數(shù)據(jù)中心，較少單純用于容災；二是通過存儲同步，將底層存儲數(shù)據(jù)復制到容災中心，需要時再掛載。Veritas、EMC、DELL、HP等軟硬件廠商有基于軟件和硬件層的數(shù)據(jù)同步產品，優(yōu)點是可以做到完全拋開數(shù)據(jù)庫級的做到更為底層的一致性的數(shù)據(jù)傳輸。但是不能保證數(shù)據(jù)的可用性；三是通過數(shù)據(jù)庫復制軟件，將本地生產數(shù)據(jù)庫異步或同步復制到容災中心。該方案在目前數(shù)據(jù)庫容災中較為常用。市場上有許多相同或不同方式實現(xiàn)的軟件產品，如Oracle針對自家數(shù)據(jù)庫復制免費的Data guard和單獨收費的Golden Gate、支持多平臺復制的DSG公司的RealSync和DELL的SharePlex等。

2 Redo log復制技術的軟件

目前常用基于數(shù)據(jù)庫復制的軟件均采用分析Redo Log日志的方式實現(xiàn)。只不過在設計上有的只能在小型機和X86架構之間，或是不同的數(shù)據(jù)庫軟件之間進行復制，有的卻能同時實現(xiàn)；有的RPO較長，有的卻能達到秒級甚至是同步。根據(jù)作者對多個復制軟件的了解，最終選擇了國產的Cyphy BDS軟件進行仔細研究。該軟件能夠實現(xiàn)Oracle數(shù)據(jù)庫在小型機和X86架構之間進行復制，且能保證秒級的RPO。

2.1 Cyphy BDS軟件基本介紹

BDS軟件通過在線分析Oracle redo log獲得交易語句和數(shù)據(jù)，完成schema或table級別的數(shù)據(jù)復制以及full database級別的復制。區(qū)別于早期的以SQL語句為單位的日志處理、傳輸技術。使用DBS對日志的整合和傳輸以“交易”為單位，無需處理復雜的“回滾”機制。使用該技術，在擁有高性能的同時還能夠更好的保證數(shù)據(jù)復制的一致性和完整性。

BDS的機制無需等待Oracle redo log文件歸檔之后再進行處理，而是在線讀取其數(shù)據(jù)塊內容。讀取的間隔時間可以用參數(shù)設定，以秒為單位。不需要傳輸Oracle redo log的全部內容到目的端，除指定復制對象（數(shù)據(jù)表）相關的DML/DDL操作之外，其他的信息不做處理。配置時用戶需要打開數(shù)據(jù)庫的supplemental logging和force logging參數(shù)以獲取完整的數(shù)據(jù)信息。

2.2 復制對象和數(shù)據(jù)定位

2.2.1 復制對象的級別

支持兩種級別的復制：一種是基于用戶（schema）級別；另一種是基于表（table）級別。數(shù)據(jù)復制時需要設定復制對象的映射關系、用戶對用戶、表對表。映射配置中源和目標對象的名稱和結構都可以不同，例如將生產服務器A1用戶下的數(shù)據(jù)復制到容災服務器的B1用戶下。所有的映射都在邏輯對象級別，不需要考慮表空間或存儲參數(shù)。

2.2.2 復制的數(shù)據(jù)定位技術

支持兩種數(shù)據(jù)定位技術，一種是Where字句定位技術，另一種是Rowid定位。所謂的數(shù)據(jù)定位技術是指源端表中（每）一行記錄和目標端相對應記錄之間的映射方法，或者說尋址方式。

Where方式通過子句條件查詢的來定位DML操作的目標行。這種方法需要表帶有主鍵索引，如果沒有主鍵，則需要通過附加日志獲取需要的信息，并檢索記錄的全部字段值，因此復制表中不能有完全重復的記錄。在數(shù)據(jù)修改較多或者表內行數(shù)較多的應用環(huán)境，特別是Update操作頻繁的情況下，該方式效率不高。

Rowid定位技術則以Oracle表中記錄的rowid為參照進行復制數(shù)據(jù)定位。系統(tǒng)在數(shù)據(jù)初始化過程中會自動創(chuàng)建源端數(shù)據(jù)行和目標端數(shù)據(jù)行的rowid mapping映射文件，復制時通過檢索該文件找到DML操作的目標行。Rowid定位技術在處理Update和Delete操作時具有一定的性能優(yōu)勢。

2.2.3 SQL語句的過濾和轉換

SQL語句的過濾功能主要用于數(shù)據(jù)表的邏輯備份，能夠識別Truncate和Drop等有一定風險的SQL操作，用戶可以選擇將這些語句屏蔽復制，也可以選擇將目標端需要處理表通過rename的方式備份起來。這樣可以有效地防止人為誤操作造成的數(shù)據(jù)破壞。

SQL語句轉換功能則有更多的用途。傳統(tǒng)的復制軟件要求源端和目標端數(shù)據(jù)庫的表在功能和結構上完全相同。但是很多實際的應用環(huán)境下，例如CRM和交易系統(tǒng)、生產系統(tǒng)和統(tǒng)計系統(tǒng)、生產系統(tǒng)和數(shù)據(jù)倉庫之間的數(shù)據(jù)交換無法做到結構完全相同的表對表復制。因此傳統(tǒng)的復制技術除了容災備份應用之外，很難解決不同應用系統(tǒng)之間數(shù)據(jù)實時“集成—交換”的問題。

2.2.4 源端和目的端緩存

緩存可以分為兩級：第一級在復制源端，第二級在目的端。從Redo log里采集的交易的信息生成緩存文件后，首先被放到源端的緩存目錄下；然后經過網絡通訊進程處理被發(fā)送到目的端系統(tǒng)下的緩存目錄保存；最后由裝載進程負責裝載到目的端數(shù)據(jù)庫中。

2.2.5 文件的格式和大小

交易信息以文件為單位進行傳輸、緩存和裝載，該文件為二進制格式，其內部的表達方式與Oracle內部處理方式相類似，避免了很多復雜的信息轉換，因此具有較高的執(zhí)行效率。

緩存文件的生產量大約是實際產生Redo log日志量的1/3～1/4。BDS不設置緩存空間控制機制，用戶可以根據(jù)每天交易產生的Redo log日志量和以上比例計算需要預留的緩存空間。

2.3 多種復制模式

BDS軟件支持一對一、一對多、多對一以及級聯(lián)復制等多種復制模式。無論在哪種模式下，復制的源和目的系統(tǒng)都是獨立的部分，可以單獨使用、維護和優(yōu)化，這也是該軟件受到廣大用戶青睞的重要原因之一。

2.3.1 一對一的復制模式

生產數(shù)據(jù)庫服務器和備份數(shù)據(jù)庫服務器各需部署一個軟件進程。生產端的軟件進程捕捉數(shù)據(jù)庫日志文件的狀態(tài)，實時傳到備份端的軟件進程，備份端的數(shù)據(jù)庫根據(jù)數(shù)據(jù)庫日志不斷重建數(shù)據(jù)庫。當生產端不可用時，可以將連接切換到備份端。等到生產端恢復之后，軟件進程可以反向恢復數(shù)據(jù)到生產端。

圖1 一對一的復制模式

2.3.2 一對多的復制模式

生產數(shù)據(jù)庫服務器只需部署一個軟件進程，多個備份數(shù)據(jù)庫服務器各需部署一個軟件進程。生產端的軟件進程捕捉數(shù)據(jù)庫日志文件的狀態(tài)，實時傳到各個備份端的軟件進程。各個備份端根據(jù)數(shù)據(jù)庫日志重建各自的數(shù)據(jù)庫。當生產端不可用時，可以將連接切換最近的備份端。等到生產端恢復之后，軟件進程可以反向恢復數(shù)據(jù)到生產端。生產端再重新復制到其他的備份端。

圖2 一對多的復制模式

2.3.3 多對一的復制模式

多個生產數(shù)據(jù)庫服務器各需部署一個軟件進程，備份數(shù)據(jù)庫服務器只需部署一個軟件進程。各個生產端的軟件進程捕捉數(shù)據(jù)庫日志文件的狀態(tài)，實時傳到同一個備份端的軟件進程。備份端根據(jù)不同的數(shù)據(jù)庫日志重建多個數(shù)據(jù)庫。當某個生產端不可用時，可以將連接切換到備份端。等到這個生產端恢復之后，軟件進程可以反向恢復數(shù)據(jù)到生產端。

圖3 多對一的復制模式

2.3.4 級聯(lián)的復制模式

生產數(shù)據(jù)庫服務器和異地備份服務器各部署一個軟件進程，本地備份數(shù)據(jù)庫服務器需要部署兩個軟件進程。同時實現(xiàn)接收來自生產端的數(shù)據(jù)和推送數(shù)據(jù)到異地備份端。生產端可以接收來自本地備份端或是異地備份端的反向恢復數(shù)據(jù)。

圖4 級聯(lián)的復制模式

2.3.5 外掛的復制模式

外掛的復制模式不需要在生產數(shù)據(jù)庫服務器部署軟件進程，但是需要能被安裝了軟件進程的外掛服務器訪問生產數(shù)據(jù)庫的Redo log。需要額外一臺服務器和異地備份端各部署一個軟件進程。外掛服務器通過共享Redo log獲取生成端的日志文件狀態(tài)，實時傳到同一個異地備份端的軟件進程。異地備份端根據(jù)數(shù)據(jù)庫日志重建數(shù)據(jù)庫，當容災應用系統(tǒng)啟動時可以訪問該備份的數(shù)據(jù)庫?；謴蜁r外掛服務器使用遠程加載的方式，使生成端與異地備份端同步。

圖5 外掛的復制模式

3 數(shù)據(jù)庫跨平臺容災方案的設計

采用BDS的解決方案采用開放系統(tǒng)環(huán)境和存儲設備、硬件設備、操作系統(tǒng)、兼容Oracle數(shù)據(jù)庫9i和10 G版本。源數(shù)據(jù)庫和目標數(shù)據(jù)庫可以運行在不同類型的Unix/Linux/Windows操作系統(tǒng)和Oracle數(shù)據(jù)庫的不同版本上。同時也能夠支持不同類型的存儲環(huán)境。正是在這種靈活的架構之下，使數(shù)據(jù)庫在不同的平臺下容災成為了可能。

4 結 論

基于Redo log復制技術的數(shù)據(jù)庫備份方式，實現(xiàn)了在AIX、HP小型機、X86服務器等異構平臺之間實時在線數(shù)據(jù)同步，為將來數(shù)據(jù)庫從Unix小型機平臺遷移到X86架構平臺奠定基礎。通過軟件復制的多個備份數(shù)據(jù)庫可以進行數(shù)據(jù)報表查詢和查詢，為以后發(fā)展大數(shù)據(jù)應用奠定了基礎。同時隨著云計算的日益發(fā)展，軟件的可靠性和多種復制的靈活性為搭建通靈活的云平臺應用提供了有利的技術保障。

[1]華為公司.華為存儲雙活解決方案技術白皮書V3.1[EB/OL].http://support.huawei.com/enterprise/docinforeader.actioncontentId=DOC1000053005&idPath=7919749|7941815|19899195|19900222| 19900304|21114619，2014.28-32.

[2]迪思杰公司.RealSync技術白皮書-v3[EB/OL]. http://wenku.baidu.com/linkurl=0bgxOZ0DKgyaZCRIo5400XiBU4SOhHFULW5oxM1Meen1yRQHRm-Rw4Zn611z_U7aeTiqNssZgZbp7Sq79Rkp-lv_jM8LAL5lqB0FU4r947Gi，2012.78-85.

[3]戴爾公司.Using Data Replication to Upgrade Your Oracle Database with Minimal Downtime[EB/OL]. https://software.dell.com/docs/using-data-replication -to-upgrade-your-oracle-database-with-minimaldowntime-whitepaper-13735.pdf，2013:115-127.

[4]蓋國強.循序漸進ORACLE數(shù)據(jù)庫管理優(yōu)化與備份恢復[M].北京：人民郵電出版社，2007.

[5]賈洪峰.Oracle Database 11g RAC手冊[M].北京：清華大學出版社，2012.

[6]包光磊.臨危不懼：Oracle 11g數(shù)據(jù)庫恢復技術[M].北京：電子工業(yè)出版社，2012.

[7]弗里曼.Oracle Database 11g RMAN備份與恢復[M].北京：清華大學出版社，2011.

[8]張建勤.基于Oracle數(shù)據(jù)庫安全策略的研究[J].計算機光盤軟件與應用，2013（10）:98-99.

[9]成雅.基于Oracle Streams的數(shù)據(jù)庫實時備份與恢復技術研究[D].南京：南京航空航天大學，2012: 78-85.

[10]張曉明.大話ORACLE RAC集群高可用性備份與恢復[M].北京：人民郵電出版社，2009.

[11]蘇燕強.Oracle分布式數(shù)據(jù)庫及其應用研究[J].計算機應用與軟件，2012（3）:20-23.

[12]楊辛寶.劉玉.Oracle數(shù)據(jù)庫重做日志文件的分析及其應用[J].信息技術，2011（29）:45-47.

[13]賀亞茹.Oracle數(shù)據(jù)庫日志文件損壞時修復方法的實驗研究[J].計算機應用，2009（29）：98-102.

[14]孫風棟，閆海珍.Oracle 10g數(shù)據(jù)庫系統(tǒng)性能優(yōu)化與調整[J].計算機技術與發(fā)展，2009（2）：11-15.

[15]巢子杰.Oracle數(shù)據(jù)庫優(yōu)化探究[J].軟件導刊，2010（2）：34-37.

Research and implementation of database disaster cross platform application replication technology based on Redo log

LAI Ru-qin
（Fujian Tobacco Companies Nanping Company Information Center，Nanping 353000，China）

According to the purpose of the disaster based on Oracle database cross-platform and theunderstanding of various database replication solution，a variety of replication techniques are analyzed and compared The research is based on the Redo log database replication software principle of replication technology.Combined with simulation system environment for the experiment of scheme design，A database backup method based on log Redo replication technology is obtained.On one hand，this method has high efficiency of resource utilization，cross-platform database synchronization，advocate for library double live，breakpoint continuingly，and other functions，which can realize the high availability of Oracle database，improve the protection of data security，reduce business system outage time，reduce the hardware cost and other pressing needsOn the other hand，it can support Cross platform disaster recovery and lay the foundation for the future production of the core database from the minicomputer platform transition to X86 platform.

Oracle；database；Redo log；disaster cross-platform

TN915

：A

：1674-6236（2017）02-0005-04

2016-04-09稿件編號：201604088

國家自然科學基金（61202494）；2015年度福建省科技計劃項目（計算機軟件開發(fā)及研究）

賴如勤（1969—），女，福建永定人，碩士研究生，工程師。研究方向：計算機技術與應用。