岳書會,張 磊,顧景民
(1.山東能源集團信息技術(shù)公司,山東 濟南 250014;2.兗州煤業(yè)股份有限公司信息化中心,山東 鄒城 273500)
集團公司作為大型能源企業(yè)連續(xù)榮列世界500強,集團業(yè)務(wù)快速發(fā)展,為適應(yīng)新形勢的要求,集團公司大力推進實施ERP 系統(tǒng)全覆蓋項目,采用SAP S/4 HANA 解決方案,包含S4,BW,PO,BO 等多個模塊,覆蓋集團公司及下屬子公司財務(wù)、人力、物資、生產(chǎn)、風險等各方面業(yè)務(wù)。 此項目通過超前規(guī)劃,對服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)架構(gòu)、操作系統(tǒng)、數(shù)據(jù)庫、虛擬化等軟硬件平臺進行集中建設(shè)、統(tǒng)一管理,避免了重復(fù)建設(shè)、資源浪費、建設(shè)水平低的問題。
ERP 系統(tǒng)架構(gòu)平臺部署于集團總部數(shù)據(jù)中心,系統(tǒng)采用HANA 數(shù)據(jù)庫運行在15 臺HANA 一體機服務(wù)器上,應(yīng)用服務(wù)器采用VMware 虛擬化部署,虛擬機數(shù)量達到150 余臺,業(yè)務(wù)數(shù)據(jù)量近60 TB,并且數(shù)據(jù)量增長迅速。 數(shù)據(jù)備份作為數(shù)據(jù)中心的重要組成部分,與核心業(yè)務(wù)系統(tǒng)的業(yè)務(wù)連續(xù)性密切相關(guān),制定切合企業(yè)實際的備份系統(tǒng)架構(gòu)至關(guān)重要,在可允許備份的時間段內(nèi),能夠做到既不影響生產(chǎn)系統(tǒng)的正常運行,又能合理地分配資源,減少備份沖突,最大限度地利用現(xiàn)有設(shè)備的處理能力完成備份。
集團公司ERP 系統(tǒng)采用VERITAS 公司NetBackup 5240 備份一體機數(shù)據(jù)保護解決方案。 NetBackup 備份一體機在大型能源企業(yè)ERP 項目中的部署使用達到了集團公司HANA 數(shù)據(jù)庫的備份及異地容災(zāi)實現(xiàn)保護企業(yè)數(shù)據(jù)的目的[1]。
NBU 備份一體機是統(tǒng)一化備份管理平臺,可實現(xiàn)數(shù)據(jù)備份的統(tǒng)一監(jiān)控與管理,提升了管理的可見性,并能縮短核心生產(chǎn)系統(tǒng)備份窗口時間。 設(shè)備集成了Veritas NetBackup 8.1.2 軟件,配置了152TB 可用備份存儲空間,負責制定備份策略、運行備份任務(wù)、存儲備份數(shù)據(jù),支持智能端到端重復(fù)數(shù)據(jù)刪除功能、內(nèi)置VMWARE、Hyper-V 虛擬化平臺及多種數(shù)據(jù)庫備份功能,是一個易于管理的一體化集成解決方案,能夠降低總成本的同時提高可靠性。
集團公司總部數(shù)據(jù)中心部署一臺NBU 備份一體機,備份ERP 系統(tǒng)的HANA 數(shù)據(jù)庫。 在距離總部數(shù)據(jù)中心150 km 的省聯(lián)通三樞紐機房租用空間資源,放置另外一臺NBU 備份一體機,搭建ERP 系統(tǒng)的備份容災(zāi)中心,兩個數(shù)據(jù)中心租用運營商專線實現(xiàn)大二層網(wǎng)絡(luò)互聯(lián),通過NBU AIR 跨域復(fù)制技術(shù)實現(xiàn)總部數(shù)據(jù)中心備份數(shù)據(jù)和備份容災(zāi)中心的數(shù)據(jù)復(fù)制。 ERP 系統(tǒng)備份及容災(zāi)架構(gòu)如圖1 所示。
圖1 ERP 系統(tǒng)備份及容災(zāi)架構(gòu)
集團公司ERP 系統(tǒng)使用了多套SAP HANA 2.0 數(shù)據(jù)庫。 HANA 數(shù)據(jù)庫是一種高性能內(nèi)存數(shù)據(jù)庫,將數(shù)據(jù)盡可能放在內(nèi)存中運行,比傳統(tǒng)數(shù)據(jù)庫達到了更快的數(shù)據(jù)處理速度,并且支持多租戶、高可用、容災(zāi)、大數(shù)據(jù)等高級特性[2]。 NBU 備份一體機對HANA 數(shù)據(jù)庫提供本地備份和第三方備份。 NBU 備份一體機對HANA 數(shù)據(jù)庫進行第三方備份,基本配置如下:
Client_A 是運行HANA 數(shù)據(jù)庫的服務(wù)器,操作系統(tǒng)為SUSE 12 SP3,YKNBU 是NBU 管理服務(wù)器,確保Client_A 與YKNBU 之間開通必要的網(wǎng)絡(luò)端口1556,13726,13784,分別在Client_A 和YKNBU 上添加對方host 解析。
在Client _ A 上安裝Linux 版本備份客戶端NetBackup_8.1.2_CLIENTS2,客戶端版本需與備份服務(wù)器端保持一致,服務(wù)器端版本可向下兼容客戶端軟件版本,反之則不可。
在Client_A 上打開NBU 客戶端配置文件夾/usr/openv/netbackup/ext/db_ext/sap,為此文件夾下文件添加可執(zhí)行權(quán)限,initSAP. utl 文件中添加備份策略名稱,node_names.txt 文件中添加客戶端名稱,添加HANA 數(shù)據(jù)庫備份腳本sap_hanadb_TestDB,腳本名稱結(jié)尾一般以數(shù)據(jù)庫租戶名稱進行命名標識,腳本中添加數(shù)據(jù)庫用戶名、密碼、租戶名稱,NBU 備份任務(wù)可調(diào)用此腳本實現(xiàn)數(shù)據(jù)庫的完全備份、差異備份或增量備份。
創(chuàng)建軟連接,ln -s /usr/openv/netbackup/bin/hdbbackint _ script /usr/sap/實例名/SYS/global/hdb/opt/hdbbackint。
通過HANA STUDIO 修改HANA 數(shù)據(jù)庫配置參數(shù),將HANA 數(shù)據(jù)庫備份由本地File 備份修改為第三方Backint 備份。 分別將configuration/global. ini/backup catalog_backup_parameter_file、data_backup_parameter_file、log_backup_parameter_file 參數(shù)值修改為備份客戶端數(shù)據(jù)庫備份腳本路徑/usr/openv/netbackup/ext/db_ext/sap/initSAP.utl,catalog_backup_using_backint,log_backup_using_backint 參數(shù)值由false 修改為true。
在NBU 控制臺創(chuàng)建HANA 數(shù)據(jù)庫備份策略,策略名需與initSAP.utl 文件中策略名稱一致。 在Attributes選項卡策略類型選擇SAP,Policy Storage 選擇本地重刪池,在Schedules 選項卡設(shè)定數(shù)據(jù)庫備份時間表及數(shù)據(jù)保留周期,在Clients 選項卡添加備份客戶端服務(wù)器,在Backup Selections 選項卡中選擇數(shù)據(jù)庫服務(wù)器上的備份腳本。
上述配置完成后,NBU 備份一體機會根據(jù)備份時間表對HANA 數(shù)據(jù)庫進行完全備份,并實時將數(shù)據(jù)庫產(chǎn)生的Log 備份到NBU 一體機中,打開NBU 管理控制臺,在Netbackup Management/Activity Monitor 選項卡下可觀察到備份任務(wù)的運行情況。
集團公司ERP 系統(tǒng)備份容災(zāi)中心放置一臺NBU備份一體機,通過千兆專線與集團總部數(shù)據(jù)中心NBU備份一體機實現(xiàn)大二層網(wǎng)絡(luò)互聯(lián),通過NetBackup AIR跨域復(fù)制技術(shù)將總部ERP 系統(tǒng)備份數(shù)據(jù)傳輸?shù)饺轂?zāi)中心。 兩臺NBU 備份一體機搭建遠程數(shù)據(jù)復(fù)制的實現(xiàn)如下[3]:
(1)源備份域YKNBU、目標備份域JNNBU 上互相添加host 解析,確保端口1556,13724,13782,443,10082,10102 可以互相通信。
(2) 在源備份域YKNBU 上添加目標備份域JNNBU 信任, 打開 NBU 管理控制臺 Netbackup Management/Host Properties/Master Servers 下主機屬性,在主機屬性Servers/Trusterd Master Servers 選項卡下添加主機信任,填寫目標備份域JNNBU 及JNNBU 的管理員憑據(jù)。 同樣方法在目標備份域JNNBU 上添加源備份域YKNBU 信任。
(3)在源備份域YKNBU 上添加目標備份域存儲服務(wù)器,雙擊打開Media and Management/Credentials/Storage Servers 下重刪池屬性Replication 選項卡,填寫目標備份域master server 與storage server name JNNBU及MSDP 憑據(jù)。
(4)在目標備份域JNNBU 配置SLP 導(dǎo)入策略。 在Netbackup Management/Storage/Storage Lifecycle Policles選項卡下新增SLP 導(dǎo)入策略yknbu_to_jnnbu,Operation選擇Import。
(5)在源備份域YKNBU 配置SLP 復(fù)制策略。 在Netbackup Management/Storage/Storage Lifecycle Policles選項卡下新增SLP 復(fù)制策略yknbu_to_jnnbu,其中目標master server 選擇JNNBU,目標SLP 導(dǎo)入策略選擇上一步創(chuàng)建的yknbu_to_jnnbu,Operation 選擇Backup,繼續(xù)添加同步策略,Operation 選擇Replication,定義同步時間窗口。
(6)在源備份域YKNBU 創(chuàng)建遠程復(fù)制備份策略。可以新增或修改原有備份策略,在Attributes 選項卡Policy Storage 選擇SLP 策略yknbu_to_jnnbu,這樣此備份策略的備份數(shù)據(jù)就可以實時傳輸?shù)侥繕藗浞萦騄NNBU。
集團公司ERP 系統(tǒng)通過NBU 備份平臺統(tǒng)一管理HANA 數(shù)據(jù)庫備份任務(wù),實現(xiàn)了數(shù)據(jù)備份的無人化、自動化,大大提高了備份效率,保障了數(shù)據(jù)的存儲安全。NBU 備份系統(tǒng)運行以來,發(fā)現(xiàn)系統(tǒng)中存在一些問題,如備份作業(yè)排隊現(xiàn)象嚴重、備份速率未達到預(yù)期等,采取以下措施進行優(yōu)化。
將ERP 系統(tǒng)開發(fā)、測試、生產(chǎn)環(huán)境數(shù)據(jù)庫分別進行備份,規(guī)范策略名稱,如開發(fā)環(huán)境以ERP_DEVDB_開頭,測試環(huán)境以ERP_QASDB_開頭,生產(chǎn)環(huán)境以ERP_PRDDB_開頭,虛擬機備份以VM_開頭,對統(tǒng)一數(shù)據(jù)類型的備份策略進行歸并整合,合理地設(shè)置策略條目,降低管理難度,在出現(xiàn)備份任務(wù)失敗情況時可以快速定位到問題來源[4]。
ERP 系統(tǒng)存在多達49 個HANA 數(shù)據(jù)庫租戶,部分租戶數(shù)據(jù)量達到幾個TB,日平均備份條目達15 000 余條,而NBU 備份一體機由于硬件限制,磁盤讀寫速度最大不超過800 MB/S,備份任務(wù)過多會導(dǎo)致大量任務(wù)排隊,如達到I/O 及內(nèi)存分配的瓶頸,甚至會造成備份任務(wù)的失敗,這就需要通過采用合理分配備份時間窗口、調(diào)整備份運行周期等方式,平衡主機負載,減少備份沖突。
對于VMware 虛擬化平臺上服務(wù)器采用LAN Free方式進行備份,備份數(shù)據(jù)直接從san 存儲傳輸?shù)絅BU一體機上;對于物理機服務(wù)器采用SAN client 方式進行備份,利用物理機上空閑HBA 端口,備份數(shù)據(jù)直接從san 網(wǎng)絡(luò)傳輸?shù)絅BU 一體機上,從而達到備份數(shù)據(jù)流量不占用業(yè)務(wù)網(wǎng)絡(luò)帶寬、減少業(yè)務(wù)影響的目的[5]。
生產(chǎn)環(huán)境備份數(shù)據(jù)保留一個月,開發(fā)和測試環(huán)境備份數(shù)據(jù)保留2 周,從而減少了存儲空間占用。
大型能源企業(yè)大數(shù)據(jù)ERP 系統(tǒng)運用VERITAS NetBackup 備份系統(tǒng)實現(xiàn)了HANA 數(shù)據(jù)庫的備份及異地容災(zāi)。 本文著重對備份及容災(zāi)的實現(xiàn)過程進行了介紹,并通過分析NBU 備份系統(tǒng)日常運行狀態(tài),對備份策略、備份窗口、備份保留周期進行了優(yōu)化,減少了資源占用,提高了備份效率,有效保證了數(shù)據(jù)庫安全,保障了集團公司ERP 系統(tǒng)的業(yè)務(wù)連續(xù)性。 集團公司數(shù)據(jù)容災(zāi)備份體系的建立,為集團公司大數(shù)據(jù)ERP 系統(tǒng)數(shù)據(jù)安全增加保障,為集團公司信息化建設(shè)提供堅實后盾。