重慶電力營銷數據歸檔項目成果及發展趨勢探討

段立+劉沖+蒲箭

[摘 要]電力營銷數據歸檔，是一種為解決系統數據庫的運維管理問題而進行的操作。本文介紹了重慶電力營銷數據歸檔項目成果，并圍繞營銷數據歸檔進行了一系列的探討，希望本文的研究能為同行提供借鑒。

[關鍵詞]電力公司；數據歸檔；重慶

doi：10.3969/j.issn.1673 - 0194.2017.22.102

[中圖分類號]TP309.3 [文獻標識碼]A [文章編號]1673-0194（2017）22-0-02

1 重慶電力營銷業務歷史數據歸檔工作背景

2010年，國網重慶市電力公司（以下簡稱：重慶電力）上線了營銷業務應用系統。該系統涵蓋重慶電力營銷專業19個業務類型、137個業務項以及700多個子項，涉及業擴、計量、抄表、核算、收費、用檢和客服等電力營銷業務范圍，為重慶電力營銷人員順利開展相關業務工作奠定了基礎。從上線以來，營銷業務應用系統的用戶數量迅猛增長，目前已經有接近1 500萬電力用戶，系統的數據量已超過13 TB，并且以每年2 TB以上的數量遞增，給系統數據庫的運維管理帶來了很大的壓力，重慶電力也感受到海量數據對系統穩定運行帶來的壓力。

隨著營銷系統數據量的迅速增長，營銷業務應用系統面臨著多方面的問題：第一，系統運行性能下降會讓前臺用戶與系統進行交互時花費更多的時間，拖慢業務處理速度和客戶服務效率；第二，龐大的系統數據量會使系統花費更長的時間處理相應操作，以及要花費大量的窗口備份時間；第三，系統管理成本不斷提升，維護日益龐大的數據庫所消耗的成本遠高于輕負載的數據庫；第四，運維人員需要消耗更多的時間和精力去重構數據庫，從人力資源角度來說是一種不必要的浪費；第五，系統宕機時間會隨著數據庫規模的擴大而逐漸增長。

隨著電力企業的對外服務壓力不斷增大，電力企業對于系統性能的需求也在不斷提升。為了有效提升系統性能，減輕服務壓力，國網重慶市電力公司于2017年開展了營銷業務應用系統的歷史數據歸檔工作，目的是最大限度減少營銷業務應用系統數據庫存儲數據量，并提升系統的整體運行效率。歸檔采用完全在線方式進行，將系統影響降至最低，完成后系統運行情況達到了預期效果。

本次營銷業務應用系統采用了完全在線歸檔，在歸檔期間，所有業務正常運行，在最大程度上減少了歸檔工作給基層單位運營帶來的不便。經過歸檔后，在線系統數據量從歸檔前的13 TB降低到8 TB，系統負載顯著減少，同時也讓主機資源消耗降低了很多，CPU占用比例從歸檔前的53%下降到35%，降幅達1/3，內存由91%下降到80%，降幅為12%。營銷業務應用系統經過歸檔后，抄表核算、收費賬務、業務流程等模塊的響應速度都有了不同層次的提升，從1.8秒降低至0.8秒左右，大大提升了系統性能，提高了資源的利用率和系統的可用性，從而降低了重慶電力營銷業務應用系統的總投資成本，為營銷業務應用系統的良好運行提供了技術上的保障。

2 電力行業歷史數據歸檔的現狀

2.1 電力行業各應用系統數據迅猛增長

在信息技術快速發展的今天，電力企業的各信息系統也邁進了大數據時代。在2007年之前，電力行業的業務系統數據庫體量超過1TB的便是大型數據庫系統。如今，電力行業各應用系統數據迅猛增長，以重慶電力公司為例，10TB數量級僅是中型數據庫系統，超過20TB的數據庫系統多達數套。業務系統累積的數量越大，系統運行性能就越慢，維護成本也越高。因此，電力企業大量的業務系統都有歷史數據歸檔的迫切性。

2.2 電力行業歷史數據歸檔的技術現狀

目前，電力企業絕大多數應用系統的數據庫歸檔，采用的歸檔方式是首先將歷史數據抽取到歷史數據平臺，然后再利用數據庫自身的SQL命令刪除歷史數據。

電力企業采用這種方式有許多不足。首先，由于生產系統數據量太大，每張表（包括移除歷史數據、重整數據庫碎片、索引等操作）的歸檔時間都很長，而在生產表操作的過程中，都會給該表加上“數據庫鎖”；其次，“數據庫鎖”會使生產業務系統性能急劇下降，無法完成對外的業務交易。因此，傳統的歸檔方法，僅適用于數據量小的應用系統或有較多停機時間的應用系統。

3 新型數據歸檔方式在重慶電力的實踐

傳統的數據歸檔技術采用刪除歷史數據方式產生的“數據庫鎖”，會影響生產系統的性能或要求生產系統停機操作，不適合于重慶電力營銷業務的發展現狀。因此，重慶電力公司上線了營銷業務應用系統。該系統能保持營銷業務應用系統完全在線，且所有歷史數據歸檔操作均不對生產系統性能造成影響的新型數據技術。

在實踐中發現，新型數據歸檔方式的工作流程如下。首先，工作人員在需要歸檔的原表中建立采集觸發器，收集新發交易，存放在交易隊列表中，此過程持續到該表歸檔結束前的表名切換。其次，工作人員使用數據庫底層的FastCopy技術將原表數據拷貝到臨時表。再次，工作人員利用觸發器將收集的新發交易追加到臨時表中，同樣，此過程持續該表歸檔結束前的表名切換時。然后，工作人員在將原表數據拷貝到臨時表后，觸發器自動比較臨時表數據與原表中的新發交易記錄是否一致，如果不一致，繼續等待原表與臨時表的同步。最后，工作人員在確認數據完全一致時，采用數據庫的Online（Exchange Partition）或者TLock（Rename）進行表名切換。臨時表改成原表名，原表備份成ORIG表或者直接刪除，這樣便在線完成了一張數據庫表的歸檔。

新型數據歸檔技術是基于數據庫底層技術，不會產生數據庫鎖，并且可以同時進行歷史數據遷移、表及索引的碎片整理和重整。因此，整個歸檔操作過程不會對業務系統的性能產生影響，且整個歸檔進程完全可視可控，極大降低了由數據庫歸檔帶來的額外風險。

4 未來電力行業應用系統歷史數據歸檔的發展趨勢

隨著信息技術的不斷發展，電力行業已經或即將進行大數據時代。在大數據時代，一方面，電力企業需要對大數據進行充分挖掘，為電力企業創造更多的有利價值；另一方面，針對大數據的信息生命周期管理也十分重要。本文所探討的歷史數據歸檔，實質便是針對大量歷史數據的信息生命周期管理。合理的信息生命周期管理，可以為電網企業節省大量的管理維護成本。

本文介紹的新型數據歸檔方式的優勢主要體現在兩個方面：一方面業務生產系統不需要停機，另一方面整個歸檔過程不會對業務生產系統產生性能影響。隨著大數據時代的到來，電力企業在進行業務系統歷史數據歸檔時，除了要保持完全在線、對生產系統無影響外，還有兩個技術點將成為未來歷史數據歸檔的趨勢。第一，在歷史數據歸檔中，壓縮技術或重復數據刪除技術的充分應用。目前，電力企業采用的歸檔技術是將生產數據從高端存儲介質轉移至低端存儲介質，以達到節省成本的目的。歸檔至低端存儲的歷史數據如果能充分應用壓縮技術或重復數據刪除技術，將進一步節省電力企業對歷史數據管理的投資成本。第二，歷史數據的自動轉移技術。目前，針對非結構化數據的歷史數據歸檔，已有成熟的技術可以根據策略配置，自動將歷史數據轉移到低端存儲介質，以近全自動化的方式完成歷史數據的信息生命周期管理。而針對數據庫類的結構化數據，目前還未出現成熟的自動化歷史數據歸檔技術。相信在不久的將來，本文所探討的結構化類數據，也可以實現自動化的歷史數據歸檔，從而大幅降低人力投資成本。

本文介紹了營銷業務應用系統數據歸檔成果，并通過分析電力行業的歷史數據歸檔技術，探討了未來電力行業應用系統歷史數據歸檔的發展趨勢，希望為電力行業歷史數據歸檔提供一些建議和理論參考。endprint