客運清算存儲管理系統總體設計

宋一凡，黃晏輝，劉賀文

（1.中國鐵路總公司資金清算中心 信息處，北京 100844；2.中國鐵道科學研究院 電子計算技術研究所，北京 100081）

客運清算存儲管理系統總體設計

宋一凡1，黃晏輝2，劉賀文2

（1.中國鐵路總公司資金清算中心 信息處，北京 100844；2.中國鐵道科學研究院 電子計算技術研究所，北京 100081）

為了解決鐵路旅客運輸清算系統海量數據與存儲空間不足之間的矛盾，本文緊密結合業務實際，立足全局，從系統化角度提出了一套完整的存儲管理系統方案，包括系統設計目標，處理流程，架構設計，系統實現，以及配套的管理規劃。實踐證明，客運清算存儲管理系統設計方案合理，運行高效，達到系統設計目標，并為清算系統優化創造了有利條件。

鐵路旅客運輸；清算系統；存儲管理

隨著鐵路旅客運輸業務的迅速發展，互聯網訂票和電子支付業務的不斷推進，鐵路旅客運輸清算系統（以下簡稱客運清算系統）每日處理的原始客票存根數據量也呈大幅增長趨勢，截止目前，客運清算系統日均處理客票存根數據量約900萬條。根據工作要求，不同類別的清算業務數據，包括原始存根數據、清算中間結果數據、清算明細結果數據、清算字典數據都需要在線保留一定的歷史年限。原來客運清算系統規劃的存儲空間已不能滿足清算歷史數據在線時長要求，存儲空間現狀與系統安全生產的矛盾十分突出，按照歷史數據分析，客運清算系統存儲空間預計只能維持至2013年底。

客運清算系統是典型的數據倉庫型應用，存儲有海量的歷史數據，這些歷史數據主要應用于各類統計分析查詢，不能進行增刪改操作。為保證客運清算系統平穩運行，必須盡快研究客運清算存儲管理新思路，對數據的存儲方式和數據結構進行升級完善，實現存儲空間利用效率最大化，解決系統存儲供應緊張的矛盾。

客運清算存儲管理系統（以下簡稱存儲系統或系統）的開發建設就是在上述背景之下于2013年8月啟動的，它是財會管理信息系統總公司硬件補強工作的重要組成部分。按照工作計劃，系統必須在2013年底前投產運行。

1 系統目標

1.1 規避客運清算系統存儲空間不足風險

通過存儲優化管理可以減少歷史數據占用的存儲空間，提高單位存儲空間的利用率，有效規避客運清算系統存儲空間不足風險。根據計算結果，在現有數據量下，6年內不應再出現客運清算系統存儲不足的問題。

1.2 降低系統在硬件存儲方面的投資成本

新的客運清算存儲管理的思路就是將數據庫數據轉存于外部存儲設備上，因此和磁盤陣列投資相比，外部存儲的成本非常低。

1.3 提高客運清算系統運行速度

不僅包括后臺日處理速度，而且包括前臺程序的響應速度。當前后臺日處理需要大約5個30 min，預計本系統實施后日處理速度提升20%，前臺主要業務報表響應速度也能得到提升。

1.4 加強對歷史數據的管理力度

制定相關歷史數據管理制度，加強對清算歷史數據的管理，確保歷史數據的管理更加規范和靈活，以更好地適應未來數據增長趨勢。對歷史數據分類別、分時間段精細化管理，同時建立多個外部離線備份點，形成多點備份模式，實現“同地異介質存儲”，并進一步實現“異地異介質存儲”，有效規避存儲風險。

1.5 方便歷史數據的查詢分析

通過對歷史數據的存儲進行優化，保證歷史數據隨時可查可用。同時根據存儲需求，只需要增加外部存儲設備，就可以方便地延長歷史數據的保存年限。

1.6 減少日常磁帶備份工作量

由于日常磁帶備份的數據中包含了許多歷史數據，而這部分歷史數據不能增刪改，不需要每次都進行全備份。因此通過存儲優化管理可以明顯減少目前客運清算系統數據庫每次的整庫全備份時間和系統I/O資源。

2 系統功能

系統采用模塊化設計，模塊開發遵循高內聚、低耦合的原則，模塊間采用簡單的調用接口。本系統主要功能模塊如圖1所示。

2.1 系統運行監控

圖1 系統功能模塊

系統存在多個模塊處理流程，在模塊內部記錄詳細的模塊處理日志，模塊間記錄流程控制日志。運行日志要記錄成功標志或錯誤原因。對數據集的操作記錄數據集存儲空間、操作結果和存儲狀態等信息。同時，實時收集系統空間使用情況，記錄到日志，對表空間資源進行監控。對系統運行狀態、運行結果和表空間資源進行監控，前臺有相關展示界面。當異常情況發生時，可以通過監控界面及時預警，找到錯誤原因。結果監控包括對數據集存儲空間、操作結果和存儲狀態等信息的監控。表空間資源監控可以實時對各表空間在線狀態、各表空間存儲情況等進行匯總查詢。

2.2 數據壓縮處理

根據不同的壓縮規則，對分區數據進行壓縮處理，包括原始客票存根、中間過程數據和清算結果數據。原始客票存根包括售票存根、退票存根、廢票存根和改簽存根，采用原始存根列壓縮方式和數據庫段壓縮方式。中間過程數據采用匯總壓縮方式和數據庫段壓縮方式。壓縮后的原始客票存根和中間過程數據存放到相同的壓縮表空間。清算結果數據只采用數據庫段壓縮方式，壓縮后的清算結果數據存放到單獨的壓縮表空間，與壓縮客票存根和壓縮中間數據分開存儲。

2.3 歷史數據轉存

將壓縮后數據表中的歷史數據和當前數據分開存儲，歷史數據轉存到專門的歷史表中，使二者相對隔離，減小當前分區數據表的規模，提高系統處理速度。歷史數據按數據類別分開存儲，主要分為兩大類：清算過程數據以及清算結果數據。兩類數據按照分區規劃，分別存儲在不同的表空間。

2.4 歷史數據恢復

當需要用到已轉存的歷史數據時，將已轉存到歷史表中的數據（還未進行離線存儲處理的前提下）通過一定方式合并恢復到原壓縮數據表，與當前數據合并存儲。將歷史數據合并恢復到原壓縮數據表后，歷史數據表中的相關數據也就不存在。合并恢復后的壓縮表可以同時提供當前數據和歷史數據。

2.5 表空間離線管理

根據系統空間使用情況，在空間資源緊張時，將歷史表空間進行離線操作，并將離線后的表空間數據文件轉出存儲到外部存儲設備，為提高離線數據文件的外部存儲安全性，實行多點備份的方式，同時將離線數據文件保存到多個外部存儲設備，并按照嚴格的管理辦法保障數據安全。離線存儲后，數據庫服務器上相關離線表空間的數據文件即可刪除，以釋放空間。在進行歷史表空間離線管理的時候，可以根據數據類型，實現差異化管理，即可以先對清算過程數據歷史表空間進行離線，后對清算結果數據歷史表空間進行離線。

2.6 表空間在線管理

當需要使用已經離線存儲的歷史數據時，通過FTP的方式，將離線存儲的歷史表空間數據文件放回數據庫服務器上的數據文件存儲目錄，然后將表空間恢復為在線狀態，這樣離線的歷史數據就可以提供正常的查詢。對于清算結果歷史數據，從離線狀態恢復為在線狀態后，還可以進一步執行“歷史數據恢復”操作，將歷史數據合并恢復到清算結果表，以提供前臺報表的即時查詢。

2.7 過期數據清理

根據清算辦法要求，定期將超過存儲期限的數據進行滾動清理。不同的清算數據有不同的保存年限，清理數據時要明細到各數據表，按照分區的大小進行刪除操作。滾動刪除歷史數據如果已經離線，則需要先恢復為在線狀態，再執行數據刪除，最后刪除外部存儲設備中保存的相關離線數據文件。

3 系統運行模式

（1）本系統采用人工處理和程序化處理相結合的方式，由具有專業技能的后臺維護人員操作。

（2）人工手動處理的部分包括新數據表結構的建立，新表空間的建立，原表空間的空間回收，表空間只讀模式、讀寫模式、離線模式、在線模式的切換操作，離線表空間數據文件的外部備份等操作。其中，人工處理所需的腳本能夠半自動或自動地生成。

（3）后臺程序處理的部分包括各種類別歷史數據的壓縮處理，壓縮數據索引重建處理，表中分區數據獨立存儲處理，獨立存儲數據合并存儲處理，系統運行全過程日志記錄、數據監控核對日志的生成等。后臺程序采用存儲過程開發實現，采用模塊化、參數化運行，支持中斷續處理。

（4）前臺監控界面包括監控系統運行狀態，監控系統處理結果，系統存儲空間占用情況監控等。

（5）系統支持單個功能模塊處理方式，也支持流程一體化處理方式，模塊間功能互斥，采用日志控制。維護人員根據系統不同需求，可以單獨執行某個或多個功能模塊程序。

4 系統處理流程

系統處理流程如圖2所示。

圖2 系統處理流程

4.1 數據壓縮處理

將清算數據根據數據類型按照不同的壓縮規則進行壓縮處理，壓縮后的數據存儲在新的壓縮表空間，并根據數據類別采用分開存儲方式。

4.2 歷史數據轉存處理

將壓縮后的數據轉存到新建的歷史數據表中，同時從原壓縮數據表中刪除，這部分歷史數據就與當前數據分不同表存儲。

4.3 恢復歷史數據

對已經執行轉存操作的歷史數據，將其從歷史數據表中再次移動到當前數據表，實現歷史數據與當前數據同一個表存儲。數據的轉存與恢復操作可以隨時切換。

4.4 歷史數據離線處理

對已經執行歷史數據轉存操作的數據，將相應數據文件分數據類型按不同順序進行離線，然后將離線后的數據文件轉儲到外部存儲設備。

4.5 歷史數據在線處理

對已執行離線處理操作的歷史數據，將其從外部存儲設備放回到數據庫服務器原數據文件存儲位置，并執行在線操作，實現這部分數據的在線存儲。歷史數據的在線存儲與離線存儲操作可以隨時切換。

4.6 過期數據刪除

將過期的數據從數據庫中徹底刪除，并刪除外部存儲設備中相應的數據文件。

5 系統實現

客運存儲管理系統作為客運清算系統的一個輔助管理系統，是基于既有的網絡結構和系統架構，以C/S模式實現的：采用.net技術實現簡潔、方便、明晰的人機交互界面；以數據庫存儲過程方式，融合ORACLE數據庫操作和管理技術，對數據壓縮、管理、校驗等處理進行封裝和固化。

為確保數據安全和可用，在系統整個處理過程中，每一步處理都是在經過多個角度比對和核準，確認數據無誤后，以事務的方式提交。系統輔以權限分配、控制日志等途徑，進一步確保存儲管理工作的安全性、嚴謹性和可控性。此外，處理過程中，系統自動生成詳實的處理日志，以備相關人員查閱和使用。

6 系統管理辦法

客運清算存儲數據分為在線存儲數據和離線存儲數據，在線存儲數據包括在線日常工作數據和在線歷史存儲數據；離線存儲數據分為離線日常存儲數據和離線歷史存儲數據；在線日常工作數據、在線歷史存儲數據和離線日常存儲數據均納入清算數據庫日常管理范疇；離線歷史存儲數據（簡稱“離線歷史數據”）的管理按照財會檔案管理要求，通過本系統開展。因此，必須制定具體的系統應用管理辦法，以規范和控制客運清算存儲管理系統應用過程中涉及到的各個環節，確保客運清算存儲數據在其整個生命周期內的安全性、完整性、保密性及可用性，進一步提高客運清算系統維護工作質量。

6.1 適用范圍

本辦法適用于圍繞客運清算存儲系統開展的全部工作，客運清算系統的管理部門和具體維護單位按照本辦法執行。

6.2 工作職責

明確客運清算存儲系統應用管理工作應遵循的原則，細化系統應用管理單位和具體維護單位的工作職責。

6.3 應用管理內容

客運清算存儲系統應用管理工作內容包括：數據壓縮、數據離線、數據在線、數據恢復等方面。需要明確每個工作內容的具體流程，標準化作業程序，確保工作的閉環管理。

6.4 離線歷史數據管理

按照財會檔案管理的規定，必須規范離線歷史數據文件命名規則、存放介質、保管條件；明確移動介質的啟封、使用和封存流程；觸發離線歷史數據重置的條件；說明離線歷史數據銷毀的依據。

6.5 其他

包括安全保密管理的規定和要求，以及系統應用考核等方面。

7 結束語

該系統由中國鐵路總公司資金清算中心和中國鐵道科學研究院電子計算技術研究所聯合研制開發，已于2013年底投產運行。截止目前，系統運行效果良好，客運清算數據整體壓縮率達到85%，有效緩解了客運清算存儲矛盾，證明了系統設計思路清晰，數據壓縮方案合理，設計功能實用，達到系統設計目標。

在本系統項目實施和推進的基礎上，經過充分分析和整理，可以為客運清算系統進一步大規模優化升級、以及新的系統構建提供實踐經驗和基礎。

責任編輯 楊利明

General design of Clearing Storage Management System for railway passenger transport

SONG Yifan1，HUANG Yanhui2，LIU Hewen2
( 1. Information Department, Capital Settlement Center of China Railway, Beijing 100844, China;2.Institute of Computing Technologies, China Academy of Railway Sciences, Beijing 100081, China )

In order to solve the contradiction between the storage space and mass data of Clearing Shortage System for the railway passenger transport, this paper combined with the actual business, based on the overall situation, proposed a complete set of Storage Management System from the point of system, including system design, process flow, architecture design, system implementation，and supporting management planning.Proved by practice, the result indicated that the System was reasonable, ef fi cient, reached to the design target,and proved favorable conditions in system optimization.

railway passenger transport; Clearing System; storage management

U293.2∶TP39

A

1005-8451（2014）05-0028-04

2014-01-05

宋一凡，高級工程師；黃晏輝，工程師。