基于文檔服務器系統分布式存儲功能的實現

張建通 李玉頂 張元元

華電國際文檔服務器系統文檔多年來一直采用集中存儲方式，各單位在訪問時從遠程（專線方式，一般為4Mb）上傳、下載文檔。隨著用戶數的增加、數據量的膨脹，異地用戶在操作較大的文檔時，速度較慢，系統性能成了瓶頸，操作時長時間的等待，造成用戶的體驗不好。通過分布式存儲功能的實現，大大提高了文檔上傳下載的速率，提升了用戶體驗； 且文檔存儲在中央服務器的同時，各單位的文檔還在本單位有一份備份，也大大提高了數據的安全性。

一、背景

（一）文檔服務器系統現狀

文檔服務器系統是華電國際為其他業務系統提供文檔的上傳、下載等服務，存儲文檔，管理文檔的應用系統。使用該系統的業務系統主要包括華電國際主數據管理系統（MDM）、PM項目管理系統、項目管控系統、華電國際財務及資產管理系統（FAM）的財務管理、生產管理、物資管理、合同管理、燃料管理等功能模塊，在華電國際生產經營管理所需的應用系統中得到了廣泛應用。

（二）存在的問題

隨著華電國際的不斷發展，越來越多的單位上線了相應的應用管理平臺，用戶及線上業務量增長迅速，用戶滿意度是衡量各平臺效果的標準之一，而系統性能與用戶體驗息息相關。在各平臺與文檔附件相關的業務中，提高文檔服務器系統性能對于提升用戶體驗起到了重要的作用。但是，傳統方式下存儲服務器單機部署或集中部署在一地，異地上傳和下載速度低，效率低下，用戶體驗差，頻繁下載影響更甚，一直是困擾信息公司的一大難題，也是用戶應用系統中的痛點。

二、分布式存儲助力企業IT服務科技創新

（一）什么是分布式存儲

分布式存儲，是將數據分散存儲在多臺獨立的設備上。傳統的存儲系統采用集中的存儲服務器存放所有數據，存儲服務器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式存儲系統采用可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，它不但提高了系統的可靠性、可用性和存取效率，還易于擴展。

基于通用的分布式文件系統，結合華電文檔服務器系統現狀，設計的分布式存儲功能，能有效提高文檔服務器系統可靠性、數據安全性，提升用戶體驗。結合優化后的文檔服務器系統，分布式存儲功能適用于華電國際各應用管理平臺，如FAM、PM、主數據系統等。

（二）為什么要開發分布式存儲功能

長期以來華電國際飛速發展，信息化進程不斷推進。新場景新模式不斷出現，各應用管理平臺也在面臨新的挑戰。探討研發新技術，比以往任何時候都更加重要，任何的創新研究，都是為了給實施它的企業、企業員工及其他利益相關者提供多方面的價值，亦是為了更高效且低成本的解決用戶當前所面臨的痛點與難點問題，基于文檔服務器系統的分布式存儲功能亦是如此，迫切需要解決以下問題：

一是新系統、新用戶以及業務量的迅速增長，給文檔服務器的效率及可靠性帶來的巨大壓力。隨著企業各種新建系統的不斷實施上線運行，公司業務規模的擴張，使用系統的下級單位數量及用戶量也在暴增，文件作為在線業務不可缺少的附加屬性，數量和容量都在快速增長，現有的存儲方式無法滿足文件急速增長對系統的要求。

二是現有文件存儲方式導致的訪問速度無法滿足用戶需求，用戶滿意度下降。在信息化發展初期，文檔服務器部署在一地，信息系統少，用戶少，線上辦理業務不頻繁，跨區域訪問造成的速度慢、效率低問題不明顯。隨著新用戶的增加及業務量的增長，這種方式的弊端逐漸顯露。超遠距離文件傳輸造成的速度慢等問題嚴重影響用戶體驗。原有的文件存儲及訪問方式調整勢在必行。

三是分布式存儲是文件安全方面的另一道保障。隨著數據量的飛速增長，且核心業務逐漸切換至線上辦理，存儲的規模越來越龐大，文件的重要性也越來越高，存儲系統本身也越來越復雜，這給系統的管理、運行帶來了很大的壓力，如果沒有另外的備份方案，所有文件存儲在一臺服務器上，服務器可能的突發情況將給用戶帶來不可估量的損失，分布式存儲在提高系統性能和效率的同時，也通過多地分布存儲的方式，提高了文件的安全性。

因此，我們已清醒地認識到實現文檔的分布式存儲功能的必要性與重要性，開始探索符合華電國際特色的文檔的分布式存儲功能的實現方式。并思考如何進一步通過技術創新來不斷滿足用戶的需求，提升用戶體驗。基于華電國際文檔服務器系統的分布式存儲功能也就應運而生。

三、建設內容與實施步驟

（一）方案規劃

結合華電國際文檔服務器系統的現狀：提供文件接口服務及文件存儲功能，一次上傳多次下載的使用模式，因下載次數多而被放大的下載速度慢問題，且用戶分布在多地，而服務器集中部署在一地，數據訪問均需要使用廣域網遠距離傳輸等，我們總結出了專門針對文檔存儲及下載服務的分布式存儲方案。

我們通過分布式思想設計的系統結構，在下屬單位搭建小型的用于分布式存儲的服務器，將原有的存儲在總部服務器上的文件，根據文件屬性，在閑時定期備份至相應的分布式存儲服務器，并在本地用戶調用下載服務時通過局域網訪問分布式存儲服務器，實現快速下載的目的。同時分布式存儲服務器也起到了一定的備份作用。

在提供高效率的同時，還需兼顧低成本的原則，我們目前僅在信息化程度較高的下屬單位進行實施，在本單位已有服務器上劃分出合理的空間搭建虛擬存儲服務器，用于分布式存儲和下載服務。只需較低的人員和物料成本即可完成搭建服務器和安裝服務的操作。我們設計的基于華電國際文檔服務器系統的分布式存儲功能也就達到了結合用戶自身特點，實現高效率、低成本的分布式文件系統的目的。

（二）落地實施

1、明確系統架構

在科技創新的思想指導下，我們明確了目標。根據分布式文件系統思路，并結合我們的具體實際，規劃設計了新的文檔服務器系統技術架構，制定了分布式存儲方案。

在滿足條件的下級單位搭建分布式存儲服務器，并安裝應用，提供下載服務，通過額外模塊實現數據的跨服務器存儲，實現異地用戶快速訪問數據的目的。

2、多方參與開發

經過充分的技術討論，明確系統架構之后。華電國際山東信息公司借助外部技術開發團隊，以項目合作方式啟動了文檔服務器系統優化項目，在分布式存儲功能開發過程中，除了項目團隊參與，還有試點單位同事的大力支持與配合。

各方分工明確，對項目過程中遇到的問題積極討論，深入分析，確保每項工作都按標準完成。此次探索過程中，雙方總結出了一套完善的開發及實施流程，為以后其他單位實施上線規避風險，提高效率留下了寶貴的經驗。

3、實現分布式存儲功能

經過項目團隊的努力工作及試點單位的支持配合，于2019年3月份上線了該系統，并在多家單位實施了分布式存儲功能，在使用文檔服務器系統提供的文檔接口服務的業務系統中，以FAM系統合同管理模塊為例，試點單位初步反饋的數據顯示效果顯著。另一方面，通過將各實施單位的文檔數據分布式存儲至各單位服務器，也起到了數據備份的作用，提高了系統安全性。

通過計算，我們可以獲得兩家單位下載速度的對比情況（見表1，表2），其中章丘公司因為本身網絡帶寬較高，小于30兆的文件下載速度小于1秒，對下載速度的計算影響較大，數據僅供參考。

文件越大，下載速度趨于穩定，越接近實際下載速度，所以僅以大于20兆的文件下載速度進行計算，可以獲得在分布式存儲功能實施前后兩家試點單位的平均下載速度分別為鄒縣電廠：0.67M/S、5.65M/S，章丘公司：1.17M/S、25.89M/S，分別提高了8倍與22倍之多，完全達到了項目預期的效果，能直觀的了解到系統性能的顯著提高。

（三）系統推廣

文檔服務器系統分布式存儲功能的上線大大提高了與文件相關業務的處理速度，對于提升業務系統的用戶滿意度，提高員工工作積極性具有很大的促進作用。在兩家試點單位成功實施，并且獲得良好反響后，我們又緊鑼密鼓的開展了山東區域其他八家單位的實施工作，目前山東區域十個單位均已上線。

四、創新特點

與同類型的分布式文件系統相比，華電國際文檔服務器系統保留基本系統結構，最大程度的減少對現行業務的影響，有針對性地吸收分布式存儲的核心功能，更加符合華電國際自身業務及系統特點，屬于為企業量身定制，且占用系統資源小，可擴展性強，易于推廣實施。

該系統有如下特點：

高性能，主要以系統的響應延遲來衡量；

高可靠性，重點指數據安全方面，數據可靠不丟失；

高安全性，保證服務器不受惡意訪問和攻擊，保護存儲數據不被竊取；

高擴展性，通過擴展集群服務器規模從而提高系統存儲容量、計算和性能。

五、收益與推廣應用前景

目前使用文檔服務器系統的應用管理平臺超過四個，細分業務模塊超過二十個。以FAM系統合同管理模塊為例，華電國際共有超過150個下屬單位上線，其中以合同申請及付款申請業務為例，平均每天上傳的附件超過100個，在業務流轉過程中附件的下載次數超過500次，僅在下載服務這一點來說，即使對系統性能1%的提升，所達到的效果也將會被放大數倍甚至數十倍。

實施文檔的分布式存儲則可以有效的提升當前文檔服務器的系統性能，并給企業帶來如下改變和價值：

節約時間成本，提高人員效率：在業務系統中，每上傳一個附件，都會被下載10-15次，實施分布式存儲功能后，調用文檔下載服務的時間將縮短50%-70%，對于處理線上業務較多的人員來說，節約時間成本的效果更加顯著，能有效提升工作效率。

提高文檔存儲安全性：相比原來所有文檔集中存儲在同一臺服務器上，實施分布式存儲功能后，所有的分布式存儲服務器都相當于一臺備份服務器，存儲本單位的文檔，為文檔存儲的安全性增加一道保障。

提升用戶體驗，提高人員積極性： 實施分布式存儲后，調用下載服務將通過局域網在本單位服務器上進行下載，常規帶寬下也有可能實現百兆文件一秒下載完成，能有效提升人員士氣和滿意度，減少長時間等待所產生的負面情緒，從而提高了員工的工作積極性。

通過文檔服務器系統的上線以及分布式存儲功能在多家單位的實施，業務系統各相關模塊的性能顯著提升，從用戶的反饋來看，該功能有效的節約了員工的時間成本，提高了員工的工作效率，用戶滿意度也得到極大的改善與提升。

另外，通過前期的實施工作，我們總結出了一套完善的實施方案，便捷的實施方式、較低的成本，以及功能實施過程中對現行業務系統基本無影響的特點，有利于該功能的推廣與實施，尤其適用于華電國際這種擁有眾多下級單位的大型企業。

以我們對產品能力的了解，隨著實施單位的增加，用戶口碑的廣泛傳播，有形與無形的收益都在增加，推廣與應用前景將會越來越好。

作者單位：華電國際山東信息管理有限公司