基于HDFS的分布式區域電子病歷存儲策略

伍貴富　何葵　王益新

摘要：區域醫療信息化平臺的建設和推廣是目前醫療信息化發展的一個重要方向和研究熱點。在平臺建設過程中，首先面臨的問題是解決如何在基于Hadoop的云計算環境中，高效地操作和存儲電子病歷等小文件。針對這一問題，提出一種基于AHP方法的存儲策略，利用Hadoop系統自身的Sequence File技術將小文件以隊列的形式合并為大文件，從而節省了Master Node用戶文件管理所占的內存空間，同時通過OQ隊列保證了系統在合并文件之后對小文件操作的透明性。仿真實驗表明該策略在不影響云計算系統運行狀況的基礎上，可提高小文件的存儲效率。

關鍵詞：HDFS；云計算；電子病歷；層次分析法；文件合并

DOIDOI：10.11907/rjdk.151191

中圖分類號：TP301

文獻標識碼：A 文章編號：16727800（2015）006003003

基金項目基金項目：深圳市科技創新委員會項目（20120618102906924）

作者簡介作者簡介：伍貴富（1963-），男，四川資陽人，博士，深圳市福田區人民醫院教授，研究方向為醫療信息化。

0 引言

隨著計算機網絡與信息技術的快速發展，以及國際醫學信息標準化、電子化進程的推進，使區域醫療信息化平臺的建設和推廣成為可能。電子病歷系統（EHRS）[1]作為醫療信息化平臺的重要組成部分，受到越來越多人們的關注。

在眾多云存儲的研究中，Hadoop項目的分布式文件系統HDFS作為Google File System 的開源實現已成為業界研究云計算、實現云服務的參考模型。因此，本文也將Hadoop系統作為云服務的基礎架構，研究如何將云服務的優勢與區域醫療信息化平臺相結合，利用云平臺的計算能力和存儲能力為電子病歷、區域PACS等系統提供相關服務。

由于HDFS文件系統中的每個目錄和文件的相關數據信息都存放在各云服務節點的內存中，當系統中存在大量的小文件（通常指那些遠小于HDFS默認數據塊大小的文件）時，則會降低整個存儲系統的存儲效率和存儲能力。為了解決HDFS文件系統中小文件的存儲效率問題，目前的主流方案是將小文件合并或組合為大文件，采用的方法大致可分為2類[2]，一類是基于Hadoop archive技術實現小文件合并的方法，另一類則是針對具體的應用而提出的文件組合方法。例如文獻[3]結合WebGIS訪問模式的特點，將系統中的小文件組合為大文件并為其建立全局索引，以提高小文件的存儲效率；而文獻[4]中假設每個HDFS系統用戶被分配了固定存儲空間和文件數目，并利用Hadoop提供的harballing技術對文件進行合并，以提高了系統中元數據的存儲效率。

這些研究工作取得了一定成績，但是沒有從系統角度考慮在提高小文件存儲效率的同時，如何優化云計算系統的負載狀況。因此，本文主要研究了在基于Hadoop的架構中，如何將電子病歷等小文件進行存儲優化的同時，保證云平臺整體負載均衡的問題。并提出了一種基于層次分析法（AHP）的文件存儲策略， 通過引入與系統狀態關聯的特征值判斷規則，來優化系統對小文件進行合并執行的時間，防止系統負載過高，以保證在運行小文件較多的情況下，云服務平臺的整體性能不會受到太大影響。仿真實驗表明了該方法具有較好的性能。

1 基于HDFS的區域電子病歷存儲策略設計

1.1 HDFS 文件系統

作為Hadoop 系統中的一個核心組件，HDFS系統通常由一個Name Node節點和一定數目的 Data Node節點組成。Name Node是HDFS文件系統的中心服務器，在Hadoop架構中通常由Master Node擔任，主要工作是負責管理文件系統的名稱空間。而數據節點都是由單臺計算機負責，每個節點負責管理自身的數據存儲服務。

在實際應用中，發現綜合性醫院的電子病歷的相關數據具有高吞吐量的特點，因此本文設計電子病歷在云平臺中創建之后，并不立即保存到HDFS文件系統中，而是經過一定周期之后，由系統自動提交保存病歷數據的請求。由于采用XML格式的電子病歷數據量相對較小，因此本文借鑒了文獻[4]、[5]的思想，對電子病歷等小文件的存儲策略進行優化，以提高對數據的處理效率。本策略為每個用戶文件建立了2種隊列：第1種為序列文件隊列（Sequence File queue，SFQ），第2種為序列文件操作隊列（Operation queue，OQ）。其中，SFQ用于小文件的合并，OQ用于對合并后小文件的操作。通過實驗設定每種隊列的動態合并閾值，當系統中所存的文件數量超過設定的合并閾值后，Name Node將按層次分析法（AHP）判斷是否進行文件合并，并在系統負載允許的情況下對電子病歷的相關數據進行壓縮，否則到SFQ隊列耗盡時再對文件進行合并。

在本策略運行過程中，Name Node將對各節點的CPU利用率、內存利用率、帶寬利用率和系統平均吞吐量等屬性進行檢測，并對系統運行狀態進行多屬性決策。負載計算得到一個即時值，對小文件的操作是在系統負載計算之后，因此在SFQ隊列超過合并閾值之后，系統將采用AHP算法不斷檢測負載狀態，如果滿足執行合并的條件，或者SFQ隊列耗盡后，將執行文件合并。

1.2 基于AHP的系統負載算法

名稱節點在管理系統負載值時，根據設定的系統屬性的重要性構造比較矩陣C，并由步驟1-4計算各時刻的決策屬性值d1，d2，…dn的權重wi。通過該策略，云平臺可以實現對各節點系統負載的監測，將合并電子病歷等小文件的操作控制在能夠均衡系統負載時進行。

2 性能評估

為了測試改進后的HDFS系統對電子病歷等小文件的處理能力，搭建了兩組對比測試環境，一個是未經修改的HDFS架構，另一個是經過AHP存儲策略優化后的架構，用以檢測系統的讀取文件時間與合并文件時間。

測試將首先生成需要的電子病歷文件，分別生成50、100、500、1 000份個人電子病歷文件，而這些文件的大小都小于64MB，平均大小約為100KB；其次分別在兩種架構上讀寫這幾組文件并記錄下讀取和合并的時間進行比對；最后都重復進行10次獨立實驗，并以平均值作為結果得出結論。

從表1中，不難發現經過存儲策略優化后的HDFS 架構讀取小文件的平均時間隨著文件的增多，效率要高于原有的HDFS 架構。但是由于文件的增多，Name Node對各數據節點執行合并時間的計算也增多，使系統的整體執行時間有所增加。

圖1描述了在不同電子病歷數量的情況下，系統合并文件執行的平均時間。從實驗結果中不難發現，電子病歷合并的規模越大，Name Node消耗的管理時間將越多，與此同時，對小文件的讀寫操作以及合并文件所花費的時間代價也將越大。在基于HDFS的存儲系統中采用本文的存儲策略進行分析和部署，可在時間消耗和系統利用率之間實現一種最優平衡，既可以提高電子病歷等小文件的存儲效率，同時也不太影響系統性能。

3 結語

本文針對醫療信息化過程中，在基于HDFS的云存儲系統中電子病歷等小文件存儲效率不高的問題，提出一套優化策略。在該策略中，利用Hadoop系統自身的Sequence File技術，將小文件以隊列的形式合并為大文件，從而節省了Name Node用戶文件管理所占的內存空間。同時通過OQ隊列保證了系統在合并文件之后，對小文件操作的透明性。在判斷系統何時執行合并操作時，采用數據標準化方法和層次分析法確定系統的負載性能，使小文件的合并能在合并時間、文件操作時間和節省內存空間之間達到一種平衡。實驗表明本文設計的策略具有較好性能。

參考文獻：

[1] LEHMANN HP ABBOTT PA. Aspects of electronic health record systems[M].USA： Springer， 2006.

[2] 余思，桂小林，黃汝維，等.一種提高云存儲中小文件存儲效率的方案[J].西安交通大學學報，2011（6）：5963.

[3] LIU XUHUI，HAN JIZHONG，ZHONG YUNQIN，et al. Implementing webGIS on hadoop： a case study of improving small file I/O performance on HDFS[Z].200918.

[4] MACKEY GRANT，SEHRISH SABA，WANG JUN. Improving metadata management for small files in HDFS[Z].200914.

[5] SAATY THOMAS L.Axiomatic foundation of the analytic hierarchy process[M].1986.

責任編輯（責任編輯：黃 健）

英文摘要Abstract：One of the key technologies of construction the regional medical information system is efficient operations and storing small files such as electronic health records（EHR）in a Hadoopbased cloud computing environments. To solve this problem， this paper proposed a storage strategy based on AHP（Analytic Hierarchy Process）method. By employed Hadoop Sequence File technology， small files will be combined to make a large file. This method will save the occupation of the memory space in Master Node， and using operation queue to ensure that the operation of those combined small file is correct. Simulation experiments show that this policy will improve small files storage efficiency， and without affect the State of cloud computing systems.

英文關鍵詞Key Words： HDFS； Cloud Computing； EHR；AHP； Combined Files