Hadoop環(huán)境下醫(yī)學影像存儲的設計

郭文亮

邯鄲市中心醫(yī)院 信息科，河北 邯鄲 056001

Hadoop環(huán)境下醫(yī)學影像存儲的設計

郭文亮

邯鄲市中心醫(yī)院 信息科，河北 邯鄲 056001

目的醫(yī)學影像在臨床診斷、科學教研中發(fā)揮著越來越重要的作用，本文探討通過云平臺解決醫(yī)學影像數(shù)據(jù)量劇增、檢索效率低等問題的可行性。方法將傳統(tǒng)的光纖存儲局域網(wǎng)絡集中式存儲和分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）存儲相結(jié)合，形成一種混合式存儲架構(gòu)。其中通過文件序列化的方式解決HDFS不適合醫(yī)學影像小文件存儲的問題，通過集中式存儲解決醫(yī)學影像實時性訪問的問題。結(jié)果隨著客戶端數(shù)量增加，在混合式存儲方式下，醫(yī)學影像數(shù)據(jù)的讀、寫速度較傳統(tǒng)的集中式存儲都有明顯的提高。結(jié)論采用Hadoop平臺的混合式存儲方式可以滿足劇增的醫(yī)學影像數(shù)據(jù)的存儲要求，并且可以提高數(shù)據(jù)的讀寫速度。

醫(yī)學影像；Hadoop；小文件存儲；實時性訪問；醫(yī)學數(shù)字成像和通信標準

引言

近年來，醫(yī)學影像技術(shù)取得了突飛猛進的發(fā)展，出現(xiàn)了大量的新設備，64排螺旋CT、PET/CT、超高場強磁共振等先進設備大大提高了疾病的診斷效果[1-2]。然而技術(shù)的發(fā)展也伴隨一些問題：醫(yī)學影像設備一次掃描產(chǎn)生數(shù)百幅影像，一年產(chǎn)生上PB級的影像，這些影像資料的保存、容災以及備份，海量數(shù)據(jù)的檢索速度、網(wǎng)路傳輸都面臨很多問題。現(xiàn)階段大部分三甲醫(yī)院都是采用擴展服務器存儲容量的方法解決數(shù)據(jù)劇增的問題，但是此方法的可靠性和擴展性較差，并且大規(guī)模的數(shù)據(jù)存儲量也會嚴重影響檢索速度。因此，本研究充分發(fā)揮Hadoop平臺中分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）經(jīng)濟、可靠、可擴展以及MapRedcue計算框架高效、計算性能強等優(yōu)點，可以解決醫(yī)學影像數(shù)據(jù)量劇增等相關(guān)問題[3-4]。

1 Hadoop簡介

Hadoop是Apache開源組織的一個分布式計算開源框架，在很多大型網(wǎng)站上都已經(jīng)得到了應用，如Facebook、Yahoo、IBM等。以HDFS和分布式計算框架MapReduce為核心的Hadoop為用戶提供了系統(tǒng)底層細節(jié)透明的分布式計算和分布式存儲的編程環(huán)境[5-6]。

HDFS就是一種管理網(wǎng)絡中跨多臺計算機存儲的分布式文件系統(tǒng)。它是將一個大文件分成若干個數(shù)據(jù)塊，并創(chuàng)建多份復制保存在多個數(shù)據(jù)節(jié)點集合中，避免發(fā)生單點故障而導致的數(shù)據(jù)丟失[7-8]。因此，HDFS是一個具有高度容錯性和可擴展性的分布式文件系統(tǒng)，可以提供高吞吐量的數(shù)據(jù)訪問，很適合應用于大規(guī)模數(shù)據(jù)集上。

MapReduce是Hadoop的分布式計算編程框架，它為開發(fā)基于Hadoop平臺的分布式應用提供了一個簡單的模型，把傳統(tǒng)的復雜計算抽象在Map和Reduce兩個函數(shù)內(nèi)，為開發(fā)者屏蔽了大量繁瑣的任務調(diào)度和出錯處理等底層細節(jié)問題。程序員只要做簡單的編碼就能夠運行在由上千普通商業(yè)機器組成的集群上,并以一種可靠容錯的方式并行處理大規(guī)模數(shù)據(jù)集[9-10]。

2 系統(tǒng)設計

Hadoop在構(gòu)建醫(yī)學影像存儲系統(tǒng)時還存在著兩個主要問題：第一，Hadoop的設計理念是針對大文件進行優(yōu)化的，而醫(yī)學影像資料中的CT、MRI的圖像大小大多為512 KB左右，一次拍攝產(chǎn)生的圖像數(shù)量大約為100～200幅，如果直接將大量的小文件存儲在HDFS文件系統(tǒng)中，將導致HDFS主節(jié)點NameNode的內(nèi)存消耗過大，集群的性能下降[11]；第二，HDFS的設計理念適合大規(guī)模的數(shù)據(jù)分析等批處理應用，在數(shù)據(jù)寫入的過程中，每個數(shù)據(jù)塊需要復制3個副本，導致寫入時延較大，不適合需要低時延的實時應用。因此不太適合需要快速從醫(yī)學影像設備獲取圖像資料并撰寫診斷報告的PACS實時操作[12-13]。

針對以上問題，首先，本研究采用Hadoop的Sequence File文件格式，將醫(yī)學影像的DICOM文件序列化成Key/ Value鍵值對的形式，將一個病人一次檢查產(chǎn)生的影像圖片合并成一個序列化文件。這樣就能夠大大提高HDFS計算性能，減少了元數(shù)據(jù)服務器內(nèi)存的消耗。其次，將現(xiàn)階段PACS最常見的“在線-近線-離線”三級存儲簡化成為“在線-歸檔”兩級存儲，醫(yī)院將不同時間段的影像圖片存在“在線庫”和“歸檔庫”中，從而實現(xiàn)了一套光纖（FC）存儲局域網(wǎng)絡（Storage Area Network，SAN）集中存儲和分布式HDFS存儲相結(jié)合的混合式存儲方式，利用FC SAN非常適合小文件的快速讀寫的特點彌補了HDFS的不足。

3 序列化文件

3.1 DICOM醫(yī)學圖像文件格式

醫(yī)學數(shù)字成像和通信（Digital Imaging and Communication in Medicine，DICOM）標準是由美國放射學會（American College of Radiology，ACR）及國際電氣制造業(yè)協(xié)會（National Electrical Manufacturers Association，NEMA）所形成的聯(lián)合委員會于1985聯(lián)合制定的關(guān)于醫(yī)學數(shù)字圖像格式和通訊的標準[14]。

DICOM文件是指按照DICOM標準而存儲的醫(yī)學文件，DICOM文件一般由一個DICOM文件頭和一個DICOM數(shù)據(jù)集合組成（圖1）。文件頭包含了標識數(shù)據(jù)集合的相關(guān)信息，由導言與前綴組成。導言是文件前言，由128字節(jié)的00H組成。前綴是一個長度為4字節(jié)的字符串“DICM”，可以用來判斷是否是一個DICOM文件。數(shù)據(jù)集由多個數(shù)據(jù)元素組成，每個數(shù)據(jù)元素對應一個IOD的屬性，每個數(shù)據(jù)元素有4個域分別是標簽（Tag）、值表示VR（Value Representation）、值長度（Value Length）和值域（Value Field），其中值表示是可選的[15-16]。

圖1 DICOM文件格式圖

3.2 文件合并

本研究合并小文件的主要思想是將每個DICOM文件轉(zhuǎn)化成健值對（Key/Value）的形式，其中文件名稱作為關(guān)鍵字，文件內(nèi)容作為值，然后采用序列化文件方法將這些小文件合并后寫入到一個單獨的序列文件Sequence File中去。合并文件的交互現(xiàn)在由四個角色組成，分別為Client客戶端，小文本合并Merge-Server，主節(jié)點NameNode和數(shù)據(jù)節(jié)點DataNode，圖2為小文本合并結(jié)構(gòu)。

圖2 小文件合并結(jié)構(gòu)圖

文件合并步驟如下：

（1）對集中式存儲服務器上的文件進行當前時間和小文件創(chuàng)建時間進行比較，把差值大于6個月的文件篩選出來。

（2）從篩選出的小文件中取出一個待合并文件信息，設置塊數(shù)據(jù)結(jié)構(gòu)，加入待合并隊列Wait Merging Queue。

（3）從剩下的小文件中優(yōu)先取和1中文件文件名相同的小文件，如果沒有，取下一個待合并的小文件。

（4）設置數(shù)據(jù)結(jié)構(gòu)，計算加入此文件后，合并后的大文件塊的大小是否超過64 MB，超過轉(zhuǎn)5，否則加入WMQ隊列中，重復3。

（5）將WMQ中的小文件數(shù)據(jù)序列化寫入大文件。

3.3 序列化方法的不足

這種Sequence File文件序列化方式不僅能夠彌補Hadoop處理小文件效率低的弊端，還具有支持可分割，系統(tǒng)利用率高，支持數(shù)據(jù)壓縮，有利于節(jié)省磁盤空間和加快網(wǎng)絡傳輸速度等優(yōu)點。但是Sequence File并不支持存儲在它內(nèi)部的文件的隨機訪問，當需要訪問它內(nèi)部的文件時，需要遍歷整個目錄文件，檢索效率低。本研究參考作者所屬三甲醫(yī)院的醫(yī)學影像查看情況，見表1。此表為各種醫(yī)學影像在生成后被查看的總數(shù)表，3個月后的醫(yī)學影像被查看次數(shù)可以忽略不計，因此本研究采用了這種小文件合并方式。當然根據(jù)醫(yī)院規(guī)模、實際情況的需要，可以建立小文件索引，比如在Map階段針對各個塊上的小文件建立局部索引，然后在Reduce階段將局部索引合并，形成一個全局索引。

表1 某三甲醫(yī)院醫(yī)學影像查看總數(shù)表 (個)

4 FC SAN和HDFS混合式存儲

當前醫(yī)院影像數(shù)據(jù)大部分都存儲于光纖存儲局域網(wǎng)絡集中式存儲服務器中[17-18]，但是這樣的架構(gòu)存在服務器負載重、數(shù)據(jù)讀寫速度慢、計算能力差等缺點。基于數(shù)據(jù)讀寫速度、冗余性和擴展性等方面的考慮，本研究設計了FC SAN集中式存儲和分布式HDFS存儲相結(jié)合的存儲架構(gòu)。

網(wǎng)絡架構(gòu)圖，見圖3。醫(yī)學成像設備生成DICOM格式影像，存儲到集中式存儲服務器上，并且在服務器上生成每個文件的索引，能夠使PACS工作站以及HIS接口實時地調(diào)用影像圖片。當集中式存儲服務器上的影像存儲大于6個月，會在Hadoop名稱節(jié)點創(chuàng)建文件，分配存放數(shù)據(jù)的各分塊的數(shù)據(jù)節(jié)點。然后，通過Sequence File文件序列化方式把影像文件合并成大文件，寫入到HDFS的數(shù)據(jù)節(jié)點中，再調(diào)用MapReduce任務生成這些小文件的索引。之后，刪除集中式存儲器中這些影像的數(shù)據(jù)和檢索信息。來自公網(wǎng)的外部工作站發(fā)送讀文件請求，首先在集中式存儲器中檢索，當沒有檢索到相關(guān)信息后再通過MapReduce任務在NameNode節(jié)點上檢索，當獲得相關(guān)的數(shù)據(jù)節(jié)點信息之后，與DataNode交互讀取相關(guān)文件。

5 仿真測試

5.1 基本配置

在Linux環(huán)境下，通過1臺HDFS名稱節(jié)點（NameNode）兼MapReduce主節(jié)點機和9臺數(shù)據(jù)節(jié)點（DataNode）兼MapReduce從節(jié)點機組成一個Hadoop云集群。節(jié)點基本配置：CPU是Intel Xeon E5504；內(nèi)存為8GB DDR3；硬盤為1TB SATA；操作系統(tǒng)為64位CentOS5.4；Hadoop版本是1.2.1。存儲空間總計9 TB，Hadoop配置每個數(shù)據(jù)塊在集群保存副本數(shù)為3，因此實際存儲容量為3 TB。

集中式存儲服務器選擇IBM 3650，具體配置：Intel 4核E5630處理器，8 GB DDR3 RDIMM內(nèi)存，兩塊1 TB硬盤，雙電源，計算機操作系統(tǒng)為Windows 2003 Server。

圖3 網(wǎng)絡架構(gòu)圖

5.2 測試結(jié)果

（1）本次測試通過對5.2 GB的DICOM數(shù)據(jù)進行存儲，驗證了該系統(tǒng)設計可以通過集中式存儲服務器實現(xiàn)醫(yī)學影像的實時性讀取，通過Hadoop平臺實現(xiàn)醫(yī)學影像安全、高效的存儲。

（2）3個月內(nèi)醫(yī)學影像通過FC SAN集中式存儲讀取，性能與現(xiàn)有的PACS系統(tǒng)相似，因此主要測試3個月以前的醫(yī)學影像的讀寫性能。當有1～5個客戶端對系統(tǒng)進行讀寫操作的時候，本系統(tǒng)與原始的FC SAN集中式存儲讀寫性能對比，見圖4。圖中X軸表示訪問Hadoop平臺的客戶端數(shù)目，單位臺；Y軸表示訪問的隨著客戶端數(shù)目增加的情況下讀寫速度，單位M/S。結(jié)果顯示，本系統(tǒng)的數(shù)據(jù)讀寫速度較原系統(tǒng)都有顯著的提升。

圖4 讀寫速度對比圖

6 結(jié)論

醫(yī)學影像對臨床醫(yī)生診斷和治療病人起到重要的作用，但隨著影像技術(shù)不斷提高、就醫(yī)人數(shù)不斷增加，出現(xiàn)了醫(yī)學影像數(shù)據(jù)劇增和訪問效率低下的問題，嚴重影響臨床醫(yī)生工作效率。本研究提出了一種傳統(tǒng)的FC SAN集中式和HDFS分布式相結(jié)合的存儲方式，并對HDFS不適合小文件存儲的問題，提出了文件序列化方法進行合并，為原有PACS提供了一個低成本、易擴展高效的技術(shù)方案。該系統(tǒng)在測試平臺上初步實現(xiàn)了資源共享、提高讀寫性能、易擴展等目的，滿足了區(qū)域醫(yī)學影像信息化的功能和性能要求，為云計算技術(shù)真正應用到醫(yī)院信息化建設中提供了理論基礎。

[1] 呂國義.醫(yī)院PACS系統(tǒng)發(fā)展趨勢研究[J].中國衛(wèi)生質(zhì)量管理,2015,2(6):92-94.

[2] 趙凱.基于云存儲的醫(yī)院PACS系統(tǒng)存儲設計[J].信息安全與技術(shù),2012,3(4):92-93.

[3] 梁志剛,周永新,李坤成.基于PACS的遠程醫(yī)學影像會診系統(tǒng)的初步探索[J].中國醫(yī)療設備,2013,28(6):77-78.

[4] 魏寒冰,葉少珍.基于云計算的醫(yī)學影像存儲與傳輸系統(tǒng)的設計[J].電子技術(shù)應用, 2013,39(12):145-148.

[5] 王敏,王建偉,劉俊.基于PACS的數(shù)字化影像資源庫在醫(yī)學影像學教學中的應用探討[J].中國醫(yī)療設備,2015,30(10):132-133.

[6] Cao N,Wu ZH,Liu HZ.Improving downloading performance in hadoop distributed file system[J].J Comput Applicat, 2010,30(8):2060-2065.

[7] 高林,宋相倩.云計算及其關(guān)鍵技術(shù)研究[J].微型機與應用,2011,30(10):5-7.

[8] HDFS Users Guide[EB/OL].[2016-12-11].http://Hadoop. apache.org/common/docs/current/Hdfs_user_guide.html.

[9] Mackey G,Sehrish S,Wang J.Improving metadata management for small files in HDFS[A].Proceedings of 2009 IEEE International Conference on Cluster Computing and Workshops[C].New Orleans:2010:4-8.

[10] 孫永超.基于Hadoop的信息檢索系統(tǒng)研究[J].情報探索, 2016,1(8):125-130.

[11] 李彭軍,陳光杰,郭文明.基于HDFS的區(qū)域醫(yī)學影像分布式存儲架構(gòu)設計[J].南方醫(yī)科大學學報,2011,31(3):495-498.

[12] 馮貞貞,鄭西川.區(qū)域醫(yī)學影像信息共享的關(guān)鍵及實現(xiàn)方案[J].醫(yī)療衛(wèi)生裝備,2011,32(6):52-54.

[13] 方勝吉,翁蘇湘.構(gòu)建分布式區(qū)域醫(yī)學影像存儲平臺關(guān)鍵技術(shù)的研究[J].電子技術(shù)與軟件工程,2014(2):127.

[14] 張明,呂曉琪,張寶華.DICOM醫(yī)學影像網(wǎng)絡傳輸技術(shù)的研究與實現(xiàn)[J].重慶醫(yī)學,2014,43(13):1657-1659

[15] 龍華飛,唐月華,陳泓伶.PACS系統(tǒng)中DICOM醫(yī)學圖像格式解析[J].中國數(shù)字醫(yī)學,2014(3):29-31.

[16] 李偉,李仕紅,韓中保.基于JAVA的DICOM文件格式轉(zhuǎn)換與信息提取[J].醫(yī)療裝備,2014,27(4):15-16.

[17] 周晟劼,袁駿毅,李波.基于Hadoop的數(shù)據(jù)中心三甲醫(yī)院的探索研究[J].中國數(shù)字醫(yī)學,2016,11(6):25-27.

[18] 多學松,張晶,高強.基于Hadoop的海量數(shù)據(jù)管理系統(tǒng)[J].微計算機信息,2010,26(5):202-203.

本文編輯 劉峰

Design of Medical Image Storage Under the Context of Hadoop

GUO Wenliang
Department of Information, Handan Central Hospital, Handan Hebei 056001, China

ObjectiveMedical image is playing a more and more important role in clinical diagnosis and scienti fic research. This paper aimed to investigate the feasibility of solving the problem of soaring medical imaging data and ineffective searching by cloud platform.MethodsThis paper proposed a hybrid storage architecture which combined the traditional fibro optical storage area network centralized storage with hadoop distributed file system (HDFS) distributed storage. Through the file serialization solution, this paper solved the problem that HDFS storage was not suitable for the small medical image. Through centralized storage the paper solved the problem of real-time access to medical image.ResultsWith the increasing of client, reading and writing speed of medical image data in the mixed storage mode was obviously improved compared with the traditional centralized storage.ConclusionThe hybrid storage mode using the Hadoop platform can meet requirement of the roaring medical image data storage, and improve the reading and writing speed of data.

medical image; hadoop; small file storage; real time access; digital imaging and communication in medicine

TP39

C

10.3969/j.issn.1674-1633.2017.09.029

1674-1633(2017)09-0115-03

2016-12-11

2016-12-23

作者郵箱：451665782@qq.com