基于對象和分布式云存儲服務的醫聯影像云資源管理系統的研究

施冬生，李澤宇，楊佳晨，何萍

1.中國電信股份有限公司上海分公司，上海 200120；2.上海申康醫院發展中心 醫聯工程與信息化部，上海 200041；3.萬達信息股份有限公司，上海 200233

引言

近年來，影像數據急劇增長，傳統的存儲方式已經無法滿足日益增長的需求，醫學影像系統也成為當前研究熱點，當前醫療影像領域已開始引入云計算技術，云計算技術可以通過互聯網或專網將區域內各醫療機構的影像數據與設備連接起來，國內外大中型醫療機構多使用基于網格中間件的影像云資源管理形式[1-4]，實現醫學影像數據資源的共享與交換，但在數據存儲和影像調閱過程中仍會遇到一定問題[5-9]，打造一個高可靠、高擴展、高共享的醫療影像云資源管理系統已成為醫療行業發展的重點。

1 關鍵問題解析

上海申康醫院發展中心（簡稱申康中心）于2006年啟動建設了上海市級醫院區域醫療信息共享及協同服務平臺（簡稱醫聯工程），接入38家市級醫院各類HIS、PACS、CIS、LIS、RIS等系統，實現了醫院間業務數據、影像數據和管理數據的互通共享。接入影像系統的終端及各類工作站達12000余臺，在各醫院醫生工作站上可方便查看患者在他院的影像圖像和報告，方便醫生和患者使用手機查看檢查報告和影像資料。醫聯影像數據每年以30%增長率增加，臨床醫生和患者對于醫學影像資料的需求越來越多，對于區域醫學影像數據資源管理和平臺共享能力的要求也越來越高，對醫聯工程醫學影像業務系統是個巨大考驗，我們詳細分析目前存在的集中式存儲傳輸速率低和影像調閱慢兩大關鍵問題。

1.1 集中式存儲傳輸速率低

醫聯工程設計之初時采用集中式存儲方式，各醫院PACS將數據上傳到其影像前置機上，通過市政務外網把數據上傳到醫聯影像中心端的核心存儲中。由于不同醫院每日產生影像數據量的差異較大，在相同的市政務外網帶寬條件下，存在一部分醫院無法當天完成影像數據的傳輸任務。例如，上海某三甲醫院A一天的影像數據量在100～170 GB左右。即使在多線程情況下，文件傳輸速率也很低（圖1），數據需要1.5 d才可以完成。無法確保所有市級醫院的影像數據及時高效地歸檔至醫聯中心端，在一定程度上導致醫生和患者無法及時查詢到本人影像資料。

圖1 集中式存儲方式下影像數據的上傳速率

1.2 集中式存儲影像調閱慢

醫聯工程在處理集中式存儲影像調閱時，采用DICOM圖像在各市級醫院醫生工作站瀏覽器端的加載技術，它可以是一個原始的DICOM文件，也可以是包含圖像像素值數組[10-11]。從HTML5規范來講，可使用的圖像加載方式主要為HTTP下載方式和WebSocket方式。HTTP下載方式是將一個DICOM影像數據通過一次HTTP請求直接傳輸到瀏覽器中。這種方式兼容性好且實現較為簡單。若能使用WebSocket傳輸數據性能更好，數據安全性也更好。但是WebSocket對服務器和瀏覽器要求更高，需要更好的網絡和高效的存儲資源來支撐。上述兩種方式在醫聯工程影像系統中都有所使用，但在存儲方式沒有優化前打開一個大小為500 M左右，100～200幅的CT圖像，需要45～60 s，影響臨床醫生的閱片效率。

2 系統設計與實現

本文提出了一種基于對象和分布式云存儲的影像云資源管理系統，采用對象云存儲服務（Object-Oriented Storage，OOS）和分布式存儲服務雙模式，旨在提高影像業務系統的調閱效率和數據存儲安全性。

2.1 OOS服務

醫聯影像云資源管理系統優化采用OOS服務模式，經實際學習與研究，不論是對于省市級區域平臺或是醫療集團，對象存儲服務都是理想的選擇，可以提高醫院端到醫聯影像中心端的訪問效率。OOS服務[12-13]是一種海量、彈性、高可靠、高性價比的存儲服務，提供了基于Web門戶、REST（Representational State Transfer）接口和存儲網關等多種訪問方式。用戶可以通過對象存儲提供的HTTP REST接口、應用程序開發包（即SDK，支持多種編程語言）、存儲網關的NAS/SAN存儲接口、Web門戶或第三方開發的客戶端軟件，在任何地方通過IP網絡對數據進行管理和訪問。OOS服務提供的REST接口與Amazon S3兼容，因此原本基于Amazon S3開發的業務可以非常輕松地與OOS對接。與Amazon S3類似，OOS也分為賬號（Service）、容器（Bucket）、對象（Object）和分片（Part）。一個賬號對應多個容器；一個容器可以對應無限個對象，并且可以根據對象的前綴、分隔符等進行檢索；一個對象可以對應多個分片；最終，一個分片對一個基礎的數據段（blob），存在于數據存儲層。

當客戶端發出請求查詢某個容器或者某個容器內的對象時，會構造形如一般URL訪問地址的HTTP請求，因此客戶端一般會進行DNS請求以獲得對應的IP地址。DNS請求會發往一個OOS的DNS服務，這個服務會根據創建容器時選擇的站點信息返回該站點對應的IP地址。此外，一個站點擁有多個IP地址，DNS服務會根據客戶端所在的網絡屬性返回最佳的IP地址，以盡可能地提高客戶端到站點的訪問體驗。OOS服務示意圖如圖2所示。

圖2 OOS服務

在數據安全方面，OOS是基于分布式哈希表（Distributed Hash Table，DHT）實現的，其特點在于很低的讀寫延遲和幾乎無限大的擴展性。DHT的核心思路是以對象的ID作為Key計算出一個散列值，然后根據該散列值通過查詢一個“路由表”獲得對應的虛擬盤ID，然后根據虛擬盤ID通過查詢一個“虛擬盤à物理盤”的映射表獲得最終的物理盤。由于“路由表”和“虛擬盤à物理盤”的映射表非常小，完全可以存儲在內存當中，上述過程可以在一臺計算機內部通過基于內存的本地計算（而無須通過網絡請求其他服務）完成，因此定位過程非常快速。一旦獲得定位，則可以直達目標物理盤對數據進行操作。

2.2 分布式云存儲服務

醫聯影像云資源管理系統優化同步也采用分布式云存儲服務模式，可以提升醫聯影像中心端內部的存儲讀寫效率和高安全性。分布式云存儲服務[14-15]按照自下而上的層次，可以將系統架構劃分為幾個層次：存儲節點層、分布式存儲層、存儲資源服務層、接口層和管理層。

（1）存儲節點層主要是指云存儲中的數據存儲設備。存儲節點層設備針對分布式存儲系統和云存儲業務特性進行設計，主要用于對云存儲中用戶數據的存儲。該設備是一款高密度、高性能的云存儲節點產品，具有2 U和4 U兩種規格。它既具有傳統服務器的特性，有很高的計算能力，又具有存儲設備的特性，能夠簡化系統管理，可與分布式存儲系統良好結合，顯著降低系統生命周期內的運營成本。

（2）分布式存儲層主要提供命名空間的管理、文件和目錄的分布式操作管理和存儲、對象或對象集的管理和存儲、文件對象化、數據和元數據的存儲、數據同步和恢復、負載均衡和數據遷移等功能，并負責提供對外接口。

（3）云存儲資源服務層為云存儲的管理和接口功能提供服務，主要提供租戶管理、對象操作、用戶管理、認證鑒權、存儲策略管理等功能。

（4）接口層通過負載均衡和Web服務為用戶應用系統及資源管平臺提供基于HTTP協議的對象存儲服務，如REST訪問接口通過接口層，針對特定用戶需求，實現不同的存儲服務，滿足各種終端、各種應用的存儲接入，具體表現形式可包括：虛擬網盤、存儲網盤、在線備份、云端數據調用、空間租賃服務等。

（5）管理系統對云存儲服務方案中的云存儲節點和服務節點進行設備管理的統一存儲管理，提供豐富、及時的告警信息和傳遞方式，能夠對系統設備拓撲進行展示，同時可實現云存儲節點的自動化部署，實現快速部署。

在數據安全性方面，分布式云存儲服務對象的保存是通過將對象切片后，分散到集群的服務器中。當數據被下載時，再由存儲系統根據切片時的規則將切片合并還原出原對象返回給用戶。在存儲服務器內部無法確認切片之間的關系，因而無法識別用戶上傳的對象，以達到有效保障數據在數據中心內的安全性。另外，通過管理系統實現業務管理和設備管理。其層次結構圖如圖3所示。

圖3 分布式云存儲服務

2.3 系統架構

由申康中心建設的醫聯工程現已實現38家市級醫院的臨床信息、檢查檢驗結果、影像云膠片、住院病案首頁等臨床信息的互聯互通互認[16]。醫聯影像云資源管理系統在醫聯工程醫學影像業務系統的基礎上增加了3臺應用服務器、3臺數據庫服務器和1臺負載均衡設備，建成一個高性能、高靈活性、高擴展性、高可靠性、先進的硬件支撐平臺。另外，為了能夠實時維護監控醫療機構資源與數據，該系統提供一條100 Mbps的政務外網專線，部署于申康醫聯數據管理中心。總體部署架構如圖4所示。

圖4 影像云資源管理系統架構圖

2.4 組網設計

根據醫聯工程醫學影像業務系統實際需求，醫聯影像云資源管理系統采用雙云存儲的服務模式，數據互為備份。云存儲服務采用電信云，提供云存儲總容量為1506 TB（有效容量）。考慮到數據傳輸的及時性和安全性，在本系統中提供一條從存儲資源機房至申康醫療數據中心之間的互聯點對點專線，專線帶寬500 Mbps，并提供線路的冗余保護。提供額外試點接入2家醫院的云存儲管理空間總計100 TB，不占用上述1506 TB，并提供2家醫院到云主存儲中心的專線，帶寬200 Mbps，并確保線路有冗余保護。

云存儲服務二采用科技網提供，提供云存儲總容量為1506 TB（有效容量），與申康醫聯數據中心之間的互聯點對點專線，帶寬是500 Mbps。存儲平臺組網拓撲如圖5所示。

圖5 存儲平臺組網拓撲

具體鏈接方式是在用戶端兩端各安裝1套上聯光端機，通過不同光纜以MSP1+1保護的方式接入ISP局端，提供以太網光口（單模）與用戶路由器對接。以實現MSTP接入，從而達到保障網絡的安全和可靠、良好的網絡靈活性與可擴展性、降低用戶設備投資和減少對網絡的運營成本的目的[17-18]。具體網絡拓撲如圖6所示。

圖6 MSTP網絡拓撲

2.5 系統實現

基于以上架構設計和關鍵技術應用，申康中心也構建了一套可視化的醫聯影像云資源管理系統，以作為申康中心和上海38家市級醫院醫學影像數據的傳輸、存儲和調閱提供統一的運維管理平臺，該系統近期已上線試運行，構建了醫學影像信息“一網統管”的申康醫聯模式，見圖7。

圖7 醫聯影像云資源管理系統的監管界面

醫聯影像云資源管理系統主要包括云賬號管理、中心數據監測、機構數據監測、機構資源監測、數據統計分析、信息推送；歸檔數據可視化、數據質量報告、歸檔日志管理、歸檔記錄瀏覽、邊緣計算服務、數據采集服務、數據同步服務、數據校驗服務、自動更新服務。實現對醫聯在線影像數據和醫院的影像歸檔數據及邊緣計算服務節點進行云化管理，降低存儲的運營、管理成本，將醫聯和醫院影像的云資源、服務、數據統一納入管理。同時，基于雙模式的醫聯云存儲作為一個多存儲設備、多應用、多服務協同的工作集體，是為了應對各醫院影像數據爆發式的增長與帶寬限制而產生的新型存儲系統。醫聯影像云資源管理系統也能形成系統優化前后的數據分析，相同的5個線程的文件傳輸效率將前后兩種存儲方式進行分析展示，見圖8。

圖8 優化前后存儲效率對比

3 應用效果分析與展望

申康中心采用了OOS服務和分布式存儲服務雙模式來優化醫聯工程醫學影像業務系統，通過兩大關鍵技術應用，成功構建了醫聯影像云資源管理系統。不僅可以有效提高海量數據存儲的效率，而且能夠優化存儲資源配置，從而大幅度提高影像數據的調閱效率。截至目前，系統共集中存儲了影像病例約2972萬人次，醫聯影像大數據容量累計達3.5 PB，其中影像檢查報告14872.15萬份，影像資料138.32億幅，日增常規醫學影像記錄數約34506條，日增常規醫學影像量約2096 GB，影像數據累計達3582.11 TB。影像調閱總次數高達297713次，影像調閱總人數126425人，日均調閱次數1227.48人次，日均調閱人數774.65人。從應用效果和統計結果看出：首先，從縱向比較而言，在相同的市政務外網帶寬條件下，上海某三甲醫院A的影像數據傳輸效率從原先的18 Mbps提高到25 Mbps，文件碎片也不容易丟失，存儲速率和完整性都超過原有模式；通過對存儲的優化，目前影像調閱只需要30 s左右即可完成加載，速度比過去至少提升30%，大大提高了醫聯影像業務系統的調閱效率。其次，從橫向對比來看，本次最新采用了對象和分布式云存儲的醫聯影像云資源管理系統，將38家市級醫院的影像數據上傳與調閱操作動態分配在兩個云機房存儲介質中。這種去中心化的存儲模式，可支持5～12臺的文件存儲歸檔服務器的數據上傳，最高可支持100個節點的并發，效率提升近1倍。同時，數據上傳速率也提高到25 Mbps，且每日上傳的影像總量提升至1.8～2.1 T。相較于原有集中存儲模式的最高支持50個節點并發、上傳速率僅有10～18 Mbps，無法充分利用帶寬，也導致大量影像文件緩存在醫院的前置機上的問題有了非常大的改變，通過存儲服務雙模式的應用，大大提高了市級醫院影像數據上傳的效率，有效緩解了醫院前置機服務器的壓力。

可見，本文闡述的基于OOS和分布式云存儲的醫聯影像云資源管理系統，實現了對醫聯在線影像數據和醫院的影像歸檔數據及邊緣計算服務節點進行云化管理，并將醫聯影像數據中心和市級醫院影像的云資源、服務、數據統一納入管理，有效提高了醫聯工程影像業務系統的數據存儲安全性和影像調閱效率，降低存儲的運營、管理成本，其存儲方式速率更快，影像文件安全性更好，其模式也非常適合國內各衛生行政管理部門或集團型公立醫療機構關于區域醫學影像中心的建設優化與應用實踐。

當然，隨著影像數據急劇式增長，以及云計算、5G、邊緣計算等新技術發展，建立并高效運維一套完善、安全、可靠的區域醫學影像數據云資源管理系統是需要大量資金支持，也要進行后期大量的技術維護和升級優化，新型技術發展在醫療信息化領域應用尚不成熟，這都是需全方位考慮的問題。新型信息技術的引入往往要經歷無數次的實踐，相信在行業主管部門及信息技術人員的不斷努力和推動下，云計算等新型信息技術與區域醫學影像系統等醫療信息資源能深入對接與高度融合，持續促進醫學行業朝著更好方向發展。