B/S環境下基于XML存儲結構的醫學影像偽三維交互平臺的研制

楊磊鑫，喬梁，陳欣，高鵬

1.第三軍醫大學 a.學員19營；b.生物醫學工程學院，重慶 400038；2.重慶正大軟件職業技術學院，重慶 400056；3.中國人民解放軍第一八一醫院 醫學工程科，廣西 桂林 541002

0 前言

現代醫學診斷中，連續斷層影像集的三維（3D）可視化已成為很多疾病診療的重要基礎。隨著遠程醫療和區域醫療的快速發展，基于普通網絡平臺的連續斷層影像集的3D可視化實時共享和交互具有重要作用。例如，醫生可以通過網頁調取千里之外的影像數據集，在網頁中進行3D可視化的瀏覽與操作，并進一步與其他醫生進行“手對手”會診。但目前主流的基于Web3D技術的交互平臺存在以下問題[1-2]：① 客戶端設備要求方面，大多需安裝特定插件來增強網頁傳輸和處理功能，同時需依賴特定的操作系統和移動終端；② 數據傳輸方面，大多數技術均是把所需影像數據集一次性下載到客戶端本地，然后在本地進行渲染處理，對移動設備的圖像處理能力和網絡帶寬有著很高要求；③ 即時通訊與多終端同步表達方面，大多需要第三方插件支持。因此，本文提出了基于B/S架構的在線醫學影像偽3D交互平臺。

1 設計方案

作為工作基礎，建立基于XML文檔存儲結構的事件模型，提取出醫學影像3D化操作的事件特征，記錄并存儲每次操作事件，為實現操作的可追溯以及多終端間的同步瀏覽奠定基礎；在處理結構上，以服務器為中心，構筑3D圖像處理終端，將3D數據重建任務交由服務器處理，并根據客戶端瀏覽指令（操作事件特征）進行相應渲染處理后實時投影為二維（2D）圖像，并將2D投影圖像交由客戶端下載顯示（偽3D效果），以減輕對客戶端硬件處理能力和操作系統兼容性的要求；最后引入AJAX網頁通訊技術和JPEG2000標準中的漸進式傳輸理論，實現純凈網頁下的即時通訊和“偽3D”影像的視覺連貫，進而實現純凈網頁在低網速條件下的醫學3D影像實時在線交互。

1.1 XML事件存儲模型的設計

醫學影像可視化交互的關鍵在于操作事件的準確提取與記錄，其層次化和結構化存儲尤為重要。XML[3]作為一種元標記語言，可以較好地描述結構化和模塊化的信息模型，規范產品數據的定義。本平臺利用XML結構特點設計的事件存儲模型涉及“公共信息”、“事件閉鎖”、“瀏覽操作”、“通道設置”和“信息標注”5部分。

公共信息：包括歷次操作所涉及的數據源對象、時間、操作者、操作類型等信息。

事件閉鎖：由于服務器端的影像重建以及相應的操作變換等工作需要一定運算時間，服務器端在此期間根據狀態信息對事件模型進行事件閉鎖等待，防止客戶端累計操作引發錯誤。

瀏覽操作：客戶端對頁面醫學影像的旋轉、縮放等操作均有事件內容的詳細記錄，以便進行歷史回顧和在線交流。

通道設置：設定客戶端對同一連續斷層影像數據集的操作模式，包括獨立操作和同步查閱兩種模式。獨立操作即客戶端各自瀏覽操作同一數據集對象（每個用戶與數據集各自建立一個獨立通道），同步查閱即多個客戶端可以同步瀏覽操作同一數據集對象（多用戶共用一個處理通道）。

信息標注：對某一觀察視角做電子筆勾畫、注釋等操作。

1.1.1 模型描述

依照XML語法的基本規則，對會診專家在影像圖片上的每一次操作事件都提取出其特征，建立起基于特征的統一事件模型。該模型XML元素包括事件類型、事件狀態、事件時間、角度變換、角度方向、影像縮放、橫/縱向移動位置、操作者、數據集地址、通道編號、通道類型、標注類型、標注坐標。具體表述，見表1。

根據上述設計將瀏覽3D影像的操作事件記錄成XML文檔（示例片段）：

表1 操作事件存儲模型表述

上述XML文檔所記錄的操作事件，見表2（分別對應編號1和編號4）。

表2 XML文檔所記錄的操作事件

1.1.2 多終端間信息的同步表達

XML文檔始終存儲在服務器端，服務器通過實時監控XML文檔及時獲取下一步工作指令，如渲染后根據投影原則生成2D結果圖。客戶端通過與服務器的交互，即時了解XML文檔的最新記錄狀態，判斷是否有新的投影需要更新下載或是否允許用戶提交新的操作請求。操作示意圖，見圖1。

圖1 在線瀏覽與標注同步操作示意圖

1.1.3 模型優點

XML有標記直觀、結構簡單的特點，便于后臺管理和拆解。系統可以通過修改之間的順序或刪除某部分，方便實現操作事件的歷史回放、標記間上下疊置等工作。

同時，一個即記錄一次事件，且數據量很小，可以字符串的形式進行B/S的交互，如承載客戶端瀏覽操作事件請求信息的發送。

1.2 交互信息的異步更新

1.2.1 基于AJAX的網頁即時通信

基于HTTP通信機制的傳統網頁在每一次從服務器端更新數據或者向服務器端上傳數據時均需刷新操作頁面，即使很小的一次數據更新都要求重新提交和加載所有頁面數據，極大浪費網絡帶寬，并對視覺連貫性造成很大影響。AJAX（Asynchronous JavaScript and XML）[4]網頁通訊技術，利用獨特的XMLHTTPRequest對象可以在瀏覽器與Web服務器之間使用異步數據傳輸（HTTP請求），從而使網頁從服務器請求少量信息，而不是整個頁面，確保Web頁面不用打斷交互流程進行重新加載即可動態地進行更新。絕大多數主流瀏覽器都支持的AJAX技術可用于實現純凈網頁條件下的頁面無刷新即時通信以及局部更新功能，如客戶端對新投影圖的下載和同步操作信息的傳遞。

1.2.2 基于JPEG2000漸進傳輸思想的視覺友好特性

JPEG2000支持許多類型的漸進傳輸（圖像的可伸縮性），在慢速通信接收圖像中極為有用。不同于傳統基線JPEG（Baseline JPEG）標準中對圖像自上而下的重建方式，JPEG2000增加了漸進傳輸理論[5]。其中，在分辨率類型的漸進性中，傳輸的圖像數據前面部分字節用于顯示圖像的一個小縮略圖；當接收到更多字節時，圖像的分辨率會以每邊倍乘2的速度增加，最后可獲得整幅圖像。

經過測試，漸進JPEG格式的圖像能夠被幾乎所有的主流瀏覽器支持。本文借鑒了JPEG2000漸進傳輸的核心思想，將其作為2D投影應用方案的補充，在網絡帶寬極差的情況下，可從視覺和時間上增強其應用連續性。

1.3 3D影像的交互渲染與可視化標注

斷層影像的3D交互與渲染是整個工作的基礎，利用VTK（Visualization Toolkit）可視化工具包已集成的光線投影（Ray Casting）等算法可以快速地實現符合醫學觀察要求的3D渲染效果[6-8]。由于此項工作以服務器為中心，客戶端僅需通過網頁提交操作請求，服務器處理后將實時映射的2D圖像傳輸給客戶端顯示，因此，客戶請求指令的準確操作意義重大。VTK封裝的vtkCamera類的命令方式極為豐富，包括：“水平翻轉Azimuth(角度參數)”、“水平旋轉Roll(角度參數)”、“垂直翻轉Elevation(角度參數)”和“水平/垂直位移SetWindowCenter(x,y)”等，通過這些指令完全能滿足臨床診療的操作需求。

3D可視化標注可在3D模型某個視角進行文字、線條的標注操作。針對標注操作，傳統設計一般采用空間幾何模型分析定位表示，理論模型較為復雜。以確保實用為目的，將3D模型的標注演變為2D圖像的標注，即在某一個位點、角度將3D影像投影為2D圖像，利用圖形設備接口 (Graphics Device Interface Plus，GDI+)對其進行水印等操作，重新存儲為新的投影，交由客戶端下載顯示，以一種3D觀感的2D處理方式，簡化模型結構。

2 實現過程

2.1 系統處理流程

系統處理流程：① 客戶端選擇影像集，請求以XML結構提交至服務器XML模型存儲；② 服務器實時讀取XML模型，完成3D圖像重建等預處理操作并存入VTK影像數據庫備用；③ 客戶端通過網頁可視操作發出“旋轉”、“標注”等指令，以XML結構化的字符串形式傳送至服務器端XML模型存儲（與①形式等同）；④當服務器接收到來自客戶端的指令時，做出相應渲染處理，投影為2D圖像并改變XML模型標記；⑤ 客戶端定時發出AJAX數據，從服務器端獲取XML模型最新標記狀態，確認是否需更新影像或獲準發出新的請求。系統處理流程圖，見圖2。

圖2 系統處理流程圖

2.2 系統實現

在服務器端圖像處理方面，以VTK工具包作為3D圖像渲染平臺，設計Winform模式的事件偵聽進程實時監控XML文檔狀態，調度VTK的工作；將JPEG2000的漸進式傳輸理論融合在Winform進程中，直接將2D投影圖存儲為漸進圖，從而實現以服務器為中心的圖像處理模式。

在B/S架構設計上，以Visual Studio .NET C# 2008為開發平臺，采用SQLServer 2005數據庫作為XML操作事件存儲模型事件的載體，用于存儲服務器端醫學影像、病例、客戶端基本資料、權限等重要信息；結合AJAX技術，使網頁能夠像C/S窗口模式那樣實時刷新，并利用javascript腳本語言，實現基于純凈網頁的影像更新無縫切換。

3 測試驗證

（1）實驗設備。服務器、客戶上網終端和測試數據。服務器為聯想PC計算機一臺（Windows 2003，IIS6.0，集成256 MB顯卡，4 GB內存）；客戶上網終端為普通個人電腦（Windows XP，集成顯卡，2 GB內存）以及IPad mini（IOS 6）各一臺。測試數據為某醫療儀器產生的CT連續斷層影像數據集，數據源含280幀約141 MB DICOM圖像，單幀斷面圖像分辨率為512×512。

（2）網絡實驗。將系統服務器架設在第三軍醫大學可接入Internet網絡的教育網服務器上，用戶網絡為一般家庭網絡環境（1 Mbps帶寬的ADSL電信撥號網絡），并在客戶機上安裝流量監控軟件。

（3）測試方法。兩個客戶上網終端同時對同一測試數據進行瀏覽觀察，其中，用戶A只打開一個網頁與B同步查閱；用戶B打開兩個網頁，一個與A同步查閱，一個獨立瀏覽。即服務器端有兩個處理通道，一個公用，一個由B單獨使用。連續測試1 h，各終端隨機操作，并以 5min為間隔同時截圖，用于后續比對。

（4）測試結果。根據連續應用測試，各通道對3D影像的位移、角度變換、信息標注等操作均能準確記錄和表達，瀏覽視覺均無失真、細節表現清晰、連貫性好、延遲時間＜1 s。總體而言，本系統功能均可正常使用，可滿足低網速下3D醫學影像的共享需求。

4 討論

本文實現了基于XML事件存儲模型的B/S模式的在線醫學影像偽3D交互平臺，重點解決了大數據量3D醫學影像的跨平臺交互、低網速共享以及可視化同步問題；該平臺基于純凈網頁，具有使用成本低、操作方便的優點，可作為PACS的低成本輔助工具，具有較大的拓展應用空間；但也存在多通道并行時服務器端負載過重的問題。下一步，首先需對XML模型做進一步的優化，并重點對服務器同時處理多個通道的大數據量3D影像的效率問題進行研究，在一定硬件支持的情況下，擬從提高算法效率和進行分布式處理兩方面入手。總之，遠程醫療是21世紀以來一項新興的醫學工程學科，并必將不斷擴展和創新，而低網速傳輸條件下基于純凈網頁的醫學影像3D可視化交互平臺的實現，將為信息化手段下的影像診斷輔助技術提供新的思路。

[1]Marcello Carrozzino,Nicoletta Bruno,Massimo Bergamasco.Designing interaction metaphors for Web3D cultural dissemination[J].Journal of Cultural Heritage,2013,(14):146-155.

[2]高鵬,劉鵬,喬梁.基于Web的醫學影像三維可視化實現方式[J].中國數字醫學,2013,8(7):78-82.

[3]Flavio Ferrarottia,Sven Hartmannb,Sebastian Link.Efficiency frontiers of XML cardinality constraints[J].Data & Knowledge Engineering,2013,87(9):297-319.

[4]楊俊峰,黎建輝,楊風雷.深層網站Ajax頁面數據采集研究綜述[J].計算機應用研究,2013,30(6):1606-1610.

[5]Yuan Tian,Weihua Cai,Jianyong Sun,et al.A novel strategy to access high resolution DICOM medical image based on JPEG2000 interactive protocol[J].Proc of SPIE,2008,(13):1-11.

[6]石玉.基于VTK的可視化技術研究與實現[D].西安:西安建筑科技大學,2009.

[7]楊磊鑫,張一馳,章程杰,等.基于XML和VTK的醫學影像三維書簽系統設計[J].醫療衛生裝備,2013,34(5):9-12.

[8]Freud N,Duvauchelle P,Lé tang J M,et al.Fast and robust ray casting algorithms for virtual X-ray imaging[J].Nuclear Instruments and Methods in Physics Research,2006,248(1):175-180.