基于MVT的醫(yī)學(xué)圖像處理平臺設(shè)計與實現(xiàn)

景柏楊，焦雄

（太原理工大學(xué)生物醫(yī)學(xué)工程學(xué)院，山西太原 030024）

0 引言

隨著現(xiàn)代計算機技術(shù)與醫(yī)療手段的發(fā)展融合，醫(yī)學(xué)圖像處理技術(shù)成為發(fā)展最快的交叉領(lǐng)域之一，在疾病診療中發(fā)揮著不可替代的作用。醫(yī)生、技師可以通過搭載圖像處理技術(shù)的平臺，從不同角度觀察患者病灶區(qū)的形態(tài)、范圍，結(jié)合自身臨床經(jīng)驗，更加精準(zhǔn)地對病灶區(qū)進行診斷，從而有效提高診斷效率和精確度。

1 相關(guān)研究

目前，國內(nèi)外已有很多研究人員對醫(yī)學(xué)圖像平臺進行了開發(fā)研究，這些平臺大多以ITK（Insight Toolkit）和VTK（Visualization Toolkit）開發(fā)工具包為底層技術(shù)支持，實現(xiàn)對影像數(shù)據(jù)的全方位展示，輔助醫(yī)生對癌變區(qū)域進行分割、配準(zhǔn)、重建等。例如，德國腫瘤研究中心研發(fā)了開源醫(yī)學(xué)影像交互平臺Medical Imaging Interaction Toolkits，極大地便利了臨床醫(yī)生；美國賓州大學(xué)放射系醫(yī)療小組開發(fā)的3DVIEWNIX系統(tǒng)提供了醫(yī)學(xué)圖像預(yù)處理、二維和三維可視化、圖像分割等功能，但該系統(tǒng)運行于Unix上，而且沒有對外界免費開放。國內(nèi)的醫(yī)學(xué)圖像處理研究以中國科學(xué)院自動化研究所田捷教授實驗室開發(fā)的圖像處理平臺為代表，該平臺主要包括圖像處理算法層與圖像分析軟件平臺應(yīng)用層。Medical Imaging ToolKit（MITK）為該平臺的算法層，為整個系統(tǒng)提供算法支持，采用面向?qū)ο蟮脑O(shè)計方法，語法簡單直觀且易于調(diào)用；3D Medical Image Processing and Analyzing System（3DMed）為該平臺的用戶交互界面，是面向最終用戶（臨床醫(yī)生、科研科教人員等）的集成化醫(yī)學(xué)圖像顯示層。科研人員將MITK提供的三維重建、分割、配準(zhǔn)、可視化等功能集成于3DMed提供的用戶交互端中，形成一個簡明易用的醫(yī)學(xué)圖像處理與分析系統(tǒng)。對國內(nèi)研究人員的相關(guān)工作進行粗略匯總，如表1所示。

Table 1 Statistics of domestic medical image processing platform表1 國內(nèi)醫(yī)學(xué)圖像處理平臺統(tǒng)計

由表1可知，現(xiàn)有圖像處理平臺重點關(guān)注圖像顯示、分割、配準(zhǔn)以及三維重建功能的開發(fā)。事實上，圖像特征對于后續(xù)處理工作也發(fā)揮著重要影響，真實貼合病灶區(qū)的數(shù)據(jù)特征更能準(zhǔn)確反映疾病狀況。為此，本文設(shè)計一個圖像處理平臺，主要實現(xiàn)對病灶區(qū)的特征提取，彌補了現(xiàn)有平臺的欠缺，為醫(yī)務(wù)工作者提供更有針對性的診療數(shù)據(jù)。

2 平臺架構(gòu)

國內(nèi)現(xiàn)有醫(yī)學(xué)圖像處理與分析平臺大多采用C/S（客戶機/服務(wù)器）架構(gòu)設(shè)計，其交互性強、響應(yīng)速度快。然而在該架構(gòu)下，每臺客戶機均需安裝相應(yīng)的客戶端程序，導(dǎo)致后期的二次開發(fā)和維護比較繁瑣。此外，以往的主機/終端和C/S架構(gòu)已無法滿足當(dāng)前全球網(wǎng)絡(luò)開放、互聯(lián)和信息共享等需求。

現(xiàn)如今，軟件平臺的更新?lián)Q代越來越頻繁，基于B/S（瀏覽器/服務(wù)器）模式的平臺優(yōu)勢凸顯。在軟件系統(tǒng)升級時，系統(tǒng)管理人員只需要維護管理服務(wù)器，而且不論用戶規(guī)模有多大都可以隨時升級系統(tǒng)，還實現(xiàn)遠(yuǎn)程維護與共享。B/S模式將系統(tǒng)功能實現(xiàn)的核心部分集中于服務(wù)器上，使得系統(tǒng)的開發(fā)、維護和使用均得到了簡化。B/S的優(yōu)勢在于不需要對客戶機進行專門的維護與升級，適用于客戶機位置不固定或需要依靠互聯(lián)網(wǎng)進行數(shù)據(jù)交換的應(yīng)用系統(tǒng)。目前，B/S模式已被廣泛應(yīng)用于網(wǎng)絡(luò)商用系統(tǒng)中，使用者只需在訪問端安裝一個瀏覽器，輸入網(wǎng)址即可訪問平臺進行相關(guān)操作。用戶從瀏覽器端通過交互界面向服務(wù)器提交Http請求，服務(wù)器接收請求后，解析URL地址并定位模板文件，根據(jù)地址和模板文件生成向瀏覽器端發(fā)送的響應(yīng)HTML文件。隨后，瀏覽器端接收響應(yīng)HTML文件進行解析，整理相關(guān)資料后，將數(shù)據(jù)傳入用戶交互界面進行顯示。在B/S系統(tǒng)架構(gòu)中，流轉(zhuǎn)的數(shù)據(jù)信息均存儲于數(shù)據(jù)庫中，為整個系統(tǒng)提供數(shù)據(jù)支持。圖1為B/S模式的架構(gòu)。

Fig.1 B/Sarchite cture圖1 B/S架構(gòu)

3 平臺設(shè)計與實現(xiàn)

3.1 平臺搭建目標(biāo)

通過前后端技術(shù)聯(lián)動，融合相關(guān)圖像處理算法搭建一個醫(yī)學(xué)圖像處理平臺，實現(xiàn)對醫(yī)學(xué)圖像的三維顯示、放大、縮小、旋轉(zhuǎn)等基本操作，對ROI進行特征提取。

3.2 平臺設(shè)計方案

采用Python技術(shù)進行平臺設(shè)計，采用Django的MVT（Model-View-Template）模式，其中Model負(fù)責(zé)數(shù)據(jù)處理，View負(fù)責(zé)接收請求，Template負(fù)責(zé)構(gòu)造要返回的Html頁面。該模式具有高耦合、低內(nèi)聚的特性，便于平臺后續(xù)開發(fā)維護。系統(tǒng)架構(gòu)如圖2所示。

系統(tǒng)功能設(shè)計如圖3所示，該模塊主要實現(xiàn)圖像數(shù)據(jù)上傳、格式轉(zhuǎn)換、特征提取、放大縮小等功能。其中特征提取主要分為3個部分，分別為一階統(tǒng)計量、二階統(tǒng)計量、高階統(tǒng)計量。一階統(tǒng)計量實現(xiàn)圖像數(shù)據(jù)直方圖的提取，基于圖像形狀和大小特征提取等基本信息進行計算；二階統(tǒng)計量提取圖像灰度共生矩陣、灰度行程矩陣、灰度大小矩陣等相關(guān)參數(shù)；高階統(tǒng)計量實現(xiàn)圖像的小波變換（Wavelet）、拉普拉斯變換（Laplace Transformations）等操作。

Fig.2 The proposed system design architecture圖2 系統(tǒng)架構(gòu)

Fig.3 System function design圖3 系統(tǒng)功能設(shè)計

功能實現(xiàn)流程如圖4所示，通過前端展示的Button按鈕綁定某個路徑，該路徑可訪問到能進行特征提取運算的Python文件，在Python文件中設(shè)定好輸出結(jié)果的形式。點擊按鈕，觸發(fā)相應(yīng)的算法進行特征提取。

Fig.4 Flow of function realization圖4 功能實現(xiàn)流程

3.3 平臺功能實現(xiàn)

3.3.1 平臺基礎(chǔ)功能展示

以乳腺癌為例進行平臺功能展示。如圖5所示，圖像顯示分為4個界面，左上部分為影像數(shù)據(jù)的三維顯示，相關(guān)人員可通過滑動鼠標(biāo)進行器官全貌三維展示。左下、右上以及右下顯示區(qū)域分別為不同角度的二維影像角度展示，可輔助使用者較為準(zhǔn)確地把握病灶區(qū)域的輪廓大小。圖像數(shù)據(jù)顯示等基本操作主要依賴Cornerstone工具實現(xiàn)。Cornerstone是包括但不限于Dicom格式的交互式醫(yī)學(xué)影像輕量級js組件。該組件支持DICOMweb中的WADO-URL和WADO-RS接口，以實現(xiàn)網(wǎng)頁抓取。其采用網(wǎng)頁多線程解碼加速圖像顯示，有助于互聯(lián)網(wǎng)應(yīng)用JPEG等壓縮方式傳輸圖像。其還能靈活嵌入不同的前端框架，便于后續(xù)開發(fā)維護。

平臺的功能選擇界面如圖5中左側(cè)選擇框所示，選用按鈕控件實現(xiàn)不同功能的事件綁定。點擊上傳影像按鈕，將需要計算特征的影像數(shù)據(jù)上傳至平臺，然后點擊選擇框中的按鈕進行操作。操作界面直觀簡潔，使用者可輕松選擇自己需要的功能。

Fig.5 Interface of platform圖5 平臺界面

如圖6所示，使用者將光標(biāo)放置在感興趣部位，通過點擊鼠標(biāo)左鍵可使感興趣部位放大，從而更加直觀地看到病變部位的影像。

Fig.6 Magnify the Dicom圖6 影像放大

窗位窗寬效果如圖7所示。使用者可根據(jù)需要左擊鼠標(biāo)上下調(diào)節(jié)不同的窗位、左右滑動調(diào)節(jié)窗寬，可使病灶區(qū)呈現(xiàn)出不同的亮度。

Fig.7 Changing window width and window level圖7 變換窗位窗寬

為從不同方位展示病灶區(qū)形態(tài)，使用者可滾動鼠標(biāo)滑輪旋轉(zhuǎn)顯示界面，具體如圖8所示。

Fig.8 3D rotating display圖8 三維旋轉(zhuǎn)展示

角度標(biāo)注功能如圖9所示。使用者可點擊鼠標(biāo)右鍵啟動ROI區(qū)域勾畫，明辨病灶區(qū)角度。標(biāo)注出來的病灶區(qū)域可通過相關(guān)圖像處理算法進行分割提取，進而輸入到平臺中進行病灶特征計算。

Fig.9 Angular dimension圖9 角度標(biāo)注

3.3.2 影像數(shù)據(jù)直方圖繪制

影像灰度分布信息是圖像處理過程中較為重要的一項指標(biāo)，可通過點擊繪制直方圖獲取影像灰度分布信息，便于研究人員對圖像進行更為精準(zhǔn)的評估。圖10為圖5右半部分展示框中右上圖像的灰度直方圖。

Fig.10 Information of histogram圖10 直方圖信息

3.3.3 圖像特征提取

圖11為不同類別特征提取按鈕的展示。將分割好的病灶區(qū)上傳至平臺后，點擊對應(yīng)類別特征的按鈕進行病灶區(qū)特征的提取。操作完成后，特征信息直接輸出為csv格式的文件，可保存在用戶指定的路徑中。

Fig.11 Different category feature extraction buttons圖11不同類別特征提取按鈕

4 平臺測試

為了檢驗平臺提取到特征的可用性，進行基于圖像特征的分類計算。以圖5展示的乳腺癌圖像為例進行病灶區(qū)特征提取，將提取好的特征輸入到機器學(xué)習(xí)模型中進行計算驗證，若基于特征數(shù)據(jù)的分類模型得到的AUC（Area Under ROCCurve）值在0.7～1.0之間，則說明該特征可用于進行下一步分析計算。

4.1 數(shù)據(jù)來源

選擇用于癌癥研究的醫(yī)學(xué)圖像開放數(shù)據(jù)庫（The Cancer Imaging Archive，TCIA），該數(shù)據(jù)庫包含常見腫瘤醫(yī)學(xué)圖像及相應(yīng)的臨床信息，圖像模態(tài)包括MRI、CT等，選取其中的CBIS-DDSM數(shù)據(jù)集。該數(shù)據(jù)集以患者為單位進行影像數(shù)據(jù)存儲，每例患者均包含兩種位置下的圖像數(shù)據(jù)，分別為常規(guī)軸位（CC）與外側(cè)斜位（MLO）。從數(shù)據(jù)集中隨機抽取10例良性腫瘤患者和10例惡性腫瘤患者的鈣化數(shù)據(jù)，綜合20個病例兩種不同的攝影位置，本實驗共包含21例良性鈣化病灶和24例惡性鈣化病灶。

4.2 實驗流程

4.2.1 特征提取

獲取病灶區(qū)圖像數(shù)據(jù)，上傳至平臺進行由Dicom格式到j(luò)pg格式的轉(zhuǎn)換。然后進行圖像數(shù)據(jù)特征提取，可提取的特征信息如表2所示。45例病灶輪流進行表中特征的提取，對輸出的數(shù)據(jù)進行規(guī)范化處理。

Table2 feature in formation statistics表2 特征信息統(tǒng)計

4.2.2 模型選擇

本實驗采用兩種機器學(xué)習(xí)分類驗證模型進行計算，分別為邏輯回歸模型和隨機梯度下降模型，這兩種模型均能在較短時間內(nèi)檢測出所提特征的可用性。

（1）邏輯回歸雖含有回歸二字，卻是一種用于解決分類問題的機器學(xué)習(xí)方法，用于估計某事件發(fā)生的可能性，常用于數(shù)據(jù)挖掘、疾病診斷、經(jīng)濟預(yù)測等領(lǐng)域。該模型具有訓(xùn)練速度快、內(nèi)存資源占用少的優(yōu)點，適用于二分類問題。二項邏輯斯蒂回歸模型是一種分類模型，其最終表現(xiàn)形式為一種概率模型，如支持向量機、K鄰近算法等。二項邏輯斯蒂回歸概率模型表示為：

式中，

x

為輸入，

Y

為輸出，

w

為參數(shù)權(quán)值向量，

b

為偏置。對于給定的輸入

x

，求出上兩式的結(jié)果，將實例

x

分類到概率較大的那一類。參數(shù)

w

的估計一般采用極大似然估計法。（2）隨機梯度下降是一種簡單但非常有效的算法，多用于支持向量機、邏輯回歸等凸損失函數(shù)下線性分類器的學(xué)習(xí)。其計算代價小，可用于大規(guī)模數(shù)據(jù)集。隨機抽取一組數(shù)據(jù)值

w

代入到損失函數(shù)中可得到一個初始點，使這個初始點按照負(fù)梯度方向運動，表示為：

式中，

α

為學(xué)習(xí)率，可防止梯度過大從而一次性邁過最低點；

g

為梯度。迭代上一步，直至找到最優(yōu)解。

將整理好的數(shù)據(jù)輸入到模型中進行計算，對所有數(shù)據(jù)進行10折交叉驗證，采用精確度、查準(zhǔn)率、召回率、F1值對模型進行評價。

4.3 結(jié)果分析

模型測試結(jié)果顯示，如圖12所示，邏輯回歸模型得到ROC曲線的AUC值可達(dá)0.89，具體評價指標(biāo)見圖13；如表14所示隨機梯度下降模型得到ROC曲線的AUC值為0.82，具體評價指標(biāo)見圖15。兩種模型預(yù)測的AUC值均可達(dá)到0.8以上。

Fig.12 ROC curve of logistic regression model圖12 邏輯回歸模型ROC曲線

Fig.13 Evaluation result of logistic regression model圖13 邏輯回歸模型評價結(jié)果

通過查閱文獻，科研工作者利用提取好的特征經(jīng)模型計算分析后得到的準(zhǔn)確度結(jié)果匯總?cè)绫?所示。將本文模型測試結(jié)果與表3數(shù)據(jù)進行比較，可以看出本文模型提取出的特征數(shù)據(jù)可以進行后續(xù)相關(guān)計算，并得到較為可信的預(yù)測結(jié)果。

Fig.14 ROC curve of stochastic gradient descent model圖14 隨機梯度下降模型ROC曲線

Fig.15 Evaluation result of stochastic gradient descent model圖15 隨機梯度下降模型評價結(jié)果

Table3 Statistics of accuracy results表3 準(zhǔn)確度結(jié)果匯總

5 結(jié)語

圖像處理在疾病診斷中發(fā)揮著越來越重要的作用，特征提取作為圖像處理的基礎(chǔ)工作之一，對后續(xù)工作有重要影響。如今，醫(yī)學(xué)圖像處理與分析平臺層出不窮，如何更加明晰地展現(xiàn)病變部位，使其更加貼近機體的真實面貌，為醫(yī)生的準(zhǔn)確診斷提供參考依據(jù)意義重大。同時，隨著醫(yī)學(xué)成像設(shè)備的發(fā)展，所獲取的圖像數(shù)據(jù)越來越大，如何實時處理和顯示這些數(shù)據(jù)，對醫(yī)療圖像系統(tǒng)開發(fā)人員是巨大挑戰(zhàn)。

本文設(shè)計開發(fā)的圖像處理平臺采用較為靈活的B/S架構(gòu)，便于后續(xù)升級與維護。在功能方面，該平臺可將病灶區(qū)全貌展現(xiàn)出來，方便提取特征信息。經(jīng)模型驗證，平臺提取出的特征信息可正常進行下一步操作。當(dāng)然平臺也存在不足之處，例如當(dāng)傳輸影像數(shù)據(jù)過多時，處理數(shù)據(jù)的速度會降低。后續(xù)會根據(jù)實際需要融入數(shù)據(jù)輸出前處理的功能，融合更為先進的圖像處理算法，以構(gòu)建動態(tài)的三維圖像重建與顯示，開發(fā)高效率、高精度圖像分析處理平臺。