醫(yī)學(xué)圖像信息可視化關(guān)鍵技術(shù)研究與探討

郭藝輝

(廣東金融學(xué)院 互聯(lián)網(wǎng)金融與信息工程學(xué)院, 廣州 廣東 510521)

0 引言

科學(xué)計(jì)算可視化(Visualization in Scientific Computing）是指應(yīng)用計(jì)算機(jī)圖形學(xué)和圖像處理的各種方法，將科學(xué)計(jì)算過程中產(chǎn)生的各種數(shù)據(jù)和計(jì)算結(jié)果轉(zhuǎn)換為圖形或圖像在計(jì)算機(jī)屏幕上加以顯示的技術(shù)。隨著我國計(jì)算機(jī)相關(guān)技術(shù)的發(fā)展，科學(xué)計(jì)算可視化的技術(shù)內(nèi)涵也得到了進(jìn)一步的擴(kuò)展，它不但包括科學(xué)計(jì)算處理數(shù)據(jù)的可視化，而且包括測(cè)量數(shù)據(jù)的可視化。目前，在數(shù)字醫(yī)學(xué)應(yīng)用領(lǐng)域，基于計(jì)算機(jī)斷層測(cè)量數(shù)據(jù)的3D數(shù)字可視化成為科學(xué)計(jì)算可視化最為活躍的研究領(lǐng)域之一。

在醫(yī)學(xué)成像研究與臨床診斷領(lǐng)域存在著大量的經(jīng)由計(jì)算機(jī)斷層掃描技術(shù)（Computed Tomography, CT）、核磁共振成像技術(shù)（Magnetic Resonance Imaging, MRI）、正電子放射層析成像技術(shù)（Positron Emission Computed Tomography, PET）、單光子輻射斷層攝像（Single-Photon Emission Computed Tomography, SPECT）、超聲（Ultrasound）和數(shù)字減影圖像（Digital subtraction angiography, DSA）等得到的二維數(shù)字醫(yī)學(xué)斷層序列圖像。醫(yī)生對(duì)于疾病的診斷往往是通過對(duì)二維醫(yī)學(xué)斷層掃描數(shù)據(jù)的分析，經(jīng)由主觀經(jīng)驗(yàn)構(gòu)建起器官立體結(jié)構(gòu)。但是，這樣的診斷常常缺乏客觀性和準(zhǔn)確度。二維醫(yī)學(xué)圖像三維數(shù)字可視化是指借助三維重建技術(shù)將二維序列圖像轉(zhuǎn)變?yōu)槿S立體模型，在計(jì)算機(jī)屏幕再現(xiàn)人體器官真實(shí)立體結(jié)構(gòu)。三維數(shù)字醫(yī)學(xué)模型可以展示人體器官更加清晰的三維形態(tài)以及復(fù)雜的空間組織結(jié)構(gòu)，可以幫助醫(yī)生做出更加準(zhǔn)確的判斷。醫(yī)學(xué)圖像三維重建在醫(yī)學(xué)臨床有著廣泛的技術(shù)應(yīng)用，目前其已被應(yīng)用于醫(yī)學(xué)影像診斷和分析[1]、影像數(shù)據(jù)歸檔和信息通信處理系統(tǒng)（Picture Archiving and Communication Systems，PACS）、解剖三維影像重建[2]、虛擬醫(yī)學(xué)教學(xué)、手術(shù)規(guī)劃與導(dǎo)航、CT仿真、PET診斷、放射醫(yī)學(xué)診斷、放射科信息處理系統(tǒng)（Radiology Information System, RIS）、虛擬內(nèi)窺鏡成像技術(shù)（Virtual Endoscope，VE）等。基于斷層醫(yī)學(xué)圖像的三維醫(yī)學(xué)數(shù)據(jù)可視化已經(jīng)成為數(shù)字醫(yī)學(xué)領(lǐng)域的重要研究方向之一。

1 醫(yī)學(xué)圖像3D數(shù)字可視化關(guān)鍵技術(shù)分析

醫(yī)學(xué)圖像三維數(shù)字可視化歸根到底是各類算法的研究。尤其是自20世紀(jì)80年代美國以及我國正式啟動(dòng)可視化人體計(jì)劃（Visible Human Project，VHP）以來，眾多學(xué)者在醫(yī)學(xué)圖像分割、醫(yī)學(xué)圖像融合、斷層數(shù)據(jù)三維重建以及網(wǎng)格處理等方面做了大量的工作，提出了眾多優(yōu)秀的算法，并且，新的算法近年來依然不斷涌現(xiàn)。

1.1 醫(yī)學(xué)圖像分割

醫(yī)學(xué)圖像分割[3]是數(shù)字醫(yī)學(xué)模型三維可視化實(shí)現(xiàn)的前提及關(guān)鍵步驟。目前，國內(nèi)外廣泛應(yīng)用的醫(yī)學(xué)圖像分割方法有基于區(qū)域的圖像分割法，包括區(qū)域生長(zhǎng)和分裂合并法、閾值分割法、基于隨機(jī)場(chǎng)的方法、聚類算法與分類器算法等；基于邊緣的圖像分割法，包括基于追蹤的算法、基于邊界曲線擬合的方法、基于模型的算法以及并行微分算子法等；結(jié)合特定理論工具的方法，包括基于人工智能的、小波變換的、圖論的、統(tǒng)計(jì)學(xué)的、分形的、模糊粗糙集的以及基于數(shù)學(xué)形態(tài)學(xué)的方法等。近年來，針對(duì)醫(yī)學(xué)圖像分割不同的應(yīng)用需求，又有眾多優(yōu)秀的分割算法被提出，例如，為解決醫(yī)學(xué)圖像具有噪聲大、圖像灰度不均勻分布以及組織邊緣模糊等問題，周力凱等人[4]提出了基于多尺度區(qū)域與類不確定性理論的閾值分割方法。劉辰等人[5]使用基于卷積神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像分割方法將二維斷層序列圖像在矢、冠以及橫斷面三視圖下進(jìn)行分割，然后將分割結(jié)果集成為最終結(jié)果。

1.2 醫(yī)學(xué)圖像融合

在成像過程中，病人由于可能使用了不同的成像技術(shù)，例如解剖形態(tài)成像（包括CT、MRI等）和功能代謝成像（包括PET、SPECT等）等進(jìn)行了多次成像，因此同一個(gè)患者會(huì)產(chǎn)生多模態(tài)圖像。在一種圖像上不容易區(qū)分的結(jié)構(gòu)，可能在另一種圖像上會(huì)很容易被區(qū)分開來。醫(yī)學(xué)圖像融合（Medical Image Fusion，MIF）[6]就是將多種醫(yī)學(xué)模式或同一醫(yī)學(xué)模式的多次成像，通過匹配融合的方法來實(shí)現(xiàn)醫(yī)學(xué)圖像上感興趣區(qū)的信息互補(bǔ)。

醫(yī)學(xué)圖像多模態(tài)融合技術(shù)實(shí)施之前有一個(gè)關(guān)鍵步驟就是配準(zhǔn)。醫(yī)學(xué)配準(zhǔn)技術(shù)主要有兩種：基于特征的配準(zhǔn)以及基于灰度的配準(zhǔn)。基于特征的配準(zhǔn)主要包括基于點(diǎn)、曲線、曲面的配準(zhǔn)；基于灰度的配準(zhǔn)則不需要直接提取圖像特征，因此具有更高的魯棒性、自動(dòng)性以及更高的精度。近年來，基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)在在醫(yī)學(xué)圖像配準(zhǔn)方向也取得了矚目成績(jī)[7]。

醫(yī)學(xué)圖像融合方法主要包括特征級(jí)融合以及像素級(jí)融合。特征級(jí)融合[8]首先通過特征變換或特征選擇進(jìn)行數(shù)據(jù)降維, 然后再對(duì)獲得的多個(gè)特征信息進(jìn)行決策識(shí)別。目前常用的特征級(jí)醫(yī)學(xué)圖像融合方法包括：奇異值分解法（Singular Value Decomposition，SVD）、非負(fù)矩陣分解法 （Non-negative Matrix Factorization，NMF）、基于模糊集(Fuzzy Set，F(xiàn)S）的方法、基于粗糙集 （Rough Set，RS）的方法、遺傳算法 （Genetic Algorithm，GA）、人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）以及基于主成分分析（Principal Component Analysis，PCA）的方法等。像素級(jí)融合是在采集得到的圖像中原始的像素上直接進(jìn)行融合。該方法雖然能保持更多信息，但是算法復(fù)雜性高，實(shí)時(shí)性比較差。

1.3 醫(yī)學(xué)斷層數(shù)據(jù)三維重建

從數(shù)據(jù)可視化的角度，醫(yī)學(xué)斷層數(shù)據(jù)三維重建技術(shù)主要分為面繪制（Surface Rendering）和體繪制（Volume Rendering）兩種。

1.3.1 面繪制

面繪制技術(shù)利用圖像分割得到的輪廓線，通過幾何單元拼接的方法重構(gòu)器官表面模型。按照構(gòu)建方法的不同，面繪制法通常又分為基于輪廓的面繪制法和基于體素的面繪制。基于輪廓的面繪制其策略是，首先求得各個(gè)切片中物體的閉合輪廓線，然后將相鄰切片之間的輪廓連接，生成一個(gè)物體的表面。目前，研究較多的是基于體素的繪制方法，例如移動(dòng)立方體法（Marching Cubes，MC）[9]。其基本思想是通過插值法計(jì)算出等值面與立方體邊的交點(diǎn)，然后把這些交點(diǎn)按照一定的方式進(jìn)行連接形成相應(yīng)的等值面。MC算法具有較快的運(yùn)算速度，其精確定義了體素及其內(nèi)等值面的生成，目前依然是三維重建算法的研究熱點(diǎn)。李怡敏等人[10]使用了17種拓型進(jìn)行三維重建，大大減少了模型表面空洞。胡凌燕等人[11]提出了一種基于區(qū)域增長(zhǎng)法的通用樹結(jié)構(gòu)和移動(dòng)等值點(diǎn)法的自適應(yīng)移動(dòng)立方體算法, 準(zhǔn)確重建腹部組織器官。

1.3.2 體繪制

體繪制是近年來發(fā)展起來的用于顯示體數(shù)據(jù)的算法，被越來越廣泛地應(yīng)用于醫(yī)學(xué)CT三維成像領(lǐng)域。該技術(shù)基于三維空間信息，完整投影整個(gè)三維數(shù)據(jù)場(chǎng)立體空間結(jié)構(gòu)，尤其適合于顯示形狀以及邊界模糊的生物組織器官。體繪制方法主要分為三類：以圖像空間為序的、以物體空間為序的以及基于頻域空間變換的體繪制方法。1）以圖像空間為序的體繪制，從視點(diǎn)出發(fā)投射光線，累積最終光亮度后成像，典型的代表是光線投射法[12]。光線投射法是沿著固定方向，例如視線方向，從屏幕圖像的像素發(fā)出，光線穿越數(shù)據(jù)場(chǎng)圖像序列，穿越的同時(shí)進(jìn)行顏色采樣獲取，然后累計(jì)顏色值，最終得到可視化渲染立體視圖。2）以物體空間為序的體繪制法，例如拋雪球法、體單元投影法等，首先沿某個(gè)觀察方向計(jì)算數(shù)據(jù)點(diǎn)不透明度及顏色值，然后將每個(gè)數(shù)據(jù)點(diǎn)投影到圖像平面上，完成數(shù)據(jù)點(diǎn)的坐標(biāo)由對(duì)象空間到圖像空間的變換。接著，設(shè)置光照模型，計(jì)算數(shù)據(jù)點(diǎn)遮擋關(guān)系以及光照強(qiáng)度，將每一個(gè)像素點(diǎn)上不同數(shù)據(jù)點(diǎn)的顏色累計(jì)在一起，然后得到最終顏色，完成數(shù)據(jù)可視化。3）基于頻域空間變換的體繪制方法利用卷積公式將空間域的計(jì)算轉(zhuǎn)移到頻率域，再將計(jì)算結(jié)果變換回空間域完成可視化。

2 問題討論及展望

2.1 醫(yī)學(xué)圖像分割

由于人體的內(nèi)臟、軟組織具有形狀不規(guī)則、結(jié)構(gòu)復(fù)雜等特點(diǎn)，因此相比于普通圖像，醫(yī)學(xué)圖像經(jīng)常會(huì)存在灰度不均勻、邊界模糊等現(xiàn)象。然而，醫(yī)學(xué)模型三維重建有一個(gè)很重要的基礎(chǔ)就是醫(yī)學(xué)圖像的準(zhǔn)確分割。但是目前在醫(yī)學(xué)圖像分割領(lǐng)域依然缺乏一套廣泛通用的方法和理論，如何提高斷層數(shù)據(jù)圖像分割的準(zhǔn)確性和速度是當(dāng)前醫(yī)學(xué)圖像三維重建主要研究的方向之一。

為解決上述問題，學(xué)者們提出了用戶引導(dǎo)的交互式半自動(dòng)分割方法以及基于領(lǐng)域知識(shí)的分割方法。半自動(dòng)分割方法先分析斷層圖像，交互給定分割閾值，對(duì)圖像二值化，進(jìn)行區(qū)域修整，然后通過在圖像上人工標(biāo)記一些控制點(diǎn)，由計(jì)算機(jī)通過這些控制點(diǎn)利用松弛算法等自動(dòng)產(chǎn)生包圍所要分割區(qū)域的曲線。應(yīng)用領(lǐng)域知識(shí)分割醫(yī)學(xué)圖像是指利用病理部位在圖像中的灰度分布、區(qū)域分布、組織形狀等專業(yè)知識(shí)將病灶分割出來的方法。但是，無論是半自動(dòng)分割還是基于知識(shí)的分割，依然離不開人手工參與。近年來，人工智能，特別是卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)醫(yī)學(xué)圖像分割技術(shù)領(lǐng)域得到了迅速應(yīng)用和不斷發(fā)展[13]。基于深度學(xué)習(xí)的醫(yī)學(xué)影像分割算法包括基于全卷積神經(jīng)網(wǎng)絡(luò)的分割、基于U-Net 網(wǎng)絡(luò)的分割（包括加入密集連接的、融合殘差思想的、基于循環(huán)神經(jīng)網(wǎng)絡(luò)的、集成注意力機(jī)制的、面向3D影像的、基于自適應(yīng)數(shù)據(jù)集的、基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索等的U-Net 網(wǎng)絡(luò)），以及其他基于多任務(wù)學(xué)習(xí)、多模態(tài)融合等的深度學(xué)習(xí)的分割算法。基于深度學(xué)習(xí)的圖像分割可以從大量醫(yī)學(xué)圖像數(shù)據(jù)中自動(dòng)提取特征，該技術(shù)在數(shù)字醫(yī)學(xué)應(yīng)用中具有非常重要的研究意義。

2.2 醫(yī)學(xué)圖像融合

在醫(yī)學(xué)臨床應(yīng)用實(shí)踐過程中，醫(yī)學(xué)圖像融合技術(shù)依然有許多問題亟待解決，包括：1）由于需要綜合地分析數(shù)據(jù)、整理數(shù)據(jù)并舍棄部分?jǐn)?shù)據(jù)，其結(jié)果必然會(huì)出現(xiàn)某些有用信息遺漏及融合圖像細(xì)節(jié)不清晰等問題。如何提高融合質(zhì)量，保證重建模型的可靠性以及真實(shí)感圖形的逼真度[14]，是醫(yī)學(xué)圖像融合技術(shù)需進(jìn)一步研究的方向之一。2）由于變形移動(dòng)會(huì)影響到匹配的精度，故醫(yī)學(xué)圖像融合現(xiàn)今大多應(yīng)用于受呼吸運(yùn)動(dòng)影響較小的組織器官，例如顱腦、盆腔、頸部等，而受呼吸運(yùn)動(dòng)影響較大的內(nèi)臟器官，例如肺、肝膽、胰臟等軟組織器官則較難應(yīng)用圖像融合，相關(guān)問題的解決方法依然有待研究。

2.3 三維重建技術(shù)

面繪制技術(shù)的優(yōu)勢(shì)是能快速構(gòu)建組織器官三維立體表面。但是，面繪制技術(shù)亦存在不足：1）面繪制可以較好地重建骨骼、牙齒等硬組織器官，但是對(duì)于邊界模糊不清的軟組織則繪制效果不佳。2）面繪制技術(shù)在其繪制設(shè)計(jì)過程中，不僅需要準(zhǔn)確地分析相鄰切片間不同分支等值線的拓?fù)潢P(guān)系, 而且需要準(zhǔn)確識(shí)別各個(gè)分支頂點(diǎn)之間的相互連接關(guān)系，相應(yīng)的繪制技術(shù)依然還有待完善。3）面繪制技術(shù)僅能繪制模型表面，缺乏模型內(nèi)部信息表達(dá)，無法完成某些需要器官內(nèi)部結(jié)構(gòu)支持判斷的病情診斷的需求。

體繪制技術(shù)因?yàn)槟芡队罢麄€(gè)三維數(shù)據(jù)場(chǎng)立體信息，因此相比于面繪制而言能獲得更好的重建效果。但是，體繪制處理數(shù)據(jù)量大、流程長(zhǎng)，更多地受到硬件的限制，不能滿足實(shí)時(shí)交互的需求。因此體繪制加速一直是研究的熱點(diǎn)。近年來，眾多加速體繪制算法被提出，包括基于并行加速技術(shù)的（并行繪制、GPU硬件加速[15]、光線追蹤繪制）、基于數(shù)據(jù)約減技術(shù)的（PDF約簡(jiǎn)模型、自適應(yīng)繪制、多分辨率繪制）等。如何在已有的算法基礎(chǔ)上，根據(jù)醫(yī)學(xué)診療具體應(yīng)用需求實(shí)現(xiàn)體繪制加速，以獲得最佳組織器官繪制效果、取得最快繪制速度是非常值得深入研究的課題[16]。

3 結(jié)束語

隨著信息科技的不斷發(fā)展，計(jì)算機(jī)技術(shù)在醫(yī)學(xué)領(lǐng)域有了越來越廣泛的應(yīng)用[17-18]。本文論述了二維醫(yī)學(xué)圖像信息三維可視化涉及到的關(guān)鍵技術(shù)，追蹤其最新研究進(jìn)展，討論其面臨的主要問題及解決策略。未來，以三維重建技術(shù)為核心的多個(gè)學(xué)科領(lǐng)域數(shù)字化技術(shù)的聯(lián)合運(yùn)用，必會(huì)發(fā)展成為數(shù)字化臨床醫(yī)療診治的新趨勢(shì)，醫(yī)學(xué)三維數(shù)字可視化在現(xiàn)代臨床醫(yī)療診療以及研究中必會(huì)發(fā)揮越來越重要的作用。