醫(yī)學(xué)圖像檢索技術(shù)的研究進(jìn)展

王以文，顧政，褚永華

浙江大學(xué)醫(yī)學(xué)院附屬第二醫(yī)院 臨床醫(yī)學(xué)工程部，浙江 杭州 310000

引言

隨著計(jì)算機(jī)技術(shù)與醫(yī)學(xué)影像技術(shù)的迅速發(fā)展，醫(yī)學(xué)影像診斷已經(jīng)成為醫(yī)生輔助診斷的主要手段。計(jì)算機(jī)技術(shù)與醫(yī)學(xué)圖像處理方法的進(jìn)步，推動(dòng)著醫(yī)生診斷效率和正確率的進(jìn)步。醫(yī)院每天產(chǎn)生大量的醫(yī)學(xué)圖像，這些圖像積累在醫(yī)院的數(shù)據(jù)庫(kù)中。數(shù)據(jù)量這么龐大的情況下，如何檢索和歸類是一個(gè)亟待解決的問題，這關(guān)系到醫(yī)生的診斷效率甚至準(zhǔn)確率。如何運(yùn)用合適的檢索技術(shù)進(jìn)行有效地檢索海量圖像數(shù)據(jù)是至關(guān)重要的。

1 醫(yī)學(xué)圖像的特點(diǎn)

醫(yī)學(xué)影像有不同于其他圖像的特點(diǎn)，具體如下：① 分辨率較高，像素通常有256×256甚至512×512；② 醫(yī)學(xué)圖像的信息量較高，通常達(dá)到4000多個(gè)灰度級(jí)；③ 由于人體的特殊結(jié)構(gòu)，醫(yī)學(xué)圖像的對(duì)比度不高，不同的器官或者感興趣區(qū)（Region of Interest，ROI）沒有明顯的界限，所以圖像分割比較困難；④ 醫(yī)學(xué)圖像不僅僅是圖像信息，由于特殊的存儲(chǔ)格式，還包括病人信息、診斷結(jié)論等，這是其他格式的圖像所沒有的。

醫(yī)學(xué)影像獨(dú)有的格式是DICOM格式。放射科儀器拍出的片子都是以DICOM格式的圖像儲(chǔ)存的。DICOM格式的各部分既相互關(guān)聯(lián)又相互獨(dú)立。其中規(guī)定了病人、研究、系列、圖像四個(gè)層次的醫(yī)學(xué)圖像信息結(jié)構(gòu)，以及由它們組成的信息對(duì)象[1]。

2 圖像檢索技術(shù)的發(fā)展簡(jiǎn)介

圖像檢索經(jīng)歷三個(gè)階段。第一階段為基于文本的圖像檢索技術(shù)，起源于20世紀(jì)70年代。主要思路是將圖像作為數(shù)據(jù)庫(kù)存儲(chǔ)的一個(gè)對(duì)象，用文本對(duì)其描述。目前標(biāo)注的信息大多是基于DICOM結(jié)構(gòu)中的信息[2]，包括患者的姓名、病案號(hào)等個(gè)人信息和疾病名稱、疾病表征、診斷情況、拍片時(shí)間等醫(yī)學(xué)信息；然后用戶輸入相應(yīng)的文本描述，檢索系統(tǒng)在醫(yī)學(xué)圖像庫(kù)中查找出帶有該關(guān)鍵字的圖像，用戶根據(jù)自己對(duì)檢索結(jié)果的滿意度調(diào)整檢索策略，進(jìn)一步修改限制條件，來不斷提高檢索結(jié)果的準(zhǔn)確性[3]。基于文本的圖像檢索技術(shù)比較符合人們的檢索習(xí)慣，實(shí)現(xiàn)起來也比較簡(jiǎn)單。然而，這種檢索方法依靠的是圖像信息關(guān)鍵字的概括，不同的人用的關(guān)鍵詞不同，導(dǎo)致檢索準(zhǔn)確率并不高。

20世紀(jì)90年代以來，出現(xiàn)了基于內(nèi)容的圖像檢索技術(shù)，尤其是利用物理特征進(jìn)行檢索，它避免了人工提取關(guān)鍵字的不一致性。實(shí)際上，物理特征層包括圖像的顏色、紋理、輪廓、形狀等視覺描述特征，這些視覺描述特征通常是低層次的，但能在一定程度上代表圖像，又是非常客觀的，并不需要人們?nèi)ダ斫狻＿\(yùn)用的方法有圖像分割、顏色直方圖、高斯直方圖、灰度共生矩陣等。比如：對(duì)于圖像中主要空間結(jié)構(gòu)，如自然度、開放度、粗糙度、膨脹度、險(xiǎn)峻度等特征，可以運(yùn)用全局特征GIST來處理[4]。對(duì)于形狀和紋理等特征，Cai等[5]為3D神經(jīng)圖像檢索開發(fā)了基于PCM的體積紋理特征的檢索。

在理想情況下，用戶更希望根據(jù)圖像的含義而非顏色、紋理等特征來檢索滿意的圖像。能夠豐富表達(dá)圖像的含義、場(chǎng)景和感情色彩等豐富信息的，是高級(jí)的語(yǔ)義特征。所以近年來出現(xiàn)了基于語(yǔ)義的圖像檢索技術(shù)。這是基于內(nèi)容的圖像檢索技術(shù)的延伸。目前的研究熱點(diǎn)在如何跨越“語(yǔ)義鴻溝”——由于計(jì)算機(jī)獲取圖像的視覺信息與用戶對(duì)圖像理解語(yǔ)義信息的不一致性而導(dǎo)致的低層和高層檢索需求間的距離。解決了這個(gè)問題，根據(jù)語(yǔ)義特征層的語(yǔ)義特征去檢索圖像，才能得到比較滿意的效果。部分研究已經(jīng)取得了一些成就，例如針對(duì)高分辨率的肺部CT圖像，美國(guó)普渡大學(xué)機(jī)器視覺實(shí)驗(yàn)室開發(fā)了ASSERT，即具帶有自動(dòng)選擇搜索功能的檢索工具[6]。美國(guó)斯坦福大學(xué)開發(fā)了基于區(qū)域的匹配技術(shù)、小波以及統(tǒng)計(jì)模型的方法對(duì)圖像進(jìn)行SBIR[7]。現(xiàn)在計(jì)算機(jī)方面比較熱門的深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)算法也應(yīng)用到基于語(yǔ)義的圖像檢索中。

對(duì)于計(jì)算機(jī)方法而言，醫(yī)學(xué)圖像檢索的主要難點(diǎn)在醫(yī)學(xué)圖像分類，而圖像分類的主要內(nèi)容是圖像處理和模式識(shí)別，主要體現(xiàn)在特征的提取和距離的計(jì)算。

3 醫(yī)學(xué)圖像檢索技術(shù)的算法舉例

3.1 基于模糊聚類算法

模糊聚類是涉及事物之間的模糊界限時(shí)按一定要求對(duì)事物進(jìn)行分類的數(shù)學(xué)方法，廣泛分析在氣象預(yù)報(bào)、地質(zhì)、農(nóng)業(yè)、林業(yè)等方面。通常把被聚類的事物叫做樣本。模糊聚類方法用數(shù)學(xué)方法定量地分析樣本的親疏關(guān)系，客觀地進(jìn)行分類[8]。其中應(yīng)用最廣的是模糊C-均值聚類算法改進(jìn)，主要集中在目標(biāo)函數(shù)修改、收斂速度提升、聚類有效性、算法實(shí)現(xiàn)途徑和混合型數(shù)據(jù)聚類等幾個(gè)方面[9]。

3.2 聚類算法的衍生算法

一些文獻(xiàn)中提到AHC算法[10]、HSBD算法[11]，是將矩陣和聚類結(jié)合起來的。HSBD算法是基于語(yǔ)義的醫(yī)學(xué)圖像檢索，在本體的術(shù)語(yǔ)相似性的基礎(chǔ)上計(jì)算每幅圖像的語(yǔ)義距離。HSBD算法流程圖 如圖1所示。

聚類算法主要體現(xiàn)在：每個(gè)術(shù)語(yǔ)當(dāng)成一類，然后分別計(jì)算每個(gè)類別的相似性，更新相似性矩陣，再找出類間距離最相近的兩個(gè)類（在相似性矩陣中最小的兩個(gè)值），將它們合并成新的一類，如果得到的類的數(shù)目多于設(shè)定數(shù)目，那么就重復(fù)進(jìn)行計(jì)算每個(gè)類的相似性，再往下。這個(gè)算法在先前生成的本體術(shù)語(yǔ)相似矩陣的基礎(chǔ)上，生成樹狀圖，通過層次構(gòu)架的方法，將數(shù)據(jù)自下而上聚合，產(chǎn)生聚類結(jié)構(gòu)[11]。

圖1 HSBD算法流程圖

在計(jì)算代表圖像特征的向量語(yǔ)義距離時(shí)，將向量元素代入聚類結(jié)構(gòu)計(jì)算，進(jìn)行子距離融合，從而得到每幅圖像的語(yǔ)義距離。

聚類分析模型的優(yōu)點(diǎn)就是直觀，結(jié)論形式簡(jiǎn)明。缺點(diǎn)是在樣本量較大時(shí)，要獲得聚類結(jié)論有一定困難。且單純根據(jù)相似系數(shù)得出結(jié)論，聚類算法本身沒有反饋機(jī)制，無法識(shí)別這類錯(cuò)誤。

3.3 卷積神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)新的研究方向，不需要人工參與設(shè)計(jì)就能將原始數(shù)據(jù)通過自動(dòng)學(xué)習(xí)過程從一些簡(jiǎn)單的非線性模型變換為更高層次的抽象表達(dá)，再組合多層變換，學(xué)習(xí)提取出非常復(fù)雜的函數(shù)特征。這是深度學(xué)習(xí)與傳統(tǒng)的機(jī)器學(xué)習(xí)最主要的區(qū)別[12]。

近年來，卷積神經(jīng)網(wǎng)絡(luò)發(fā)展迅速。它是一類高效的語(yǔ)義屬性抽取與圖像識(shí)別的深度學(xué)習(xí)算法[13]，在模式識(shí)別領(lǐng)域得到廣泛的應(yīng)用。它是一種從輸入到輸出映射的深度網(wǎng)絡(luò)，本質(zhì)上是一種多層感知器。在神經(jīng)網(wǎng)絡(luò)的卷積層，提取局部特征；在池化層，在去除冗余信息的同時(shí)保留最能表達(dá)圖像不變性的重要特征。卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程是針對(duì)一組訓(xùn)練樣本集，確定一個(gè)最好的函數(shù)，通過迭代更新或反饋學(xué)習(xí)等方式不斷調(diào)整優(yōu)化網(wǎng)絡(luò)中的參數(shù)[14]。卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)是對(duì)于特征分類效果比較好，會(huì)保留重要參數(shù)，去掉不重要的參數(shù)，很適合圖像的識(shí)別；缺點(diǎn)是需要大量樣本訓(xùn)練，且物理意義不明確。

3.4 哈希算法

簡(jiǎn)單地來說，哈希算法是將圖像二值量化，產(chǎn)生非常適合大規(guī)模圖像檢索任務(wù)的高度緊湊的二進(jìn)制碼[15]。大多數(shù)現(xiàn)有的哈希方法首先將圖像轉(zhuǎn)化為特征向量，然后進(jìn)行單獨(dú)的二進(jìn)制化步驟以生成哈希碼。但是這個(gè)兩階段過程可能會(huì)產(chǎn)生次優(yōu)的編碼[16]。如何將哈希算法優(yōu)化，使之更具有表達(dá)能力和區(qū)分能力，也是一個(gè)比較熱門的方向。比如，Conjeti等[17]報(bào)告中的深度殘差哈希以及Duan等[18]研究結(jié)果也是基于深度哈希的融合索引。哈希算法的優(yōu)點(diǎn)是檢索效率非常高，缺點(diǎn)是二值化會(huì)將圖像的一些重要特征丟失[15]。

4 圖像檢索技術(shù)的應(yīng)用

計(jì)算機(jī)輔助的醫(yī)學(xué)檢索技術(shù)在不同領(lǐng)域均有探究。目前研究比較多的有肺部CT圖像、乳腺X光圖像、腦部疾病CT/MRI圖像等。國(guó)際上有一些開源的醫(yī)學(xué)圖像網(wǎng)站，可以給研究者們提供分析的素材。

肺部影像數(shù)據(jù)庫(kù)聯(lián)盟，它是醫(yī)學(xué)圖像學(xué)術(shù)界用于開發(fā)、研究和評(píng)價(jià)利用螺旋CT進(jìn)行肺癌篩查和診療的影像報(bào)告和病例數(shù)據(jù)系統(tǒng)[19]，包含帶有圖像和注釋的1018例病例。而肺結(jié)節(jié)有比較多的醫(yī)學(xué)特征，如精細(xì)度、球形度、鈣化征、毛刺征等，肺結(jié)節(jié)又是早期肺癌篩查的重要研究對(duì)象，所以對(duì)肺結(jié)節(jié)圖像處理的研究是比較多的。前文提到基于醫(yī)學(xué)征象和卷積神經(jīng)網(wǎng)絡(luò)的肺結(jié)節(jié)圖像哈希檢索方法和利用深度有監(jiān)督哈希的肺結(jié)節(jié)檢索方法，對(duì)圖像的形態(tài)學(xué)特征和語(yǔ)義特征加以提取和處理，獲得了93.54%的準(zhǔn)確率[14]。魏國(guó)輝等[20]提出了一種基于相似性度量的肺結(jié)節(jié)圖像檢索算法，該相似度量以馬氏距離為基礎(chǔ)，保持了圖像的語(yǔ)義相關(guān)性和視覺相似性。

美國(guó)國(guó)家癌癥研究所創(chuàng)建了開源開放的癌癥圖像存檔系統(tǒng)。萬艷麗等[21]選取了一些腦部膠質(zhì)瘤的CT和MRI的圖像作為實(shí)驗(yàn)素材，基于深度卷積神經(jīng)網(wǎng)絡(luò)的腦部圖像視覺特征提取，設(shè)計(jì)了一種適用于腦部疾病圖像的分類器。

美國(guó)匹茲堡大學(xué)醫(yī)學(xué)中心的病理圖像CBIR、美國(guó)耶魯大學(xué)病理系的細(xì)胞CBIR、澳洲悉尼大學(xué)計(jì)算機(jī)系的PETCBIR，都在特定種類的圖像和疾病上取得不同程度的成功[22]。

5 總結(jié)與展望

隨著醫(yī)學(xué)影像設(shè)備的快速發(fā)展和計(jì)算機(jī)技術(shù)不斷滲入醫(yī)學(xué)相關(guān)領(lǐng)域，醫(yī)學(xué)圖像檢索技術(shù)已經(jīng)是當(dāng)今熱點(diǎn)課題。在圖像檢索的方法上，特征提取和距離計(jì)算始終是兩個(gè)需要攻克的問題。不同部位不同病癥的醫(yī)學(xué)圖像的特征不同，所以用到的方法不同。有針對(duì)性的圖像檢索技術(shù)比全面的更為有效。

與之相關(guān)的計(jì)算機(jī)診斷技術(shù)也在迅速發(fā)展，通過與深度學(xué)習(xí)、人工神經(jīng)網(wǎng)絡(luò)等相結(jié)合，為醫(yī)學(xué)圖像診斷提供了新技術(shù)方法和新研究方向。而深度學(xué)習(xí)需要大量的數(shù)據(jù)集做訓(xùn)練，方法也是需要不斷優(yōu)化的，所以這方面的研究將會(huì)越來越多。

對(duì)于圖像檢索系統(tǒng)來說，最重要的是檢索準(zhǔn)確，其次是檢索效率。基于深度學(xué)習(xí)和大數(shù)據(jù)并行計(jì)算技術(shù)的醫(yī)學(xué)圖像特征高效表示和圖像檢索效率將成為醫(yī)學(xué)圖像檢索領(lǐng)域未來研究的主要趨勢(shì)[23]。