基于空間像素強度的腦瘤圖像檢索方法

李清亮, 張子鵬, 時瑋淞, 蔣振剛, 趙家石, 師為禮

(1. 長春理工大學(xué) 計算機科學(xué)技術(shù)學(xué)院 , 長春 130022； 2. 長春理工大學(xué) 光電工程學(xué)院, 長春 130022)

隨著醫(yī)學(xué)影像技術(shù)的迅速發(fā)展, CT(computed tomography)、 MRI(magnetic resonance imaging)、 CR(computed radiography)、 數(shù)字減影血管造影等醫(yī)學(xué)圖像的數(shù)量急劇增加, 這些醫(yī)學(xué)圖像是臨床診斷和醫(yī)學(xué)研究的重要依據(jù). 傳統(tǒng)基于文本的醫(yī)學(xué)圖像檢索方法存在標(biāo)注量大、 描述不準(zhǔn)確和主觀歧義等缺點, 且嚴(yán)重依賴于醫(yī)生的經(jīng)驗. 而基于內(nèi)容的醫(yī)學(xué)圖像檢索(CBMIR)[1]可較好地解決該問題, CBMIR直接提取具有代表性的醫(yī)學(xué)圖像特征, 然后在醫(yī)學(xué)圖像數(shù)據(jù)庫中檢索出與查詢圖像病理特征相同或相似的圖像作為輔助診斷依據(jù)[2], 最終做出準(zhǔn)確判斷.

對于腦腫瘤圖像, 由于受患者病情的嚴(yán)重程度、 年齡和其他因素等影響, 使同一類型的腦腫瘤在形狀、 大小和紋理方面都不相同. 同時, 不同的病理類型可能呈現(xiàn)相似的外觀, 導(dǎo)致腦腫瘤的診斷極具挑戰(zhàn)性[3]. Yang等[4]在腦瘤圖像檢索過程中, 沿著腦腫瘤邊界基于像素強度信息提取局部特征, 并使用視覺單詞模型(BoW)生成全局特征, 同時設(shè)計一種距離度量學(xué)習(xí)算法, 提高了檢索精確度, 但該方法完全忽略了圖像的空間信息; Huang等[5]受空間金字塔[6]的啟發(fā), 將空間金字塔模型和BoW模型相結(jié)合, 使用帶有空間信息的BoW直方圖描述腦腫瘤區(qū)域特征, 改善了腦瘤圖像的檢索性能. 文獻(xiàn)[7]將腦腫瘤的邊界作為ROI(region of interest), 使用區(qū)域劃分學(xué)習(xí)方法, 并以原始圖像像素強度表達(dá)特征, 最后利用BoW模型聚合每個子區(qū)域的局部特征, 將其空間化, 提高了圖像特征的辨別能力； 文獻(xiàn)[8]采取自適應(yīng)空間池和FV(fisher vector)的方法提高了腦瘤圖像檢索性能.

本文針對腦瘤圖像, 提出一種新的基于內(nèi)容的檢索方法. 首先采用圖像膨脹算法增強腦瘤圖像的ROI, 在集中考慮腦腫瘤區(qū)域的同時, 又兼顧了區(qū)域周圍組織信息, 將其作為腦腫瘤的判斷依據(jù)； 然后提出一種新的基于空間像素強度的特征提取方法, 增強ROI后, 在該區(qū)域中每個像素點分別引入橫向與縱向的像素強度描述腦瘤圖像的局部特征, 該方法兼顧了局部特征的空間信息和像素強度信息； 最后引入聚合特征算法提高圖像特征的辨別能力和壓縮能力, 以實現(xiàn)高效、 準(zhǔn)確的腦瘤圖像檢索. 實驗結(jié)果表明, 本文方法提高了腦瘤圖像檢索的精確度.

1 基于內(nèi)容的腦瘤圖像檢索

1.1 檢索框架

基于內(nèi)容的醫(yī)學(xué)圖像檢索方法主要分為兩部分： 1) 離線處理過程(圖像數(shù)據(jù)庫建立); 2) 在線處理過程(查詢圖像檢索). 本文提出一種基于內(nèi)容的腦瘤圖像檢索方法, 檢索流程如圖1所示.

圖1 本文方法的檢索流程Fig.1 Retrieval flow chart of proposed method

離線處理過程中, 首先通過圖像膨脹算法增強腦瘤圖像的ROI, 然后在該區(qū)域中采用基于空間像素強度的特征提取方法描述圖像特征, 進(jìn)而使用核平均聚類算法(k-means)將數(shù)據(jù)庫特征進(jìn)行聚類, 生成由聚類中心構(gòu)造的視覺詞典. 基于該視覺詞典使數(shù)據(jù)庫圖像特征量化為最近鄰的視覺單詞, 從而聚合每個特征與其最近鄰視覺單詞間的殘差向量, 生成聚合特征(VLAD)[9]. 在線處理過程與離線處理采取的特征提取與特征表達(dá)方法相同, 最終檢索匹配待查詢圖像和圖像數(shù)據(jù)庫中每幅圖像的VLAD, 將最終檢索結(jié)果反饋給用戶.

1.2 基于空間像素強度的特征提取方法

提取腦瘤圖像的特征前, 需預(yù)先標(biāo)記圖像的ROI, 不僅能減少檢索過程中對數(shù)據(jù)量的處理, 而且可避免不相關(guān)區(qū)域中的特征點在匹配時的干擾, 進(jìn)而提高診斷的準(zhǔn)確率. 本文根據(jù)腦瘤圖像預(yù)先分割ROI, 采用圖像膨脹算法對ROI進(jìn)行增強, 再將增強后的腦腫瘤區(qū)域作為最終的ROI, 進(jìn)而在該區(qū)域中提取局部特征.

圖2 基于空間像素強度的特征提取方法Fig.2 Feature extraction method based on spatial pixel intensity

本文采用一種新的基于空間像素強度的特征提取方法, 對于單獨像素點引入橫向與縱向的像素強度, 描述腦瘤圖像的局部特征, 并兼顧局部特征的空間信息和像素強度信息. 如圖2所示,圖中白色圓點表示預(yù)處理的像素點, 該點的局部特征用橫軸與縱軸正反4個方向的像素點強度值表示, 白色圓點和黑色圓點共同描述圖像特征信息. 本文算法可由橫向8個像素點和縱向8個像素點, 共17個像素點清晰表示該點的局部特征, 因此局部特征維度是17維.

1.3 聚合特征

VLAD描述子是一種新的圖像向量表示方法, 聚合了特征空間的特征. 本文首先在腦瘤圖像特征空間中采用k-means聚類方法得到大小為k的視覺單詞C=(μ1,μ2，…,μk), 每個特征描述子x分配至其最近鄰的視覺單詞, 計算公式如下：

q:d→C?d,

(1)

(2)

其中‖·‖表示L2范數(shù)的歸一化處理方式. VLAD的基本思想是針對每個視覺單詞μi累積所有屬于該視覺單詞的局部特征描述子的量化誤差x-μi, 該方法描述了局部特征描述子相對于視覺單詞的空間分布情況.

本文局部特征描述子的維度為17, 因此VLAD描述子的維度為D=17×k. 為便于表示, 將VLAD描述子用vi標(biāo)記,i=1,2,…,k, 其中i表示視覺單詞的分量. 描述子的每個分量都采用聚合局部特征描述子和視覺單詞的向量差, 計算公式如下：

(3)

腦瘤圖像的VLAD采用L2范數(shù)歸一化處理v∶=v/‖v‖, 最終歸一化后的VLAD描述子表示為v=(v1,v2,…,vk).

2 實驗與分析

2.1 圖像數(shù)據(jù)庫

圖像數(shù)據(jù)庫由3 064張臨床獲得的腦核磁切片(對比度增強)構(gòu)成, 分別來自233名患者, 其中腦膜瘤核磁切片708張, 神經(jīng)膠質(zhì)瘤核磁切片1 426張, 垂體瘤核磁切片930張, 上述3種腦腫瘤類型的圖像如圖3所示. 本文隨機選取100幅圖像作為查詢圖像, 其余圖像作為訓(xùn)練圖像, 以確保來自同一名患者的腦核磁切片不同時出現(xiàn)在訓(xùn)練集和測試集中, 達(dá)到通過檢索到以往病人的腦核磁切片作為診斷的輔助信息, 最終提高診斷精確度的實驗?zāi)康?

圖3 不同腦腫瘤類型圖像Fig.3 Images of different types of brain tumors

2.2 實驗評價方法

實驗采用平均準(zhǔn)確率(mean average precision, mAP)作為性能指標(biāo)評價檢索系統(tǒng), 計算公式如下：

(4)

其中:n表示數(shù)據(jù)庫腦瘤圖像中與查詢腦瘤圖像屬于同一類型腦腫瘤的檢索圖像數(shù)量; rank(i)表示檢索結(jié)果中第i幅同一類型腦腫瘤的檢索圖像排序號.

2.3 實驗結(jié)果

實驗硬件環(huán)境為: CPU Core i7, 頻率3.30 GHz, 內(nèi)存64 GB, 軟件環(huán)境為64位的WIN7操作系統(tǒng), 使用MATLAB R2014a進(jìn)行仿真實驗. 為了驗證本文方法的可行性, 針對大量腦瘤圖像, 用以下幾種方法進(jìn)行對比實驗. 方法1： 基于尺度不變特征變換算法特征(SIFT)的聚合特征(VLAD)檢索模型； 方法2: 基于空間像素強度特征的視覺單詞檢索模型(BoW)； 方法3: 基于SIFT特征的BoW模型. 所有方法在實驗中均采取相同的特征提取框架, 使用增強后的腦腫瘤區(qū)域作為ROI, 然后提取ROI的局部特征, 最后引入BoW和VLAD表示圖像最終特征描述子.

為考察研究區(qū)域增強方法對檢索性能的影響, 本文針對區(qū)域增強盤狀結(jié)構(gòu)半徑R的不同取值進(jìn)行對比, 實驗結(jié)果列于表1, 其中R=0表示僅以預(yù)先標(biāo)記的腦腫瘤區(qū)域作為ROI, 并不進(jìn)行增強處理. 盤狀半徑R從0增加到12, mAP值顯著提高, 驗證了腦腫瘤周圍組織信息是判斷腦腫瘤類型的重要依據(jù), 提取該區(qū)域的信息有助于圖像特征描述, 并提高檢索精確度. 當(dāng)盤狀半徑為12時, 實驗結(jié)果最優(yōu). 當(dāng)R從12增加到24時, 檢索性能開始降低, 表明過大的ROI區(qū)域包括了很多正常組織區(qū)域, 在腦腫瘤區(qū)域判斷方面被作為無用信息, 而過多的無用信息影響了檢索性能.

表1 實驗結(jié)果統(tǒng)計

通過與其他算法的對比實驗可得以下結(jié)論： 基于VLAD的腦瘤圖像檢索方法由于考慮了特征空間的分布狀況, 表現(xiàn)出比BoW檢索方法更好的檢索性能； VLAD和BoW方法相結(jié)合空間像素強度的檢索效果優(yōu)于結(jié)合SIFT特征的檢索方法, 這是因為醫(yī)學(xué)圖像的特性使人們在醫(yī)學(xué)圖像檢索中更關(guān)注醫(yī)學(xué)圖像組織內(nèi)部信息, 而不考慮外在結(jié)構(gòu), 因此傳統(tǒng)圖像檢索采用的局部特征描述方式(SIFT特征)并不適用； 在增強ROI區(qū)域方法中, 適當(dāng)?shù)倪x取盤狀結(jié)構(gòu)半徑R的大小, 可使腫瘤周圍組織成為判斷腫瘤類型的重要依據(jù), 以此提高檢索精確度.

圖4為更直觀的檢索結(jié)果, 箭頭左邊為查詢圖像, 箭頭右邊是用于輔助診斷的5幅檢索圖像. 由圖4可見, 本文方法針對3種類型的腦腫瘤圖像, 在前5幅檢索結(jié)果中均正確, 因此在輔助臨床診斷方面具有重要的參考價值.

圖4 本文算法的檢索結(jié)果Fig.4 Retrieval results of proposed algorithm

綜上所述, 本文提出了一種基于內(nèi)容的腦瘤圖像檢索方法, 是一種自動化處理過程, 對輔助腦腫瘤診斷具有重要意義. 首先采用圖像膨脹算法擴大腦瘤圖像的ROI區(qū)域, 在集中考慮腦腫瘤區(qū)域的同時, 又兼顧了腦腫瘤區(qū)域的周圍組織信息, 將其作為腦腫瘤的判斷依據(jù)； 然后針對該區(qū)域內(nèi)單獨像素點引入橫向與縱向的像素強度描述腦瘤圖像的局部特征, 該方法兼顧了局部特征的空間信息和像素強度信息； 最后引入聚合特征算法提高圖像特征的辨別能力和壓縮能力, 以實現(xiàn)高效、 準(zhǔn)確的腦瘤圖像檢索方法. 實驗結(jié)果表明, 本文方法在腦瘤圖像檢索中具有較高的精確度.