基于深度哈希的肺結節圖像檢索方法

宋云霞，強 彥+，唐笑先

(1.太原理工大學 計算機科學與技術學院，山西 太原 030024；2.山西省人民醫院 CT室，山西 太原 030012)

0 引 言

肺癌是當今死亡率最高的惡性腫瘤[1]，主要原因是肺部疾病種類繁多且其影像顯示上復雜多樣，導致其難以診斷。此外，肺部疾病在影像學上存在同病異影和異病同影的現象[2]，也為肺部疾病的診斷帶來了困難。由于醫學圖像檢索可以達到減輕醫生工作負擔以及另一方面增加診斷準確性的雙重優勢，因此，近年來大量學者在肺部影像檢索上進行了相關研究并取得了一定的成果[3]。

圖像哈希方法是一種快速的圖像檢索方法[4]，不僅有效降低了相似度計算時間，同時也大大降低了存儲量，在解決大規模計算機視覺問題中受到重視。但是由于圖像哈希在檢索精度方面很大程度上依賴于對數據庫圖像提取到的特征是否充分高效，通過傳統的特征描述算子如：SIFT[5]、HOG[6]、Gist[7]、LBP[8]、HSV[9]等手工所提取到的圖像特征或其融合特征已經不適于當前大數據時代下的高精度需求了。

鑒于深度學習在特征提取方面的優勢，本文首先利用卷積神經網絡將圖像特征進行充分提取，然后通過改進的有監督哈希對高維特征進行降維并且學習哈希函數，進行哈希編碼，最后再借鑒由粗到精的檢索思想[10]，提出一種圖像檢索方法。

1 提取圖像深度特征

對肺結節CT圖像的檢索的精確度取決于對結節圖像的特征能否進行充分有效的提取，能否最大限度地表征結節圖像中所包含的信息。然而目前手工提取的特征已經不能滿足檢索的高精準度需求。隨著大數據時代的到來，含更多隱含層的深度卷積神經網絡(convolutional neural networks，CNNs)因具有更復雜的網絡結構[11]，相比于傳統學習方法具有更為強大的特征學習和表達能力。本文將采取CNNs的網絡結構對肺結節圖像進行特征提取。本文所采用的數據庫為全球最大的肺部影像數據庫LIDC，北京理工大學與權威醫師合作創建的LISS數據庫，以及合作醫院所提供的肺部CT數據集。通過對結節圖像減去圖像均值進行預處理并將其輸入到網絡中，對9種肺結節征象類型包括GGO(磨玻璃)、Spiculation(毛刺征)、Lobulation(分葉征)、Cavity&Vacuolus(空泡)、Calcification(鈣化)、Pleural Dragging(胸膜牽拉)、Bronchial Mucus Plugs(支氣管黏液栓)、Obstructive pneumonia(阻塞性肺炎)、Air bronchogram(支氣管充氣征)進行分類，不斷訓練網絡直到穩定最優為止，將全連接層的特征提取出來用于本文下一步的圖像檢索階段。圖1為9種征象類型的肺結節圖像，圖2為CNNs的網絡架構，表1中給出了CNNs架構中設置的具體參數。

圖1 9種征象類型的結節圖像

圖2 CNNs網絡架構

2 稀疏有監督哈希

2.1 PCA稀疏降維

表1 CNNs框架中的參數設置

前面的部分中CNNs對結節圖像的特征進行了充分的提取，但是提取到的特征維度太高，并且其中存在特征冗余的情況，會直接影響后續哈希函數的構建以及檢索的精度及速率。針對此問題，本文采用主成分分析算法(principal components analysis，PCA)，具體算法如下：

PCA算法：

輸入： CNNs提取到的肺結節圖像特征矩陣X

輸出： 降維后的特征矩陣Y

步驟3 對C進行奇異值分解計算其特征值λi和特征向量ei

步驟4 構建特征子空間， 將特征值降序排列， 將前k個特征值對應的特征向量結合構建特征子空間Ω=(e1,e2,…,ek)

步驟5 得到降維后的特征矩陣：Y=ΩX′

2.2 KSH_PCA

利用哈希函數將2.1節所提取到的肺結節的主要語義特征映射為二值哈希碼。為保存肺結節圖像在線性子空間中的相似性，哈希函數的設計尤為關鍵，其一般形式如式(1)所示，若哈希碼的長度為r，則須設計r個哈希函數，即H={h1,h2,…,hr}

(1)

式中：w為系數向量，需要學習。b表示偏差，為產生均衡的哈希碼，通常將b賦值為樣本集中全部圖像特征的期望值，由于在2.1節中對圖像特征已經進行了零均值化操作，所以將b賦為0，之后用PCA降維后的特征yi代替式(1)中的xi，將其簡化為如下的式(2)

(2)

然后借鑒KSH(supervised hashing with kernels)方法的思想[12]，利用肺結節圖像的標簽信息求解哈希函數中的系數向量 [w1,w2,…,wr]， 求解過程如下：

(1)通過標簽信息來表征樣本間的語義相似性，利用l個標簽樣本構建標簽矩陣S∈Rl×l， 若樣本xi與xj相似，則Sij=1，否則Sij=-1；

(2)哈希算法的目標是經哈希函數映射后，使得相似樣本的漢明距離最小，反之最大。根據漢明距離與哈希碼內積的對應關系，發現相似樣本(Sij=1)的哈希碼內積最大為r，不相似樣本(Sij=-1)的哈希碼內積最小為-r；

(3)

(4)使用貪婪算法求解目標函數，完成哈希函數的構造，最后使用構造好的哈希函數對肺結節圖像進行映射。

本文提出的稀疏有監督哈希算法通過PCA算法保留肺結節圖像中的主要信息特征，使得經哈希函數映射得到的哈希碼含有原數據集中的主要信息，減少了映射誤差；利用KSH保留了肺結節圖像在高維空間的相對位置關系，能夠有效區別不同征象類型的肺結節圖像，提高了哈希函數的編碼質量。

3 查詢樣本檢索

2.2節已經完成了哈希函數的構造，將已有數據庫與檢索圖像通過哈希函數映射為二值哈希碼，再比較哈希碼之間的距離即可找到與檢索圖像為相似的圖像。然而在檢索結果中會存在多張肺結節圖像與查詢圖像的漢明距離相等，但實際上它們與查詢結節圖像并不一定都相似的情況，如圖3所示。若此時將檢索結果返回，會導致檢索結果的不準確。由于本文采用的PCA映射的哈希方法保留了歐式空間的ε近鄰關系，所以為解決上面這個問題，本文采取了加入歐氏距離進一步精確檢索的處理。

圖3 漢明距離相等而不相似情況

本文采取的方法為首先為各個征象類構建哈希表，然后計算待檢索結節圖像與各征象類中心的距離，確定查詢圖像可能屬于的候選征象類。這里，為了提高檢索的查全率，本文選取距離最小的前m個征象類作為待檢索結節所屬的候選類。然后根據KSH_PCA算法獲得的候選征象類別的哈希函數對查詢圖像編碼，并從候選類的哈希表中檢索出近似的肺結節CT圖像，最后使用歐式距離進行重新排序進行精確排序。由粗到精的檢索算法的肺結節檢索過程如圖4所示。

由粗到精的檢索算法的詳細步驟如下：

由粗到精的檢索算法：

輸入： 待檢索肺結節CT圖像q

檢索過程：

(1)確定查詢項q可能屬于的m個候選征象類

(2)確定查詢項q的m個候選近似結節圖像

根據候選類別C1,C2,…,Cm中的哈希函數為查詢項q編碼為code1,code2,…,codem， 將這些編碼與對應類別的哈希表中的所有哈希碼進行漢明距離的計算， 分別從這m個征象類中選取漢明距離最小的數據項作為候選近似肺結節(candi)1,(candi)2,…,(candi)m。

圖4 肺結節檢索過程

(3)檢索出最近似結節圖像

輸出： 近似肺結節圖像(candi)1,(candi)2,…,(candi)n。

4 實驗結果與分析

4.1 數據集

本實驗所根據的共1053個肺部CT影像病例，由3類數據源構成：LIDC數據庫、LISS數據庫以及合作醫院肺部CT影像數據集。其中，LIDC是全球最大的肺部影像數據庫[13]。LISS是北理工與權威醫師共同合作對肺部征象進行專業準確標注的肺部CT影像數據集[14]，合作醫院為山西某醫院CT室。表2具體描述了本文所使用的肺結節CT影像數據集構成。其中，每個病例是否具備9種征象均有詳細專業的標注。另外，本實驗為了確保訓練集與測試集之間不存在相關性的干擾，使用數據集來源為LIDC與LISS的肺部CT圖像作為訓練集，來源為合作醫院數據集的肺部CT圖像作為測試集。

表2 數據集來源及數量的描述

4.2 實驗評價標準

本文所設計的性能評價指標為F1。

F1是由準確率和召回率組合得到的一種綜合評價指標。準確率P和召回率R的具體計算公式如下

(4)

(5)

F1的計算公式如下

(6)

4.3 實驗結果

本文與其它5種算法包括KSH[12]、RBM(restricted Boltzmann machines)[15]、E2LSH[16]、PCAH[17]、SH(spectral hashing)[18]，說明本文提出的方法的檢索性能。

表3展示了6種算法在數據集上對比結果，表4展示了6種算法的運行時間。此運行時間表示每種算法在對CNNs提取到的特征生成8～64位哈希碼所需時間，其中為避免特殊性，每種算法分別做5次實驗，取5次運行時間的平均值。k為索引的位數，每種索引位數下的最佳結果在表中已用黑體標注。

表3 數據集上的實驗結果

表4 算法編碼運行時間對比表/s

由實驗結果看出，本文提出的由粗到精檢索的算法的表現在本文數據集上優于其它算法。但是本文算法仍然存在一定的局限性，表現為對哈希碼位數的敏感度較高。當哈希碼長不小于32位時，F1有隨著哈希碼位數的增加而下降的趨勢，在碼長達到64位時甚至低于碼長為24位的結果。究其原因是由于哈希碼位數達到一定長度后，返回相關的結節圖像數量大幅下降，雖然返回所有結節圖像數量也會下降，但是與前者相比而言，下降程度較小。因此，召回率大幅下降，準確率小幅下降，F1指標下降。

此外，由表4可得，本文提出的方法不具有最高的運行速率，綜合檢索結果，可認為本方法具備最好的時間效果比。

4.4 性能比較

本文方法用哈希碼對肺結節圖像庫中的CT圖像進行表示，相比于傳統的利用提取到的圖像特征對圖像進行表示的傳統方法，本方法的圖像數據庫占用內存更小，檢索速度更快。其中，r=32時，檢索一張結節圖像的5次平均時間為1.683 s。圖5展示了待檢索結節圖像、惡性結節圖像和良性結節圖像(黑框標注)以及在哈希碼位為32，返回圖像張數為30，ε近鄰半徑為0.3時檢索出的前5張肺結節CT圖像。

圖5 查詢圖像以及相應的檢索結果

根據檢索的相似肺結節圖像可以判定查詢病灶所屬的征象類別。本文根據KNN算法[19]，在檢索出來的相似肺結節CT圖像中，若Pleural Dragging結節圖像所占比重較大，則查詢病灶所屬征象類型為Pleural Dragging。本文對比了提出的檢索方法與SVM(support vector machine)[20]、ELM(extreme learning machine)[21]分類算法，分別在含有9種征象類別圖像、良性結節圖像和惡性結節圖像進行比較。識別的準確率和誤識率是評價識別算法性能的有效指標，其定義如式(7)、式(8)所示。圖6和圖7分別展示了這3種方法在數據集中的9種肺結節征象類上的識別準確率和誤識率

(7)

(8)

圖6 不同分類方法的識別準確率

圖7 不同分類方法的誤識率

5 結束語

本文提出一種基于深度哈希的肺結節CT圖像檢索方法。首先利用一個7層的卷積神經網絡將結節圖像特征進行充分提取，然后通過改進的有監督哈希對高維特征進行降維并且學習哈希函數，進而哈希編碼，最后再經過由粗到精的檢索方法，實現對肺結節圖像的有效檢索。對3422張肺結節CT圖像的實驗結果表明，本文所提出的深度哈希算法，在區分肺結節常見9種征象類別上具有良好的判定識別效果。并且本文算法具有檢索精度高與占用內存小的優勢，在肺結節CAD診斷上具有可應用性與可推廣性。下一步工作我們將在算法效率優化上做進一步研究。