基于醫學征象和卷積神經網絡的肺結節CT圖像哈希檢索

楊曉蘭，強彥，趙涓涓，杜曉平，趙文婷

肺癌是目前世界上發病率最高的惡性腫瘤之一，也是男女癌癥死亡的主要原因[1]。肺癌的早期檢測和診斷在提高治愈率方面起著重要的作用。薄掃CT作為早期肺癌篩查的重要手段，可以大幅度提高肺癌的早期檢出率。但是，CT影像的爆炸式增長明顯增加了影像醫師的閱片量，可能會出現對肺結節的漏檢和誤判。計算機輔助診斷（computer aided diagnosis，CAD）技術為醫師檢出和診斷肺部病灶提供了參考依據[2]。在肺癌的計算機輔助診斷過程中，基于CT圖像的底層特征的診斷方法雖然在提高診斷準確率、降低漏診率等方面起到了積極的作用，但是通過計算機獲取的圖像底層特征與醫師描述的肺結節高級語義特征之間存在很大的差別[3]。醫師在診斷肺部病灶時主要依據肺結節的醫學征象，通過對結節的邊緣有無毛刺、分葉、鈣化等征象進行診斷。所以本文依據肺結節的9種征象，通過對肺結節圖像進行特征提取和哈希映射，在數據庫中快速找到具有相同征象的肺部CT圖像，從而為醫師診斷結節的良惡性提供決策支持。

1 相關工作

圖像哈希方法[4]是一種快速的圖像檢索方法，它將圖像的高維特征映射到漢明空間，以漢明距離（碼間異或）作為相似度度量準則檢索圖像。最早的圖像哈希方法是局部敏感哈希（locality sensitive hashing，LSH）[5]，采用隨機投影的方式以較高的概率將相似圖像映射到同一個桶中，但是難以取得穩定結果。為了獲得更好的檢索效果，譜哈希（spectral hashing，SH）[6]利用拉普拉斯特征函數對高維數據降維，提高了檢索效率。迭代量化哈希（iterative quantization，ITQ）[7]利用主成分分析（principal components analysis，PCA）方法對原始高維數據降維，然后計算量化誤差最小的旋轉矩陣來生成對應最優旋轉矩陣下的二值碼。有監督核哈希（supervised hashing with kernels，KSH）[8]通過碼內積直接優化漢明距離，大幅度減少了計算量。

鑒于目前對海量醫學影像的分析和圖像哈希方法的優勢，已有學者將哈希方法運用于醫學影像檢索領域。Jiang等[9]利用監督信息設計基于核函數和多特征融合的監督核哈希框架，實現乳腺病理圖像的快速檢索；Liu等[10]通過迭代量化錨圖哈希方法，將多模態特征映射成緊致的二值碼，在漢明空間實現乳腺X射線的檢索。

憑借深度學習強大的特征表達能力，基于深度學習的哈希方法應運而生。Liu等[11]以圖像對為監督信息，利用卷積神經網絡（convolutional neural networks，CNNs）來學習圖像緊致的哈希碼，實現多媒體圖像的快速檢索；Yang等[12]在深層網絡中設計基于誤差損失和哈希函數特性的目標函數，使網絡能夠同時實現圖像檢索和分類。

深度學習和哈希方法在圖像檢索領域表現出巨大的優勢，肺結節征象可以幫助醫師診斷肺部病灶。為此，本文提出一種基于醫學征象和深度學習的圖像哈希方法。首先，依據4名權威放射科專家對肺部數據庫中9種肺結節征象的注釋，將十進制整型征象取值轉換成二進制編碼，以此來構造訓練集準確的二值碼。其次，利用卷積神經網絡和主成分分析方法提取肺結節的重要語義特征，結合訓練集準確的哈希碼反向求解哈希函數，提升了哈希函數的表達能力。最后，針對哈希碼對圖像表示的局限性，本文提出一種基于自適應比特位的檢索方法，可以對哈希碼相同實際不相似的肺結節圖像進行排序，提高了檢索精度。

2 算法描述

本文提出的基于醫學征象和卷積神經網絡的肺結節CT圖像哈希檢索方法主要包括3部分：1)根據9種征象取值構造訓練集準確的哈希碼；2)提取肺結節征象特征和學習哈希函數；3)基于自適應比特位的相似性檢索。基于醫學征象和卷積神經網絡的肺結節檢索過程如圖1所示。

2.1 構造訓練集準確的二值碼

肺部圖像數據庫聯盟（lung image database consortium，LIDC）[13]是在整合4名放射科醫師對1 018個病例，100多萬張CT掃描圖像的注釋基礎上建立的。每個病例對應一個文件夾，包含DICOM序列影像和XML文件的肺結節診斷信息。XML診斷信息包含4名放射科專家對每張CT中出現的結節的定義，醫師標注的肺結節診斷信息全面且權威，因此XML文件提供的肺結節標注信息為本文實驗所用的肺結節CT圖像的準確語義描述提供了標準參考。本文對LIDC數據庫提供的XML文件注釋信息進行提取，創建包含9種CT征象取值的表結構，如表1所示。

二進制描述符[14]可以將高維的肺結節語義描述映射為緊湊的二值碼，對海量肺部CT影像的存儲和檢索而言，具有存儲空間小和匹配速度快的優勢。借鑒十進制轉換二進制的思想，本文將十進制整型的征象取值轉換成緊湊的二值碼。根據專家標注的十進制征象取值和二值碼的轉換方式，按照如圖2所示的方式依次讀取信息，最終能夠獲得準確表示語義征象的二值碼。

2.2 肺結節重要語義特征提取

醫生在診斷肺部病灶時主要依據肺結節的征象，肺結節征象是醫師對肺結節圖像的高級語義描述。肺結節特征的詳盡表示，是后續保持相似性哈希函數學習的重要前提。文獻[15]表明基于CNNs的深層特征在圖像檢索領域表現出比傳統手工設計特征的方法更好的檢索效果。文獻[16]表明PCA方法在不損失特征質量的前提下還能夠保持較高的檢索性能，對CNNs更具有彈性。本文首先利用如圖3所示的CNNs框架提取肺結節的高維特征，然后使用PCA方法抽取肺結節的重要語義特征。

圖1 基于醫學征象和卷積神經網絡的肺結節CT圖像檢索方法Fig. 1 Retrieval method of pulmonary nodules CT images based on medical signs and CNNs

表1 含有9種肺結節征象的表結構Table 1 The table structure that contains nine signs feature

圖2 肺結節征象的二值碼編碼Fig. 2 Binary encoding of signs of pulmonary nodules

圖3 基于卷積神經網絡的特征提取框架Fig. 3 The convolutional neural network architecture used for features extraction

本文提出基于CNNs的深層次特征提取框架主要包括包括3部分：1）由多個卷積層和全連接層組成的特征提取層；2）用來對9種單一征象進行分類的softmax分類器層。肺結節重要語義特征的提取如算法1所示。

算法1 基于CNNs和PCA的重要語義特征提取算法

輸入 肺結節征象訓練集{x1, x2, ···, xn}，對應的征象類別y(i)∈{1, 2, ···, k}, k=9。

輸出 肺結節的重要語義特征Y=[x1x2··· xm]。

1） 將肺結節單一征象集輸入到卷積神經網絡中，并將網絡全連接層輸出的肺結節高維表示記為{(x(1), y(2), · · ·, (x(n), y(n))}。

2） 通過softmax分類器建立肺結節高維表示X(i)與征象類別之間的概率分布p(y=j|x)。因為一張肺結節圖像可能包含k（k＞1）種征象，對k種征象的可能值進行累加，同時引入權值衰減項。代價函數可表示為

式中：θ為網絡參數組合，l為平衡前后兩項的影響因子。

3） 優化代價函數，選擇最優的參數組合θ對CNNs網絡進行調整。去掉調整好網絡中的softmax分類器層，將CNNs框架中最后一層的輸出作為肺結節的高維特征。

2.3 哈希函數的學習

哈希函數必須盡可能地保持哈希前與哈希后樣本相似度的一致性，因而哈希函數的選擇至關重要。本文借鑒LSH[5]中保持內積相似性哈希函數的構造思想：如果哈希碼的長度為k，則需要設計一組包含k個哈希函數的函數族。哈希函數的定義為

式中：x為肺結節的特征，W為系數向量，b為偏差，本文使用PCA處理，所以b的值為0，哈希函數可簡化為

為了求解系數，本文在目標函數的設計中，加入哈希函數的約束條件和量化誤差，目標函數可表示為

約束條件：

式中：hi=sign(WTx)∈Rk為哈希碼的映射值，Y=[y1y2··· yn]為訓練集準確的哈希碼；式(6)要求哈希碼均勻分布，式(7)要求不同的哈希碼之間相互獨立。

2.4 肺結節的檢索過程

雖然將圖像特征映射為哈希碼可以加快檢索速度，但是哈希碼對原始圖像的表示有一定的局限性。如圖4所示，不同的特征被映射成相同的哈希碼，單純使用漢明距離度量圖像間的相似性不夠準確[17]。如果為查詢圖像的不同碼位自適應地分配不同的權值，避免所有碼位權值相同對漢明距離的影響，就可以提高檢索性能。為此，本文提出基于自適應比特位的檢索方法，具體描述如算法2所示。

圖4 不同的特征被映射成相同的哈希碼Fig. 4 The phenomenon that different features are mapped to the same hashing codes

算法2 基于自適應比特位的檢索算法

輸入 待查詢結節圖像xp，對應的哈希碼，圖像庫第i幅圖像的哈希碼，參數 λ，閾值 ρ。

輸出 最近似肺結節圖像xp。

1）根據式（8）～（9）計算查詢結節與圖像庫間的漢明距離，選擇漢明距離最小的前ρ個圖像得到肺結節候選集I。

for j=1：ρ

for k=1：K

判斷待查詢結節圖像的第k位哈希碼和圖像庫第i幅圖像的哈希碼是否相同

End for

End for

3）根據式（10）計算待查詢結節與候選集I之間的加權漢明距離。

4）選擇距離最小的數據項作為最近似結節。

3 實驗結果與分析

3.1 數據集與實驗設置

本文方法的實驗環境是Visual Studio 2010，MATLAB 2012b，PC處理器為Intel Core i7-3770，主頻3.40 GHz，內存8 GB。用于研究的肺部CT圖像數據來自公共數據集LIDC和山西某醫院（已與醫院簽訂相關協議，且已征得患者的同意），該醫院使用的是美國通用公司的Discovery ST16 PET-CT，CT采集參數為150 mA、140 kV，層厚3.75 mm，CT圖像大小為512×512。

為了驗證本文方法的有效性，實驗所用的CT數據集是在專業醫師的標注下，利用基于超像素[18]和自生成神經森林的肺實質分割算法[19]從肺實質中截取的大小為48×48的矩形區域，如圖5所示。為了保證訓練集和測試集的無關性，本文從LIDC數據庫中選取了包含9種單一征象的156例數據（2 669個肺結節）的圖像集作為訓練集，來自合作醫院的50例數據（796個結節）的圖像集作為測試集。

圖5 肺結節的獲取過程Fig. 5 Interception of pulmonary nodule

為了驗證本文方法的性能，實驗使用平均準確率 MAP（mean average precision），查準率 P@K，召回率R@K 3個指標，和5種常用的哈希算法（包括LSH、SH、PCA、ITQ、KSH）對本文提出的方法進行評價。

MAP反映的是在所有相似結節中的檢索性能，相似結節在檢索結果中的排序越靠前，MAP值就越大。P@K反映的是在檢索到的前K個結節中，和查詢結節相似的結節出現的概率。R@K反映的是相似結節在檢索到的前K個結節中，與所有相似結節的比值。相關公式的定義為

3.2 實驗結果分析

為了得到精確的檢索效果，本文首先對本文方法中的參數λ和ρ進行討論。

圖6所示為不同編碼長度下前5個檢索結果的排序精度，其中λ的取值范圍為0.1～1，閾值ρ的取值分別為 5、10、15、20和 25。由圖 6(a)可知，當ρ為15時檢索精度達到最大值；當λ為0.2和0.3時，本文方法具有較高的檢索精度。由圖6(b)和6(d)可知，當ρ為15時檢索精度最高；隨著λ的增大，檢索精度值變化不明顯。由圖6(c)可知，檢索精度隨著λ的改變變化很小。因此，本文在自適應比特位檢索方法中將參數λ和閾值ρ分別設置為0.3和 15。

為了比較不同編碼長度對檢索效果的影響，使用查全率-查準率（Recall-Precision）來衡量本文方法的性能。

本文在文獻[5-12]的基礎上選取編碼長度為12 b、24 b、32 b、48 b、64 b、和 72 b的 6組值。圖 7分別展示了不同編碼長度下，P-R曲線的比較結果，可以看出本文方法的檢索性能隨著編碼長度的增加而提高，當r=64 b時，性能趨于穩定。一方面，CNNs提取的是肺結節的高層特征，對肺結節的描述越全面，檢索準確性就越高；另一方面，肺結節圖像是灰度圖像，用較短的哈希碼就可以表示，加快了匹配速度。

圖6 本文方法在編碼長度為24 b、32 b、48 b和64 b時不同λ值和ρ的排序精度Fig. 6 The sorting precision of our method with different λand ρfor different hashing bits on 24, 32, 48, and 64 bits, respectively

圖7 不同哈希方法的查全率–查準率曲線圖Fig. 7 Recall-precision curves for different hash methods

表2列出了本文方法與其他哈希方法在不同特征下隨著編碼長度的增加，所對應的平均準確率（MPA）實驗結果。

對比表2中CNNs特征與GIST特征的實驗結果，可以看出基于CNNs特征的檢索方法具有明顯優勢。本文使用的CNNs特征在不同編碼長度下一直擁有最高的MPA值，與GIST特征（手工設計）相比，效果分別提升了4.6%、9.2%、11.6%、13%、12.5%、11%。進一步驗證了從肺結節底層圖像到高層語義中逐層提取的CNNs特征對檢索結果的有效性。

表2 不同編碼長度下兩種特征的MPA值Table 2 The two features of MAP (%) on r bits

為了評估本文方法的有效性，使用P@K比較檢索結果中前5個相似結節的精確度。

圖8所示是兩種方法在不同編碼長度下，在檢索到的15個相似結節圖像中P@K=5的對比結果。隨著編碼長度的增加，兩種方法在前5個檢索結果下的精確度都有所提高。當r=64 b時，本文方法在檢索到的前5個肺結節圖像中，精確度達到88.23%，高于傳統方法23.41%。之后隨著編碼長度的增加，兩種方法的準確率都有所降低。從圖中可以看出，本文方法與漢明直接排序的方法相比，顯著提高了肺結節的檢索精確率。

圖8 不同漢明排序方法的檢索結果Fig. 8 Retrieval results with different Hamming sorting methods

4 結束語

本文提出一種基于醫學征象和CNNs的肺結節CT圖像哈希方法，用于實現肺結節CT圖像的快速檢出。本文方法的主要貢獻有：1）利用卷積神經網絡和主成分分析法提取肺結節的重要語義特征，能更有效地表示肺結節含有的征象信息；2）通過構造征象訓練集準確的哈希碼和肺結節的重要語義特征反向求解哈希函數；3）為了進一步提高檢索精度，使用自適應比特位的加權漢明距離代替傳統的漢明距離。本文對公共數據集LIDC和醫院數據集進行實驗，驗證了本文方法在肺結節圖像檢索過程中的有效性。未來的工作將研究基于深度哈希的肺結節圖像檢索，以提高結節圖像的檢索精度，從而進一步為醫師診斷肺部病灶提供參考依據。

[1]REBECCA L, KIMBERLY D M, STACEY A F, et al. Cancer statistics[J]. CA: a cancer journal for clinicians, 2017,67(3): 177.

[2]ZHAO Y, BOCK G H D, VLIEGENTHART R, et al. Performance of computer-aided detection of pulmonary nodules in low-dose CT: comparison with double reading by nodule volume[J]. European radiology, 2012, 22(10): 2076.

[3]CHEN S, NI D, QIN J, et al. Bridging computational features toward multiple semantic features with multi-task regression: a study of CT pulmonary nodules[M]//Medical Image Computing and Computer-Assisted Intervention-MICCAI 2016. Springer International Publishing, 2016: 53–60.

[4]VADLAMUDI L N, VADDELLA R P V, DEVARA V. Robust image hashing technique for content authentication based on DWT[C]//Proceedings of International Conference on Computer Vision and Image Processing. Singapore:Springer, 2017: 189–191.

[5]GIONIS A, IINDYK P, MOTWANI R. Similarity search in high dimensions via Hashing[C]//International Conference on Very Large Data Bases. Morgan Kaufmann Publishers Inc. 2000: 518–529.

[6]WEISS Y, TORRALBA A, FERGUS R. Spectral Hashing[J]. Proc nips, 2008, 282(3): 1753–1760.

[7]GONG Y, LAZEBNIK S, GORDO A, et al. Iterative quantization: a procrustean approach to learning binary codes for large-scale image retrieval[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(12): 2916–29.

[8]LIU W, WANG J, JI R, et al. Supervised hashing with kernels[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Providence, USA, 2012:2074–2081.

[9]JING M, ZHANG S, HUANG J, et al. Joint kernel-based supervised hashing for scalable histopathological image analysis[C]//Medical Image Computing and Computer-Assisted Intervention 2015. Springer International Publishing,2015, 1: 558–560.

[10]LIU J, ZHANG S, LIU W, et al. Scalable mammogram retrieval using composite anchor graph hashing with iterative quantization[J]. IEEE transactions on circuits and systems for video technology, 2016(99): 1–1.

[11]LIU H M, WANG R P, SHAN S, et al. Deep supervised hashing for fast image retrieval[C]//Proceedings of International Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA, 2016: 2064–2072.

[12]YANG H F, LIN K, CHEN C S. Supervised learning of semantics-preserving hash via deep convolutional neural networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2015(99): 1–1.

[13]ARMATO S, MCLENNAN G, MCNITTt-GRAY M, et al.WEB201B02: the lung image database consortium (LIDC)and image database resource initiative (IDRI): a completed public database of CT scans for lung nodule analysis[J].Medical physics, 2010, 37(6): 3416–3417.

[14]YANG X, CHENG K T. Local difference binary for ultrafast and distinctive feature description[J]. IEEE transactions on pattern analysis and machine intelligence, 2014,36(1): 188–94.

[15]TARANDO S R, FETITA C. Increasing CAD system efficacy for lung texture analysis using a convolutional network[C]//Proceedings of SPIE 9785, Medical Imaging. San Diego, USA, 2016: 97850Q.

[16]BABENKO, SLESAREV A, CHIGORIN A, et al. Neural codes for image retrieval[M]. Springer International Publishing, 2014: 584–599.

[17]FU H, KONG X, WANG Z. Binary code reranking method with weighted hamming distance[J]. Multimedia tools and applications, 2016, 75(3): 1391–1408.

[18]王超,王浩,王偉,等. 基于優化ROI的醫學圖像分割與壓縮方法研究[J]. 重慶郵電大學學報: 自然科學版, 2015,27(2): 279–284.WANG Chao, WANG Hao, WANG Wei, et al. Study of optimized ROI based medical image segmentation and compression method[J]. Journal of Chongqing university of posts and telecommunications: natural science edition,2015, 27(2): 279–284.

[19]LIAO X, ZHAO J, CHENG J, et al. A segmentation method for lung parenchyma image sequences based on superpixels and a self-generating neural forest[J]. Plos one,2016, 11(8): e0160556.