多視角判別度量學習的乳腺影像檢索方法

周國華， 蔣 暉， 顧曉清， 殷新春

(1.常州工業職業技術學院 信息工程系, 江蘇 常州 213164；2. 揚州大學 信息工程學院, 江蘇 揚州 225127；3. 常州大學 信息科學與工程學院， 江蘇 常州 213164)

1 引 言

根據《中國腫瘤登記年報》報告，2013年我國女性乳腺癌新發病例約為27.9萬, 位居女性惡性腫瘤發病首位；死亡病例約6.5萬, 位居女性惡性腫瘤死亡第五位[1-2]。但乳腺癌早期的篩查可以有效降低乳腺癌的死亡率，顯著提升患者的存活率。與其他診斷方法相比，醫學影像是診斷乳腺癌的黃金標準，例如乳腺X光、核磁共振[3]和CT掃描[4]都是乳腺癌篩查的常用影像學方法。目前，早期的乳腺癌篩查完全依賴醫師的經驗，決策準確性在很大程度上取決于醫師的知識、經驗以及能獲得的信息的質量和數量。另外，人工處理影像的方法既昂貴又耗時，尤其對經驗不足的醫師來說，通過分析醫學影像來診斷乳腺癌是費力困難的。因此，在醫師的決策過程中能為他們提供知識支持的輔助技術就很有意義。隨著互聯網技術的普及，醫學影像數據庫規模越來越大，能夠提供給醫師的既往病例也越來越多。同時，隨著人工智能技術的迅速發展，機器學習分類方法已應用于乳腺癌的診斷、治療和預后。例如IBM公司開發的Watson軟件被應用于乳腺癌治療[5]。周蕾針對乳腺案例中的腫塊進行研究，通過對兩幅不同角度乳腺視圖中可疑腫塊區域進行配對實現乳腺圖像的多視角檢索[6]。Gu等人[7]提出了一種用于乳腺癌診斷的加權異類值的距離度量方法，該方法比歐氏距離能更好地同時處理連續和離散屬性，并使用一種遺傳算法來學習距離度量中涉及的屬性權重。龔敬等人[8]討論了多種人工智能技術在乳腺影像學診斷中的應用，并對乳腺影像的人工智能發展進行了展望。

從本質上講，乳腺癌決策過程本身高度依賴于歷史經驗知識。利用基于內容的影像檢索方法和醫學案例推理(Case-based reasoning, CBR)[9-10]在醫學診斷中比傳統機器學習分類技術具有技術優勢。CBR能夠從歷史案例中檢索經驗和知識，這與人腦的思維過程非常相似。CBR不僅為醫生提供了一個預測，通過檢索到的類似的歷史案例，還能提高診斷的效率和準確性。因此，CBR實質上與醫師的診斷決策過程是一致的。此外，利用CBR可以開發基于知識的醫療診斷決策支持系統和案例解釋系統。醫學影像檢索是CBR系統的核心技術，能從醫學數據庫中檢索出與待診斷影像相類似的醫學影像。醫學影像與自然影像有很大差別，首先醫學影像的分辨率較高但絕大多數為灰度影像；其次，醫學影像的重要信息大多集中在小塊區域內；第三，視覺相似的醫學影像之間語義內容可能差別很大。所以常規的自然影像方法直接應用到醫學影像時效果往往不理想。另外，醫學影像的獲取與醫療設備、測量體位直接相關。例如常規體檢時乳腺影像常采用的攝像體位是雙側乳腺內外斜位，發現病變時增加頭尾位或照側位等體位。在臨床實踐中，拍攝乳腺影像需同時考慮患者身高和病變的位置，得到的乳腺影像常常拍攝側重的部分和組織。有效考慮同一目標不同拍攝角度的乳腺影像能提高影像檢索的準確性。

針對這一問題，本文提出了一種多視角判別度量學習(Multi-View Metric Learning with Fisher Discriminant Analysis, MVML-FDA)的醫學影像檢索方法，用于輔助乳腺疾病的診斷。MVML-FDA基于Fisher判別模型在多個視角之間學習魯棒的度量空間，使得相似的乳腺影像在度量空間緊密地映射，不相似的乳腺影像盡可能地彼此分離。從不同視角表征乳腺影像的綜合信息并提取潛在的描述性特征，從而提高醫學影像檢索的能力。MVML-FDA的優點在于：(1) Fisher判別保持了乳腺影像在投影空間內的語義相關和視覺相似性。(2) 帶權重的多視角模型利用多個視角間的關聯性和差異性，能充分利用每個視角特征的不同表征信息，使得提出的方法學習到的距離度量更有效。(3) 實驗結果表明，MVML-FDA在乳腺影像數據集上取得了較好的性能，說明了該檢索方法在乳腺疾病診斷應用中的可行性。

2 相關理論

2.1 度量學習

(1)

其中半正定的矩陣A可以分解為A=WTW，矩陣Wd×m(m≤d)稱為度量矩陣。因此，式(1)可以表示為：

(2)

因此，計算馬氏度量本質上是學習一個映射空間，使得相似影像對輸出接近0的正值，不相似影像對輸出較大的值。

2.2 多視角學習

在實際醫學影像處理過程中，常會遇到多視角醫學影像數據，這些數據來自于不同的視角切入對同一對象進行測量和診斷。而多視角學習[12]基于一致性原理和互補性原理，在學習過程中利用多個視角間的關聯性和差異性，能取得比單個視角學習更高效和魯棒的性能。目前醫學影像檢索領域常用的多視角方法較多地探討利用多視角技術解決特征融合的問題。如Shen等人[13]提出了一種基于查詢的醫學影像檢索的多視圖特征融合方法, 該方法通過融合用戶示例獲得多個特征，迭代地學習最優子空間。Shen等人[14]提出了一種多視圖局部線性嵌入的醫學影像檢索方法，該方法根據局部線性嵌入準則保留了每個特征空間中局部幾何結構，并為來自不同特征空間的特征分配不同的權重。最后，采用全局坐標對齊和交替優化技術，從不同的特性中學習平滑的低維嵌入。Das等人[15]提出了4種不同的特征提取技術——基于二值化、基于變換、基于紋理和基于形狀的技術用于基于內容的多視圖影像檢索。

3 多視角判別度量學習

3.1 多視角判別度量學習方法

圖1 MVML-FDA模型示意圖Fig.1 MVML-FDA multi-view learning model

(3)

(4)

(5)

(6)

(7)

(8)

3.2 方法求解

式(8)是一個非線性非凸問題，我們使用迭代方法，通過交替計算得到參數的局部最優解。首先固定矩陣W，引入拉格朗日乘子λ，式(8)可以寫成：

(9)

(10)

經過化簡，可得Δt的解析解:

(11)

接下來，固定Δt值更新矩陣W。式(8)可以寫成以下形式：

(12)

最優化問題(12)可以轉化為以下問題:

(13)

算法 1 MVML-FDA. 輸入: T個視角的醫學影像,權重參數r,最大迭代次數T,最大近鄰數 k 和收斂閾值ε;輸出: 投影矩陣W* Step 1:設置Δ的初始值Δ=[1/T,1/T,...,1/T], 使用式(13)計算W0;Fori = 1 , . . . , T Step 2:使用式(11)計算Δt; Step 3:使用式(13)計算Wi; Step 4:如果Wi-Wi-1<ε, 則轉向Step 5; EndStep 5:輸出最優投影矩陣W*: W*=Wi.

4 實 驗

4.1 數據集介紹

實驗的數據集來自于乳腺癌數字存儲庫(BCDR)數據集[16]。該數據集由葡萄牙女性患者組成，年齡范圍從28歲到82歲。BCDR由1 010例患者組成，包括3 703例MLO和CC乳房造影以及1 044例臨床確診的病變。MLO和CC影像均為灰度數字化影像，影像為720×1 167像素，灰度為256。除患者年齡和乳腺密度外，數據集還包括一組選定的二元屬性，用于指示醫生觀察到結節、鈣化和基質變形等異常信息。因此，BCDRF01數據集的每個實例的臨床數據包括每個實例共8個屬性：與觀察到的異常相關的6個二進制屬性、乳腺密度的序數屬性和包含研究時患者年齡的數字屬性。實驗中選取BCDR數據庫中400對MLO和CC乳房造影，即800幅乳腺影像案例作為實驗數據。MLO和CC分別作為多視角學習中的兩個不同的視角。在800幅影像中選擇每個視角的隨機75%數據作為訓練影像集，用于模型的訓練，剩下25%的數據作為查詢影像集，同一個患者的乳腺影像不會同時出現在訓練影像集和查詢影像集中。整個訓練和測試過程執行5次，取5次的平均計算結果作為最終結果。圖2給出了實驗中所用的CC視角和MLO視角中良性結節、惡性結節、良性鈣化和惡性鈣化示意圖。其中圖2(a)和圖2(b)來自于同一良性結節患者；圖2(c)和圖3(d)來自于同一惡性結節患者；圖2(e)和圖2(f)來自于同一良性鈣化患者；圖2(g)和圖2(h)來自于同一惡性鈣化患者。

圖2 CC視角和MLO視角中良性結節、惡性結節、良性鈣化和惡性鈣化示意圖。Fig.2 Schematic diagram of benign nodule, malignant nodule, benign calcification and malignant calcification in CC and MLO views.

4.2 實驗設置

在MVML-FDA算法評價的實驗中，我們設計了3種不同視角下的MVML-FDA變換方法：

4.3 特征選擇

根據參考文獻[16], 本文從強度描述、紋理描述、多尺度紋理描述和影像梯度4個方面來提取乳腺影像的特征，特征提取的詳細信息如表1所示。

表1 特征提取基本信息Tab.1 Basic information of extraction features

續 表

4.4 算法評價

使用構造的單視角方法MVML-FDA-CC、MVML-FDA-MLO和混合單視角方法MVML-FDA-(MLO+CC)來驗證所提多視角方法MVML-FDA的有效性。表2顯示了基于4種特征提取的4種對比算法在CAR、EER和AUC指標上的性能比較。根據表2的結果得到以下結果:

(1) MVML-FDA-CC和MVML-FDA-MLO方法在4種特征提取方法下的CAR、EER和AUC性能均表現一般，其原因主要在于這2種方法均是單視角方法，雖然與MVML-FDA方法的結構很類似，但它們均不具備不同視角的協調能力，這些方法在單視角框架下局限于樣本本身，但由于樣本之間的差異性，無法得到最優空間投影。

(2) MVML-FDA-(MLO+CC)將MLO視角和CC視角合并為一個數據集處理，MLO視角和CC視角在此數據集中分別轉換成一個數據集子集。由于一部分MLO視角和CC視角得到的乳腺影像存在較大的差異，因此MVML-FDA-(MLO+CC)在4種特征提取方法的CAR、EER和AUC性能雖然高于MVML-FDA-CC和MVML-FDA-MLO方法，但還是明顯低于MVML-FDA方法。

(3) MVML-FDA具備多視角協同學習的能力，可以充分利用多個視角空間的信息來學習空間投影的最優值。因此，MVML-FDA相比另3種方法有著明顯的性能優勢。

MVML-FDA方法涉及2個參數：權重指數r和最大近鄰數k。下面我們討論參數r和k值對MVML-FDA性能的影響。圖3～4顯示了MVML-FDA方法在4種特征提取方法下不同參數r和k值下的CAR、EER和AUC的平均值。根據圖中的結果得到如下結論：

(1) 權重指數r是一個類似于模糊聚類[25-27]中模糊指數的參數，是一個“模糊化”程度的參數；權重指數r也可以看成是平滑參數，控制著不同視角在MVML-FDA方法構建中的重要程度。從圖3中結果看出，權重指數r在乳腺影像中的敏感性較低，不同r值下CAR、EER和AUC的平均值相差不大。因此，為了加快MVML-FDA方法的訓練，可以人工固定r的值。

表2 MVML-FDA和MVML-FDA-CC、MVML-FDA-MLO、MVML-FDA-(MLO+CC)在4種特征提取方法的CAR、EER和AUC性能(%)及其方差

Tab.2 Performance of MVML-FDA and MVML-FDA-CC，MVML-FDA-MLO，MVML-FDA-(MLO+CC) in terms of CAR，EER and AUC (%) and their variance under different feature extraction methods

特征算法CAREERAUC平均值方差平均值方差平均值方差特征1MVML-FDA-CC68.230.1736.000.1669.760.16MVML-FDA-MLO68.340.1836.060.1969.840.16MVML-FDA-(MLO+CC)71.850.1533.750.1772.370.17MVML-FDA76.830.1528.580.1577.760.16特征2MVML-FDA-CC67.990.1637.560.1768.370.19MVML-FDA-MLO68.250.1536.150.1569.020.17MVML-FDA-(MLO+CC)69.490.1535.980.1770.980.15MVML-FDA75.810.1430.900.1576.340.15特征3MVML-FDA-CC70.740.1834.960.1971.230.17MVML-FDA-MLO70.020.1835.480.1770.780.18MVML-FDA-(MLO+CC)71.850.1733.850.1672.470.17MVML-FDA77.480.1427.120.1578.290.15特征4MVML-FDA-CC72.170.1533.430.1572.960.16MVML-FDA-MLO72.000.1533.860.1472.550.15MVML-FDA-(MLO+CC)73.790.1431.910.1474.240.15MVML-FDA79.440.1525.250.1580.200.15

圖3 MVML-FDA方法在不同參數r時，基于4種特征提取方法的AUC值。Fig.3 AUC values of MVML-FDA method by using four extracting feature methods with different r

圖4 MVML-FDA方法在不同參數k時，基于4種特征提取方法的AUC值。Fig.4 AUC values of MVML-FDA method by using four extracting feature methods with different k

4.5 性能比較

對比了MVML-FDA方法與4種多視角方法GLSRM、MVU、MvCVM和AMVL在CAR、EER和AUC指標上的性能比較。表3顯示了多種特征提取方式下的MVML-FDA和4種對比算法在CAR、EER和AUC指標上的結果。通過表3的實驗結果可以得到以下結論:

(1) 5種多視角方法在CAR、EER和AUC指標上的結果均優于表2中所示的單視角方法。說明多視角方法利用不同視角間的互補信息能提高醫學影像檢索的精度。

(2) 本文提出的MVML-FDA方法得到的CAR、EER和AUC均優于另4種多視角方法。因為MVML-FDA方法在協同學習的基礎上考慮了視角加權，提高了醫學影像檢索的能力。AMVL是無監督方法，不能有效利用醫學影像的語義信息。GLSRM和MVU方法均使用歐氏距離，而對于高維數據的度量歐氏距離的效果往往不佳。MvCVM方法建立在多視角數據之間的分類間隔最大化理論上，不能充分利用同類別數據間的信息，同時MvCVM方法的逼近精度閾值也會影響算法的性能，在乳腺醫學影像上的CAR、EER和AUC性能差于MVML-FDA方法。

(3) 使用基于影像梯度的特征提取方法(特征方法4)時，所有方法均取得了比其他特征方法高的CAR、EER和AUC性能，也說明了基于影像梯度的特征提取方法比較適用于提取乳腺醫學影像的特征向量。

圖5 5種多視角方法使用特征4得到的ROC曲線比較Fig.5 Comparison of ROC curves obtained by five multi-view methods using the forth feature extraction method

為了更好地對比MVML-FDA與對比算法的性能，圖5比較了5種算法在第4種特征提取方法下得到的ROC曲線。從圖5可以看出MVML-FDA優于另外4種多視角學習方法。實驗結果在CAR、EER、AUC和ROC曲線4個性能指標上取得了一致的結果，說明使用這4個指標來評價乳腺醫學影像的搜索結果是合適的。MVML-FDA 和AMVL、GLSRM以及MVU算法采用梯度下降法求解，理論上這4種算法的時間復雜度相近。MvCVM是一種支持向量機算法，時間復雜度是訓練樣本的立方。本文使用序列最小優化算法，MvCVM的時間復雜度是訓練樣本的平方。但我們注意到，AMVL、GLSRM、MVU和MvCVM的參數通過使用網格搜索法尋優得到，而本文提出的MVML-FDA算法沒有需要尋優求解的參數，所以在模型的訓練時間上MVML-FDA是有優勢的。

表3 不同特征提取方法下的CAR、EER和AUC性能(%)及其方差的比較

續 表

5 結 論

提出了一種適用于乳腺影像的多視角判別度量學習的醫學影像檢索方法MVML-FDA。MVML-FDA使用多視角度量學習能充分表征乳腺影像不同視角的距離度量，同時利用Fisher判別來度量乳腺影像對之間的相似性，使相似的醫學影像在度量空間緊密地映射，不相似的乳腺影像盡可能地彼此分離。真實乳腺影像數據集的實驗結果表明，MVML-FDA模型有助于從乳腺影像的CC視角和MLO視角形成良好的距離度量來區分乳腺良性結節、惡性結節、良性鈣化和惡性鈣化。但應當指出, 本文提出的模型依然面臨進一步需要探討的問題: 如何將MVML-FDA應用到其他醫學影像，以及如何更有效地利用醫學影像的其他視角信息等。同時，如何將深度學習技術(如深度特征提取技術)應用到MVML-FDA也是下階段研究的方向。