深度置信網絡對孤立性肺結節良惡性的分類

劉露 楊培亮 孫巍巍 周洋 趙宏遠

摘 要：針對肺部CT圖像中孤立性肺結節（SPN）良惡性分類問題，尋求能夠有效表示SPN圖像的特征，通過適合的分類器實現對SPN良惡性的準確判別。由SPN圖像的多分辨率直方圖得到768維的特征空間，并將該類特征用于支持向量機（support vector machine，SVM）分類器進行訓練，最后取得了令人滿意的分類效果。結合深度學習領域中相關知識，將深度置信網絡（deep belief network， DBN）用于SPN良惡性分類任務當中。將從肺部CT圖像中分割出的SPN圖像規整化作為DBN的輸入，進行無監督訓練；用帶有良惡性類標的SPN圖像對網絡進行微調得到最終的DBN模型；用訓練好的DBN模型在測試圖像集上進行分類。在實驗中選擇肺結節患者480例，提取600個SPN圖像作為實驗數據。將新提出的DBN模型與基于紋理特征和多分辨率直方圖特征的SVM模型進行對比，在不考慮醫學象征的情況下，DBN模型的識別準確率高達86%，較SVM分類器的分類性能有了顯著提升。

關鍵詞：CT圖像；孤立性肺結節（SPN）；多分辨率直方圖；深度置信網（DBN）

DOI：10.15938/j.jhust.2018.03.002

中圖分類號： TP391

文獻標志碼： A

文章編號： 1007-2683（2018）03-0009-07

DBN Classifier for Classification of Benign and Malignant Solitary Pulmonary Nodule

LIU Lu1， YANG Pei-liang1， SUN Wei-wei1， ZHOU Yang2， ZHAO Hong-yuan1

（1.School of Computer Science and Technology， Harbin University of Science and Technology， Harbin 150080， China；

2.The Tumor Hospital of Harbin Medical University，Harbin 150081，China）

Abstract：At present， image classification technology is more and more used in the qualitative diagnosis of medical images， which promotes the development of computer-aided diagnosis. For lung CT images of solitary pulmonary nodules （SPN） classification problem， the main idea of the research is seeking to express the characteristics of SPN images effectively through the classifier for benign and malignant SPN accurate discrimination. Before this team work， 768 dimensional feature space is obtained by multi-resolution histograms of SPN image. Features for Support vector machine （SVM） classifier is trained， and finally achieved the satisfactory classification results. This paper is combined with the field of deep-learning related knowledge， the deep-learning of the Deep Belief Network （DBN） for SPN benign and malignant classification task. First of all， the CT image is segmented from the lung SPN image as the input of DBN for unsupervised training； Then， the final DBN model is obtained by fine tuning of the SPN image with benign and malignant classification. Finally， the trained DBN model is used to classify the test image set.In the part of experiment， 480 cases of pulmonary nodules were selected， and 600 SPN images were extracted as the experimental data. The proposed DBN model and SVM model based on the texture features and multi-resolution histogram features were compared in the absence of consideration of the medical symbol， the DBN model for high identification accuracy of 86%， the classification performance of a SVM classifier have significantly improved.

Keywords：CT image； solitary pulmonary nodule（SPN）； multi-resolution histogram； deep belife network

0 引 言

最近幾年，由于我國空氣污染形勢嚴峻，吸煙人數不斷上漲，導致肺癌患者人數日益增多，肺癌已經對我國人民的身體健康構成了巨大的威脅。因為肺癌的早期癥狀不明顯、病變速度快，所以死亡率很高，只有早發現、早治療才有可能達到最理想的治療效果，延緩生命[1]。肺癌在醫學圖像中的早期表現為孤立性肺結節（solitary pulmonary nodule， SPN），SPN是指肺內部實質單發的、邊界清晰的，且不伴有衛星病灶、肺不張、淋巴結腫大的類圓形致密影。臨床上可將孤立性肺結節按照大小進行劃分，一般將直徑小于或者等于8mm的SPN稱為小結節；直徑大于8mm并且小于或者等于3cm的SPN稱為典型孤立性肺結節[2]。小結節多為良性，臨床上采用影像學定期觀察的方式，對典型孤立性肺結節處理一般更為積極。如果早期能夠準確的對SPN良惡性進行判斷，并對惡性SPN患者進行切除手術，在很大程度上可以提高患者的生存率。但是，孤立性肺結節往往難以判斷其良惡性，因為SPN病灶形態特征多樣，有邊界不規則、模糊、分葉狀、毛刺、棘突等多種情況，病灶周圍結構會呈現支氣管異常、毛刺狀改變、胸膜凹陷等變化，病灶中心結構多為空泡征、空洞、鈣化等[3]。SPN良惡性之間征象會有一定的差異性，但其中又有一部分病癥比較模糊，比如一般良性SPN的邊界會比較光滑，但是約有三分之一的惡性SPN或者肺轉移瘤的病灶周圍也比較光滑。對于特征不是很明顯的影像，即使經驗豐富的醫生也很難準確做出判斷。

隨著多層螺旋CT（multidetector-row computed tomography，MDCT）的普及，孤立性肺結節的檢出率提升明顯[4]。CT檢查孤立性肺結節病灶圖像，增強病灶邊界、平滑圖像通過適量調整窗寬、調制窗位，原圖像放大、翻轉、累加等對灰階的處理功能，這樣可以顯示病灶內部的密度、病變與周圍紋理結構關系等。盡管醫生利用CT圖像結合病人的實際情況能區分結節良惡性，但準確性問題仍未根本解決。另外臨床統計歸納得到的SPN醫學征象，這些征象主要是表層形態和空間位置特征，與病理檢測的相關度不高，將臨床歸納特征廣泛的應用在SPN醫學影像診斷中得出的結果會導致較高的假陽性和假陰性，這樣阻礙了醫學影像定性診斷的發展[5]。

隨著模式識別方法被廣泛地應用于醫學圖像研究領域，國內外開展了很多計算機輔助診斷（computer-aided diagnosis，CAD）的研究工作[6]。計算機輔助診斷作為醫生的“第二雙眼睛”，利用計算機的高速運算和自動化處理優勢，可以自動標記可疑小結節、識別結節病灶，減少醫生工作量，提高了SPN檢測的普及率，從而在一定程度上降低了漏診的概率，為孤立性肺結節定性診斷提供有價值的參考意見。傳統的SPN良惡性輔助診斷系統通過預處理把病變從CT圖像中提取出來，然后通過量化病變提取SPN特征，最后利用決策樹、神經網絡、支持向量機（SVM）等分類器進行分類判別。而這些單層模型的分類能力往往是有限的，例如分類性能最為突出的SVM[7]，當面對SPN圖像良惡性分類問題時，需要前期提取帶有類標的高維圖像特征，這不但對訓練數據方面有很高的要求，而且模型本身還有非常多的參數需要調整，如核函數的選擇、正則乘法等[8]。深度學習方法近年來備受關注，基于深度網絡結構的深度置信網（DBN），可以先利用容易獲取的無類標數據進行預訓練，通過多層網絡模型提取出圖像本身的許多細節信息，而這些信息對圖像的

準確識別至關重要，然后利用少量的有類標數據對整個網絡進行調整，使得DBN具有良好的分類能力。

在本文中，首先通過對基于多分辨率直方圖特征的SVM分類器模型方法的簡單敘述，概括的介紹了SPN良惡性分類問題；然后以SPN圖像作為輸入，將深度置信網絡應用于SPN良惡性分類。文章第二部分總結了SPN分類研究工作，歸納了之前提出的基于多分辨率直方圖特征的SVM分類器方法；第三部分詳細敘述了DBN原理以及本文提出的DBN對SPN良惡性分類過程；第四部分為本文的實驗設計與分析，以真實的醫院CT圖像為實驗數據，在SPN良惡性分類任務中，比較了基于DBN模型和基于SVM分類器兩種方法的分類效果，其中SVM分類器分別使用紋理特征和多分辨率直方圖特征，并通過ROC曲線進行了分類效果的評價；最后的第五部分對所做的工作進行了總結。

1 基于SVM的SPN分類介紹

1.1 SPN圖像特征

傳統的SPN圖像提取特征主要依據對SPN影像學的總結，但是SPN的CT圖像顯現出百般特征[9]。如圖1（a），右肺下葉見少量異性細胞，少許肺組織及增生的纖維組織，其中一小塊纖維組織內見異形細胞，為良性。圖1（b）患者右肺下葉可見腫瘤細胞，為小細胞癌，圖1（c）為腺癌，圖1（d）壞死組織中見異型細胞殘影，考慮為鱗癌，雖然后三幅CT圖像均為惡性結節，但是不同類型伴有不同的特征，為結節分類帶來難度。同時SPN影像學上往往出現同病異影和異病同影的情況，如圖2（a）所示，CT平掃肺窗影像中，發現病灶邊界清晰并且伴有粗毛刺的征象，而縱隔窗圖2（b）中，縱隔窗病灶不規則并且無明顯分葉征，術前考慮為肺結核瘤，術后證實為腺癌。為了避免假陽性和假陰性情況的發生，應在形態特征、空間位置特征的基礎上研究新的特征來描述孤立性肺結節圖像信息。

在CT影像中，組織和背景呈現出不同的灰度等級，每種組織的灰度值分布在一個范圍內并且相互覆蓋，所以可以考慮將紋理特征利用在解決SPN分類問題中[10]，但是單一的紋理特征并不是十分理想。為了分類器能更好的學習，與此同時考慮特征向量盡可能多攜帶信息，所以特征應具有足夠多的維數。然而，高維的傳統紋理特征計算復雜并且有效性差。因此，采用多分辨率直方圖來表示CT圖像中SPN的低層圖像特征。

多分辨率直方圖不僅能夠產生高維特征，而且在性能方面也具有優勢，如計算速度快、對噪聲健壯性好、空間效率高、存儲便捷，還能表征圖像的空間信息變化。由此可見SPN的CT圖像空間變化信息可通過多分辨率直方圖來反映，多分辨率直方圖的具體流程可參見[11]。

為了避免在建立分類超平面時動態范圍大的特征掩蓋動態范圍小的特征，在應用SVM分類器之前對提取的特征進行歸一化，使所有特征在訓練池中具有同等的地位，又能降低計算復雜度。歸一化處理公式如下：

λ=2×λ-λmax-λminλmax-λmin（1）

其中，λ為歸一化前的特征向量，λmax為特征向量的最大值，λmin為特征向量的最小值。經過式（1）歸一化處理后，歸一化的特征向量λ限制在[-1，1]內。

1.2 SVM分類器構建

SVM分類器引入核函數K（x，z）≡φ（x）Tφ（z），分類函數可表示為：

fSVM（x）=∑Ni=1aiK（x，si）（2）

其中，si（i=1，2，…，N）代表支持向量，利用K（°，°）得到決策函數，選取RBF作為核函數：

K（x，z）=exp（-‖x-z‖2/2σ2）（3）

其中σ≥0是控制核寬度的參數。

使用高維多分辨率直方圖特征的SVM分類器獲得了較好的分類效果。但是在使用SVM分類器之前，要對SPN圖像進行預處理以及特征提取，并且有監督的訓練模式對訓練數據集也有較高的要求，所以系統的處理環境和數據集對分類任務的影響很大。針對上述問題，本文考慮到深度置信網絡模型對輸入數據無特征提取要求，可以使用無類標數據進行預訓練，所以將其應用到SPN圖像的分類任務當中。

2 基于深度置信網絡的SPN良惡性分類

深度置信網（deep belief network， DBN）是Hinton等在2006年提出的一個具有層次特征的概率生成模型[12]，通過訓練神經元之間的權重，可以讓整個神經網絡按照最大概率來生成訓練數據。同時DBN是一種深層神經網絡，采用自底向上的傳遞，底層的神經元接收原始的特征向量，不斷向更高層次抽象，頂層的神經網絡形成易于組合的特征向量。通過增加層次就能夠使特征向量更高的抽象化，而且，每一層的網絡會弱化上一層的錯誤信息和次要信息，以確保深層網絡的精度[13]。DBN結構如圖1所示。其是由一系列疊加的受限玻爾茲曼機（restricted boltzmann machine， RBM）[14]和頂層的反向傳播（back propagation， BP）網絡[15]構成。自提出以來受到了越來越多的關注，并陸續應用于計算機視覺、語音識別、自然語言處理等領域，有著廣闊的發展和應用空間。

DBN的訓練包含預訓練和微調兩個步驟。首先，預訓練階段利用大量無類標信息數據，無監督地訓練每層RBM，將下層 RBM的隱層輸出作為上一層RBM可見層的輸人。微調階段則采用有監督學習方式對頂層的BP網絡進行訓練，將實際輸出與預期輸出的誤差逐層反向傳播，目的是調整網絡的權值[16]。DBN這樣做克服了BP網絡因隨機初始化權值而導致的局部最優問題。

2.1 受限玻爾茲曼機

受限玻爾茲曼機（RBM）由隱層v和可見層h兩種神經元節點構成。可見層的作用是輸入數據，隱層的作用是特征檢測。區別于玻爾茲曼機，RBM的特點是可見層和隱層之間采用全連接的方式，而在可見層內神經元之間和隱層內各神經元之間是無連接的，以二分圖的形式存在，這樣相比玻爾茲曼機更為高效[17]。RBM是一種基于能量的模型。假設可見層與隱層的神經元數目為I，J，vi表示第i個可見層神經元狀態，hj表示第j個隱層神經元狀態，那么特定一組（v，h）所構成RBM的能量函數可以表示為

E（v，h|θ）=-∑Ii=1aivi-∑Jj=1bjhj-∑Ii=1∑Jj=1wijvihj（4）

式（4）中，θ=wij，ai，bj是RBM的參數，wij表示vi節點和hj節點間的連接權值，ai和bj分別表示vi和hj的偏置值。如果用hj=0表示隱藏節點不活躍，hj=1活躍，則系統能量變化為：

ΔEj=Ehj=0-Ehj=1=aj+∑iwijvi（5）

通過能量函數可以得到（v，h）的聯合概率分布：

p（v，h|θ）=e-E（v，h|θ）/Z（θ）（6）

其中Z（θ）為歸一項。實際問題中最為關心的是p（v，h|θ）的邊緣分布p（v|θ），即觀測變量的分布。RBM一般通過迭代的方式訓練，目的在于得到θ=wij，ai，bj參數值，以擬合訓練數據。在訓練數據集（樣本數T）上求極大對數似然函數：

θ=argθmaxL（θ）=argθmax∑Tt=1lnp（v（t）|θ）（7）

對于各參數值的更新，采用Hinton提出的對比散度（constrastive divergence）算法[18]，具體規則如下：

Δwij=ε〈vihj〉data-〈vihj〉recon；

Δai=ε〈vi〉data-〈vi〉recon；

Δbj=ε〈hj〉data-〈hj〉recon。（8）

其中ε為預訓練學習率，〈·〉data為訓練數據集定義分布上的數學期望，〈·〉recon為重構后模型所定義分布上的數學期望。

2.2 BP神經網絡

BP網絡主要是對RBM預訓練階段所得特征向量分類，依據分類結果微調DBN每層參數。訓練BP網絡包括前向和后向兩個過程。將特征向量向前傳播，由輸出層得到分類結果，將該分類結果與預期結果相比較得到誤差值[19]。后向傳播是將所得誤差值逐層回傳，從而調整DBN參數。傳播過程中每層需計算一個靈敏度δ，然后將δ向下傳遞調整網絡權值。

輸出層中，第i各節點輸出為oi，預期輸出為di，則計算δ值可以表示為

δi=oi（1-oi）（di-oi）（9）

對于第m個隱層，計算δ的表達式為

δli=yli（1-yli）∑iwlijδl+1j（10）

在得到各層敏感度值之后，對DBN的更新如下

wlij=wlij+εfine-tuning×yliδl+1j；

blj=blj+εfine-tuning×δl+1j（11）

2.3 DBN對SPN良惡性分類

訓練DBN分類器包括預訓練和微調兩個步驟。預訓練通過無監督方法使得節點參數逐漸優化，完成后使網絡具有合適的初始值；微調階段通過有監督方式對網絡進行最后調整。用SPN圖像逐層訓練DBN分類器，過程如下：

Step1規整后的無良惡性類標的SPN圖像作為分類器最低層RBM的原始輸入；

Step2根據式（4） 生成隱藏特征向量；

Step3 RBM通過式（6） 把得到隱藏特征向量，反向重構原輸入向量；

Step4通過式（8） 更新RBM的權值參數，完成一次迭代；

Step5在迭代停止之前，底層RBM在訓練樣本集上反復執行1～4步；

Step6底層RBM訓練結束后，隱藏層生成的特征向量作為鄰近上層RBM的輸入向量，然后重復以上迭代過程；

Step7輸入帶有良惡性類標的SPN圖像，對經過預訓練初始化的網絡參數進行調整。

當整個DBN分類器訓練完成之后，就可以在測試數據集上對分類器的性能進行檢測，需要做的是將測試SPN圖片規整后輸入DBN分類器，觀測分類器輸出結果。

3 實驗結果與分析

本文實驗使用了2012年10月至2014年9月哈爾濱醫科大學附屬腫瘤醫院胸外科的CT檢查中孤立性肺結節患者480例，其中男262例，女218例，年齡在19到81歲之間。CT 檢查使用 GE Light Speed Pro16螺旋CT機掃描，電流為200mA，電壓為120kV，螺距 1.3，準直0.75mm，掃描層厚5.0mm，重建層厚1.25mm，層間距為1.25mm。

對含有孤立性肺結節的CT肺窗圖像區域進行預處理，首先需專家醫師手工從整幅CT圖像中勾畫出SPN大致區域，然后在勾畫的區域中選取若干種子點用區域生長法進行分割，經過專家醫師進一步對邊緣的修改，得到SPN區域，并把SPN區域邊界以外的灰度值定為零[11]。此次共提取600個SPN，其中良性樣本300個，惡性樣本300個，訓練樣本和測試樣本按照3∶1數量進行隨機分配。如表1所示。

本文深度置信網絡結構的設計是在文[20]網絡的基礎上，進行了適應性的修改，設置一個輸入層，4個隱藏層和一個輸出層。多次實驗對比后，隱藏層的節點數分別設置為800、400、200、50，每層迭代次數設置為10。共生矩陣有兩個重要參數 d和θ，θ代表方向，常取0°，45°，90°和135°四個具有代表性的方向。在提取圖像的灰度共生矩陣特征時，d=5，θ=0°，45°，90°，135°，計算SPN在4個方向上的灰度共生矩陣，提取5個紋理統計特征共計20維，將提取出的SPN圖像計算成768維的多分辨率直方圖特征向量。實驗將20維的紋理特征作為SVM的輸入進行分類，768維的多分辨率直方圖特征作為SVM的輸入進行分類，以SPN為中心，大小為64*64像素的圖像直接作為DBN的輸入進行分類。圖4顯示了DBN的部分訓練樣本，圖5顯示了NN（即上文的BP神經網絡）在60次迭代中，頂層DBN網絡的反向傳播誤差的變化情況，當完成60次迭代時，反向傳播誤差逐漸趨近平穩。不同分類器分類結果如表2所示。

從表2中可以看出多分辨率直方圖特征用于分類器中各方面性能遠遠優于紋理特征分類器；而直接以圖像作為輸入的DBN分類器在敏感性、特異性和準確度方面高于輸入多分辨率直方圖特征的SVM分類器。這說明深度置信網絡對SPN圖像特征的描述更準確。但是為了進一步分析DBN分效果，本文選用受試者工作特征曲線（receiver operation characteristic， ROC）曲線作為評定指標[21]，圖3為不同特征提取方式下的ROC曲線結果，表3列出了每條ROC曲線下的面積。結果顯示，三種不同分類器的ROC曲線下面積有所不同，同是SVM分類器，使用多分辨率直方圖特征的分類效果優于使用紋理特征的效果，而提出的DBN分類器在SPN圖像良惡性分類任務當中，分類效果優于SVM分類器的分類效果。

4 結 語

本文通過對以前所做工作的簡單總結，闡述了孤立性肺結節（SPN）圖像良惡性分類的問題，提出了一種基于深度置信網絡模型的SPN圖像良惡性分類方法。該方法的主要優勢在于可以使用無良惡性類標的SPN數據進行初始的無監督訓練，由于SPN圖像良惡性差異有時不明顯，有些細節特征難以提取，深度置信網絡能夠對SPN圖像底層特征有更好的抽象提取。最后經過具體的實驗對比發現，提出的基于深度置信網絡模型的分類器對SPN圖像良惡性分類取得了比SVM分類器更好的效果。在今后的研究工作當中，將以優化深度學習模型性能為主要目的，密切關注深度學習方法和理論的研究發展，再對SPN圖像分類問題做進一步的研究。

參 考 文 獻：

[1] AO D C F， DE Sampaio W B， SILVA A C， et al. Automatic Detection of Solitary Lung Nodules Using Quality Threshold Clustering， Genetic Algorithm and Diversity Index[J]. Artificial Intelligence in Medicine， 2014， 60（3）：165-177.

[2] 劉明，姜格寧. 孤立性肺結節的良惡性鑒別及處理策略[J]. 中國胸心血管外科臨床雜志， 2014（1）：102-106.

[3] MUKHOPADHYAY S. A Segmentation Framework of Pulmonary Nodules in Lung CT Images[J]. Journal of Digital Imaging， 2016， 41（4）：1-18.

[4] TAKAHIRO Nakajima，KAZUHIRO Yasufuku. Early Lung Cancer：Methods for Detection[J]. Clinics in Chest Medicine， 2013， 34（3）：373-383.

[5] AGARWAL R， SHANKHADHAR A， SAGAR R K. Detection of Lung Cancer Using Content Based Medical Image Retrieval Advanced Computing & Communication Technologies （ACCT）[C]// 2015 Fifth International Conference on. IEEE， 2015：48-52.

[6] SUMIAKI M， YOSHIHARU O， TAKATOSHI A. Computer-aided Detection of Lung Nodules on Multidetector CT Inconcurrent-reader and Second-reader Modes：A Comparative Study[J]. European Journal of Radiology， 2013：1332–1337.

[7] KESHANI M， AZIMIFAR Z， TAJERIPOUR F， et al. Lung Nodule Segmentation and Recognition Using SVM Classifier and Active Contour Modeling：A Complete Intelligent System[J]. Computers in Biology & Medicine， 2013， 43（4）：287-300.

[8] 韓書娜， 幺宏偉， 范劍英，等. 指紋圖像分割與增強算法[J]. 哈爾濱理工大學學報， 2011， 16（1）：98-101.

[9] BUM-CHAE Kim， YU Sub Sung， HEUNG-Il Suk. Deep Feature Learning for Pulmonary Nodule Classification in a Lung CT[C] //2016 4th International Winter Conference on Brain-Computer Interface. IEEE， 2016：1-3.

[10]JU W， XIANG D， ZHANG B， et al. Correction to Random Walk and Graph Cut for Co-Segmentation of Lung Tumor on PET-CT Images[J]. Image Processing IEEE Transactions on， 2016， 25（3）：1192-1192.

[11]劉露， 劉宛予， 楚春雨，等. 胸部CT圖像中孤立性肺結節良惡性快速分類[J]. 光學精密工程， 2009， 17（8）：2060-2068.

[12]HINTON， G. E.， OSINDERO， S.， Teh， Y.A Fast Learning Algorithm for Deep Belief Nets[J]. Neural Computation， 2006（18）：1527-1554.

[13]李雨童， 姚登舉， 李哲，等. 基于R的醫學大數據挖掘系統研究[J]. 哈爾濱理工大學學報， 2016，21（2）：38-43.

[14]SALAKHUTDINOV， Ruslan， A. Mnih， G. Hinton. Restricted boltzmann machines for collaborative filtering[C]// Proceedings of the 24th international conference on Machine learning ACM， 2007：791-798.

[15]IBRAHIM A O， SHAMSUDDIN S M， AHMAD N B， et al. Hybrid NSGA-II of Three-Term Backpropagation network for multiclass classification problems[C]//International Conference on Computer and Information Sciences. 2014：1-6.

[16]DONG N， SHANK E A， JOJIC V. A deep framework for bacterial image segmentation and classification[C]//International Conference on Internet Multimedia Computing and Service. ACM， 2015：306-314.

[17]ZIBA M， TOMCZAK J M， GONCZAREK A. RBM-SMOTE： Restricted Boltzmann Machines for Synthetic Minority Oversampling Technique[M]. Intelligent Information and Database Systems. Springer International Publishing， 2015：377-386.

[18]HINTON G E.Training Products of Experts by Minimizing Contrastive Divergence[J]. Neural Computation， 2002， 14（8）：1771-1800.

[19]WEN Hui， XIE Weixin， JIHONG Pe1i， et al. An Incremental Learning Algorithm for the Hybrid RBF-BP Network Classifier[J]. EURASIP Journal on Advances in Signal Processing， 2016（1）：1-15.

[20]ABDEL-ZAHER A M， ELDEIB A M. Breast Cancer Classification Using Deep Belief Networks[J]. Expert Systems with Applications， 2015， 46：139-144.

[21]潘清，陳卉，馬宇晶，等. 影像學診斷評價中的參數法ROC曲線分析[J]. 中國醫學影像技術， 2011， 27（8）：1694-1697.