基于布谷鳥搜索和深度信念網絡的肺部腫瘤圖像識別算法

楊 健，周 濤,，郭麗芳，張飛飛，梁蒙蒙

(1.寧夏醫科大學 公共管理研究中心，銀川 750000； 2.寧夏醫科大學 理學院，銀川 750000)(*通信作者電子郵箱zhoutaonxmu@126.com)

0 引言

肺癌是當今對人類生命健康危害最大的惡性腫瘤之一[1]，醫學影像學方法檢查廣泛應用于肺部腫瘤的診斷，其中包括X線成像、電子計算機斷層掃描(Computed Tomography, CT)、正電子發射型計算機斷層顯像(Positron Emission Computed Tomography, PET)及磁共振成像(Magnetic Resonance Imaging, MRI)等[2]。目前CT 檢查是肺癌篩查最有效的手段之一[3]，而計算機輔助診斷系統可以利用計算機高速計算、自動處理醫學影像的優勢為醫生提供準確率較高的診斷結果，從而提高醫學影像診斷的客觀性和準確性[4]。

目前神經網絡[5-6]廣泛應用于肺部腫瘤計算機輔助診斷系統，在醫學圖像的計算機輔助診斷領域，盡管有各種優秀的算法，但是其特征提取復雜，深度學習[7]的出現有效解決這個問題，它是一種高效的特征提取方法，能夠提取數據中更加抽象的特征，對原始數據實現更本質的描述，同時深層模型具有更強的建模能力。深度信念網絡(Deep Belief Network, DBN)[8]是目前應用廣泛的深度學習方法之一，DBN能夠從原始數據中自動學習、提取特征，并且通過受限波爾茲曼機(Restricted Boltzmann Machine, RBM)的特征提取能力能夠在很大程度上解決淺層學習存在的問題并提高識別性能; 文獻[9]提出了一種應用于多類別放射性圖像的分類方法，首先使用基于小波變換和柯爾莫哥洛夫-斯摩洛夫(Kolmogorov-Smirnov, KS)檢驗的去噪技術來消除圖像噪聲和無關特征，然后用DBN學習無標簽特征，此方法能夠在臨床應用中分析噪聲眾多的放射性圖像，例如診斷與肺、乳腺、肌肉或骨骼相關的疾病；文獻[10]基于DBN提出了一種用于乳腺癌檢測的計算機輔助診斷方案，該方案為乳腺癌提供了有效的分類模型；文獻[11]結合主成分分析法提出的深度信念網絡模型降低了故障檢測模型的復雜度，提高了對未知故障類型的辨識精度, 但是在構建DBN模型時，其網絡權值通常采用隨機初始化的方式獲得，該方法使初始權值具有一定的指向性，并隨著DBN層訓練使這種指向性逐層傳遞，從而影響網絡的識別精度，同時權值的隨機初始化會使DBN在訓練過程中陷入局部極值，從而導致網絡學習困難。

為解決網絡權值的隨機初始化且易使網絡陷入局部極值的問題，本文在傳統DBN模型中引入布谷鳥搜索(Cuckoo Search, CS)算法[12]，利用CS的全局尋優能力對DBN的初始權值進行優化，將CS與對比散度(Contrastive Divergence, CD)算法結合實現DBN的預訓練，實驗將CS-DBN應用于肺部腫瘤CT圖像的識別，并從4個角度(訓練次數、訓練批次大小、DBN隱層層數和隱層節點數)驗證了基于CS-DBN的肺部腫瘤圖像識別算法的可行性和有效性。實驗結果表明，CS-DBN與傳統DBN相比有更好的識別效果。

1 基礎理論

1.1 受限玻爾茲曼機

受限波爾茲曼機(RBM)是一種概率生成模型，已經廣泛應用于圖像識別、語音識別、人臉識別和文檔處理等諸多領域，但是目前RBM主要用于對數據預處理時的特征提取和對神經網絡的參數初始化[13]，其最重要的應用是作為構造深度信念網絡的學習模塊。

RBM是一種隨機神經網絡模型，每個RBM分為兩層，輸入數據層稱為可視層，不可見層稱為隱層。RBM的層內無連接，層間彼此互連, 其中，可視層表示為v，隱層表示為h，hn表示第n個隱層,連接兩層的權值矩陣是ω，可視層與隱層的偏置分別為b和c。

Hinton[14]提出對比散度(CD)算法來訓練網絡參數θ=(wij,bi,cj)，首先通過可見層神經元向量值計算隱層神經元狀態，然后通過隱層神經元重建可見層神經元狀態，由重建后的可見層神經元再次計算隱層神經元狀態，即可獲取新的隱層神經元狀態。當給定可視層或隱層神經元狀態時，隱層與可視層單元的激活概率分別為：

(1)

(2)

其中函數f是sigmoid函數。

1.2 深度信念網絡

深度信念網絡是包含多隱層(隱層數大于2)的深層網絡模型，由若干層無監督的RBM單元和一層有監督的BP網絡組成，能夠將低層特征通過多層次結構形成更抽象的高層特征，實現對原始訓練數據的本質描述。

DBN的學習過程分為兩個階段: 第一階段的無監督特征學習是對于每個RBM的預訓練，預訓練使用貪婪無監督逐層學習算法自底層到頂層逐層訓練每個RBM，將前一個RBM的輸出作為其高一層RBM的輸入，自底層到頂層逐層實現每個RBM的訓練，從而實現對網絡參數的初始化，經過預訓練之后，原始輸入數據的特征被組合成更抽象的高層特征；第二階段將預訓練結束后得到的權重作為DBN的初始權重，采用BP(Back Propagation)算法自頂層向下層微調整個模型，進行有監督的訓練，從而形成整個DBN深層網絡結構。

與傳統神經網絡相比，深度信念網絡的優勢在于解決了傳統神經網絡在深度結構增加時訓練時間長和大數據處理慢等問題。

1.3 布谷鳥搜索算法

布谷鳥搜索(CS)算法是一種基于種群迭代的新興啟發式全局優化算法，可以有效求解最優化問題。CS算法靈感主要源于布谷鳥的寄生育雛繁殖策略和萊維(Lévy)飛行搜索模式[15], 采用萊維飛行產生步長，有利于跳出局部最優解，從而使算法具有較強的全局搜索能力；它不需要問題的梯度信息，容易實現，能以較大概率收斂到問題的全局最優解，為解決優化問題提供了新的途徑[16]。CS算法選用參數少、搜索路徑優、全局搜索能力強，是一種很有潛力的算法，已成為目前研究熱點[17]。

布谷鳥所尋找的鳥窩位置具有隨機性。在使用布谷鳥算法之前設定3個理想狀態：

1)布谷鳥每次只產一個蛋，并隨機選擇宿主鳥窩進行孵化。

2)每一代鳥窩中最好的一個將會保留到下一代。

3)可選鳥窩數目為固定值N，并且布谷鳥蛋有一定概率Pa被宿主發現，Pa∈[0, 1]。若宿主發現布谷鳥蛋則拋棄該鳥窩，隨機建立一個新鳥窩。

布谷鳥搜索算法的步驟如下：

(3)

其中:⊕為點對點乘法，α為步長控制量，主要控制步長大小和方向，Lévy(λ)是一個步長大小服從式(4)Lévy分布的隨機搜索向量。

L(s,λ)～s-λ; 1<λ≤3

(4)

其中s是由Lévy飛行得到的隨機步長。

3)選擇。產生隨機數r∈[0,1]，若rPa，則隨機改變當前鳥窩位置，獲得一組新的鳥窩位置；計算該組鳥窩位置的目標函數值，比較新鳥窩位置與全局最優位置的目標函數值，選擇最優的鳥窩位置作為當前最優鳥窩位置xbest。

4)判斷。如果當前最優鳥窩位置的目標函數值達到目標范圍或滿足迭代終止條件，則停止搜索，得到最終結果；反之, 則返回步驟2)繼續搜索。

2 基于CS的深度信念網絡模型

2.1 算法思想

傳統DBN模型的網絡權值采用隨機初始化的方式產生，其初始化權值帶有一定的指向性，且在訓練過程中容易使網絡陷入局部最優。為解決此問題并提升DBN性能，本文在傳統DBN模型中引入CS算法，提出一種基于CS的DBN模型(CS-DBN)，利用CS算法的全局尋優能力對DBN的初始權值進行優化，并將該模型應用于肺部腫瘤圖像的分類識別。首先將CS與CD算法結合進行DBN的逐層預訓練；在每個RBM訓練結束之后，利用BP算法對整個網絡進行微調，從而使網絡權值達到最優；最后在得到的DBN深層網絡頂部添加分類層，對輸入的預處理數據即肺部腫瘤感興趣區域(Region of Interest, ROI)進行分類，實現對肺部腫瘤CT圖像的識別。算法流程如圖1所示。

圖1 本文算法流程

2.2 關鍵技術

2.2.1 基于CS和CD算法的DBN預訓練

將CS與CD算法結合實現DBN的預訓練，即最底層RBM通過CS搜索獲得其權值ω1，然后利用CD算法對輸入數據進行訓練，通過Gibbs采樣得到隱層并重構顯層，將底層輸出作為高層輸入逐層搜索權值ωn并逐層訓練RBM，最終得到DBN的每一層權值并訓練每一個RBM，實現DBN預訓練。流程如圖2所示，具體步驟如下：

步驟1 初始化鳥窩個數N和鳥窩位置。

步驟2 構造目標函數fitness并產生初始最優解ωbest：采用RBM重構誤差構造目標函數fitness，并產生初始鳥窩位置的目標值，保存初始最優權值即為當前全局最優權值ωbest；RBM訓練過程中第n次迭代的重構誤差如下：

(5)

步驟3 通過Lévy飛行更新當前每個鳥窩，并根據目標函數找到當代最優權值，若當代最優權值優于當前全局最優權值，則替換全局最優權值ωbest。

步驟4 隨機數r∈[0,1]與布谷鳥蛋被宿主發現的概率Pa對比，若r>Pa，則隨機改變當前鳥窩位置，獲得一組新的鳥窩位置，計算該組鳥窩位置的目標函數值，比較新鳥窩位置與全局最優位置的目標函數值，選擇最優的鳥窩位置作為當前最優鳥窩位置即全局最優權值ωbest。

步驟5 如果當前最優鳥窩位置的目標函數值達到目標范圍或滿足迭代終止條件，則停止搜索，得到全局最優權值ωbest；反之,則返回步驟3繼續搜索。

步驟6 利用CD算法對輸入數據進行訓練，通過Gibbs采樣得到隱層并重構顯層。

步驟7 重復步驟1～6逐層搜索權值ωn并逐層訓練RBM，最終得到DBN的每一層權值并訓練每一個RBM，實現DBN預訓練。

圖2 基于CS和CD算法的DBN預訓練流程

2.2.2 基于BP算法的DBN微調和分類識別

將RBM訓練結束后得到的各層權重作為DBN權重，得到DBN深層網絡結構，利用DBN深層網絡結構對輸入數據進行有監督訓練，計算輸出與輸入數據的誤差，利用BP算法自頂層向下層修正其網絡權值，微調整個DBN，直到誤差被調整至設定范圍之內，微調完成；在得到的DBN深層網絡頂部添加分類層，利用BP算法調整分類層權值，對輸入數據進行分類，實現對肺部腫瘤CT圖像的識別。

3 仿真實驗

3.1 實驗環境

軟件環境：Windows 7 操作系統，MatlabR2013a；硬件環境：Intel Core i5 4670 3.40 GHz，8 GB內存，500 GB硬盤。

3.2 實驗數據

1)數據來源。從寧夏醫科大學總醫院核醫學科獲取肺部CT圖像3 000幅，其中包括經核醫學科醫生標記的1 500幅肺部腫瘤異常圖像和1 500幅非腫瘤圖像。肺部CT圖像如圖3所示。

圖3 肺部CT圖像

2)數據預處理。對肺部CT圖像截取ROI區域，將截取的ROI圖像去偽彩并轉化為28×28大小的灰度圖像；從3 000幅肺部CT圖像中隨機抽取300幅作為測試集，其余2 700幅作為訓練集。預處理后的部分圖像如圖4所示。

3.3 實驗結果及分析

本文實驗在傳統DBN模型中引入CS算法，利用CS算法的全局尋優能力對DBN的初始權值進行優化，并將該模型應用于肺部腫瘤CT圖像的分類識別。實驗從RBM訓練次數、訓練批次大小、DBN隱層層數和DBN隱層節點數4個角度驗證本文提出的基于CS-DBN的肺部腫瘤圖像識別算法的可行性和有效性，并對其識別效果進行討論分析。為避免實驗的偶然性，以下實驗結果為相同實驗環境下5次相同實驗的均值。

圖4 預處理后的部分圖像

1)實驗一。不同RBM訓練次數下CS對權值優化前后效果比較。

本實驗在固定DBN結構的前提下，設置1～150范圍內的RBM訓練次數，驗證CS對DBN初始權值的優化效果，探討CS對初始權值的優化效果隨不同RBM訓練次數的影響，并對其識別效果進行討論分析。實驗結果如表1所示。

實驗結果表明，CS對DBN初始權值優化前后，肺部腫瘤的識別率均隨著RBM訓練次數的增加呈明顯的上升趨勢，且特異度均有較大幅度的提升；相同RBM訓練次數下，CS優化DBN初始權值后網絡的識別效果明顯優于DBN隨機初始化網絡權值的識別效果，其識別率提高百分點的范圍是1.13～4.33，當RBM訓練次數達到100時，CS-DBN能達到96.33%的識別率，在一定程度上提高了傳統DBN對肺部腫瘤的識別率。綜上，本實驗從RBM訓練次數的角度驗證了基于CS-DBN的肺部腫瘤圖像識別算法的可行性和有效性。

表1 不同RBM訓練次數下CS對權值優化效果比較

2)實驗二。不同訓練批次大小下CS對權值優化前后效果比較。

本實驗在固定DBN結構的前提下，分別控制訓練批次大小為100、50、20、10，驗證CS對DBN初始權值的優化效果，探討CS對初始權值的優化效果隨不同訓練批次大小的影響，并對其識別效果進行討論分析。實驗結果如表2所示。

實驗結果表明，CS對DBN初始權值優化前后，肺部腫瘤的識別率均隨著訓練批次大小的減小呈明顯的上升趨勢，且特異度均有較大幅度的提升；相同訓練批次大小下，CS優化DBN初始權值后網絡的識別效果明顯優于DBN隨機初始化網絡權值的識別效果，其識別率提高百分點的范圍是2.00～3.34，且靈敏度和特異度在CS優化初始權值后均有一定程度的提高；當訓練批次大小為10時，CS-DBN能達到95.67%的識別率，在一定程度上提高了傳統DBN對肺部腫瘤的識別率。綜上，本實驗從訓練批次大小的角度驗證了基于CS-DBN的肺部腫瘤圖像識別算法的可行性和有效性。

3)實驗三。不同DBN隱層層數下CS對權值優化前后效果比較。

本實驗在固定DBN參數的前提下，分別控制隱層層數為2、3、4，驗證CS對DBN初始權值的優化效果，探討CS對初始權值的優化效果隨不同隱層層數的影響，并對其識別效果進行討論分析。實驗結果如表3所示。

實驗結果表明，相同隱層層數下，CS優化DBN初始權值后網絡的識別效果明顯優于DBN隨機初始化網絡權值的識別效果，其識別率提高百分點的范圍是1.07～3.34，且靈敏度和特異度在CS優化初始權值后均有一定程度的提高；當隱層層數為3時，CS-DBN能達到95.67%的識別率，在一定程度上提高了傳統DBN對肺部腫瘤的識別率。綜上，本實驗從DBN隱層層數的角度驗證了基于CS-DBN的肺部腫瘤圖像識別算法的可行性和有效性。

4)實驗四。不同隱層節點數下CS對權值優化前后效果比較。

本實驗在固定DBN參數的前提下，分別控制隱層節點數為50-50-50，100-100-100，200-200-200，驗證CS對DBN初始權值的優化效果，探討CS對初始權值的優化效果隨不同隱層節點數的影響，并對其識別效果進行討論分析。實驗結果如表4所示。

實驗結果表明，相同隱層節點數下，CS優化DBN初始權值后網絡的識別效果明顯優于DBN隨機初始化網絡權值的識別效果，其識別率提高百分點的范圍是1.40～3.34，且靈敏度和特異度在CS優化初始權值后均有一定程度的提高；當隱層節點數為100時，CS-DBN能達到95.67%的識別率，在一定程度上提高了傳統DBN對肺部腫瘤的識別率。綜上，本實驗從DBN隱層節點數的角度驗證了基于CS-DBN的肺部腫瘤圖像識別算法的可行性和有效性。

表2 不同訓練批次大小下CS對權值優化效果比較

表3 不同DBN隱層層數下CS對權值優化效果比較

表4 不同隱層節點數下CS對權值優化效果比較

4 結語

本文提出一種基于CS-DBN的肺部腫瘤圖像識別算法，利用CS的全局尋優能力對DBN的初始權值進行優化，解決了DBN的權值隨機初始化和易陷入局部極值的問題，同時實現了對肺部腫瘤CT圖像的識別。實驗結果證明CS-DBN與傳統DBN相比有更好的識別效果，且能夠在一定程度上提高肺部腫瘤的識別率，減少肺部腫瘤診斷的漏診和誤診現象。該方法對于肺部腫瘤的分類識別有較好的效果，后續需要繼續豐富實驗數據，優化模型結構和學習算法，將其應用于其他領域的圖像識別是今后的研究重點。