基于教與學優化的可變卷積自編碼器的醫學圖像分類方法

李 薇，樊瑤馳，江巧永，王 磊，徐慶征

（1.西安理工大學計算機科學與工程學院，西安 710048；2.陜西省網絡計算與安全技術重點實驗室（西安理工大學），西安 710048；3.國防科技大學信息通信學院，西安 710106）

0 引言

自編碼器（AutoEncoder，AE）［1］是一種以復現輸入為輸出的神經網絡，它將輸入數據以向量形式編碼，然后重構原始圖像以學習其數據特征。AE 由輸入層、隱含層和輸出層組成。從輸入層到隱含層的轉換稱為編碼器，從隱含層到輸出層的轉換稱為解碼器。編碼器將輸入壓縮成一個潛在空間，解碼器是編碼器重構后的輸出。堆疊自動編碼器（Stacked AE，SAE）［2-3］是一種簡單自動堆疊編碼器模型。該模型通過獲得更深層的網絡模型，以提高算法的準確性。目前，SAE 在圖像分類領域具有顯著的性能。

大量文獻表明，相鄰信息是解決圖像相關問題的關鍵因素［4-6］。采用SAE 必須預先轉換成矢量形式，其次，不斷地堆疊不僅會加深其原有結構，也會逐漸降低性能，增加復現難度，從而難以有效地解決高維問題。為了解決這個問題，Masci 等［7］提出了卷積自編碼器（Convolutional AE，CAE），它可以很好地擴展到高維輸入，并直接應用于二維圖像結構。卷積神經網絡（Convolutional Neural Network，CNN）［8-9］是一種典型的深度學習模型，具有權值共享、局部感受野、池化等特點，在解決許多實際問題時表現出比較好的性能。

在CAE 中，編碼器由一個卷積層和一個池化層組成，解碼器只包括一個反卷積層。CAE 在處理數據方面具有一定優勢，然而在解決數據量大且復雜問題時性能會下降，因此很多學者提出了CAE 的改進算法。Kavukcuoglu 等［10］提出堆疊卷積稀疏編碼，其特點是在解決實時問題時推理速度更快；Du 等［3］提出一種基于分層訓練優化的層疊卷積去噪自編碼器（Stacked Convolutional Denoising AE，SCDAE），以解決傳統的監督模型需要大量標記數據的問題；Li 等［11］提出一種完全卷積的自編碼器體系結構，該結構采用端到端的方式，將特征學習和聚類組合在一起進行訓練，以獲得更好的性能；Lin 等［12］提出一種深度重構模型——用重建的自編碼器堆疊出卷積神經網絡（CNN for Reconstruction，CNNR），以解決空間信息的丟失問題；Yu 等［13］提出流形正則化堆疊去噪自編碼器（Manifold Regularized Stacked Denoising AutoEncoder，MRSDAE）以優化深度神經網絡（Deep Neural Network，DNN）參數和結構。

演化算法（Evolutionary Algorithm，EA）是近年來流行的模擬自然選擇和適者生存機制的隨機搜索算法，在數學優化領域受到廣泛關注，因此許多學者用演化算法優化CNN 的參數和結構。Sun 等［14］提出了一種靈活的CAE（Flexible CAE，FCAE），該算法利用粒子群優化（Particle Swarm Optimization，PSO）算法自動搜索CAE 的最優結構，并將最優結構堆疊為CNN，解決圖像分類問題；Gao 等［15］提出基于梯度優先粒子群優化（Gradient-priority PSO，GPSO）的CNN 識別算法以解決情緒任務。

由于深度神經網絡在圖像分析中具有顯著的效果，因此被應用于醫學圖像分析，以幫助醫護人員分析影像［16-17］。Moon 等［18］設計用于乳腺腫瘤診斷的計算機輔助診斷（Computer-Aided Diagnosis，CAD）系統，其特點是使用一種結合不同圖像內容表示的圖像融合方法。

醫學圖像是分析患者病情的一個重要依據，而醫學圖像分類是以醫學影像為基準識別圖像類別，以幫助醫生及時判斷患者病情，制定治療方案。然而現有醫學圖像數據集大多數沒有統一的分辨率，且不符合病情診斷的標準圖像，導致對病情無法做出及時準確的判斷，延緩了治療進度，因此通常采用人工對醫學圖像進行分類，而人工分類技術良莠不齊，影響分類精度。雖然深度神經網絡能夠用于醫學圖像分類，但分類精度不高，且需要大量時間進行手動調整深度學習模型參數，因此，自動優化神經網絡模型參數以提高醫學圖像分類精度是目前迫切需要解決的重要問題。

綜上所述，將演化算法用于神經網絡可以構建比較好的網絡結構，提高算法性能。然而經典的優化算法，如粒子群優化算法，其本身具有權重、學習因子等參數，而這些參數的選擇是否合適，將影響算法的性能。有鑒于此，本文采用參數較少的教與學優化（Teaching-Learning-Based Optimization，TLBO）算法［19］，并對經典的TLBO 進行改進，設計基于TLBO的結構優化（TLBO Architecture Optimization，TLBOAO）算法，用TLBOAO 優化卷積自編碼器的結構。在卷積自編碼器的基礎上，設計基于TLBO 的可變卷積自編碼器（TLBO Variable CAE，TVCAE），然后堆疊為卷積神經網絡，并將其用于求解醫學圖像分類問題，以提高分類精度。

本文的主要工作如下：

1）提出TLBOAO 算法，通過設計新的編碼策略，將可變卷積自編碼器的隱藏結構編碼到每個個體中，從而優化CAE結構。

2）提出TVCAE 算法，充分利用最優個體信息，使算法朝著更有希望的區域搜索，在有限計算資源下快速找到最優結構。

3）將TVCAE 算法用于求解醫學圖像分類問題。

1 相關工作

1.1 卷積自編碼器

CAE 包含三層：

1）卷積（conv）：卷積的目的是提取輸入圖片的不同特征。卷積層的輸出是對其輸入和權值的卷積運算（*），也稱為核或濾波器。

2）池化（pool）：池化用于降維，一個池化層可以是最大池化或平均池化，在其輸入的r×c窗口內進行采樣操作（r和c分別表示窗口的長與寬），減少輸出參數的數量。

3）反卷積（d_conv）：反卷積是對需要重建的圖像進行反卷積運算。

CAE 的數學形式為：

其中：conv(·)是卷積操作；pool(·)是池化操作；d_conv(·)是反卷積操作；σ是激活函數；b和c是偏置項；H和y分別是卷積學習特性和池化學習特征；是x的重建結果。

以圖像分類為例，用圖像的寬度、高度和通道數量表示一張圖片，為了便于分析，圖1 表示一個通道數為1 的二值圖像（Binary Image）的CAE 的結構。

圖1 CAE的結構Fig.1 Structure of CAE

1.2 教與學算法

TLBO 算法［19］是近些年比較流行的EA 之一。TLBO 算法模擬課堂教學和學習過程，分為教師教學和學生學習兩個階段。

教師教學階段是指教師通過教學提高學生的知識水平。教學過程如式（4）所示：

其中：Xi是第i個學生；ri由［0，1］內的隨機數組成；T是班級教師；TF是教師因子；Mean是當前班級平均成績。TF的更新如式（5）所示：

學生學習階段是指學生相互交流、學習知識，豐富知識。學習階段如式（6）所示：

其中：Xi和Xj分別表示第i個和第j個學生且i≠j；f（·）是要優化（最小化）的目標函數。

2 基于TLBO可變長度的CAE

傳統的深度學習網絡結構在優化不同數據集時需要對模型參數進行調優，而傳統手工調優的方式十分耗時，為了實現自動優化深度學習網絡結構和參數，文獻［20-22］利用粒子群優化算法和差分進化（Differential Evolution，DE）算法優化深度學習網絡參數，以提高算法性能。然而粒子群優化算法和差分進化算法自身有很多參數，且算法的性能在很大程度上依賴于參數，因此在進行優化時需要調整參數。同時，由于原始的CAE 長度是固定的，所以難以堆疊出復雜的新型卷積神經網絡結構，如Alexnet［23］和VGGnet［24］。有鑒于此，本文利用TLBO 算法參數少的特點，提出了TLBOAO 算法，并設計了TVCAE。

2.1 TVCAE算法

在基本的CAE 上引入TLBOAO 算法，從而形成TVCAE，其可變結構如圖2 所示。通過堆疊TVCAE，構造深層次的復雜網絡，減少訓練深層網絡結構的資源消耗。

圖2 TVCAE的結構Fig.2 Structure of TVCAE

2.2 TLBOAO算法

2.2.1 編碼策略

在初始化種群時，改進基本的TLBO 算法，設計一種新型編碼策略，即將一個TVCAE 的隱藏結構編碼到每個可變長度的個體中。表1 是TVCAE 中卷積層和池化層編碼信息。圖3 是3 個TLBOAO 中編碼個體示例，其中以卷積核大小作為卷積層參數，以步長作為池化層參數。圖4 是隱藏結構編碼，其中以卷積核大小和特征映射數量作為卷積層參數，以步長作為池化層參數，TLBOAO 算法總框架如算法1 所示。T表示教師，即最優個體。算法中池化層和卷積層的計算規則一致。

表1 在TVCAE的卷積層和池化層中編碼信息Tab.1 Encoded information in convolutional layer and pooling layer of TVCAE

圖3 三個來自TLBOAO的不同編碼信息的個體Fig.3 Three individuals with different encoded information from TLBOAO

圖4 TLBOAO的隱藏結構編碼Fig.4 Hidden structure coding for TLBOAO

2.2.2 初始化種群

個體的一個維度表示一層卷積層或者池化層，用TLBOAO 優化參數時，對每一維（每一層）的參數進行優化，并構造相應的層。初始化種群如算法2 所示。

2.2.3 教師教學階段

在教學階段，首先隨機選擇一個個體Xj，比較Xj、T（教師）和當前個體Xi的長度，如果三個個體的長度相等，則教學操作如下：

如果三個個體的長度不相等，令Min為三個個體的最小長度，教學操作如下所示：

其中：Xi和Xj分別表示第i個和第j個個體，且i≠j；M是當前班級平均成績，即所有個體每一維的平均值，如果某一維平均值為空，則分配一個隨機初值；D是Xi個體搜索空間的維數。圖5 是3 個來自TLBOAO 的不同編碼信息的個體（圖3）的平均成績的計算示例。以卷積層的計算為例，圖3 中3 個個體的三層卷積核平均值分別為，則圖5 對應的三層的卷積核平均值為4、3 和4。池化層和卷積層的計算規則一致。

圖5 圖3中3個個體的平均值Fig.5 Average values of three individuals in Figure 3

為了避免新產生的個體newXi的位置超出搜索空間，newXi更新如下：

其中：Xmax和Xmin分別表示搜索空間的上界和下界。

教學階段的偽代碼如算法3 所示。

2.2.4 學習階段

在學習階段，充分利用性能比較好的個體信息，以加快算法收斂。對于每一個個體Xi，其學習過程步驟是：首先，在當前種群中隨機選擇兩個個體Xj，Xq，且i≠j≠q，比較Xj和Xq，性能最差的個體定義為Xworst；再比較Xi，Xj和Xq，性能最好的個體定義為Xbest。如果Xbest、Xi和Xworst長度相等，則學習規則如下所示：

如果Xbest、Xi和Xworst長度不相等，令Min是Xbest、Xi和Xworst中的最小長度，則學習規則如下所示：

其中：Xmax和Xmin分別是搜索空間的上界和下界。學習階段的偽代碼如算法4 所示。

2.2.5 算法評價

將優化得到的個體構建成CAE 結構，其中，目標函數為重建誤差函數，誤差損失值為適應度值，依據FCAE［14］設置，本文算法的訓練次數設置為5，偽代碼如算法5 所示。

2.2.6 教師的深度訓練

在算法得到的最優個體即教師的基礎上，提取卷積層和池化層，再加上全連接層，構建一個CNN 結構，并使用該結構解決醫學圖像分類問題。通過深度訓練網絡模型對醫學圖像進行分類，深度訓練過程與算法TLBOAO 評價過程相同，只是使用更大的訓練次數，例如100 或200。偽代碼如算法6 所示。

3 實驗與結果分析

3.1 實驗數據集

由于實驗設備的限制，本文僅采用上海交通大學發布的醫學影像領域圖像數據集［25］中的乳腺超聲數據集（Breast ultrasound images，BreastMNIST）［26］，如圖6 所示，將1×500×500 的圖像重新調整為1×28×28。醫學影像領域圖像數據集是具有知識共享（Creative Commons，CC）許可的多個開放式醫學圖像數據集。通過對乳腺癌超聲掃描圖像進行分類，可以在早期發現乳腺癌，并讓患者得到及時的治療，減少早期死亡人數。實驗使用二元分類，即正常和良性屬于正常，惡性屬于不正常，進行分類識別。

圖6 來自BreastMNIST數據集的示例Fig.6 Examples from BreastMNIST dataset

本文將數據集按照7∶1∶2 的比率劃分為訓練、驗證和測試集。

3.2 實驗參數設置

實驗主要對比同類型的卷積自編碼器模型，包括卷積自編碼器（CAE）［7］、靈活的卷積自編碼器（FCAE）［14］，以及需要手動調整參數的Alexnet［23］和VGGnet-11［24］。其中：CAE 是最早的卷積自編碼器，通過堆疊為更深層次的卷積神經網絡，進行圖像分類任務；FCAE 是將粒子群優化算法與CAE 結合優化CAE 網絡，進行圖像分類任務；Alexnet 和VGGnet-11 是經典的卷積神經網絡，具有較好的圖像分類效果。

實驗參數設置如下：

1）FCAE 中權重w的值為0.729 84，c1 和c2 的值均為1.193。

2）由于本文算法要與同類型的需要手動調整參數的卷積神經網絡（CNN）結構進行對比，因此在優化每一個個體時，卷積層的最大層數設置為5，池化層的最大層數設置為1。同時，由于計算設備的限制，TVCAE 實驗的批處理大?。╩ini-batch size）設置為32，迭代次數（epochs）設置為5，依據最先進的CNN［14，27］的約定，實驗只對卷積層的參數進行研究，池化層的內核大小以及步長設置為2。

3）卷積層的特征映射數量設置為［20，100］，具有寬度和高度相同大小的卷積核設置為［2，5］，L2 項的系數設置為［0.000 1，0.01］，L2 表示防止過擬合問題的權重衰減正則化項。在進行CNN 模型訓練時，批處理大?。╩ini-batch size）設置為32，迭代次數（epochs）設置為100。

3.3 實驗結果

表2 是本文算法TVCAE 與CAE、FCAE 在對乳腺癌超聲掃描圖像分類精度對比結果。TVCAE 將卷積層、池化層和一層全連接層進行組合，形成一個新的CNN 框架進行圖像分類。實驗結果表明，與CAE 和FCAE 相比，TVCAE 分類精度提升了0.78 個百分點。圖7 是TVCAE、FCAE 和CAE 分類精度趨勢圖，圖7 顯示TVCAE 算法在40 次迭代時就趨于穩定，并且分類精度高于FCAE 和CAE。

圖7 單層網絡的分類精度準確率趨勢Fig.7 Classification accuracy trend of one-layer networks

本文在使用CAE、FCAE 和TVCAE 對應的堆疊層進行分類精度對比時，是將每個算法的卷積層、池化層和兩層全連接層進行組合，形成一個新的CNN 框架進行圖像分類。表3是堆疊的TVCAE 與經典算法Alexnet、VGGnet-11，及同類型CAE 算法、FCAE 算法的實驗對比結果。其中：CAE-2、FCAE-2 和TVCAE-2 分別代表2 層的堆疊網絡。FCAE-3 和TVCAE-3 代表3 層堆疊網絡，與Alexnet 和CAE-2 相比，TVCAE 分類精度提升了3.12 個百分點；與FCAE-3 相比，TVCAE 分類精度提升了1.56 個百分點；與VGGnet-11 相比，TVCAE 分類精度提升了0.78 個百分點。實驗結果表明，使用優化的TVCAE 三層堆疊網絡，不僅可以快速構建出較深的網絡結構，并且分類精度可以達到不錯的效果。

表2 TVCAE與CAE和FCAE的BreastMNIST分類精度對比Tab.2 Comparison of classification accuracy of TVCAE，CAE and FCAE for BreastMNIST

表3 堆疊TVCAE與Alexnet、VGGnet-11、CAE、FCAE的BreastMNIST分類精度對比Tab.3 Comparison of classification accuracy of TVCAE with Alexnet，VGGnet-11，CAE and FCAE for BreastMNIST

圖8 是TVCAE-3、FCAE-3、Alexnet、VGGnet-11 和CAE-2分類精度趨勢圖，圖8 顯示TVCAE-3 算法雖然出現波動，但算法可以快速達到比較高的準確率。在大多數情況下TVCAE-3 優于FCAE-3、Alexnet、VGGnet-11 和CAE-2，且TVCAE-3 的分類精度多次達到0.9 以上。綜上所述，相較于其他算法，TVCAE 算法采用可變長的編碼方案，在演化的不同階段，選擇不同的演化策略，并充分利用優秀個體信息，因此性能比較好。

圖8 復雜網絡的分類精度準確率趨勢Fig.8 Classification accuracy and accuracy trend of complex networks

本文利用教與學優化算法無參數、優化性能高的特點，優化卷積自編碼器的模型參數：一方面，減少模型參數設置所需人力和時間，降低系統開銷；另一方面，改變原有卷積自編碼器模型的固定結構，通過優化模型參數和結構以構建更加有效的可變長度卷積自編碼器。在此基礎上，堆疊深度卷積神經網絡進行圖像分類。實驗結果表明，所采用的優化算法相較于同類型算法，能夠得到更有效的效果；所構建的卷積神經網絡相較于其他經典方法，能夠快速得到更為準確的分類結果。

4 結語

深度學習和計算機視覺技術的快速發展，為醫學研究提供了新的研究方向，自動精準識別醫學圖像已成為醫學診斷的重要技術手段之一。為了進一步提高醫學圖像分類方法性能，本文提出了一種基于教與學優化的可變長度的卷積自編碼器算法。首先，改進基本的卷積自編碼器和教與學優化算法，用教與學優化算法優化卷積自編碼器網絡參數和結構；其次，將卷積自編碼器進行堆疊，構造新的卷積神經網絡；最后，將本文算法應用于醫學圖像分類。實驗結果表明，本文提出的算法在圖像分類精度方面優于多種經典方法，是可行且有效的。