基于改進VGG網絡的弱監督細粒度阿爾茲海默癥分類方法

鄧 爽，何小海，卿粼波，陳洪剛，滕奇志

（四川大學電子信息學院，成都 610065）

0 引言

據統計，在腦部疾病中，阿爾茲海默癥（Alzheimer’s Disease，AD）患病率極高［1］，到了晚期再發現沒有任何方法可以治愈，只能依靠藥物來延緩病情的惡化。根據預測，到2050 年，每85 人中就會有1 人受到AD 的影響［2］。臨床上一般依靠專業的醫生綜合分析判斷是否是AD 患者，這要求醫生具有豐富的臨床經驗；培養一個專業的醫生耗時很長而且診斷時也存在誤診的可能。基于此，目前依賴專業醫生問診的方法存在很多局限性，同時耗費的人力、物力、財力巨大；醫院社會迫切地需要高效智能化的設備輔助醫生診斷治療。

如今，主流的智能化研究方法包括機器學習和深度學習。運用機器學習方法對AD 圖像進行分析，這對網絡特征提取模塊的準確性要求較高，更有利于已知特征的數據分類。由于AD 腦部圖像的特征并沒有統一明確的標準，相比之下，擁有自動學習提取特征優勢的深度學習方法在這一領域應用越來越廣泛，比如卷積神經網絡［3］和稀疏自編碼器等。近年來，面對層出不窮的優秀分類網絡，僅采用卷積神經網絡進行分類的方法單一、不具競爭力?？紤]到AD 患者腦部結構與正常人腦部結構的細微差別，需要一種高效的多模塊結合的細粒度分類方法來識別AD 和正常（Normal Control，NC）人。

現在大批優秀的細粒度分類網絡被大家所熟知，比如NTS-net（Navigator-Teacher-Scrutinizer network）細粒度分類網絡，它是由Yang 等［4］提出的不需要邊界框的自監督學習方法，能準確地識別圖像的信息范圍，提供精確的信息域，但會造成網絡計算量過大，速率較慢，訓練時間變長。比如Lam等［5］通過細粒度網絡取得圖像的邊界框和候選框，接著利用長短時記憶（Long Short-Term Memory，LSTM）網絡將邊界框和候選框進行融合，這種需要利用其他的標注信息來獲得標簽的網絡通過增加成本來提高識別率，也會造成網絡運算量增大。所以，僅使用類別標簽，不依靠外加其他標注信息的弱監督細粒度分類算法［6］逐步受到這一領域的重視。

目前，具有代表性的弱監督細粒度分類網絡有以下幾種類型：

類型一是端到端的訓練，輸入對象經過特征提取函數映射后，獲得高階特征向量再進行編碼，以平移不變的方法對局部區域特征交互進行建模。首先提取尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）等圖像特征，再運用Fisher Vector、VLAD（Vector of Locally Aggregated Descriptors）、O2P（Online to Partner）等模型進行編碼。該方法操作簡單，但是對特征的提取不太精確。

類型二通過使用目標定位子網絡協助主干網絡，結合注意力機制獲取局部細節信息，從而加強整個網絡深入學習特征的能力。該方法不依靠局部標注信息，而采用注意力機制［7］、譜聚類［8］、空間轉換［9］等分析出具有判別性的特征信息，再將特征信息送入相關網絡結構，這將更有利于特征信息的提取。所以，類型二較優于類型一。

類型二中，Fu 等［10］提出了循環自注意力卷積神經網絡，采用相互加強的方法判別區域注意力和區域特征表示進行遞歸學習。但是，注意力區域只將重點關注部分剪裁放大，未考慮剩余區域的信息，這也將影響后續的特征關注。因此，Hu 等［11］提出的弱監督數據增強網絡（Weakly Supervised Data Augmentation Network，WSDAN）備受重視，該網絡在僅僅使用圖像標簽信息的條件下，通過弱監督注意力學習，運用注意力機制（包括注意力剪裁和注意力丟棄）引導數據增強，重點關注的特征區域將會更精細完善，并且加入中心損失函數和雙線性注意力池化操作訓練網絡模型。

研究表明，更清晰的特征選取和更精細的注意力引導機制應用在細粒度分類上十分有必要，所以本文在利用增強圖像數據的前提下，提出了基于改進VGG 的弱監督細粒度阿爾茲海默癥分類方法，以此提高阿爾茲海默癥的識別率。多次對比實驗結果表明，所提方法具有較好的分類識別率。

1 WSDAN架構

WSDAN 模型［11］僅僅使用圖片標簽信息進行弱監督學習，不增加額外的輔助信息。該網絡與傳統分類網絡的不同在于使用注意力圖引導數據增強，同時引入中心損失函數避免生成的注意力圖之間差別太大，并結合雙線性注意力算法強化局部重要特征的學習，整個網絡分為訓練過程和測試過程兩個部分。

在訓練過程中，原始圖像經過特征提取網絡獲得特征圖，每一張特征圖提取32 張注意力圖；接著，運用注意力機制引導數據增強幫助獲取更精準的細節特征，引導方式包括注意力裁剪和注意力丟棄；然后，將原始圖像和經注意力引導增強后的圖像共同作為網絡輸入參與訓練；最后，特征圖和注意力圖通過雙線性注意力池化算法運算得到特征矩陣，特征矩陣將作為線性分類層的輸入，對應圖1 中的（a）。

在測試過程中，總的分類概率由粗分類概率和細分類概率兩部分組成；粗分類概率是原始圖片經過訓練好的模型得到特征圖和注意力圖，接著將特征圖和注意力圖采用雙線性注意力池化（Bilinear Attention Pooling，BAP）算法點乘得出特征矩陣，特征矩陣直接進行池化、分類，對應圖1（b）中的路線①；細分類概率是網絡得到注意力圖后，要對注意力圖進行相加運算，求出注意力總和，再使用注意力總和引導數據增強實現注意力剪裁步驟，隨后將剪裁后的結果和原始圖片一起作為輸入對象送入測試網絡，最后特征圖和注意力圖點乘、池化、分類，得到細分類概率，對應圖1（b）中的路線②。

圖1 WSDAN架構Fig.1 WSDAN architecture

1.1 注意力機制引導數據增強

原始圖片載入弱監督注意力學習網絡，從每張特征圖中獲取32 張注意力圖，隨機選取其中的一張注意力圖Ak，對Ak按式（1）進行歸一化處理［12］，以避免奇異樣本對整個數據的影響，隨后采用注意力裁剪和注意力丟棄的方式使網絡注意到圖像局部區域，從而達到獲取更多的細微特征的目的。

利用注意力圖Ak引導原始圖片實現注意力剪裁和注意力丟棄。這兩類實現方式目標不同，注意力剪裁是將重點關注的特征區域剪裁下來，而注意力丟棄則是將當前特征區域抹去，使這塊特征區域不再受關注。具體來說：

采用式（2）進行注意力裁剪，閾值θc取值范圍為θc∈[0，1]，(i，j)是歸一化處理之后每個像素的值，Ck(i，j)是剪裁過程中需要標記的區域；當(i，j)大于閾值θc時，Ck(i，j)取1；當(i，j)小于等于θc時，Ck(i，j)取0，1 是需要剪裁區域，然后利用邊界框覆蓋剪裁區域并將重點關注的區域放大，即為裁剪圖像。

進行注意力丟棄時，使用式（3）運算，閾值θd取值范圍為θd∈[0，1]，Dk(i，j)是丟棄過程中需要標記的區域；當(i，j)大于θd時，Dk(i，j)取0；當(i，j)小于等于θd時，Dk(i，j)取1，取值為0 的特征區域為丟棄區域，將其消除以提高其他重點關注區域的識別率。

1.2 雙線性注意力池化

將通過弱監督注意力過程學習得到的特征圖F和注意力圖Ak進行特征融合，運用BAP 算法［7］如式（4），將特征圖和注意力圖點乘生成部分特征圖Fk，M表示注意力圖的數量。

該BAP 算法能夠加強局部重要特征區域的學習，減少不相關信息的干擾，提升網絡模型的分類性能。

為了解決特征融合后維數過高的問題，按照式（5）進行池化降維操作，提取出部分特征fk，最后將部分特征圖fk進行求和運算得到特征矩陣P，如式（6）。P由M個fk組成，Ak表示第k個注意力映射，F為提取的特征圖。經過整個BAP過程后，將特征矩陣P接入中心損失函數再送入分類網絡，求得每一個類別的預測概率。

1.3 中心損失函數的設計

在使用細粒度網絡進行圖像分類時，目標對象之間的細微差異一般在于對象的局部區域，范圍不會太大。中心損失函數［13］能有效地減小類內差異，增強同一類別間的相似性，同時保持類間距離。所以，中心損失函數的設計能夠讓每張特征圖固定在每個部分的中心，這樣生成的注意力圖之間不會有較大的差異，其表達式如（7）所示：

其中：fk是經過BAP 降維后的特征圖，ck表示第k個類別中心，M是mini-batch 的大小。在每一個批量訓練時，樣本特征中心距離的平方和越小越好，這等同于類內差異越小越好。模型訓練時，ck不斷地學習、修正，類似于梯度更新，是一個動態的學習更新過程，其計算式如式（8）：

中心損失函數的引入減少了類內的差異，而不能有效增大類間的差異性，這為訓練模型提供了更為精確的特征選擇，使得模型的識別率更高，分類性能更好。

2 圖像增強與網絡結構改進

2.1 圖像增強

由于AD 患者腦部區域和正常人腦部區域的差別很微小，因此，本文采用圖像預處理技術對圖片進行加強。在原始圖片送入模型之前，將圖片之間的局部差異放大，以提高AD 患者的分類識別率。

將患者和正常人的腦部圖片差異放大的關鍵之處在于將圖片之間信息差異放大，然而圖片中大部分信息主要集中在低頻部分，所以本文盡可能地利用圖片低頻信息進行特征提取，當然圖像平滑［14］可以幫助實現這一目的。經典的圖像平滑操作包括最小二乘多項式平滑、線性濾波、高斯濾波、雙邊濾波等。本文研究需要提取圖像相關的有用信息，去除多余信息量，所以采用平滑線性濾波最為合適。

原始圖像通過一個M×N的加權均值濾波器（M和N都為奇數值）［15］，其濾波過程如式（9）：

其中：f(x+s，y+t)是輸入圖像，x=[0，M-1]，y=[0，N-1]，以確保所有的像素點都進行了濾波處理；w(s，t)為加權系數，中心系數較大，周圍系數小；本文采用3× 3 的濾波尺寸，這樣每生成一個新的像素就會包含周圍8 個原始像素的加權貢獻，通過處理后的圖像平滑緩和，幫助提高模型的分類識別率。

圖2 展示了初始磁共振成像（Magnetic Resonance Imaging，MRI）圖片經過平滑（SMOOTH）和銳化（SHARPEN）增強后的效果對比，能直觀地看出SHARPEN 后的圖像強化了圖像的細節信息，同時也引入了更多的噪聲，使特征提取變得復雜，對AD 圖像而言反而添加了更多的干擾，造成分類性能變差。因此，本文選SMOOTH 方法用于增強圖像局部信息。

圖2 腦部MRI初始圖片與增強后對比Fig.2 Comparison of initial and enhanced MRI images of brain

2.2 網絡結構改進

VGG（Visual Geometry Group）網絡結構適用于圖像分類，具有很多優勢。首先，其網絡結構簡單，由5 層卷積層、3層全連接層和Softmax 層組成；采用3× 3 小卷積，在感受野相同時，迭代效率遠遠高于大的卷積核，減少參數量的同時提升網絡的表達能力，并且它的成功應用［16］說明，在一定的范圍內增加網絡的深度能夠提升模型的效果。

其次，由于每一層的通道數都在翻倍，最高達512 個通道，隨著通道數的遞增，將有利于提取出更多的有用信息，加之卷積池化操作對圖像進行降維，減小了網絡計算量，加快模型的訓練。另外，測試過程中將3 層全連接層改為3 個卷積，這可以導入任意寬高的圖像，不再受到限制。最后，根據已有研究的經驗來看，VGG 網絡在圖像分類領域被廣泛使用［17-19］；因此，基礎特征提取網絡本文選擇VGG 網絡，由于AD 和NC 之間的差異較小，要求對特征進行更充分的提取，考慮到VGG19 在深度上的優勢，所以在VGG19 網絡進行加強改進。VGG19 網絡結構如圖3 所示，共有5 個卷積池化模塊：Block1、Block2、Block3、Block4、Block5；每一個模塊都由3× 3 的小卷積核和池化層構成，其詳細網絡參數如表1所示。

圖3 VGG19網絡結構Fig.3 Structure of VGG19 network

表1 VGG19網絡參數Tab.1 VGG19 network parameters

VGG19 網絡特征提取部分如圖4 所示，其中，Block1 包含2 組64 通道，3× 3 的卷積層；Block2 包含2 組128 通道，3×3 的卷積層；Block3 包含4 組256 通道，3× 3 的卷積層；Block4包括4 組512 通道，3× 3 的卷積層；Block5 也包含4 組512 通道，3× 3 的卷積層。本文期望在低層卷積層中提取相對精細的卷積特征，選取Block2 模塊進行改進增強，最后在Block2 模塊中進行池化前再增加3 組128 通道，3× 3 的卷積層，如圖5 所示，以獲取更高級，更精密的特征。

圖4 VGG19網絡的特征提取部分Fig.4 Feature extraction part of VGG19 network

圖5 改進的VGG19網絡的特征提取部分Fig.5 Feature extraction part of improved VGG19 network

將原VGG19 網絡提取的腦部特征與改進后的VGG19 網絡提取的腦部區域特征通過Grad_CAM［20］和Grad_CAM++［21］進行可視化，對比效果如圖6 所示。

圖6 特征網絡可視化對比Fig.6 Visualization comparison of feature networks

從圖6 可以看出，對于同一張AD 患者腦部結構圖，從Grad_CAM、heatmap、Grad_CAM++和heatmap++四種形式能夠表明：經過改進增強后的網絡提取的特征范圍明顯更大、更精細，包含的有效信息更多。

3 實驗與結果分析

3.1 數據集

本文使用的數據來自華盛頓大學阿爾茲海默病的成像數據OASIS（Open Access Sesies of Imaging Studies）［22］。此數據集包含18～96 歲的416 名被試者，其中AD 被試者100 人，NC 被試者316 人。實驗中，本文選取AD 被試者和NC 被試者各100 個。所有數據都經過去除面部特征、校正和配準等處理。訓練集包含AD 1 600 張，NC 1 600 張，測試集包含AD 320 張，NC 320 張，共計3 840 張圖片。圖7 展示了數據集中測試集AD 和NC 的圖片，如果觀察者不是相關領域的專業人士，很難判斷出這兩種圖片的類別。

圖7 測試集中的圖片Fig.7 Images in test set

3.2 實驗環境和內容

模型訓練使用GPU 為Nvidia GTX1080Ti，顯存11 GB，CPU 為Inter Core i5 7500，顯存11 GB，使用CUDA 11.0，操作系統為Ubuntu 16.04，深度學習框架使用Pytorch-1.7.0。

為了和基本模型做對比，本文使用的網絡的特征提取部分采用VGG19，并將fc6、fc7、fc8 三個全連接層去掉。首先，在送入網絡之前，對數據的空間域進行增強，然后將數據裁剪 為224× 224，batchsize 大小設置為16，初始學 習率為0.001，epoch 為100，使用隨機梯度下降（Stochastic Gradient Descent，SGD）優化器，動量為0.9，gamma 值為0.9，權重衰減為0.005，每隔2 次迭代調整一次學習率。

整個訓練過程通過注意力引導數據增強結合雙線性注意力池化算法得到線性分類層的輸入，其關鍵步驟分為兩步：

步驟1 首先，將訓練的圖片，通過增強后的VGG19 網絡進行特征提取，得到特征圖；然后，經過注意力學習網絡將每一張特征圖生成32 張注意力圖，對應原圖目標中32 個不同的部位；最后，經過注意力引導數據增強，在生成的32 張注意力圖中，隨機選擇其中的一張進行注意力剪裁和注意力刪除，從而突出圖像重點關注區域。

步驟2 在得到特征圖和注意力圖后，采用雙線性注意力池化的方式，將特征圖和每個通道的注意力圖按元素點乘，相乘之后的結果再進行池化降維和拼接操作獲得最后的特征矩陣，作為線性分類層的輸入。

測試過程也分為兩個部分：

步驟1 將測試圖片輸入到訓練好的模型中得到每個類別的粗分類概率和32 張注意力圖。

步驟2 將步驟1 中得到的32 張注意力圖像素取平均值，根據平均值畫出截取框，將截取框上采樣還原后再放入訓練好的模型中，得到“基于注意力”的各個類別的細分類概率。

最后將上述兩步的粗分類概率值和細分類概率值取平均后作為分類結果。

3.3 結果分析

3.3.1 評價指標

為了評估該模型AD 分類的性能如何，本文將采用準確性（accuracy）、敏感性（sensitivity）和特異性（specificity）作為分類網絡的評價指標［23］。

準確性（accuracy）反映了訓練網絡準確分類AD 和NC 的數量，準確性越大，表明正確分類AD 和NC 的數量就越多，其表達式如式（10）所示：

其中：TP、TN、FP和FN分別代表真陽性、真陰性、假陽性和假陰性。

敏感性（sensitivity）代表了模型準確分類AD 患者的數量，敏感性（sensitivity）越大，診斷對的AD 病例就越多，其計算式如式（11）所示：

特異性（specificity）說明了訓練網絡正確分類正常人的數量，特異性（specificity）越大，正常人診斷為AD 患者的就越少，計算式如式（12）所示：

3.3.2 不同網絡的三大評價指標

為了表明本文所采用的細粒度分類網絡比傳統的分類網絡更有效，首先，將數據集送入傳統經典分類網絡VGG19和ResNet101，對三大指標進行比較。

傳統經典網絡三大指標如表2 所示，由于VGG19 網絡提取了更充分的特征，分類效果明顯優于ResNet101，所以對于特征提取網絡，本文研究考慮采用VGG19 作為基礎特征網絡。

表2 傳統的分類網絡性能對比 單位：%Tab.2 Performance comparison of traditional classification networks unit：%

本文采用WSDAN 作為基礎網絡模型，特征提取網絡有多種選擇，比較結果如表3 所示。

表3 使用不同特征提取網絡的WSDAN基礎網絡模型 單位：%Tab.3 WSDAN basic network models with different feature extraction networks unit：%

由表3 可以發現，相較于表2 僅采用傳統經典的分類訓練網絡來說，使用細粒度網絡區分類內差異較小的圖像具有一定優勢。

將經過增強的圖像導入上述3 個網絡模型進行訓練分類（導入增強圖像的網絡稱為WSDAN_d），結果如表4所示。

表4 增強圖像后模型的訓練結果與基礎網絡模型結果的對比 單位：%Tab.4 Comparison of training results of models with enhanced images and results of basic network models unit：%

由表4 能夠看出，經過空間域增強圖像后，在以上3 個模型中均有明顯的提升。深入分析發現，特征網絡VGG19 準確性提升了1.6 個百分點，ResNet101 的準確性提升了0.3 個百分點，Inception 特征網絡提升了1.1 個百分點；敏感性對比中，VGG19 提升了0.34 個百分點，ResNet101 降低了1.16 個百分點，Inception 增加了0.33 個百分點；特異性比較中，三種特征提取方式均有所提升；但是綜合前人經驗、網絡適用性、以及特征提取的精細程度和對比結果可知，VGG19 加深了網絡結構，能更加充分地提取特征，因此選取VGG19 網絡進行特征提取。

接下來的訓練模型中，特征提取網絡采用改進的VGG19網絡，數據集首先采用未經增強的原始圖像，結果如表5所示。

表5 使用改進的VGG19網絡的模型與使用基礎VGG19網絡的模型對比 單位：%Tab.5 Comparison of model with improved VGG19 network and model with basic VGG19 network unit：%

以上對比結果中顯示，改進后的網絡在準確性和特異性上明顯優于基礎網絡，尤其是特異性方面，相較于基礎網絡提高了2.82 個百分點，說明將正常人誤診為AD 患者的概率極小。

對VGG19 網絡Block2 模塊進行改進時，每增加一組128通道、3× 3 卷積層都進行對比，其結果如表6 所示。結果表明，增加3 組128 通道、3× 3 卷積層取得的效果最好。

表6 增加不同的卷積層對比 單位：%Tab.6 Comparison of adding different convolutional layers unit：%

接著，在改進的VGG19 網絡的基礎上，同時結合空間域增強圖像，效果如表7 所示。

表7 增強圖像結合改進網絡的模型與基礎網絡模型的對比單位：%Tab.7 Comparison of model with enhanced images combining improved network and basic network model unit：%

表7 結果表明，增強的圖像結合改進網絡模型與基礎模型相比，準確性提升了2.1 個百分點，敏感性提升了1.91 個百分點，特異性提升了2.19 個百分點，提升效果較為明顯。

綜上所述，本文采用的網絡在阿爾茲海默癥分類研究上無論是從分類準確率、正確分類AD 患者還是正確分類正常人來說，都是具有一定提升效果的。最后，在使用相同數據集的條件下結合不同分類網絡的三大指標比較結果如表8所示。

表8 不同分類網絡的指標對比 單位：%Tab.8 Comparison of indicators of different classification networks unit：%

從表8 中可知，本文的方法在該數據集上表現良好，敏感性高于WSDAN 有1.91 個百分點，高于NTS_Net 網絡有3.12 個百分點，高于ResNet101 有5 個百分點，高于VGG19有5.32 個百分點；準確性比WSDAN 提高了2.1 個百分點，比NTS_Net 提高了3.1 個百分點，比ResNet101 提高了4.5 個百分點，比VGG19 提高了4.2 個百分點；特異性比WSDAN 提高了2.19 個百分點，比NTS_Net 提高了4.99 個百分點，比ResNet101 提高了4.06 個百分點，比VGG19 提高了3.12 個百分點，表明本文方法有較好的分類準確率和良好的泛化能力。

4 結語

為了更有效地對阿爾茲海默癥核磁共振圖像進行分類，本文提出了一種基于改進增強的弱監督細粒度分類方法。首先，通過弱監督注意力學習網絡得到注意力圖，并且利用注意力引導數據增強，將原圖和增強后的數據都作為輸入數據進行訓練；然后，結合雙線性注意力池化算法將特征圖和注意力圖點乘得到各個部分的特征圖，采用卷積或者池化處理這些部分的特征圖；最后，將特征圖結合得到特征矩陣，作為線性分類層的輸入。本文的方法在OASIS 數據集表現良好，取得了96.40%的分類準確率，優于目前熱門的細粒度AD 分類。然而本文研究只是在數據和特征提取部分做了改進增強，沒有涉及網絡傳播中的修改，在下一步工作中可以繼續探索所提模型，使得本文網絡結構更加完善。