基于卷積神經(jīng)網(wǎng)絡(luò)的顱內(nèi)出血亞類型研究分析

李秀芹 張慢麗 李琳

摘? 要：為輔助醫(yī)師診斷患者是否患有顱內(nèi)出血，迅速定位出血病灶的大體位置，提出以EfficientNet網(wǎng)絡(luò)為基礎(chǔ)的模型，使用群組歸一化技術(shù)改進(jìn)EfficientNet，并與膠囊網(wǎng)絡(luò)相結(jié)合構(gòu)建GECapsule模型，用于在計(jì)算機(jī)斷層掃描（CT）中進(jìn)行顱內(nèi)出血亞類型分類。仿真實(shí)驗(yàn)結(jié)果表明，GECapsule模型的收斂速度比EfficientNet網(wǎng)絡(luò)快，召回率和F1分?jǐn)?shù)與EfficientNet相比分別提升了2.18%、1.24%。該模型是一種準(zhǔn)確、高效的顱內(nèi)出血亞類型分類模型，有助于醫(yī)師減少初診的誤診率，輔助醫(yī)生做出恰當(dāng)適宜的臨床決策。

關(guān)鍵詞：顱內(nèi)出血亞類型分類;EfficientNet網(wǎng)絡(luò);膠囊網(wǎng)絡(luò);計(jì)算機(jī)斷層掃描

中圖分類號(hào)：TP18 ? 文獻(xiàn)標(biāo)識(shí)碼：A ? 文章編號(hào)：2096-4706（2021）18-0094-05

Abstract： In order to assist doctors in diagnosing patients with intracranial hemorrhage and quickly locate the general location of bleeding focus， this paper puts forward a model based on the EfficientNet network， improves EfficientNet by using Group Normalization technology， and constructs GECapsule model combined with capsule network， which is used to classify intracranial hemorrhage subtypes in computed tomography （CT）. Simulation results show that the convergence speed of GECapsule model is faster than that of the EfficientNet network， and the recall rate and F1 score are increased by 2.18% and 1.24% respectively compared with EfficientNet. This model is an accurate and efficient classification model of intracranial hemorrhage subtypes， which is helpful for doctors to reduce the misdiagnosis rate of initial diagnosis and assist doctors in making appropriate clinical decisions.

Keywords： classification of intracranial hemorrhage subtypes; EfficientNet network; capsule network; computed tomography

0? 引? 言

顱內(nèi)出血（Intracranial Hemorrhage， ICH）是一種相對(duì)常見的疾病，是由多種因素造成的，包括顱內(nèi)動(dòng)脈瘤破裂、顱內(nèi)腫瘤、高血壓、顱腦損傷等。根據(jù)顱內(nèi)出血位置的不同，ICH可進(jìn)一步分為五種亞類型[1]：腦實(shí)質(zhì)出血（Intraparenchymal Hemorrhage， IPH）、腦室內(nèi)出血（Intraventricular Hemorrhage， IVH）、蛛網(wǎng)膜下腔出血（Subarachnoid Hemorrhage， SAH）、硬膜外出血（Epidural Hemorrhage， EDH）和硬膜下出血（Subdural Hematoma， SDH）。不同的出血類型及程度決定了患者是否需要施行外科手術(shù)等干預(yù)措施[2，3]。顱內(nèi)出血的亞類型和病灶區(qū)域的準(zhǔn)確判斷是臨床醫(yī)生用以確定采取何種臨床治療方案的關(guān)鍵。目前顱內(nèi)CT的初步診斷多由低年資放射科醫(yī)生提供，后期再由高年資放射科醫(yī)生進(jìn)行審核，多項(xiàng)研究顯示，低年資放射科醫(yī)生提供的初步診斷存在不同程度的誤診[4]。

近年來，部分學(xué)者嘗試將人工智能算法應(yīng)用于顱內(nèi)出血亞類型分類。顱內(nèi)出血亞類型分類用以判斷CT圖像中是否存在顱內(nèi)出血情況并對(duì)其5種亞類型（IPH、IVH、EDH、SDH、SAH）進(jìn)行分類[5]。顱內(nèi)出血亞類型分類可以輔助放射科醫(yī)生診斷患者是否患有顱內(nèi)出血，并幫助醫(yī)生迅速定位出血病灶的大體位置。在顱內(nèi)出血亞類型分類算法的研究中，大多數(shù)研究采用卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)，或是通過引入三維卷積神經(jīng)網(wǎng)絡(luò)來提高顱內(nèi)出血亞類型分類的效果，然而，這些研究忽略了卷積神經(jīng)網(wǎng)絡(luò)在CT圖像上的特征表達(dá)能力不夠，通過結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)或引入三維卷積神經(jīng)網(wǎng)絡(luò)的方式來提高顱內(nèi)出血亞類型分類的效果，不僅對(duì)硬件基礎(chǔ)設(shè)施要求高，而且會(huì)加劇計(jì)算資源的消耗。

針對(duì)以上問題，本文提出以下方法來應(yīng)對(duì)這些挑戰(zhàn)：本文算法建立在較大數(shù)據(jù)集樣本基礎(chǔ)上，基于性能優(yōu)越的EfficientNet網(wǎng)絡(luò)。為節(jié)省計(jì)算資源，加快網(wǎng)絡(luò)收斂速度，提出使用群組歸一化技術(shù)（Group Normalization， GN）對(duì)EfficientNet網(wǎng)絡(luò)進(jìn)行改進(jìn)。針對(duì)卷積神經(jīng)網(wǎng)絡(luò)EfficientNet在CT圖像上特征提取能力不夠這一問題，將使用通過群組歸一化技術(shù)改進(jìn)后的EfficientNet網(wǎng)絡(luò)與膠囊網(wǎng)絡(luò)聯(lián)合重構(gòu)GECapsule模型。

1? 相關(guān)理論基礎(chǔ)

1.1? EfficientNet網(wǎng)絡(luò)分析

EfficientNet網(wǎng)絡(luò)利用復(fù)合系數(shù)統(tǒng)一縮放模型的深度、寬度和分辨率這三個(gè)維度，以實(shí)現(xiàn)卷積網(wǎng)絡(luò)在準(zhǔn)確率和效率上的優(yōu)化。一個(gè)卷積網(wǎng)絡(luò)的定義如式1所示。

其中，F(xiàn)i表示對(duì)第i層的卷積運(yùn)算，Li表示層Fi在第i個(gè)階段被重復(fù)了Li次。<Hi，Wi，Ci>表示第i層輸入的shape。EfficientNet將復(fù)合系數(shù)的確定轉(zhuǎn)變?yōu)閮?yōu)化問題，如式2所示。

其中，w表示卷積核大小，決定了感受野大小;d表示網(wǎng)絡(luò)的深度;r表示分辨率的大小。為了調(diào)節(jié)d、w、r，使得滿足內(nèi)存（Memory）和浮點(diǎn)數(shù)量（FLOPS）都小于閾值要求的目的，提出以下方法，如式3所示。

其中，α、β、γ作為常數(shù)可由小型的網(wǎng)格搜索來確定，為復(fù)合系數(shù)，用來控制模型的擴(kuò)增。以上是EfficientNet的復(fù)合擴(kuò)展方式。EfficientNet網(wǎng)絡(luò)有8個(gè)系列，分別為EfficientNet-B0、EfficientNet-B1、EfficientNet-B2、EfficientNet-B3、EfficientNet-B4、EfficientNet-B5、EfficientNet-B6、EfficientNet-B7，其中后面7個(gè)系列都是在EfficientNet-B0基礎(chǔ)上使用復(fù)合擴(kuò)展法對(duì)網(wǎng)絡(luò)進(jìn)行擴(kuò)展得到的。EfficientNet通過平衡網(wǎng)絡(luò)寬度、網(wǎng)絡(luò)深度和網(wǎng)絡(luò)分辨率得到更高的精度及效率，且參數(shù)量和浮點(diǎn)數(shù)量都下降了一個(gè)數(shù)量級(jí)[6]。這正是顱內(nèi)出血亞類型分類在臨床試驗(yàn)中需要用到的，因此本文選擇EfficientNet-B0網(wǎng)絡(luò)作為基礎(chǔ)模型，并在此基礎(chǔ)上進(jìn)行改進(jìn)，以訓(xùn)練出性能更好的網(wǎng)絡(luò)模型。

1.2? 膠囊網(wǎng)絡(luò)原理分析

與卷積神經(jīng)網(wǎng)絡(luò)相比，膠囊網(wǎng)絡(luò)是一種向量神經(jīng)網(wǎng)絡(luò)，它通過向量計(jì)算進(jìn)行誤差反饋，并用膠囊代替了池化操作，有效地減少了信息的損失[7]。其優(yōu)勢(shì)在于不僅能夠識(shí)別圖中所包含的目標(biāo)特征，而且能夠識(shí)別出目標(biāo)的位置姿態(tài)信息。膠囊網(wǎng)絡(luò)中的動(dòng)態(tài)路由算法迭代過程為：假設(shè)Capsule的輸入特征分別為u1，u2，…，un，下一層的特征向量是v1，v2，…，vk，Wj是變換矩陣。動(dòng)態(tài)路由算法如式4所示。

其中，squash是激活函數(shù)，如式5所示，我們使用squash激活函數(shù)對(duì)特征向量做一個(gè)壓縮。

2? 基于改進(jìn)EfficientNet網(wǎng)絡(luò)重構(gòu)膠囊網(wǎng)絡(luò)的顱內(nèi)出血亞類型分類

2.1? 數(shù)據(jù)分析與預(yù)處理

本實(shí)驗(yàn)使用的數(shù)據(jù)集來自北美放射學(xué)會(huì)組織發(fā)布的急性顱內(nèi)出血檢測(cè)比賽中的訓(xùn)練數(shù)據(jù)。所用的實(shí)驗(yàn)平臺(tái)為tensorflow。在訓(xùn)練中，網(wǎng)絡(luò)使用Adam優(yōu)化器，學(xué)習(xí)率設(shè)置為0.000 125，隨機(jī)梯度下降的批量大小設(shè)置為32。由于硬腦膜外出血類型在總數(shù)據(jù)集中的數(shù)量最少，故對(duì)其進(jìn)行過采樣。對(duì)于每一張CT掃描切片，我們使用腦窗（窗位=40，窗寬=80）、硬腦膜下窗（窗位=80，窗寬=200）和骨窗（窗位=40，窗寬=380）并將它們拼接成輸入圖像的三個(gè)通道輸入網(wǎng)絡(luò)中[8]。為評(píng)價(jià)模型在該數(shù)據(jù)集上的分類性能，實(shí)驗(yàn)中采用分類任務(wù)中常見的幾個(gè)性能指標(biāo)，包括準(zhǔn)確率、精準(zhǔn)度、敏感性、F1分?jǐn)?shù)和曲線下面積（AUC）[9]。

2.2? 改進(jìn)EfficientNet重構(gòu)膠囊網(wǎng)絡(luò)的模型結(jié)構(gòu)

本文選擇的卷積神經(jīng)網(wǎng)絡(luò)是當(dāng)前性能優(yōu)越的EfficientNet，之所以選擇該網(wǎng)絡(luò)是因?yàn)槠渚哂懈鼜?qiáng)的表征能力[10]，適應(yīng)不同的計(jì)算資源。在實(shí)驗(yàn)中先搭建EfficientNetB0網(wǎng)絡(luò)，使用預(yù)訓(xùn)練的imagenet權(quán)重。為防止過擬合，在EfficientNetB0輸出層之前添加一個(gè)Droupout層。EfficientNetB0網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

目前主流的卷積神經(jīng)網(wǎng)絡(luò)都會(huì)采用批量歸一化（Batch Normalization， BN）來解決訓(xùn)練過程中，中間層數(shù)據(jù)分布發(fā)生改變的問題，EfficientNet網(wǎng)絡(luò)也是如此。BN在訓(xùn)練過程中嚴(yán)重依賴批次（Batch Size），如果批次很小，計(jì)算出來的均值和方差不足以代表整個(gè)數(shù)據(jù)的分布，往往會(huì)惡化網(wǎng)絡(luò)性能，批次很大時(shí)，會(huì)超出內(nèi)存容量，耗費(fèi)更多的計(jì)算資源。而GN的優(yōu)點(diǎn)是不受批次的影響，當(dāng)批次取較小值時(shí)，GN的效果會(huì)比BN好。基于此，為加快網(wǎng)絡(luò)收斂速度，節(jié)省計(jì)算資源，文中提出使用GN層改進(jìn)EfficientNet網(wǎng)絡(luò)。針對(duì)EfficientNet網(wǎng)絡(luò)在CT圖像上特征提取能力不足，會(huì)在池化層丟失大量信息、降低空間分辨率這一問題，引入膠囊網(wǎng)絡(luò)。通過膠囊網(wǎng)絡(luò)，詳細(xì)的姿態(tài)信息（如精確的位置、大小等）被保存，使得模型能夠從輸入樣本中提取更精細(xì)的圖像特征，提高模型在CT圖像上的特征表達(dá)能力。綜上，本文提出使用GN層改進(jìn)EfficientNet并結(jié)合膠囊網(wǎng)絡(luò)構(gòu)建了GECapsule模型，用于準(zhǔn)確地進(jìn)行顱內(nèi)出血亞類型分類，GECapsule模型結(jié)構(gòu)如圖1所示。

其中，GECapsule模型結(jié)構(gòu)中MBConv塊的內(nèi)部結(jié)構(gòu)如圖2所示。

相較于原始EfficientNet網(wǎng)絡(luò)，GECapsule網(wǎng)絡(luò)參數(shù)變化不大。其中，EfficientNet網(wǎng)絡(luò)總參數(shù)和參與訓(xùn)練的參數(shù)分別為4 057 250和4 015 234，GECapsule網(wǎng)絡(luò)總參數(shù)和參與訓(xùn)練的參數(shù)分別為4 483 996和4 441 980。

2.3? 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文提出的GECapsule模型在顱內(nèi)出血亞類型分類上性能更好，將GECapsule模型與EfficientNet網(wǎng)絡(luò)進(jìn)行了仿真實(shí)驗(yàn)對(duì)比。

如圖3所示，從EfficientNet網(wǎng)絡(luò)和GECapsule模型的損失函數(shù)值對(duì)比圖中可以看出，GECapsule模型的收斂速度比EfficientNet網(wǎng)絡(luò)的收斂速度快。

EfficientNet網(wǎng)絡(luò)和GECapsule模型在顱內(nèi)出血亞類型分類任務(wù)中的準(zhǔn)確率在訓(xùn)練集和測(cè)試集上的結(jié)果對(duì)比如圖4所示，可知GECapsule模型的準(zhǔn)確率要高于EfficientNet網(wǎng)絡(luò)的準(zhǔn)確率。

EfficientNet網(wǎng)絡(luò)和GECapsule模型在顱內(nèi)出血亞類型分類仿真實(shí)驗(yàn)中召回率的對(duì)比如圖5所示，從圖中可以看出，GECapsule模型在顱內(nèi)出血亞類型分類任務(wù)中的召回率明顯高于EFFICIENT網(wǎng)絡(luò)。EfficientNet網(wǎng)絡(luò)和GECapsule模型在顱內(nèi)出血亞類型分類中的評(píng)價(jià)指標(biāo)F1分?jǐn)?shù)對(duì)比如圖6所示，可知GECapsule模型的F1分?jǐn)?shù)與EfficientNet網(wǎng)絡(luò)相比，前者要高于后者。

EfficientNet網(wǎng)絡(luò)和GECapsule模型在顱內(nèi)出血亞類型分類仿真實(shí)驗(yàn)中精準(zhǔn)率的對(duì)比如圖7所示，曲線下面積結(jié)果對(duì)比如圖8所示，可知精準(zhǔn)率和曲線下面積這兩個(gè)評(píng)價(jià)指標(biāo)在訓(xùn)練集和測(cè)試集上的結(jié)果大致相同。

為了更加清晰地對(duì)比EfficientNet網(wǎng)絡(luò)和GECapsule模型的性能，接下來以表格的形式展示兩者在顱內(nèi)出血亞類型分類上的實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)結(jié)果中各評(píng)價(jià)指標(biāo)的值取最后三次實(shí)驗(yàn)結(jié)果的均值。實(shí)驗(yàn)數(shù)據(jù)表明，GECapsule模型的性能比EfficientNet網(wǎng)絡(luò)的性能優(yōu)越，具體表現(xiàn)為在其他評(píng)價(jià)指標(biāo)結(jié)果大致相同的前提下，GECapsule模型的召回率比EfficientNet網(wǎng)絡(luò)提高了2.18%，F(xiàn)1分?jǐn)?shù)提高了1.24%。顱內(nèi)出血亞類型分類的實(shí)驗(yàn)結(jié)果如表2所示。

考慮到本實(shí)驗(yàn)使用的數(shù)據(jù)集正負(fù)樣本比例不均衡，所以實(shí)驗(yàn)結(jié)果應(yīng)更為關(guān)注精準(zhǔn)率與召回率這兩個(gè)指標(biāo)。F1分?jǐn)?shù)同時(shí)兼顧了分類模型的精準(zhǔn)率和召回率。GECapsule模型的F1分?jǐn)?shù)與EfficientNet網(wǎng)絡(luò)相比提高了1.24%，故在顱內(nèi)出血亞類型分類任務(wù)上GECapsule模型比EfficientNet網(wǎng)絡(luò)表現(xiàn)更好，性能更優(yōu)越。

2.4? 與其他方法對(duì)比

為展示GECapsule模型的優(yōu)越性，將GECapsule模型與DenseNet121網(wǎng)絡(luò)進(jìn)行對(duì)比，DenseNet是一種常用的卷積神經(jīng)網(wǎng)絡(luò)，多次被用于顱內(nèi)出血亞類型分類任務(wù)中，因此可以作為一種基準(zhǔn)模型。DenseNet121網(wǎng)絡(luò)的訓(xùn)練參數(shù)與GECapsule模型的訓(xùn)練方法相同，且使用相同的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。已知DenseNet網(wǎng)絡(luò)的總參數(shù)是7 043 654，可訓(xùn)練參數(shù)是6 960 006，比GECapsule的總參數(shù)和訓(xùn)練參數(shù)分別多2 986 404、2 944 772。

DenseNet和GECapsule在顱內(nèi)出血亞類型分類上的實(shí)驗(yàn)結(jié)果如表3所示，表中各評(píng)價(jià)指標(biāo)的值取最后三次實(shí)驗(yàn)結(jié)果的均值。由表3可知，GECapsule模型的F1分?jǐn)?shù)比DenseNet網(wǎng)絡(luò)提高了3.15%，GECapsule模型的其他各項(xiàng)指標(biāo)值比DenseNet網(wǎng)絡(luò)也都略有提高。因此，在顱內(nèi)出血亞類型分類上本文提出的GECapsule比DenseNet更具優(yōu)勢(shì)。

3? 結(jié)? 論

本文提出了一種建立在較大數(shù)據(jù)集樣本基礎(chǔ)上、用于顱內(nèi)出血亞類型分類的GECapsule模型。該模型在顱內(nèi)出血亞類型分類任務(wù)上收斂速度快，泛化能力強(qiáng)，有望應(yīng)用于臨床，幫助醫(yī)生提高工作效率，降低誤診率。本研究也有一定的缺陷和不足。實(shí)驗(yàn)中使用的數(shù)據(jù)集正負(fù)樣本比例是不平衡的，后續(xù)將在平衡正負(fù)樣本比例的基礎(chǔ)上展開實(shí)驗(yàn)，以探究能否進(jìn)一步提高顱內(nèi)出血亞類型分類的精度。

參考文獻(xiàn)：

[1] TAYLOR C A，BELL J M，BREIDING M J. et al. Traumatic Brain Injury-Related Emergency Department Visits， Hospitalizations， and Deaths - United States， 2007 and 2013 [J].MMWR.Surveillance summaries： Morbidity and mortality weekly report. Surveillance summaries/CDC，2017，66（9）：1-16.

[2] 常健博，王任直，馮銘.人工智能在顱內(nèi)出血診斷與治療中的應(yīng)用 [J].中國(guó)現(xiàn)代神經(jīng)疾病雜志，2019，19（9）：622-626.

[3] 李娟，湯翔宇，沈逸，等.基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法對(duì)顱內(nèi)出血的類型識(shí)別及血腫分割一致性的研究 [J].放射學(xué)實(shí)踐，2021，36（1）：7-12.

[4] 石立達(dá).基于CT影像的顱內(nèi)出血亞類型分類及分割算法的研究 [D].吉林：吉林大學(xué)，2021.

[5] 李代遠(yuǎn).深度卷積信念網(wǎng)絡(luò)在顱內(nèi)CT圖像分類中的應(yīng)用 [D].長(zhǎng)沙：湖南師范大學(xué)，2017.

[6] 葉紫璇，肖滿生，肖哲.基于EfficientNet模型的多特征融合肺癌病理圖像分型 [J].湖南工業(yè)大學(xué)學(xué)報(bào)，2021，35（2）：51-57.

[7] 邱存月.改進(jìn)膠囊網(wǎng)絡(luò)優(yōu)化分層卷積的亞健康識(shí)別算法研究 [D].沈陽：遼寧大學(xué)，2020.

[8] 陳銘林.基于深度學(xué)習(xí)的顱內(nèi)出血CT影像分析 [D].深圳：中國(guó)科學(xué)院大學(xué)（中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院），2020.

[9] 張鵬，徐曾春，胡平.融合密集連接與注意機(jī)制的顱內(nèi)出血分割方法 [J].小型微型計(jì)算機(jī)系統(tǒng)，2021，42（7）：1458-1463.

[10] 張嘉穎.基于EfficientNet的皮膚癌識(shí)別與分類 [J].現(xiàn)代信息科技，2021，5（9）：13-15.

作者簡(jiǎn)介：李秀芹（1967—），女，漢族，河南漯河人，教授，博士，研究方向：計(jì)算機(jī)網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)與信息處理;張慢麗（1994—），女，漢族，河南周口人，碩士研究生在讀，研究方向：數(shù)據(jù)挖掘;李琳（1995—），女，漢族，河南永城人，碩士研究生在讀，研究方向：數(shù)據(jù)挖掘。