基于深度學(xué)習(xí)與多模態(tài)醫(yī)學(xué)影像融合識別閾下抑郁患者

尹小龍，李德民，圖 婭，單保慈

(1.鄭州大學(xué)物理學(xué)院，河南 鄭州 450001；2.北京中醫(yī)藥大學(xué)針灸推拿學(xué)院，北京 100029；3.北京師范大學(xué)認(rèn)知神經(jīng)科學(xué)與學(xué)習(xí)國家重點(diǎn)實(shí)驗(yàn)室，北京 100875；4.中國科學(xué)院高能物理研究所 北京市射線成像技術(shù)與裝備工程技術(shù)研究中心，北京 100049；5.中國科學(xué)院大學(xué)核科學(xué)與技術(shù)學(xué)院，北京 100049)

閾下抑郁(subthreshold depression, StD)是發(fā)生率高、危害廣泛的精神類癥狀，為介于正常和抑郁之間的一種狀態(tài)，臨床符合2項(xiàng)以上抑郁指標(biāo)但未達(dá)到抑郁癥診斷標(biāo)準(zhǔn)時(shí)即診斷StD[1]。目前主流觀點(diǎn)認(rèn)為StD是抑郁癥的前驅(qū)期，造成諸多負(fù)面影響，如影響個(gè)體健康、降低生活質(zhì)量及增加社會醫(yī)療成本等。相比健康人，StD患者發(fā)展為抑郁癥、焦慮癥等精神疾病的風(fēng)險(xiǎn)更高[2-3]。既往抑郁分類研究[4-6]主要使用傳統(tǒng)的機(jī)器學(xué)習(xí)方法，多針對抑郁癥(major depressive disorder, MDD)患者與正常對照者(normal control, NC)，對StD研究較少。近年來，深度學(xué)習(xí)(deep learning, DL)技術(shù)逐步興起，通過構(gòu)建多層神經(jīng)網(wǎng)絡(luò)，可從數(shù)據(jù)中自動學(xué)習(xí)更高維度和更抽象的特征，省去手工提取特征步驟，神經(jīng)網(wǎng)絡(luò)的層數(shù)越多，能夠提取到的特征越豐富，對于高維度神經(jīng)成像數(shù)據(jù)而言，較傳統(tǒng)機(jī)器學(xué)習(xí)方法更為簡便、有效[7-8]；其中適于圖像處理的卷積神經(jīng)網(wǎng)絡(luò) (convolutional neural network, CNN)算法在醫(yī)學(xué)影像領(lǐng)域得到了普遍應(yīng)用[9-11]。基于CNN算法，本研究嘗試通過輸入2種不同模態(tài)的影像學(xué)數(shù)據(jù)實(shí)現(xiàn)識別StD患者與正常人。

1 資料與方法

1.1 一般資料 收集于北京師范大學(xué)認(rèn)知神經(jīng)科學(xué)與學(xué)習(xí)國家重點(diǎn)實(shí)驗(yàn)室接受MR和fMR掃描的56例StD患者(StD組)和70名正常人(normal control, NC組)。StD組男14名，女42名，年齡18～62歲，平均(29.5±14.5)歲。納入標(biāo)準(zhǔn)：流行病學(xué)研究中心抑郁量表(center for epidemiologic studies depression scale, CES-D)評分結(jié)果≥16分，且漢密爾頓抑郁量表(Hamilton depression scale, HAMD)評分結(jié)果7～17分。排除標(biāo)準(zhǔn)：①其他精神疾病或頭部外傷史；②過去4周內(nèi)曾參與其他臨床試驗(yàn)；③服用抗精神病類藥物或接受其他系統(tǒng)治療；④其他需要治療的嚴(yán)重疾病；⑤有自殺計(jì)劃或行為；⑥處于妊娠或哺乳期；⑦M(jìn)R檢查禁忌證。NC組男21例，女49例，年齡18～63歲，平均(32.4±15.6)歲。納入標(biāo)準(zhǔn)： CES-D評分<16分；排除標(biāo)準(zhǔn)同StD組。本研究經(jīng)院倫理委員會批準(zhǔn)，受試者均簽署知情同意書。

1.2 儀器與方法 采用Siemens 3T MR儀。首先采集T1加權(quán)結(jié)構(gòu)像，采用梯度回波三維成像序列，掃描參數(shù)：TR 2 530 ms，TE 3.39 ms，F(xiàn)OV 256 mm×256 mm ，翻轉(zhuǎn)角70°，層厚1.33 mm，矩陣256×256，空間分辨率1.00 mm×1.00 mm×1.33 mm；隨后進(jìn)行8 min靜息態(tài)功能成像，掃描參數(shù)：TR 2 000 ms，TE 30 ms，F(xiàn)OV 240 mm×240 mm，翻轉(zhuǎn)角90°，層厚4.8 mm，空間分辨率3.00 mm×3.00 mm×4.80 mm，期間封閉受試者視聽，并確保其在掃描過程中處于清醒狀態(tài)。

1.3 數(shù)據(jù)預(yù)處理 對原始數(shù)據(jù)進(jìn)行預(yù)處理。結(jié)構(gòu)像預(yù)處理采用基于Matlab2017a的SPM 12軟件(https://www.fil.ion.ucl.ac.uk/spm/software/spm12/)，首先將原始DICOM數(shù)據(jù)轉(zhuǎn)換為NIfTI格式數(shù)據(jù)，再將轉(zhuǎn)化后圖像標(biāo)準(zhǔn)化到蒙特利爾神經(jīng)研究所(Montreal Neurological Institute, MNI)標(biāo)準(zhǔn)人腦空間坐標(biāo)上，進(jìn)行2 mm×2 mm×2 mm體素大小重采樣。功能成像預(yù)處理采用基于SPM12的DPARSF軟件(http://www.rfmri.org/DPABIDiscussion)，流程如下：①數(shù)據(jù)格式轉(zhuǎn)換，將原始DICOM數(shù)據(jù)轉(zhuǎn)換為NIfTI格式數(shù)據(jù)；②時(shí)間層校正；③頭動校正；④空間標(biāo)準(zhǔn)化，對T1像和平均功能像進(jìn)行標(biāo)準(zhǔn)化，并行3 mm×3 mm×3 mm體素大小重采樣；⑤回歸白質(zhì)和腦脊液信號；⑥采用4 mm半值全寬(full width at half-maximum, FWHM)高斯核空間平滑圖像；⑦去線性漂移，去除高頻生理噪音和低頻漂移；⑧低頻濾波(濾波頻段0.01～0.08 Hz)。

1.4 數(shù)據(jù)分析

1.4.1 結(jié)構(gòu)像 采用CNN算法分析結(jié)構(gòu)像數(shù)據(jù)，以3D-CNN對結(jié)構(gòu)像數(shù)據(jù)進(jìn)行訓(xùn)練，所用神經(jīng)網(wǎng)絡(luò)分為卷積層、池化層和全連接層3個(gè)部分，網(wǎng)絡(luò)結(jié)構(gòu)為10個(gè)網(wǎng)絡(luò)層，包含4個(gè)卷積層、4個(gè)池化層和2個(gè)全連接層。網(wǎng)絡(luò)結(jié)構(gòu)示意圖見圖1。

1.4.2 功能像 針對功能連接進(jìn)行分析。首先根據(jù)自動解剖標(biāo)記圖譜(automated anatomical labeling, AAL)將全腦劃分為116個(gè)腦區(qū)，提取每個(gè)腦區(qū)的時(shí)間序列，計(jì)算各腦區(qū)時(shí)間序列之間的相關(guān)性(Pearson相關(guān))，得到反映各腦區(qū)活動強(qiáng)度相關(guān)性的相關(guān)矩陣，并輸入構(gòu)建的人工神經(jīng)網(wǎng)絡(luò)中，后者為Kawahara提出的專用于分析相關(guān)矩陣的人工神經(jīng)網(wǎng)絡(luò)BrainNetCNN[12]，十字形卷積核。

所用神經(jīng)網(wǎng)絡(luò)分為卷積層、全連接層和Dropout層3個(gè)部分。其中Dropout層的作用是以一定比例隨機(jī)斷開部分神經(jīng)元連接，從而防止過擬合。所用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為6個(gè)網(wǎng)絡(luò)層，包含3個(gè)卷積層、2個(gè)全連接層和1個(gè)Dropout層。網(wǎng)絡(luò)結(jié)構(gòu)示意圖見圖2。

1.4.3 模態(tài)融合 網(wǎng)絡(luò)融合指將兩種模態(tài)的數(shù)據(jù)分別輸入到對應(yīng)的神經(jīng)網(wǎng)絡(luò)中，輸出中間提取到的特征圖，對兩種模型輸出的特征向量進(jìn)行拼接操作，再經(jīng)全連接層進(jìn)一步加權(quán)處理，直至得到最終分類結(jié)果。網(wǎng)絡(luò)融合可充分利用各種模態(tài)包含的信息，達(dá)到提升總體分類精度的效果。具體融合過程見圖3。

2 結(jié)果

本研究中納入StD組患者CES-D評分(25.61±5.96)分，HAMD(10.64±2.69)分；NC組CES-D評分(5.89±4.13)分。

將經(jīng)預(yù)處理的結(jié)構(gòu)像數(shù)據(jù)輸入到3DCNN中，隨機(jī)將數(shù)據(jù)集分成2部分，其中70%作為訓(xùn)練集，用于訓(xùn)練網(wǎng)絡(luò)模型和調(diào)整網(wǎng)絡(luò)參數(shù)，30%作為測試集，用于測試模型的分類效果和泛化能力。采用十折交叉法進(jìn)行驗(yàn)證，結(jié)果顯示單獨(dú)使用結(jié)構(gòu)像進(jìn)行分類的精度為73.02%。自經(jīng)預(yù)處理的功能像數(shù)據(jù)中提取相關(guān)矩陣，輸入到BrainNetCNN中，采用相同訓(xùn)練方法，單獨(dú)使用功能像數(shù)據(jù)進(jìn)行分類的精度為65.08%。將2種模態(tài)數(shù)據(jù)輸入到融合后的神經(jīng)網(wǎng)絡(luò)中，經(jīng)過150次訓(xùn)練后，十折交叉驗(yàn)證結(jié)果顯示最終分類精度可達(dá)78.57%。ROC曲線及相應(yīng)評價(jià)指標(biāo)見圖4，ROC曲線距離左上角越近，其AUC越大，代表模型的性能越好。不同模態(tài)評價(jià)指標(biāo)的對比結(jié)果顯示采用模態(tài)融合方法可提高分類精度(表1)。本研究方法與其他分類方法比較見表2。

圖1 3D-CNN網(wǎng)絡(luò)模型示意圖 輸入MRI數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)，輸出兩種分類結(jié)果之一，所用人工神經(jīng)網(wǎng)絡(luò)包含卷積層、池化層和全連接層,其中分類標(biāo)簽[0,1]代表StD患者，[1,0]代表正常人

圖2 BrainNetCNN網(wǎng)絡(luò)模型示意圖 輸入功能連接相關(guān)矩陣作為神經(jīng)網(wǎng)絡(luò)，輸出為StD患者和正常人2種分類結(jié)果之一, 所用人工神經(jīng)網(wǎng)絡(luò)包含卷積層、池化層與全連接層

圖3 網(wǎng)絡(luò)融合結(jié)構(gòu)示意圖 輸入預(yù)處理后的MRI和fMRI功能連接相關(guān)矩陣作為神經(jīng)網(wǎng)絡(luò)，中間的特征圖經(jīng)過全連接層處理輸出2個(gè)64×1的特征向量，再將2個(gè)向量拼接起來，得到1個(gè)64×2的向量，最后經(jīng)過全連接層處理得到最終二分類結(jié)果。所用人工神經(jīng)網(wǎng)絡(luò)包含卷積層、池化層與全連接層

圖4 采用模態(tài)融合方法得到的ROC曲線

表1 分類結(jié)果比較(%)

3 討論

CNN是主流DL代表算法之一[13]。本研究將CNN分別用于結(jié)構(gòu)MRI和fMRI，利用構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型分類識別StD患者，同時(shí)采用網(wǎng)絡(luò)融合技術(shù)綜合考慮不同模態(tài)影像數(shù)據(jù)所含特征[14]，結(jié)果顯示DL方法比傳統(tǒng)的機(jī)器學(xué)習(xí)方法表現(xiàn)更好，驗(yàn)證了所提出方法的有效性。

以往使用單一模態(tài)成像只能獲取部分信息。采用多種模態(tài)相結(jié)合，獲取的組織形態(tài)與功能信息互為補(bǔ)充，更有利于診斷與治療疾病。傳統(tǒng)CNN卷積核一般為矩形。本研究采用十字形卷積核，其優(yōu)勢在于能有針對性地分析各腦區(qū)之間的連接強(qiáng)度，從而提取出更具表現(xiàn)力的特征。本研究提出的多模態(tài)CNN集成分類效果比單一CNN表現(xiàn)更好，且綜合分析結(jié)構(gòu)像和功能像較單獨(dú)分析一種模態(tài)成像能夠獲得更高的分類精度，為診斷StD提供了一種新思路。

DL技術(shù)比傳統(tǒng)淺層機(jī)器學(xué)習(xí)技術(shù)更為強(qiáng)大，其優(yōu)勢在腦部疾病的診斷及研究中表現(xiàn)尤為突出[15]。相較于傳統(tǒng)機(jī)器學(xué)習(xí)方法，本研究采用DL方法訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型具有更好的性能表現(xiàn)。一方面，DL技術(shù)無需手工提取特征，省去了人工提取特征步驟，并可提取到更高維度的特征；另一方面，影像數(shù)據(jù)為高通量、高維度數(shù)據(jù)，利用DL技術(shù)能從數(shù)據(jù)中學(xué)習(xí)高度復(fù)雜和抽象的特征信息。

表2 分類方法比較

StD患者在腦部結(jié)構(gòu)變化之外還存在功能方面改變，例如在結(jié)構(gòu)方面，StD可致蒼白球和中央前回部分結(jié)構(gòu)變化，表現(xiàn)為灰質(zhì)體積減少[16]，在功能方面則可使默認(rèn)網(wǎng)絡(luò)與腹側(cè)紋狀體之間的功能連接顯著增強(qiáng)[17]。采用多種模態(tài)數(shù)據(jù)能夠綜合各方面特征，相較于單模態(tài)影像信息得到更優(yōu)結(jié)果。本研究結(jié)果顯示，采用多模態(tài)影像數(shù)據(jù)結(jié)合方法可比采用單一模態(tài)數(shù)據(jù)顯著改善準(zhǔn)確率、召回率、精確率及F1分?jǐn)?shù)。

本研究提出的方法具有以下優(yōu)點(diǎn)：影像預(yù)處理部分不需要分割，可降低計(jì)算成本，避免分割引起的誤差；通過融合不同模態(tài)，模型的最后幾層集合了2種模態(tài)的不同特征，展現(xiàn)出更為優(yōu)異的分類性能[18]。