多模態網絡融合在輕度認知障礙分類中的應用

王鑫　高原　王彬　孫婕　相潔

摘 要：針對早期輕度認知障礙（MCI）根據醫學診斷認知量表評估極有可能無法判斷的問題，提出了一種多模態網絡融合的MCI輔助診斷分類方法?；趫D論的復雜網絡分析方法在神經影像領域的應用已得到廣泛認可，但采用不同模態的成像技術研究腦部疾病對大腦網絡拓撲結構屬性的影響會產生不同結果。首先，使用彌散張量成像（DTI）與靜息態功能磁共振成像（rs-fMRI）數據構建大腦結構和功能連接的融合網絡。然后，融合網絡的拓撲屬性被施以單因素方差分析（ANOVA），選擇具有顯著差異的屬性作為分類特征。最后，利用支持向量機（SVM）留一法交叉驗證對健康組和MCI組分類，估算準確率。實驗結果表明，所提方法的分類結果準確率達到94.44%，相較單一模態數據法的分類結果有明顯提高。所提方法診斷出的MCI患者在扣帶回、顳上回以及額葉和頂葉部分區域等許多腦區表現出顯著異常，與已有研究結果基本一致。

關鍵詞：多模態;輕度認知障礙;彌散張量成像;靜息態功能磁共振成像;融合網絡;支持向量機;分類

中圖分類號： TP181文獻標志碼：A

Application of multimodal network fusion in classification of mild cognitive impairment

WANG Xin， GAO Yuan， WANG Bin， SUN Jie， XIANG Jie*

（College of Information and Computer， Taiyuan University of Technology， Taiyuan Shanxi 030024， China）

Abstract： Since the early Mild Cognitive Impairment （MCI） is very likely to be undiagnosed by the assessment of medical diagnostic cognitive scale， a multimodal network fusion method for the aided diagnosis and classification of MCI was proposed. The complex network analysis method based on graph theory has been widely used in the field of neuroimaging， but different effects of brain diseases on the network topology of the brain would be conducted by using imaging technologies based different modals. Firstly， the Diffusion Tensor Imaging （DTI） and resting-state functional Magnetic Resonance Imaging （rs-fMRI） data were used to construct the fusion network of brain function and structure connection. Then， the topological properties of the fusion network were analyzed by One-way ANalysis of VAriance （ANOVA）， and the attributes with significant difference were selected as the classification features. Finally， the one way cross validation of Support Vector Machines （SVM） was used for the classification of healthy group and MCI group， and the accuracy was estimated. The experimental results show that， the classification result accuracy of the proposed method reaches 94.44%， which is significantly higher than that of single modal data method. Many brain regions， such as cingulate gyrus， superior temporal gyrus and parts of the frontal and parietal lobes， of the MCI patients diagnosed by the proposed method show significant differences， which is basically consistent with the existing research results.

Key words： multimodal; Mild Cognitive Impairment （MCI）; Diffusion Tensor Imaging （DTI）; resting-state functional Magnetic Resonance Imaging （rs-fMRI）; fusion network; Support Vector Machine （SVM）; classification

0 引言

輕度認知障礙（Mild Cognitive Impairment， MCI）是指有輕度的記憶功能和認知功能損傷，是正常衰老與阿爾茲海默癥（Alzheimers Disease， AD）的過渡狀態[1]。研究表明，每年約有10%至15%的MCI患者轉為AD，明顯高于正常老年人的轉化率（約為1%至2%）[2]。因此，MCI的準確診斷對于盡早治療以推遲病情的惡化是非常重要的。實際上，MCI的診斷依舊是基于醫生臨床診斷和心理測量學評估，極大地浪費了人力物力資源，并且主觀性的判斷很容易造成誤診以及漏診，導致病情的延誤。盡管MCI患者的記憶力表現出現輕微減退，但這并不會對患者的日常生活造成實質性影響，所以根據醫學診斷認知量表評估極有可能無法判斷早期MCI的認知情況。因此，更好地發展醫療輔助診斷工具就更為必要，同時這些工具的開發在衡量新療法的功效中可以發揮重要作用。

大腦的解剖結構和功能是密切相關的，解剖結構決定了功能，而大腦功能又是解剖結構的表征[3-4]。近幾年，基于圖論分析（Graph Theory Analysis）的發展為人腦連接組的研究提供了所必需的分析方法[5]。對大腦結構網絡的研究，有助于對大腦不同區域之間真實的結構連接的直觀了解，進而研究腦結構網絡的拓撲性質。而大腦靜息態功能網絡的研究，對理解人腦在不同狀態下的功能活動規律并探索大腦的功能組織模式有重要作用。因此大腦的結構網絡和功能網絡都可以對整個大腦的狀況進行描述，并且在各種大腦相關疾病的病理生理機制的研究中有重要作用。然而，使用不同模態來研究大腦相關疾病對腦網絡拓撲屬性影響卻可能會產生不同的結果[6]。此外，機器學習方法如支持向量機（Support Vector Machine， SVM）算法結合彌散張量成像（Diffusion Tensor Imaging， DTI）、功能磁共振影像（functional Magnetic Resonance Imaging， fMRI）的研究方法已廣泛應用于MCI診斷中[7-9]。

崔會芳等[8]使用基于靜息態fMRI的有向腦功能網絡對拓撲屬性進行組間差異分析，將異常的網絡拓撲屬性值作為分類特征，對正常對照（Normal Control， NC）、早期輕度認知障礙（Early Mild Cognitive Impairment， EMCI）和晚期輕度認知障礙（Late Mild Cognitive Impairment， LMCI）進行了基于SVM的分類研究。Alam等[10]利用結構磁共振影像（structural Magnetic Resonance Imaging， sMRI）數據提取腦萎縮的體積特征對NC與MCI進行了分類研究。武政等[7]通過靜息態fMRI以及sMRI數據構建腦功能網絡，將異常的網絡拓撲屬性和萎縮腦區的灰質體積作為分類特征，對NC、MCI和AD進行分類。現有研究大都是采用單一模態或針對大腦的某一個解剖區域進行研究，然而這種方式的弊端是獲取的特征信息較為單一，且不利于沒有先驗知識的研究者進行研究。雖然也有研究采用了多模態數據進行研究，但只將不同模態下提取到的特征進行了簡單的合并，沒有充分發揮多模態特征的優勢。

本文研究擬對大腦結構連接網絡和功能連接網絡進行融合，從多模態的角度更全面更可靠地研究MCI的病理生理機制，更準確有效地找到MCI患者在腦網絡拓撲結構上所發生的變化。本文提出了一種多模態網絡融合的MCI輔助診斷分類方法，通過圖論的方法，分析融合網絡的拓撲屬性差異，形成特征向量，構建分類模型，實現對阿爾茨海默癥患者的自動識別，以此來輔助MCI的診斷，為MCI的診斷提供新視角。

1 本文方法

本文基于多模態融合腦網絡的分類方法所采用的技術路線如圖1所示。首先，收集被試的DTI和fMRI數據，分別做預處理構建結構和功能連接;接著，融合結構和功能連接得到融合網絡，計算網絡全局屬性和局部屬性，并篩選NC、MCI兩組中存在顯著差異的全局屬性，與局部屬性作為分類特征。

1.1 數據采集

本文研究采用的DTI與靜息態fMRI數據均來源于阿爾茨海默癥神經影像計劃（Alzheimers Disease Neuroimaging Initiative， ADNI）數據集（http：//adni.loni.ucla.edu/）。該公開數據集旨在通過對患者的各種醫學成像數據的分析來研究AD的病理生理機制，并且此數據得到了研究者的廣泛使用，其中包括46例MCI被試以及80例NC被試。被試的年齡、性別、教育、簡易精神狀態檢查表評分（Mini Mental State Examination， MMSE）、臨床癡呆評定量表評分（Clinical Dementia Rating， CDR）、社會活動功能量表評分（Functional Activities Questionnaire， FAQ）如表1所示。表1中，對NC組與MCI患者進行統計分析，a組為雙尾卡方檢驗，b組為單因素方差檢驗，P值為顯著性差異。兩組被試在教育、性別上沒有顯著差異，而在年齡、MMSE、CDR和FAQ量表評分上有顯著的差異。

數據采集使用通用電氣醫療系統磁共振掃描儀，磁場強度為3T。DTI數據掃描參數設置為：Flip Angle=90.0°;Gradient Directions=48.0;Matrix=256×256×4320;FOV=0.9×0.9mm2;Slice Thickness=2.0mm;Echo Time（TE）=61ms;Repetition Time（TR）=7800ms。靜息態fMRI數據掃描參數設置為：Slice Thickness=3.4mm;Echo Time（TE）=30ms;Repetition Time （TR）=3000ms;Slices=48。

1.2 數據預處理

DTI數據的預處理使用基于FSL5.0和Diffusion Toolkit的PANDA（a Pipeline for Analysing braiN Diffusion imAges）工具（http：//www.nitrc.org/projects/panda）[11]。圖像預處理步驟為：首先，進行剝頭皮、頭動及渦流校正;隨后，進行重采樣，將圖像配準至加拿大蒙特利爾神經病學研究所（Montreal Neurological Institute， MNI）標準空間;然后，進行高斯平滑。

fMRI數據的預處理基于DPARSF（Data Processing Assistant for Resting-State fMRI） v2.3工具[12]。針對每例數據的預處理流程為：首先，將前10s的功能圖像丟棄;隨后，將數據進行時間片校正和頭動校正，只保留水平頭動小于1mm或者轉動小于1°的被試;接著，將圖像使用平面回波成像（Echo Planar Imaging， EPI）模板空間配準至體素為3mm的MNI標準空間;然后，進行高斯平滑、低頻濾波（0.06～0.11Hz），以降低圖像數據中的低頻漂移及高頻的生物噪聲。

1.3 網絡構建

本文研究將分別構建大腦結構連接網絡和功能連接網絡，并且基于個體水平來構建大腦網絡。

1.3.1 結構連接網絡構建

節點是網絡中最基本的元素，本文研究采用自動化解剖標記（Automated Anatomical Labeling， AAL）模板[13]，將預處理后圖像劃分為90個大腦區域，其中左右半球各45個腦區。然后，采用PANDA工具包進行白質纖維追蹤來構建確定性結構網絡。使用確定性纖維束追蹤算法計算出腦區間的纖維數（Fiber Number， FN）與部分各向異性指數（Fractional Anisotropy，FA），由此得到一個90×90纖維束數量矩陣與一個90×90部分各向異性指數矩陣。在重建結構連接網絡（Structural Connectivity， SC）過程中，當兩個節點之間的纖維束數量大于3時，則存在連接[14]，并且FA作為結構連接網絡（SC）權重。

1.3.2 功能連接網絡構建

在本文研究中，不同大腦區域間的功能關系由大腦區域的時間序列之間的同步性來表示。與結構網絡構建類似，功能網絡構建也需要通過AAL模板將大腦劃分為90個腦區，將每個腦區內所包含的所有體素的時間序列進行平均。然后，使用多元線性回歸分析的方法來消除部分由頭動和全局腦信號引起的誤差。最后，計算每兩腦區間的平均時間序列的皮爾遜相關性，由此得到一個90×90的相關矩陣。將功能連接網絡（Functional Connectivity， FC）中的節點與結構網絡中的節點以類似的方式進行處理[14]，并將相關矩陣的絕對值作為功能連接網絡（FC）的權重。

1.4 網絡融合

網絡融合旨在將每個被試的大腦結構連接網絡和功能連接網絡的信息集成到融合網絡中。首先，將結構連接矩陣與功能連接矩陣進行Min-Max標準化，計算過程如式（1）所示：

z=（x-min）/（max-min）（1）

式中：z為標準化結構連接網絡矩陣SCz或標準化功能連接網絡矩陣FCz中的任一元素，即SCzi， j或FCzi， j。SCzi， j表示標準化結構連接網絡矩陣SCz中第i行、第j列的元素;FCzi， j表示標準化功能連接網絡矩陣FCz中第i行、第j列的元素。x為結構連接網絡矩陣SC或功能連接網絡矩陣FC中與z對應的元素;min為結構連接網絡矩陣SC或功能連接網絡矩陣FC中元素的最小值;max為結構連接網絡矩陣SC或功能連接網絡矩陣FC中元素的最大值。

然后，對得到的標準化結構連接網絡矩陣SCz和標準化功能連接網絡矩陣FCz進行融合，從而得到基于結構連接網絡與功能連接網絡的融合網絡矩陣FSC，計算過程[15]如式（2）所示：

FSC=ω（SCz）2+（1-ω）（FCz）2（2）

式中：ω為權值，取值范圍為0～1。取ω=ωm滿足min{COV（（ωm·SCzi， j），（1-ωm）·FCzi， j）}，即：當標準化結構連接矩陣與標準化功能連接矩陣的方差最小，期望標準化結構連接矩陣與標準化功能連接矩陣的數據盡可能地相似。其意義是考慮到個體差異的情況，盡可能地將結構和功能對大腦描述狀況進行融合，同時將大腦結構連接網絡和功能連接網絡的異常連接信息都盡可能集中在融合網絡中。ωm的取值范圍為[0.01，0.99]，步長為0.01，并與m=1，2，…，99的取值一一對應（即ω1=0.01， ω2=0.02，…，ω99=0.99）。同時，為了排除由于噪聲而不是病理原因造成的連接，本文研究對每一組被試的連接進行非參數符號檢驗并去除假連接[16]。

1.5 網絡統計特征及分析

在構建融合網絡之后，為了更好地描述復雜網絡的拓撲結構需要一些方法來檢測網絡特征，因此對網絡進行屬性的計算。使用不同的網絡拓撲屬性指標可以從不同方面對融合網絡進行刻畫和分析。在本文用到了一些最基本的概念，如：1）節點度描述了網絡節點之間互相連接的情況，刻畫了主要網絡演化的特性，節點在網絡中的地位越重要則節點的度也就越大[5]。在加權網絡中，節點度表示一個節點與其他節點連接的強度[17]。2）介數中心度是用來度量網絡中節點對網絡相對重要性的統計指標。3）標準化聚類系數反映了網絡的局部功能的差異。4）標準化路徑長度代表了整個網絡信息的傳遞效率。5）大腦網絡的小世界屬性代表了一個高效的系統，其中大腦網絡中功能分離與整合并存。為確保能夠將分離模塊內的信息進行高效整合，大腦網絡需要使得模塊化處理以及模塊之間快速的信息傳輸共存[18]。

1.6 分類模型

SVM分類器是基于統計學習理論的機器學習算法，其主要思想是尋找一個超平面，使兩組不同的高維數據盡可能地被超平面隔離，其特色在于通過核函數實現特征空間映射，通過結構風險最小化原則來盡可能地提升分類器的泛化能力，即較少量的訓練樣本也可以確保測試集的較小誤差，從而有效地解決了分類中常見的小樣本、高維數、非線性和局部極小點等問題，因此此分類器被MRI信號分類研究廣泛使用[19-21]。而在本文研究中，由于樣本量的限制，使用SVM算法更為合適。

融合網絡基于全局屬性與局部屬性的計算產生了大量的原始特征。在構建分類器模型的過程中，特征的數量也是對模型進行評價的重要指標之一。因為低維度的特征空間將減小模型的復雜度，以此減少分類器訓練和測試的時間，并且原始特征集中可能有不相關或冗余的特征降低分類器的性能;所以本文研究在構建分類器模型的過程中，按照特征的貢獻度將特征排序，先加入貢獻度最高的特征，再加入較低貢獻度的特征。全局屬性和局部屬性的特征選擇結果分別如表2、表3所示，本文研究將融合網絡屬性的單因素方差分析（One-way ANalysis of VAriance， ANOVA）結果中的F值和P值作為特征貢獻度高低的依據，其中F值是方差分析中的一個指標，F值越大結果越可靠。

為此，本文研究采用單因素方差分析方法，對NC和MCI兩組融合網絡的拓撲屬性進行比較分析[22]，提取差異顯著的全局屬性以及局部屬性作為分類特征（如表2～3所示特征選擇結果），選擇SVM徑向基核函數（Radial Basis Function， RBF）算法來構建分類模型。在本文研究中，通過對分類結果使用留一法交叉驗證來對分類模型的性能進行評價。每次從待分類樣本中選擇一個用于測試樣本集，其余作為訓練樣本集，對樣本進行分類實驗以獲取分類靈敏度、特異度、準確率、受試者工作特征（Receiver Operating Characteristic， ROC）曲線和ROC曲線下面積（Area Under Curve， AUC）。對所有樣本都重復進行一次，并將所有結果取均值用以評價分類性能。這一方法已經廣泛地應用在同類研究中。

2 實驗與結果分析

2.1 特征選擇結果

對NC和MCI兩組的融合網絡的拓撲屬性進行單因素方差分析，取P值小于0.001為兩組被試間差異具有統計學意義，提取差異顯著的全局與局部屬性作為分類特征，結果如圖2所示。其中MCI的全局屬性如節點度等出現了顯著差異，如圖2（a）所示顯著差異的全局屬性;如圖2（b）所示，在融合網絡的局部屬性分析中MCI患者的顳下回、丘腦等14個腦區的節點度發現顯著降低。

2.2 SVM分類結果

不同網絡模型的SVM分類結果如表4所示。

將所得到的差異全局屬性和局部屬性作為特征使用交叉驗證對患者以及正常被試進行分類，每次隨機從待分類樣本中選擇一個樣本作為測試樣本集，其余為訓練樣本集，然后得到準確率為93.65%;在加入MMSE、CDR、FAQ量表得分之后，準確率為94.44%。在使用同樣的選擇特征方法且同樣的數據集情況下，基于結構網絡對MCI進行分類其準確率為72.22%，而基于功能網絡的MCI分類準確率為77.78%，均小于融合網絡的分類準確率。在多模態但不使用文中融合方法而將分別從結構網絡與功能網絡選擇出的特征進行合并的情況下對MCI進行分類，準確率為80.16%，小于基于融合網絡的分類準確率。

2.3 結果分析

本文研究結果表明，MCI患者的融合網絡中的一些屬性都與正常對照組存在一定差異，這些差異與已有的研究結論較為一致。其中在全局屬性上，MCI患者的節點度下降，說明患者的大腦部分區域已經開始萎縮。基于節點進一步分析，本文研究找到了節點度屬性顯著下降的主要腦區，其中主要包括扣帶回、顳上回以及額葉和頂葉部分腦區等，可見MCI的萎縮模式與AD相似，富含核心節點的大腦區域（如頂葉、扣帶回和額葉）在MCI和AD患者中容易受損[23]。此外，現有研究表明，MCI患者的認知功能受損的情況并非由個別腦區受損萎縮所導致，而是在全腦中多個腦區均有不同程度的損傷。文獻[16]的研究發現，MCI患者都存在廣泛的異常連接，這些異常連接涉及周圍區域，可能會導致他們經歷早期的記憶衰退，但是患者的核心連接相對保存了下來;并且，失常腦區大多與記憶、聽覺、語言、注意力等認知功能聯系緊密，部分腦區屬于默認網絡，而默認網絡與各種高級認知密切相關。本文研究結果發現，MCI患者在認知功能障礙的行為表現是一致的，即MCI患者除了有輕度的記憶功能障礙之外，其他認知的功能如語言功能、視覺功能以及注意力功能等都受到了不同程度的影響。

此外，本文研究結果表明，本文所提融合網絡的MCI患者介數中心度、標準化聚類系數、標準化路徑長度、小世界屬性和模塊化都顯著升高，與已有研究存在一致性。文獻[26]利用靜息態fMRI研究發現，MCI組小世界屬性異常、聚類系數和最短路徑長度升高。文獻[27]研究也表明MCI患者的腦網絡屬性中小世界屬性存在顯著異常。同時，本文基于結構功能連接的融合網絡研究結果也發現，融合網絡技術對MCI的研究更有效并且更全面地發現了拓撲屬性上的差異性。由于患者腦網絡模式出現異常相關、患者腦網絡最優腦結構組織逐漸喪失，出現了異常的模塊分離以及整合，導致大腦信息交流傳遞出現異常[28]。

從分類準確率來看，本文所提方法的分類準確率高于已有基于單模態的分類研究，不同方法的MCI分類結果如表5所示。如：文獻[10]利用sMRI數據取腦萎縮的體積特征進行分析，MCI患者與NC組之間的分類準確率為86.54%;文獻[8]采用靜息態fMRI數據構建大腦有向功能網絡，提取異常的網絡屬性值作為分類特征，EMCI與NC分類準確率為88.24%（41個特征），LMCI與NC分類準確率為94.12%（38個特征）， 均低于本文方法NC與MCI分類的分類準確率（94.44%，23個特征）。本文方法使用更少的特征達到了更高的分類準確率，有效降低了計算量，減少了分類器訓練和測試的時間，并且LMCI患者為MCI的晚期階段，腦網絡拓撲結構已經產生了顯著的改變，因此相比之下本文方法構建的分類模型的性能更優。文獻[9]將基于腦功能網絡的異常屬性作為分類特征，EMCI和NC的分類準確率為75.33%，LMCI和NC的分類準確率為83.79%?，F有的分類方法中只針對單一模態數據進行研究，必然會使得信息不夠充分，進而導致整體的分類性能受到局限。因此，先將多模態成像數據融合再進行分類研究的方法已經被越來越多的研究認可。

[23]ZHAO Z， FAN F， LU J， et al. Changes of gray matter volume and amplitude of low-frequency oscillations in amnestic MCI： an integrative multi-modal MRI study [J]. Acta Radiologica， 2015， 56（5）： 614-621.

[24]接標，張道強.面向腦網絡的新型圖核及其在MCI分類上的應用[J].計算機學報，2016，39（8）：1667-1680.（JIE B， ZHANG D Q. The novel graph kernel for brain networks with application to MCI classification [J]. Chinese Journal of Computers， 2016， 39（8）： 1667-1680.）

[25]CHEN X， ZHANG H， ZHANG L， et al. Extraction of dynamic functional connectivity from brain grey matter and white matter for MCI classification [J]. Human Brain Mapping， 2017， 38（10）： 5019-5034.

[26]WANG J， ZUO X， DAI Z， et al. Disrupted functional brain connectome in individuals at risk for Alzheimers disease [J]. Biological Psychiatry， 2013， 73（5）： 472-481.

[27]王湘彬，趙小虎，江虹，等.輕度認知功能障礙患者大腦fMRI網絡小世界特性[J].中國醫學影像技術，2014，30（5）：790-793.（WANG X B， ZHAO X H， JIANG H， et al. Small-worldness of brain fMRI network in patients with mild cognitive impairment [J]. Chinese Journal of Medical Imaging Technology， 2014， 30（5）： 790-793.）

[28]WANG J， KHOSROWABADI R， NG K K， et al. Alternations in brain network topology and structural-functional connectome coupling relate to cognitive impairment [J]. Frontiers in Aging Neuroscience， 2018， 10： Article No. 404.

This work is partially supported by the National Natural Science Foundation of China （61873178， 61876124， 61503272）， the Key Research and Development Program of Shanxi Province （International Science and Technology Cooperation） （201803D421047）， the Natural Science Foundation of Shanxi Province （201801D121135）， the Natural Science Foundation for Young Scientists of Shanxi Province （201701D221119）.

WANG Xin， born in 1996， M. S. candidate. His research interests include intelligent information processing， brain informatics.

GAO Yuan， born in 1995， M. S. candidate. Her research interests include intelligent information processing， brain informatics.

WANG Bin， born in 1983， Ph. D.， associate professor. His research interests include psychology， intelligent information processing， brain informatics.

SUN Jie， born in 1994， M. S. candidate. Her research interests include intelligent information processing， brain informatics.

XIANG Jie， born in 1970， Ph. D.， professor. Her research interests include intelligent information processing， brain informatics， big data management and analysis.

收稿日期：2019-05-28;修回日期：2019-07-25;錄用日期：2019-07-29。

基金項目：國家自然科學基金資助項目（61873178，61876124，61503272）;山西省重點研發計劃國際科技合作項目（201803D421047）;山西省自然科學基金資助項目（201801D121135）;山西省青年科技研究基金資助項目（201701D221119）。

作者簡介：王鑫（1996—），男，山西忻州人，碩士研究生，主要研究方向：智能信息處理、腦信息學; 高原（1995—），女，山西長治人，碩士研究生，主要研究方向：智能信息處理、腦信息學; 王彬（1983—），男，四川內江人，副教授，博士，主要研究方向：心理學、智能信息處理、腦信息學; 孫婕（1994—），女，山西太原人，碩士研究生，主要研究方向：智能信息處理、腦信息學; 相潔（1970—），女，山西太原人，教授，博士生導師，博士，主要研究方向：智能信息處理、腦信息學、大數據管理與分析。

文章編號：1001-9081（2019）12-3703-06DOI：10.11772/j.issn.1001-9081.2019050901