董浩然,王順芳
(云南大學 信息學院,云南 昆明 650504)
因病理不明的原因,當前對阿爾茨海默癥(Alzheimer disease,AD)的治療方法只能起到延緩作用[1]。AD的前驅階段被稱為輕度認知障礙(mild cognitive impairment,MCI),對MCI患者向AD階段進展的預測對于AD患者的早期干預與治療有著重要意義[2]。
傳統的MCI與AD預測方法多是采用病人的單類檢查結果進行預測[3,4]。但基于最近的研究,使用單類數據進行預測可能會在診斷的過程中添加混淆信息,影響模型的預測精度與泛用性[5]。近年來,同時利用病人的多項檢查結果提高模型預測性能已經成了AD與MCI疾病預測的研究熱點[6-11]。
基于此,本文將雙圖卷積網絡(dual-graph convolution network,Dual-GCN)[12]與本文提出的修正視圖相關發現網絡(modified view correlation discovery network,MVCDN)相結合,提出一種基于Dual-GCN的多維數據聯合預測網絡(multi-view joint prediction based on dual-GCN,MVIDG),以進行MCI疾病進展的預測。
本文的主要貢獻如下:
(1)提出基于超參數k1與k2構建病人特征網絡圖ConvP與ConvA的方法,利用Dual-GCN同時對圖的局部一致性與全局一致性進行信息嵌入。
(2)針對多維數據融合時冗余信息與噪聲信號對預測結果的影響做出改進,提出MVCDN網絡,提高多維數據融合效果。
(3)提出多維數據融合網絡模型MVIDG,可融合病人多項檢查結果預測病人在未來一年內由MCI階段向AD階段進展的概率。其模型架構如圖1所示。

圖1 多維數據融合網絡MVIDG
本文使用的數據來自ADNI數據庫。ADNI的主要目標是測試序列MRI、AD生物標志物、臨床與神經心理學評估等是否可以結合起來預測MCI和早期AD的進展。
從中,我們選取同時含有以下檢查結果的患者:①基于標準腦圖譜分割的腦部各區體積測量(volumetric mea-surements)。②海馬體葡萄糖代謝濃度。③神經認知分數(ADAS-cog score)。④腦脊液蛋白濃度(CSF proteomics)。⑤血漿蛋白濃度(plasma proteomics)。⑥ApoE基因型。⑦一年內臨床診斷變化。從MCI階段到正常對照組以及從AD階段到MCI階段的轉變因AD的不可逆轉性被排除在外。
最終納入271名符合標準的ADNI參與者,其中97名患者為MCI穩定患者(MCI stable,MCIS),他們在一年內均保持MCI診斷未變化。174名為MCI進展患者(MCI converters,MCIC),他們在一年內由MCI患者惡化為AD患者。關于患者信息的分布見表1。

表1 患者信息分布
我們使用mRMR算法[13]作為降維算法,其可在不顯著丟失信息的情況下降低數據集維數,僅保留特征集合中與目標變量最相關的特征,且保留的特征之間相關性較低,從而篩除無關特征與冗余特征。
首先,我們對特征進行歸一化,以保證深度學習的訓練效果。之后,我們過濾掉均值為0以及低方差的特征。對于腦區體積特征數據與血漿蛋白數據,我們選定0.1為方差閾值。對于Others數據,我們只篩選方差為0的數據,因為其特征數目有限。之后,我們使用mRMR算法進行進一步篩選。具體來說,我們使用5的步長,對腦區體積特征數據與血漿蛋白濃度數據搜索數值在40到90之間的最佳N個特征。
對于Others數據,因特征規模原因,我們使用長度為1的步長進行搜索。我們將所獲特征輸入單類檢查結果訓練器Dual-GCN后所獲得AUC值作為標準來評估性能,以選擇合適的特征數目。
我們模型訓練時的輸入數據為特征選擇后n位患者的3種檢查結果,即腦區體積特征、血漿蛋白特征,以及Others特征。輸入數據均為序列數據,即篩選后輸入數據λ={X1,X2,X3},設Xv為第v種檢查結果,其在特征選擇后的特征數目為d,則X(v)∈Rn×d。以及病人標簽Y={y1,y2,…,yn}。
首先,我們利用特征之間的余弦相似度來構建網絡圖,同時使用閾值ε來調整圖結構。具體來說,對所有病人的第v種檢查結果Xv,我們基于其特征相似度為基準構建可以反映圖局部一致性的鄰接矩陣ConvA。其計算方法如下
(1)
(2)
其中,ConvAi,j為ConvA在(i,j)處的值。xi,xj為選取檢查結果中第i與第j位病人的特征向量,s(xi,xj) 為余弦相似度函數。通過將每個病人視為樣本相似性網絡上的一個點,Dual-GCN的目標是利用節點的特征以及節點之間的關系來學習點在圖上的特征函數。閾值ε通過超參數k來確定,k實際上代表平均每個點所保留邊的數目,k與ε關系如下所示
(3)
式中:I(·) 為指示函數,滿足條件為1,否則為0。基于超參數k的選擇計算合適的閾值ε。對于每種檢查結果X(v),我們分別使用超參數k1與k2計算嵌入圖局部一致性信息的矩陣ConvA與ConvA2。之后,使用ConvA2計算能夠嵌入圖全局一致性信息的矩陣ConvP。
首先,我們使用隨機游走的方式,計算頻率矩陣F。算法如下:
算法1:頻率矩陣F構建
(1)輸入:ConvA2矩陣,路長q,窗口長度w,每節點重復次數t
(2)輸出:頻率矩陣F,F∈Rn×n
(3)算法流程:
(4) 初始化F為全零矩陣
(5) For 節點NodeInConvA2:
(6) 設置Node為隨機游走的根節點
(7) Fori=1 tot:
(8) 節點序列S=隨機游走(ConvA2,Node,q)={N1,N2,…,Nq}
(9) 取出節點序列S中滿足n-m≤w的所有節點對(Nn,Nm)
(10) 對每個節點對(Nn,Nm),設其所表示的病人為第i個病人與第j個病人,則Fi,j+=1,Fj,i+=1
(11) End For
(12) End For
(13) Return F
其中在隨機游走時,由一個點轉移到另一個點的概率設置為
(4)
Ai,j即ConvA2在第(i,j)處的值。最后,使用頻率矩陣F構建能夠嵌入全局一致性信息的鄰接矩陣ConvP。對于ConvP中的每個點Pi,j,其計算方法如下
(5)
(6)
(7)
(8)
在樣本稀缺的情況下,基于圖的學習方法可以在使用有限標記數據的條件下獲得更高的精度。相較于目前流行的GCN算法[13,14],Dual-GCN可以同時捕獲圖的全局一致性以及局部一致性信息,以使用嵌入圖知識進行學習。
給定病人第v項檢查結果的特征矩陣X(v)。首先,我們基于超參數k1計算出ConvA矩陣,記為A(v),網絡Z(v)第i層的輸出被定義為
(9)


之后,基于超參數k2計算ConvP矩陣,記為P(v),以此進行圖全局一致性的嵌入。其網絡Z(v)第i層的輸出被定義為
(10)
符號的定義與前邊一致。顯然,基于這樣一個節點上下文矩陣ConvP進行擴散可以確保全局一致性的嵌入。此外,P(v)與A(v)在訓練過程中共享參數,即二者使用相同的網絡參數進行訓練。

(11)
式中:n為有標簽病例的數目,其標簽為Y,Y∈Rn×2。c為分類數,在這里為2。
為了同時考慮到圖的局部一致性與全局一致性,我們需要使用無監督的正則化器來構建損失函數,以保證P(v)與A(v)的聯合學習效果。其計算方法如下
(12)

最終,我們使用的損失函數為L0與Lreg的加權和,使用超參數λ進行調整。其計算公式如下與圖2所示

圖2 損失函數
Ldual(v)=L0(ConvA(v))+λ*Lreg(ConvA(v),ConvP(v))
(13)
此模型的關鍵是在訓練中共享模型參數(即等式(9)和式(10)中的神經網絡權重W)。通過這樣做,此模型可以聯合ConvA和ConvP的信息,以實現更好的預測。
我們研究中的一個重要問題便是整合病人的多類檢查數據[16,17]。視圖相關發現網絡(view correlation discovery network,VCDN)[18]可以探索在不同視圖之間的潛在跨視圖相關性,利用每種視圖提供的獨特分類信息提高預測性能。但在實際實驗中,單獨視圖所產生的噪聲信息與冗余信息可能會對數據的集成產生影響。
基于此,我們改進了VCDN算法,提出MVCDN模型。其對預測向量的組合計算進行分級,以使預測結果更具有穩健性。其輸入向量計算流程如圖3所示。

圖3 MVCDN輸入向量計算流程

(14)

(15)
關于符號的定義與上相同,即C2∈Rn×4,同樣根據采用檢查數據組合的不同分為3種。最后對于3級元素,我們會汲取所有項檢查結果進行計算,定義為
(16)
C3∈Rn×8,因采用所有檢查結果進行計算,故僅有一種。在具體運算時,選擇合適等級的多維融合向量進行組合并連接,將其重塑為跨視圖發現向量CFinal,作為MVCDN網絡的輸入。MVCDN網絡是一個全連接網絡,輸出大小為2(因本研究為二分類)。MVCDN網絡的損失函數即為交叉熵函數
(17)
具體元素組合以及運算方法如圖4所示。圖中為使用腦區體積與血漿蛋白濃度分別訓練Dual-GCN分類器所得預測概率分布相乘獲得的2級多維融合向量,以及Others數據輸入分類器所得原始概率分布,即1級多維融合向量。將其相連,輸入普通全連接網絡MVCDN進行計算。

圖4 多級元素組合計算樣例
本模型使用半監督學習方法進行預測。對于新的測試數據Xtest。首先我們將其與訓練時的病人數據Xtrain連接,形成總數據Xall。之后基于Xall計算卷積圖ConvAall與ConvPall輸入模型進行預測
(18)
在計算ConvAall時,相較于訓練時計算出的ConvAtrain,僅需就新增加Xtest的余弦相似度進行重新計算,而在訓練時已經計算出的ConvAtrain可直接嵌入ConvAall,減少了計算時間。同樣的,在計算ConvPall時也僅對新加入的節點進行隨機游走。
在這項工作中,我們評估了MVIDG整合多維數據進行MCI進展預測的有效性、MVIDG中各項檢查結果的信息提供效果、以及對MVCDN網絡融合層級的效果。為此,我們設計了以下3個實驗。
(1)在MCI進展預測方面,與其它方法進行比較。
(2)使用不同種類檢查結果下的MVIDG性能比較,驗證特征融合對預測效果的影響。雖然在實際分類任務中我們使用了所有3種數據進行預測,但本模型也可通過擴展以適應不同數量的數據類型,僅需修改組成跨視圖發現向量的元素層級即可。
(3)消融實驗。為驗證Dual-GCN相較于GCN對圖全局一致性進行圖嵌入所提供的額外信息以及MVCDN集成多維信息進行聯合預測的效果,我們還設計了消融實驗。

在訓練過程中,首先對3個基于單一檢查數據訓練的Dual-GCN分類器訓練500個Epoch,之后再導入MVCDN部分,使這兩部分同時參數更新,訓練2500個Epoch。
共同訓練時,Dual-GCN的學習率被設置為1e-4,MVCDN網絡的學習率被設置為1e-3。預訓練時,Dual-GCN的學習率被設置為1e-3。
超參數的選擇對于最終訓練效果十分重要。這里,我們列出對模型核心超參數的調節過程,即特征選擇數目、閾值選擇超參數k1、k2,多級特征融合向量計算的選擇層級。
5.1.1 特征選擇
針對特征選擇,我們進行超參數選擇的方式如1.2節所示,將選擇的特征輸入Dual-GCN進行評估。
選取特征數目對結果影響以及在挑選各項檢查結果最佳特征數目后融合模型的損失收斂曲線如圖5所示。

圖5 特征選擇超參數選取與損失收斂曲線
5.1.2 超參數k設置
超參數k實際代表在相似網絡圖中每個節點所保留邊的數目,其直接影響閾值ε的計算,并控制由病人特征計算出的相似網絡圖的構成。且每組Dual-GCN共享相同的超參數k。
關于超參數k1與k2的選取使用網格搜索實現,評價指標為基于MVIDG整體模型預測結果獲得的AUC。其結果見表2。

表2 超參數K選取效果
5.1.3 元素組合選取
在進行多維數據融合時,需要實際選取不同級特征融合向量進行組合。具體而言,單獨使用1級多維融合向量時為將所有Dual-GCN的預測向量直接串聯輸入MVCDN中,所得AUC為0.764。
另外,將兩種檢查結果所獲預測向量相乘后獲得2級多維融合向量,再將其展開后與另一1級多維融合向量相連后輸入MVCDN網絡中,所獲AUC分別為0.769、0.781、0.761,其中0.781為將基于腦區體積與血漿蛋白濃度的基礎分類器預測向量相乘計算2級元素,再將其與基于Others特征計算出的預測向量相連輸入MVCDN網絡獲得。
最后,基于全部3種預測向量全部相乘后獲得3級元素,將其展開后輸入MVCDN網絡,所得AUC為0.778。
我們比較了MVIDG與以下現有的數據分類算法:①K-最近鄰算法(KNN)。②支持向量機分類器(SVM)③使用L1正則化(Lasso)訓練的線性回歸。④隨機森林分類器(RF)。⑤基于XGBoost的梯度提升樹算法。⑥相似網絡融合算法(SNF)。⑦基于GCN的多維融合算法(MOGONET)。
其中,KNN、Lasso、SVM、RF、XGBoost是將預處理數據直接串聯作輸入。結果見表3。

表3 不同模型性能比較
為驗證MVIDG集成多維數據進行學習的能力,我們針對使用檢查結果不同所表現出的性能差異進行了比較。結果見表4。

表4 不同類檢查結果聚合性能比較
為驗證Dual-GCN相較于GCN對圖全局一致性進行圖嵌入所提供的額外信息以及MVCDN集成多維信息進行聯合預測的效果,我們還對以下方法進行對比:①GCN-NN。使用GCN作為單視圖分類器,使用全連接網絡進行集成。這里將所有分類模塊的標簽分布向量連接作為輸入。②GCN-MVCDN。使用GCN作為神經網絡,MVCDN網絡進行集成。③Dual-GCN-NN。與②相似,但單視圖分類器部分換為Dual-GCN。④Dual-GCN-VCDN。與③相似,但集成部分換為VCDN。⑤GCN-VCDN。與④相似,但單一結果分類器為GCN。最后所獲得的結果見表5。

表5 消融實驗結果
在表5中,我們發現Dual-GCN的效果均要強于GCN,且在集成上使用MVCDN較VCDN表現出明顯優勢,但GCN-VCDN與GCN-MVCDN的性能相同。這是因為在實驗中發現使用GCN中MVCDN效果最好時為僅使用第三級元素計算,而這恰在計算上與VCDN格式相同。推測為此時單視圖分類器產生的噪聲信號少,無需額外消除。
在這項工作中,我們通過整合多維數據,提出了一種基于Dual-GCN的多維數據聚合網絡MVIDG,用于預測MCI患者向AD的進展。其使用我們提出的基于VCDN改進的MVCDN模型來發掘跨視圖標簽相關性,整合病人的多種檢查結果以預測MCI患者是否會向AD進展,這對早期AD患者的及時干預治療有著重要意義。基于相關實驗,我們發現MVIDG可以良好整合多維數據以提高預測性能,且效果優于其它同類方法,預計我們的方法能夠有效輔助臨床醫生對早期AD患者的及時干預,以保證患者的治療質量。