用于腦網絡連接加權圖比較的可視分析系統設計與實現

姬笑楠，朱玉穎，吳亞東

(1.西南科技大學 計算機科學與技術學院，四川 綿陽 621010；2.中國科學技術大學 中科大醫學影像中心，合肥 230026；3.四川輕化工大學 計算機科學與技術學院，四川 自貢 643002)

0 引言

近些年，對于人腦的研究逐漸成為一個熱點課題。對于人腦的研究其核心是大腦中的神經連接，針對這一問題，大腦連接組學應運而生[1]。連接組學研究的目的是通過了解大腦的接線機制[2]來創建腦功能網絡連接的完整表示。連接組的表示可以幫助人們增加對大腦功能連接的認識，以及大腦狀態是如何從其潛在的結構中出現的[3]。

在研究中發現，被試者的腦網絡連通性通常會受到諸如年齡、性別、受教育程度、遺傳病史和疾病狀態等各種因素的影響。例如在阿茲海默綜合癥患者中，與記憶相關區域的連接水平明顯低于相匹配的健康對照組[4]。研究這些連接特征的差異可以提高對人腦功能連接的了解，并且在疾病預測、基因工程和許多其他相關方面的應用中也都有重大意義。然而想要完全掌握人腦的功能連接，是一項異常艱巨的任務。首先，需要高質量和大規模的腦網絡測量數據，因為大腦各區域之間的網絡連通性特征都是非常高維的，當數據量不夠多、被試者人數很少時，很可能會導致過擬合，這將致使產生的結果不可靠；其次，在復雜的腦網絡研究中，對領域專家所提出的眾多計算模型的驗證也是花費巨大的。

然而，可視化工具可以用于解決高維連接模式下的腦網絡比較問題。一方面，可視化工具提供了一個可以融合多個腦網絡以及多名被試者數據的交互式平臺；另一方面，可視化可以對數據進行針對性的展示，幫助領域專家進行分析和比較，能夠快速、有效地對數據進行評估。

1 相關研究

Xia等人開發了可視分析工具BrainNet Viewer[5]用于研究人腦功能網絡，該工具使用節點鏈路模型來展示各腦區之間的功能鏈接，保留了人腦中腦區的真實位置，提供了拖拽、旋轉等基本的交互功能。但是在數據量比較大時，該工具會產生嚴重的視覺混亂及遮擋，同時又缺少提示，大大增加了對于有用信息的獲取難度。Laplante等人提出并開發了可視化工具Connectome Visualization Utility(CVU)[6]，CVU基于人腦的塊狀結構，能夠對單個模塊進行識別和可視化，并增強了交互功能，使信息獲取更加容易，但是它缺乏對模塊間以及整體的功能分析。

并且目前用于人腦功能網絡比較的視覺表示方法中，常用節點鏈路圖的表示方法和關系矩陣的表示方法，這兩種方法都具有非常低的任務準確性和較差的時間效率。為了解決這一問題，時磊等人[7]將Henry等人[8]提出的NodeTrix表示方法運用到了大腦網絡連接中，它考慮了人腦網絡中固有的功能塊結構，將上述兩種傳統的方法結合，通過模塊化腦網絡來進行可視分析。此方法相較于傳統的節點鏈路圖和關系矩陣圖，結合了感興趣區域(ROI，region of interest)的塊結構以提高人類大腦網絡分類的預測性能，在低級檢測和高級檢索的鏈接任務中，NodeTrix方法的性能明顯優于節點鏈路表示法和關系矩陣表示法，提高了檢索任務的準確性和完成時間。

但是在領域專家最關注的差異性表示上，現有的可視分析工具與方法，并不能高效地表現出病人與正常人腦功能網絡之間的差異性。

為了解決這些問題，本文開發了一個用于腦絡連接加權圖比較的可視分析系統，這項工作的主要貢獻如下所示：

1)提出了一個新的可視方法。不同于傳統的雙視圖并列展示的方式，基于NodeTrix設計了一定的規則，將患者與正常人的數據疊加到同一視圖中對數據進行展示，以突出差異。

2)使用聚類算法對腦區進行再聚類。對病人與正常人數據分別進行聚類，以兩次聚類結果為依據，突出其模塊化差異。

3)使用力導向邊綁定算法來綁定視圖中的連線，以減少視覺混亂。此外，增加了一系列的交互設計，以更直觀、簡單、有效的方式呈現患者與正常人的差異，加強理解。

4)進行了一組對照試驗，以驗證所開發的系統在大腦功能網絡比較任務中的有用性。并使用兩個真實數據集來做案例分析:一個比較阿爾茨海默病患者與健康對照組，另一個比較正常人和抑郁癥患者的平均腦網絡。

2 整體架構

2.1 系統整體架構

本文用于腦絡連接加權圖比較的可視分析系統，其框架如圖1所示。系統采用B/S的架構，使用Vue+Three.js作為系統框架，將預處理完的功能磁共振(fMRI，functional magnetic resonance imaging)圖像數據存入MySql作為后臺數據庫。

2.2 腦網絡鏈接加權圖的構建

將fMRI圖像構建成腦網絡鏈接加權圖的方法通過3個步驟完成[9]。

1)使用專門用于fMRI影像數據處理的工具SPM(statistical parametric mapping)分別對影像數據進行時間層校正、頭動校正、空間標準化、去線性漂移、濾波、空間平滑處理，得到全腦的時間序列數據，處理完之后的圖像由約四十萬的體素點構成，將這些體素點按照在生物學中應用較廣的AAL(anatomical automatic labeling)模板歸類到具體的90個感興趣區域ROI(region of interest)中。

2)以ROI為單位，計算各時間序列下，ROI內體素所對應的血氧依賴數值的平均值。基于此值計算各ROI之間的Pearson相關系數，公式如下：

(1)

3)相關系數的值用來表示兩個ROI之間的功能鏈接強度，相關系數的絕對值越接近1，則相關性越強，相關系數越接近于0，則相關性越弱。再對某一被試群組計算平均值，即為平均腦網絡。

3 可視化系統設計

本文設計并實現的可視分析系統主要有4部分組成：(A)三維視圖，(B)并置NodeTrix視圖，(C)疊加NodeTrix視圖及差異參數，(D)控制面板。在控制面板中選取某一界面，頁面即可跳轉到相應界面，并將控制面板收起在右上角。如圖2所示。

圖2 可視分析系統示意圖

3.1 加權圖比較視圖

Alper[10]等人的研究表明，在腦功能網絡的對比中，疊加視圖比并置視圖更能突出群組之間的差異。于是，在NodeTrix的基礎上添加了一些規則，提出了一種新的疊加NodeTrix可視方法用于該可視分析系統。

圖3描繪了使用NodeTrix結合疊加設計展示塊狀腦網絡比較的實例。在這個腦網絡中，每個矩陣對應的是人腦中的腦葉，例如在圖2中左半腦從上至下的矩陣分別代表左額葉、左邊緣葉、左顳葉、左頂葉、左枕葉。矩陣中的每個行/列表示單個ROI，例如最上方的兩個矩陣為左右額葉，每個額葉包含12個ROI。ROI的編號和名字與AAL模板保持一致，例如圖3中鼠標懸停位置代表左額葉關系矩陣中11號ROI(島蓋部額下回)與13號ROI(三角部額下回)的關系單元。

圖3 疊加視圖對比腦功能網絡

在每個矩陣內部，用顏色編碼內部ROI連接，色彩的飽和度用于表示每個功能連接的強度，顏色越飽和，連接強度越高。大的單元格是由病人數據所映射的，每個關系單元格內都嵌套了一個更小的單元格，更小的單元格是由正常對照組的數據所映射的。每個大的單元格和他內部的小單元格，表示的是相同的兩個ROI之間病人和正常人的連接強度關系數據。矩陣內部權重編碼規則如圖4所示。

圖4 矩陣內部權重編碼規則

在矩陣之間的功能連接，即各個腦葉間ROI的功能連接，結合節點鏈路與疊加表示來呈現。在矩陣之間繪制彎曲邊緣，其中兩個端點位于源和目標ROI行/列的邊緣上。彎曲邊緣采用的顏色編碼方式為對應腦區正常對照組數據減去對應腦區病人數據，用差值編碼顏色的飽和度。矩陣之間權重編碼規則如圖5所示。

圖5 矩陣之間權重編碼規則

3.2 三維視圖

系統在將腦功能網絡之間的差異更直觀二維展示的同時，也提供了三維化的選項。參考球棍模型的方式，保留各腦區位置信息的同時，將他們之間的功能鏈接用連線的方式予以表現，其中顏色的深淺表明鏈接的強弱。

并使用Louvain社區聚類算法對被試組的腦區進行聚類。由于兩組被試組的腦功能鏈接不同，最終聚類結果必然不同。在三維視圖中，將歸為同一類的腦區用同一種顏色進行渲染，便可以直觀的從可視分析系統中觀測出兩組被試組中差異大的腦區。公式如下所示[11]：

(2)

∑Cin表示社區C內部鏈接的權值總和，∑Ctot表示連接到社區C內部的權值總和，ki所有連接到節點i的鏈接的權值總和，ki，in表示C內部點連接到i的鏈接的權值總和，m表示所有鏈接的權值總和。當所求得的值大于0時，表示節點i應與社區C聚為一類。

如圖6所示，為阿爾茨海默患者與正常對照組在可視分析系統中的三維視圖。聚類結果如圖中所示，正常人的腦區聚成三類，而阿爾茨海默患者腦區聚成一類。

圖6 基于Louvain聚類算法的三維分析視圖

3.3 腦連接邊綁定

為了緩解由于ROI之間關系緊密、連線數量多而造成的視覺混亂現象，在可視化中加入了力導向的邊綁定算法，將這些邊緣捆綁在一起。該算法參考力學中引力與斥力的概念，為每條邊選擇適當的控制點，將所有連線的控制點朝控制點更集中的方向移動，在視覺上將邊綁定在了一起，從而減少了視覺混亂。本文中使用了Holten和Wijk等人[12]的力導向算法，由以下公式得出:

(3)

Ce=Ca·Cs·Cp

(4)

其中:Dist0表示兩個控制點之間的初始距離。Ca,Cs,Cp分別表示基于這兩個控制點的角度相容性，長度相容性與距離相容性。

3.4 交互設計

在可視分析系統中，加入了一套交互設計以促進用戶在大腦網絡上的視覺比較任務。基本的交互包括，將鼠標放到對應矩陣內單元格，或矩陣間連線上，會在鼠標懸停位置處彈出提示框，提示框內容包括所處腦區名字、源ROI、目標ROI以及相對應的連接強度值。當點擊一個或多個ROI可以實現對這些ROI的突出顯示，即圖中只顯示與所選ROI有直接聯系的功能連接，以此來滿足某些針對性的任務或者用戶的個性化需求。并且還加入了連接強度過濾選項，調節過濾器可以實現對視圖中連接強度數據的過濾，將低于設定值的數據予以隱藏。對于同一個疾病，不同的病人之間可能存在個性的問題導致所呈現的腦功能連接圖存在差異，所以在交互面板中，可以選擇加載單個病人的數據，以此來突顯這個病人可能存在的個性化問題。

為了突出疊加對比的效果，支持將正常對照組數據與病人數據左右并置的NodeTrix表示，或者將兩組數據疊加展示的選項。同時還加入了三維展示腦功能連接的選項。最重要的是加入了對比度過濾選項，其中對比度的概念是指正常對照組連接強度數據減去對應腦區病人連接強度數據。調節交互面板中的對比度，圖中顯示出來的就是兩組數據中差異值大于設定對比度的腦區，從高往低調節對比度，可以直接顯示出兩組數據中差異最大的一個或者幾個腦區。

4 評估

進行了一項對照試驗，比較了并置NodeTrix設計(圖7)與疊加NodeTrix設計(圖3)兩種可視化方法，以驗證疊加NodeTrix表示法在進行腦功能網絡比較任務中的有用性。

圖7 并置NodeTrix表示法比較腦功能網絡

4.1 用戶任務評估

實驗設計：招募了8名擁有數據可視化經驗的計算機專業研究生，其中6名男生，2名女生。本實驗將所有的可視化設計對測試者進行測試。實驗分為對可視化的訓練課程和測試課程。在訓練課程中，通過指導用戶了解系統以及在預先設置的閾值上完成簡單的對比任務來進行預熱訓練(例如，相對較少的節點以及連接下進行比較)。為確保測試者了解該系統，在進行下一步之前，檢查了每個訓練任務的結果并解決了所有問題。

任務：下面列出的4項任務都是在141名受試者(包括95名AIDS患者和46名正常對照組)的腦功能網絡加權圖上進行的，用以比較腦網絡間的差異。

T1(局部連接)：與AIDS患者相比，右額葉內部的整體聯系是增加或減少？

T2(腦葉—腦葉連接)：與AIDS患者相比，右顳葉和右頂葉的整體邊緣權重是增加或減少？

T3(腦葉—ROI連接)：與AIDS患者相比，額葉和其他所有ROI之間的整體邊緣權重是增加或減少？

T4(ROI連接檢索)：識別一個ROI在兩個腦網絡，是否具有較大的整體權重差異？

對于每個可視化任務，控制比較中的難度差異，保證同一任務在兩種表示方法中對每個被測者都難度相當。對于每項任務，記錄測試的結果和完成時間。在受試者閱讀問題之后才開始計算時間，以此來消除因測試者閱讀能力的不同而對測試結果產生影響。

4.2 評估結果

將從任務準確性和完成時間兩方面分別討論結果。

任務準確性：每項任務用戶完成的準確性總結如圖8(a)所示。對于T1，即局部連接對比任務，并置表示法與疊加表示發都有著相當高的精度(并置表示法：0.90，疊加表示法0.92)，兩者之間的差異微乎其微。對于T2，即腦葉—腦葉的連接對比任務，疊加表示法(0.94)比并置表示法(0.80)的精度更高，這是因為在個別對照數據中，存在某兩個腦葉間連接強度基本一致的情況，顧左右并置視圖很難比較出兩者之間的差異，而疊加視圖可以同看觀察連接的連接線的顏色很容易地辨別出兩者差異。對于T3，即腦葉—ROI的連接對比任務，疊加表示法(0.90)比并置表示法(0.86)有更高的平均準確性。對于T4，針對單個ROI連接的檢索任務，并置表示法(0.90)相比于并置表示法(0.66)要有明顯的精度提升，原因是因為，腦葉內部的連接能夠通過對比單元格和其內部更小的單元格的顏色飽和度來判斷兩者的差異，腦葉之間的連線其顏色、飽和度是通過對兩份數據之差來進行編碼的，所以能直接通過顏色以及飽和度來獲取差異信息，從而使任務更容易完成。

圖8 兩種方法的用戶評估結果

完成時間：用戶在各項任務的完成時間在圖8(b)中。對于T1，疊加表示法(5.0 s)和并置表示法(4.8 s)在完成任務中花費的時間基本一致，差異不明顯。對于T2，T3，疊加表示法完成任務消耗的時間比并置表示法消耗的時間略少，但基本一致。對于T4，針對單個ROI連接的檢索任務，并置表示法(22.0 s)花費的時間明顯比疊加表示法(13.0 s)要高，原因是因為即便對于簡單的比較任務而言，并置視圖要覆蓋的距離也要遠遠高于疊加視圖。并且隨著圖形變大，差異會顯著增加，花費的時間就越多，而疊加視圖省掉了這些時間。

4.3 小結

用戶實驗結果表明，不論是在低級檢測還是高級檢索的連接對比任務中，疊加NodeTrix設計在任務準確性以及任務完成時間上都要優于并置NodeTrix表示。特別是針對T4的高級檢索任務中，疊加NodeTrix表示法明顯要優于并置NodeTrix表示法。這證明了疊加NodeTrix表示法在進行加權圖對比任務中的優越性，同時也證明了整個可視分析系統的有用性。

5 案例分析

將兩組真實的大腦網絡數據應用在所設計的可視分析系統中進行評估。實驗中所使用的fMRI數據均來自美國阿爾茨海默病公開數據庫(ADNI，alzheimer′s disease neuroimaging initiative)，ADNI收集了超過 800名來自全球59個地區的測試者，為阿爾茲海默癥(AD,alzheimer disease)的研究提供了豐富的數據支持。

第一組數據為阿爾茨海默病患者與正常對照組數據，使用了50例被試的fMRI圖像，被試人員年齡介于55～90歲之間，其中阿爾茨海默病患者26名，正常對照人員24名。基于AAL模板，將原始腦網絡劃分為116個ROI，使用疊加NodeTrix可視化系統對這26名AD患者和24名對照者的平均腦網絡進行了分析，將連接強度閾值設置為0.8過濾掉強度較低的連接，以減少連線較多所帶來的視覺上的混亂。然后切換到疊加NodeTrix模式，調整對比度滑塊來過濾掉兩個群體中數據差異低于設定值的連接。結果如圖9所示，可以快速地識別出AD患者與對照組腦連接差異主要集中在左半腦。正如Daianu等人[12]和Thompson等人[13]所研究的結果，AD患者的大腦網絡傾向于以不對稱的方式退化，并且主要是在左半球，此外，Buckner等人[14]對1 138名受試者進行的5項研究結果也表明，阿爾茨海默病在左半球后皮層區域退化更顯著。實驗結果與他們的研究結果相一致。并且還觀察到兩個群體之間的差異大多數位于左頂葉、左額葉對其他葉片之間的連接，這一觀察結果仍有待驗證。

圖9 阿爾茨海默病案例

第二組數據為抑郁癥患者和正常對照組數據。使用30例被試者的fMRI圖像集，其中抑郁癥患者15名，正常對照組15名，他們的年齡介于18～26歲之間。目前對于抑郁癥的精神病理機制研究，主要定位于邊緣系統—皮層—紋狀體—蒼白球—丘腦神經環路(LCSPT,limbic-cortical-striatal-pallidal-thaiamic)[15]，這一結論得到廣泛認可，已有大量的研究表明，抑郁癥與LCSPT有密切聯系，如患者前額葉皮質、前扣帶回、基底節區、丘腦、海馬、杏仁體體積減少[16-18]，左側島葉皮質和扣帶回激活反應明顯增強[19]，同樣發現LCSPT相關區域連接異常，如前扣帶回與海馬、杏仁核及島葉的功能連接降低[20-21]。經過對比度過濾后，結果如圖10所示，可以看出，對照組腦區連接強度總體高于抑郁癥患者，其中左右前額葉內部的連接尤為明顯，實驗結果與這些研究基本一致，再次驗證了這些發現，并且證明了疊加NodeTrix表示法的有用性。

圖10 抑郁癥案例

6 結束語

針對人腦功能網絡加權圖的比較任務進行了可視化的設計。這是一項與臨床研究高度相關的任務，旨在對人腦網絡進行直觀的可視分析。當比較緊密互聯的真實腦網絡時，節點鏈路圖和關系矩陣的精度較低，而左右并置的表示法在時間效率上又存在較大問題。于是提出了疊加的NodeTrix表示法來解決這個問題。并設計了一套定制的交互，用來提升用戶的信息獲取速度。通過加入力導向邊綁定算法來減少視覺上的混亂。最后通過用戶實驗以及真實腦網絡的案例分析，證明了方法在塊狀腦網絡比較中的有效性。但由于現實世界人腦網絡的巨大復雜性和不確定性，仍有很多未解決的挑戰。當前的設計支持腦葉和腦葉之間兩級網絡層次結構，而高分辨率的人腦連接需要更多層次結構，從塊和ROI級別上升到體素和神經元級別。未來的工作將放在探索新的可視化和交互設計，以應對這一實際挑戰。其次，所提出的疊加NodeTrix方法關注的是個體腦網絡內部的可視分析，我們計劃擴展上升到以個體為基本單位，尋求個體與個體之間的差異性，從而幫助生物學家或醫學家進行研究。