基于持續同調性的人腦認知過程 格式塔模式識別拓撲分析

劉再生，倪霏，李榮鵬，張宏綱，劉暢，張解放，謝松云

（1. 浙江大學信息與電子工程學院，浙江 杭州 310027； 2. 浙江傳媒學院，浙江 杭州 310018；3. 西北工業大學，陜西 西安 710129）

1 引言

6G通信技術的發展帶來大帶寬、超高速、超低時延的通信性能革新是可以預見的。信息通信技術和神經科學的融合發展預示了腦對腦無線通信（brain-to-brain wireless communication，B2BC）的可能性與巨大潛力。B2BC要實現的技術過程是從發送者大腦把神經信號中提取、數字化，然后傳遞給接收方大腦[1]。B2BC技術的實現需要高數據速率、低時延和可靠通信的支持，而這正是6G技術可以提供的。B2BC實現神經信號的提取是通過腦電圖（electroencephalogram，EEG）的采集，EEG信號最常見的典型分析方法是對原始的時域EEG信號進行濾波、去除偽跡、事件相關電位（event-related potential，ERP）分析以及觀察2D或3D腦域活動熱圖等方式觀察其表現出來的特征。對于B2BC而言，復雜的、動態的多路時域EEG信號并不是信息傳輸的理想載體，在傳輸與認知過程相關的EEG信號時，每個電極的信號都是至關重要的，但每個電極信號的輕微失真都會導致傳輸信息的整體偏差。因此B2BC的神經信號數字化過程需要一種可靠的、可以整合多路信號整體特征并且保留局部特征的“編碼”方式來數字化神經信號，從而提高B2BC中信息傳輸中的魯棒性。

近年來，隨著神經網絡研究的發展，研究人員致力于解釋人類意識產生過程和人工智能（AI）實現過程的內在本質，其中一個研究方向是通過探索人類大腦認知和意識產生過程的規律來促進機器學習技術的發展。現在基于EEG信號本身的數字分析方法[2-3]也不斷被提出和完善，如單試次分析等方法，其考慮到了EEG信號在不同受試者之間存在顯著差異[4]。這些方法為提取EEG信號可能存在的關聯性更強，但形式更為簡單的數字特征提供了嘗試途徑。這與B2BC提取神經信號之后的數字化過程不謀而合。結合兩個領域的關聯性，對人腦認知過程的分析是具有前瞻性價值的。

格式塔心理學（Gestalt psychology）理論是現代認知學習理論的先驅基礎。它是20世紀初由德國心理學家Westheimer W.Kohler 和 K. Koffka 在相似性研究的基礎上建立起來的。他們認為，思維是一種整體的、有意義的感知，而不是相互關聯的表象的簡單集合；主張學習在于構成完形（Gestalt），改變一個完形為另一完形[5]。這種認知過程與目前通過深度神經網絡（deep neural network，DNN）進行機器學習的圖像識別模式有著本質的不同。

神經網絡研究的發展十分迅速，更新更強的算法模型層出不窮，其計算能力和對指定任務的學習能力十分強大。在此基礎上，研究人員提出了新的目標，他們的研究重點是使人工智能更加智能，即實現類腦智能。他們希望機器學習不僅能夠實現人腦所能做的事情，還要能夠像人腦一樣解決問題或者像人類一樣去認知事物。源自一個神經細胞如何傳輸信號的原理啟發，發展構建出了如今的神經網絡；那么整個生物神經網絡的連接性質和聯動的規律能帶給人們的必然是類腦智能化，這不僅是神經網絡發展從機械的機器學習過程向意識層面躍遷的契機，也是腦機接口（brain computer interface，BCI）技術進一步發展的必然。通過探索大腦認知行為，有可能探索意識的產生[6]，而不局限于大腦產生了何種意識。

現階段已有相關工作開展，探索神經網絡和人類大腦的生物模式之間的關聯[7-17]。因為大腦功能是由不同神經元和大腦不同區域[11]之間的內部相互作用決定的，為了了解大腦對外界刺激的反應，學者們開發了功能網絡分析方法分析整個大腦所表現出來的神經信號。大腦結構中神經元之間的空間連接關系是一個復雜的連接模型，該模型長期以來一直作為分析人類大腦活動的拓撲工具。此類研究最初的重點是區分腦電圖中容易識別的體感知覺（如冷熱感覺、疼痛感覺等）[12]。隨后對異常腦電圖（癲癇發作）[13]、穩態視覺誘發電位（SSVEP）、運動意圖檢測[17]和情緒分類[16]進行分析。在以上探究嘗試中，拓撲分析方法能實現對不同EEG信號的區分性已經得到了充分證明。近來，Baker等[14]和Been Kim團隊[15]對格式塔識別結合機器學習的研究，討論了機器神經網絡的實現和人類大腦的認知過程之間的差異，二者提出了完全相反的結論，矛盾的提出更激勵了關于意識水平認知過程的研究。

借鑒前述實驗經驗，可以充分認識到人類大腦對幾何圖案整體輪廓的認知面臨著局部和全局的問題。因此，本文研究采用能夠提供關于任意圖[8]的局部和全局性質的定量信息的數學工具——代數拓撲。拓撲數據分析（topological data analysis，TDA）能夠提供一系列新的拓撲和幾何方法來分析通過EEG信號表現出來的大腦神經網絡，其中持續同調是本實驗分析的關鍵方法[18-23]。持續同調分析提供計算網絡族中每個復雜圖的貝蒂數（Betti number）的有效算法，并對嵌套的復雜同構群在不同網絡規模下的演化進行編碼。因此，它有助于更好地理解腦電數據，并在EEG信號中存在擾動或噪聲時保持分析的穩定性。

2 格式塔完形識別的實驗與方法

顯示針對格式塔輪廓認知基于持續同調性的拓撲數據分析的神經生理評估過程和方法如圖1所示。

圖1 用拓撲數據分析格式塔輪廓認知的神經生理過程和方法

? 在大腦認知過程中，被試者先以固定的間隔重復觀看RSD圖片，然后以相同的方式觀看GST圖片。同時利用帶有傳感電極的腦電帽對EEG數據進行同步采集。

? 使用兩種方法計算相關系數（0～1）：一是計算傳感器之間的信號的相關系數，通過基于希爾伯特變換的算法構造關聯矩陣（C-matrix），另一種是計算標準化之間的歐幾里得距離，構建一個距離矩陣（D-matrix）。

? 通過計算所得的鄰接矩陣構建Vietoris-Rips復形，采用持續同源法分析不同圖片刺激下大腦的神經生理特征，并實現神經信號的數字化過程。

2.1 刺激設定

腦認知實驗中使用的兩種格式塔圖片如圖2所示，選擇標準三角形輪廓存在與不存在的兩種具有代表性的格式塔圖片作為刺激：一種是人們很容易識別出三角形輪廓的圖片（GST），另一種是隨機序列圖（RSD）。兩種圖片的大小和質量保持一致，分辨率都是1 440 dpi×1 080 dpi。為了探究被試者認知過程中意識變化的特點，重復RSD 30次，接著重復GST 10次，以增加樣本量，消除潛在的實驗誤差。

圖2 腦認知實驗中使用的兩種格式塔圖片

2.2 實驗步驟

對被試者大致介紹實驗流程和設備情況后，開始EEG信號的采集，實驗流程如圖3所示。記錄的EEG信號對應整個認知過程中連續的兩個階段。第一階段是在被試者對RSD沒有明確識別出三角形輪廓的情況下收集EEG信號，第二階段是在被試者從GST中識別出三角形輪廓的情況下收集EEG信號。每一次試次開始時，都從1 s的準備時間開始，然后RSD或GST圖像出現10 s，之后出現1 s休息時段，提醒受試者可以休息一下。

圖3 格式塔認知實驗流程

2.3 實驗對象和設備

本實驗收集了20名健康志愿者的EEG數據（男性9名，女性11名；年齡19～27歲），被試者視力正常（或矯正為正常）。實驗設備為標準的Neuracle 64系統，包括帶傳感器陣列的64通道腦電帽、帶腦電圖采集軟件的腦電圖記錄儀和放大器（NSW364）。EEG信號采樣率為1 000 Hz，濾波窗口為0.3 ～ 100 Hz的頻率范圍。

3 EEG數據的處理和分析

神經信號數字化的過程的數據轉變：原生EEG信號先經過濾波、試次分割、基線校準截取各個頻段的處理后EEG信號（θ波段、α波段、β波段和全波段）；處理后EEG信號經過兩種對電極之間關聯度基于不同標準的評估計算方式得到兩類電極關系鄰接矩陣：關聯矩陣（C-matrix）、距離矩陣（D-matrix）；對兩類矩陣都進行Vietoris-Rips濾值過程構建復形并得出其過程的持久性條碼圖（barcode）；最后根據條碼圖計算各自對應事件反應的持續同調熵（PE），對最后的熵值做比較分析。

3.1 EEG信號的采集與預處理

腦電數據采集采用腦電帽采樣和腦電下采樣，采樣頻率為250 Hz。通過一組濾波器得到不同波段的腦電信號，分別是波段θ波段（4～7 Hz）、α波段（8～13 Hz）、β波段（14～30 Hz）和全波段（1～45 Hz）。

過濾后的信號中，腦電帽的每個電極信號對應于一組測量點，在FEEG中的表示為每一行。如上所述，兩種數據分析方法用于描述大腦認知過程：一個是通過實時計算各電極之間的相位關系構建關聯矩陣（基于希爾伯特變換）；另一個是通過為每個測量點定義電極信號相關水平的距離矩陣。

3.2 關聯矩陣（C-matrix）計算

（1）經過關鍵特征提取并且通過預處理得到每個試次時段的信號為：

其中，N為數據長度，對應等于采樣率乘以時間，M為EEG信號采集的電極數目。

（2）對FEEG中的每一路信號即每一行進行希爾伯特變換[24]，得到H(FEEG)。

（3）采用式（2）得到的H(FEEG)計算每一電極的瞬時相位：

（4）通過式（3）計算關聯矩陣對應元素的值，取絕對值，合并得到關聯矩陣如式（4）：

3.3 距離矩陣（D-matrix）計算

腦電帽中每個電極濾波后的信號構成一組采樣點G，不同通道電極之間的距離如式（5）計算[13]：

3.4 單純復形結構

根據計算得到的距離矩陣，相當于預置了各個電極點之間的關聯距離或者空間距離，通過Vietoris-Rips濾值構造單純復形，從零連接到復雜連接點集的濾值過程如圖4所示，該過程中連接關系是隨著濾值增長而變化的。

圖4 Vietoris-Rips濾值過程

3.5 持續同調分析

持續同調計算拓撲空間中n維孔洞數的代數對象—貝蒂數。本文中，泛型拓撲空間S的貝蒂數由β0、β1和β23個維度組成。β0是S中連接組件的數量，β1是S中環（hole）的數量，β2是孔洞（void）的數量。在濾值過程中，一個k維孔在單純復形出現的時刻記錄為Tstar，而Tend表示k維孔消失。據此，用[Tstar,Tend]定義k維Betti區間長度，持久性條形碼（barcode）是其圖形表示[8，25，26]。給出0維貝蒂數持續的條形碼如圖5所示。

圖5 持續的條形碼

同調熵利用持久條形碼提取拓撲空間特征，從而提供了一種新的熵度量方法。本文設B={(xi,yi)|i?I}為與拓撲空間S過濾相關的持久條形碼，其中，i為索引集。因此，濾值后的單純復形的持續熵H的計算式為：

之后對H進行歸一化得作為EEG數據的持續同調特征。

其中，lmax是持久條形碼圖中的最大間隔。

4 結果分析與討論

通過Vietoris-Rips濾值構建了RSD/GST圖片誘發的EEG數據的拓撲模型。大腦不同區域活動與圖像形狀和輪廓感知之間的關系在圖6中顯示了整體的情況。基本上，當被試者觀察RSD圖像時，大腦活動涉及的區域更多，但特征不顯著，總體電平值較為均衡，但當被試者感知到GST圖像時，腦部會有清晰的反應區域，特征更顯著。因此，本文假定模糊的認知目標使任務更困難，導致更多的心理活動。圖6顯示了人類對形狀輪廓的感知與包括格式塔認知在內的高級認知過程之間的相關性。這些結果驗證了本文的分析方法在描述EEG信號和形狀認知之間的內在相關性方面的有效性，并且本文的方法更接近于實際的生物反應過程。

圖6 腦電圖映射和Vietoris-Rips單純復形

實驗表明RSD和GST實驗之間存在顯著差異。在不知道實驗目的的情況下，被試者首先觀察了RSD圖片，這些圖片是無序、隨機混亂的。因此，在每個試次中顯示總體EEG信號水平處于較為均衡的狀態，而被試者對GST圖片所包含的形狀信息在2 s內就產生了直觀反應，之后EEG信號水平趨于穩定。

采用持續熵（PE）作為整體實驗的判別標準，兩類認知行為判別度的范圍、平均值和最大值見表1。關聯矩陣和距離矩陣在各頻帶對事件分類的平均判別率均大于70%，最佳判別率分別達到90%和85%。

表1 判別標準

關聯矩陣和距離矩陣計算的持續同調熵比較如圖7所示，分別給出了兩種不同矩陣計算方法得到的持續同調熵（PE）的性能和比較。通過對20名受試者的統計分類比較，可以看出，兩種方法都清晰地描述了兩種腦認知情境下兩種拓撲模式在持續同調熵上的特征分離。

本文進一步繪制了GST和RSD值的對比圖，如圖8所示。

由圖7和圖8可以得出直觀的實驗數據結果：

圖7 關聯矩陣和距離矩陣計算的持續同調熵比較

圖8 關聯矩陣和距離矩陣計算的GST值和RSD值對比

? 通過關聯矩陣計算得出：在θ波段（4～7 Hz）、α波段（8～ 13 Hz）、全波段（1～ 45 Hz）的實驗中，絕大多數樣本的GST誘發的EEG信號拓撲計算所得的持續同調熵都高于RSD誘發的EEG信號。

? 通過距離矩陣計算持續同調熵的情況則相反。在上述各波段的表現為RSD誘發的EEG信號的持續同調熵高于GST誘發的EEG信號。

從測量和分析結果可以明顯看出，具有顯著差異的波段是α波段和θ波段，這與整體原始信號對應的趨勢是一致的。但是在β波段，兩種方法表現出的分類結果是相似的，RSD和GST比較的趨向是一致的，關聯矩陣和距離矩陣計算的持續同調熵在β波段的結果對比如圖9所示。

圖9 關聯矩陣和距離矩陣計算的持續同調熵在 β波段的結果對比

作為總結，本文提出了一種神經生理學方法，通過EEG信號評估認知格式塔圖像的形狀和輪廓。當被試感知到RSD圖像時，與GST圖像相比，更多的大腦區域參與到認知過程中。在這種情況下，可以理解人腦處于一種隨機且混沌得狀態。采用TDA方法提取由形狀輪廓誘發的EEG信號的生理特征。結果表明，GST圖像誘導的腦電數據在β波段下，兩種計算方法得到的持續同調熵值均低于RSD圖像。在α波段和θ波段以及1～45 Hz全波段的持續熵值一致表明：

（1）關聯矩陣計算：PEGST＞PERSD；

（2）距離矩陣計算：PEGST＜PERSD。

與基于誘發電位的傳統神經生理學方法（需要特定的實驗范式）相比，本文的方法提供了一種可概括的方法，可以從整個大腦的EEG信號中提取整體信息，在保存整體和局部特征的情況下完成數字化特征提取。本文的方法不僅關注大腦對外部刺激的反應，還關注設計用來標準化和提取數字特征的算法，這些特征可以可靠地分類，并代表不同的認知感知。代數拓撲用于解釋人腦中不同神經區域之間的協調關系的工作，可以為復雜神經網絡協同工作的分析方法提供啟發。將復雜的神經網絡模型的維數降為一維持續熵來衡量其特性。與此同時在B2BC的技術流程中可以有效提供神經信號數字化的操作方法。

上述結果可以直觀地表明，某些特定B2BC交互場景中，具體的人腦神經信號轉化為一個特征信號（PE）的可靠傳輸是可以實現的。

5 結束語

本文提出利用腦網絡的持續同源性對人類高級認知過程神經信號進行生理學評估并且提取具有可分性的數字特征（PE）的方法，可以作為B2BC實現神經信號數字化的一種工具手段。該方法將腦電采集與傳統的格式塔心理學測試過程相結合，獲取認知相關的神經信息，并通過代數拓撲分析獲得對有無清晰輪廓的大腦反應的生理學意義特征。驗證實驗結果表明對于形狀輪廓認知這一實驗場景，采用兩種腦電關聯性特征提取的矩陣所計算的PE都具有可觀的可分性。在未來6G無線通信中，要實現結合BCI的高級設備的無線使能，于B2BC而言，準確且穩定的數字化特征的提取是關鍵，也是實現該技術的基礎。用持續同調分析方法來進行神經信號的數字化，可以實時動態地計算提取EEG信號的數字特征，既極大地壓縮了數據傳輸量，又保證了信息傳輸的穩定性。在6G支持的更高速更穩定的無線通信技術的支持下，B2BC乃至腦對腦網絡的形成都將在此基礎之上得以實現。

由于本文關注的是格式塔輪廓認知的一個具體案例，未來的研究會擴展到分析不同的認知目標，如顏色或內容等其他類目的意識認知行為，從更多角度驗證TDA解釋認知過程的可行性。區別于以往的EEG信號分析實驗，本工作是首次以數字化神經信號特征的方式解釋人類大腦意識模式，是從“感覺”到“意識”的探索。此外，深入掌握大腦反應過程中大腦神經網絡的聯動行為，可能會啟發人們構建新的人工神經網絡結構，這需要進一步的研究和實驗。

綜上所述，本文提出了數字化人腦對圖形輪廓形認知過程神經信號的方法，并通過實驗驗證了該方法的實用性和有效性，這對B2BC技術實現和DNN結構的發展具有啟發意義。