基于腦神經科學的可視化設計表現研究

程斌

摘 要：隨著近年來大數據與云計算的快速構建、科技發展的提速，很多早就發明的技術得以實現并在人們的視野中迅速擴大，諸如已經提及發展幾十年了的人工智能、信息可視化。連腦神經科學的可視化設計也有了很多科學家和藝術家參與探索其中，數字媒體超乎想象的發展為藝術與科技相結合提供了更廣闊的媒介基礎，抽象的意識形態與訊息因為可視化設計的介入而變得觸手可及。本文基于對腦神經科學的可視化案例進行分析研究，為腦電波感應可視化設計尋求更多元化的創作方向和內容。

關鍵詞：腦神經科學;信息可視化;腦電波感應

0 引言

信息隨著科技的發展已經變成了一種不可缺少的媒介，并且數據量的幾何級增長讓人們應接不暇。研究表明人的大腦接收信息五感中83%來自視覺，所以好的可視化設計，可以把海量數據更有效的呈現其背后的邏輯與規律，并使得我們更容易更生動的掌握真相。如今信息可視化的應用越來越廣泛，涉及如測繪、財務測算、建筑、博物館、汽車、資訊、社交活動、互聯網技術、氣象以及藝術等領域，越來越多的藝術家設計師去探究這些領域數據背后的原理，試圖用這種方式重新定義這個世界。其中腦神經科學領域的可視化探索尚還在起步階段，能否運用信息可視化的手段詮釋腦?神經的運動，抑或者嘗試解析腦意識形態的變化，從藝術的角度來理解腦神經科學的原理都是全新的巨大挑戰，或許這也是能打開另一扇了解我們大腦深層結構的認知之門。

1 可視化設計重塑數據

作為一種新的美學形態，以數據信息為核心的可視化設計很多時候會被人認為是一種圖形設計，或者是計算機技術方面的信息呈現，這種觀點隨著近年來的可視化數字媒體作品的不斷嘗試和演變逐漸被人們所摒棄，其邊界在不斷擴大，新的技術形式允許利用圖形、圖像處理、計算機視覺等通過表達、模型對平面、立體、動畫、交互的方式顯示，對數據進行分析、解構、重組。

數據可視化技術包含以下幾個基本概念：

第一，數據空間：是由n維屬性和m個元素組成的數據集所構成的多維信息空間;

第二，數據開發：是指利用一定的算法和工具對數據進行定量的推演和計算;

第三，數據分析：指對多維數據進行切片、塊、旋轉等動作剖析數據，從而能多角度多側面觀察數據;

第四，數據可視化：是指將大型數據集中的數據以圖形圖像形式表示，并利用數據分析和開發工具發現其中未知信息的處理過程。

目前可視化設計依據數據信息的內在聯系和規律通過程序語言以視覺語言方式傳達與溝通信息，獲得深入認知。同時通過人們的感官系統感知錯綜復雜的過程、涉及不同學科領域的數據群以及多樣化大數據集合的模擬，產生對數據信息的另一種感知。英國的數字媒體藝術家Marcus Lyall在Canary Wharf冬季燈光節上創作了一個名為“on your wavelength”互動裝置作品，現場有32組鋁框架構成的LED燈群以及背景聲音合成構建了一個光線隧道，超過30000個led燈柱展現夢幻般的動態視覺效果其實是由體驗者帶上腦部傳感器控制得到的，隨著體驗者思維模式的變化，大腦的腦電波數據可以控制音樂并創建復雜的光線模式。從這一實驗互動裝置來看人的大腦電波被轉化成燈光與音樂另一種形態的信息，就好像不可見的意念被實體化并且通過感官可以感知了。

2 理性的數據通過可視化擁有了感性的靈魂

可視化設計的目的是“讓數據說話”。也就是說讓數據不再像原來的屬性那么模式化、公式化，比如一直致力于交互式設計和數據可視化領域的美國設計團隊Stamen Design Studio為adobe的Kuler社區進行的可視化設計項目，就是用戶可以對kuler生成的套色進行評價，描述感受（為顏色增加tags）;Stamen Design Studio通過對tags數據整合梳理，可根據搜索某時某地，與某關鍵字匹配的數據生成色彩分析集合圖形，這樣設計師就能夠輕易地從色彩的分布追蹤到流行色的變化趨勢，對下一步設計工作很有幫助。

從這些色彩中可以很容易分辨數據，大部分時候數據是冷漠的，難以理解的，可視化設計讓數據有了可敘述的方式，由此很多枯燥的分析報告也可以變成有情節的故事易于被解讀。2016年美國總統中期選舉“衛報”采用大小不一有角度的箭頭表示共和黨和民主黨在這些中期內的議院之間的對比情況，把當時選舉民意的支持風向、走勢更形象化的被解讀出來。

數字化敘事賦予了可視化設計更豐富的內容，即將視頻、音頻、文本、燈光等多媒體形式可視化相結合的數據交互體驗，顯然這就讓數據的可視化設計變得具有娛樂屬性，在研究和學術領域可視化通常是數據研究工具，注重精準和視覺效率，數據只要表明研究成果的證明屬性就可以了，顯而易見，現在數字媒體的全面崛起表明可視化的娛樂屬性更易于數據的傳播和人們對于數據更廣泛使用的理解。random quark studio給他們的客戶Saatchi&Saatchi Wellness創作了一個將情感變成彩色畫作的作品，用腦電波讀取器測量Saatchi&Saatchi員工的腦波，并使用先進的技術從數據中提取基本的情感信息（即憤怒、喜悅、厭惡等）。然后將其輸入到編譯好的生成群算法中，該算法輸出復雜的繪畫。情感畫作在杜魯門啤酒廠的一個展覽中展出，他們的每個員工也在他們的名片后面獲得情感“快照”。同時在他們的網站上，random quark studio還使用了機器學習在Twitter上來實時展示了當時情感宣泄作畫的那一刻。

3 腦神經信息可視化的具體應用

信息可視化（Information visualization）是一個跨學科領域，目的是把大規模非規律化的信息數據以視覺語言來表現。與科學可視化相比，信息可視化更注重抽象數據具象化，其中如我們常用的樣本元素諸如文本、線條、色彩、圖形甚至高維空間當中的點（這些點并不具有固有的二維或三維幾何結構）。信息可視化設計中包含了數據可視化、信息圖形、知識可視化、科學可視化以及視覺設計方面的所有層面。在這種層次上，如果加以充分適當的組織整理，任何事物都是視覺樣本：表格、圖形、地圖，甚至包括文本在內，無論其是靜態的還是動態的，都將為我們提供某種方式或手段，并且能讓我們觀察并得到其中的規律，找到事物的本質，發現各種層次的關聯，可能還會讓我們找到原來領域沒有發現的事物。不過，如今在科學技術研究領域，信息可視化這條術語則一般適用于大規模非數字型信息資源的可視化表達。信息可視化致力于創建那些以直觀方式傳達抽象信息的手段和方法，可視化設計手段與交互技術的融合是能讓用戶通過感官來探索以至立即理解大量的信息。

以往我們對于一些抽象信息的表達很難用科學的手段精確地描述出來，卻能用藝術與設計的形式意象表達出來，信息可視化設計也許目前還無法完全把抽象信息準確的重現給人們，但確實未來很有可能實現的一種方式。科技發展到當下，我們已經可以通過腦電波感應器探測感知人們的情緒，無論是感到厭煩還是興奮，精力是否集中的思考工作，抑或是處于放松休閑狀態。甚至可以通過大腦對于肌肉控制的狀態，感知人的笑容或者皺眉，以及其他的動作反應。在美國留學的Lisa Park認為人類的情感是和自身的能量波相關聯，她創作了EUNOIA II這組作品是她第一次使用腦電波傳感器獲得她自己實時的腦電波數據和情感反應，期間傳感器拾取了她挫敗、興奮、冥想的情緒值并轉換成了聲波通過揚聲器對水產生了震動，通過這個表演，她情感的強度被同時鏡像聲音音量的強度上，48個不同尺寸的金屬揚聲器上。

在哥倫比亞大學杰羅姆·格林科學中心的公共大廳中的一面墻上，有7塊可以上下滑動的72英寸顯示器，該交互式數字裝置作品《The Brain Index》由空間研究中心的Laura Kurgan、Mark Hansen和新媒體工作室AV&C共同創作。他們將藝術、科學、數據、通過講故事的形式和信息設計結合起來，讓你看懂大腦的活動和作用。腦神經有著重要的功能：視覺、嗅覺、聽覺、味覺均由腦神經傳遞，人類豐富的面部表情也由腦神經控制。腦神經中的迷走神經參與自主神經系統的構成，參觀的人們，可以走至跟前，觸摸選擇不同的關于“腦科學”的資料信息，查閱關于神經網絡和DNA等直觀的數字化資料。

獲2017年美國國家科學基金會科學與工程可視化挑戰圖解類別大獎的《自我映射》（Self Reflected），是由賓夕法尼亞大學的神經科學家及藝術家Greg Dunn博士和應用物理學家及藝術家Brian Edwards博士一起創作的，他們嘗試用另一種方法讓人們感知大腦的運動。他們運用22k鍍金反射微蝕（reflective microetching）這一革新的技術手段在肉眼可見的大腦和微小的神經之間架設了一座橋梁。自我映射在金色表面的反光下，以動畫的形式記錄大腦的活動，觀看者可以通過這種方式感受大腦本身的神經活動。整體絢麗的展示效果向人們揭示了作為人類最神奇最奧秘的一部分組織——大腦的神奇之處大量神經活動的細節。這一個效果并非來自大腦的掃描，而是基于對神經活動的算法模擬、數字設計、光蝕、燈光設計和鍍金各種藝術與科技手段相結合的一次創新，其在精度和尺度上獲得的成績是現在的掃描技術所無法實現的。

目前來看，基于腦神經感應的信息可視化設計與研究還處在起步階段，隨著腦感應硬件的快速發展以及腦神經科學的不斷挖掘，會不斷細分衍化，也許不久的將來我們可以通過腦神經可視化研究知道如何讓兒童學習更加專注，自閉癥人群在腦神經可視化設計的幫助下走出心理的陰影，期待藝術與科技完美融合后能夠發揮幾何式不可想象的發展空間，將科學研究與藝術設計相結合，揭開人類大腦中的奇妙世界。

參考文獻：

[1] 邱南森.數據之美：一本書學會可視化設計[M].張伸，譯.中國人民大學出版社，2014.

[2] Tamara Munzner . Visualization Analysis and Design（AK Peters Visualization Series·English Edition）[M]. A K Peters/CRC Press，2014.