孫傳林 袁一茗



近年來,隨著認知神經科學技術的發(fā)展,曾經慣用于腦科學及心理學研究的技術也逐漸交叉出新的研究領域,為研究電影電視節(jié)目的受眾反應提供了新的可能性。目前,部分國內外高校及電影電視公司均有研究者把目光移向了認知神經科學,嘗試采用眼動追蹤、腦電、功能性近紅外光學成像、功能性磁共振成像、皮膚電反應監(jiān)測等技術手段考查觀影個體觀看效果的反饋。
在認知神經科學的諸多方法中,由于電生理信號的真實性和客觀性,基于電生理信號的識別已經成為認知神經科學領域內相對成熟的研究方式。該研究主要通過對采集到的電生理信號進行分析,提取能夠代表特定受眾關注度或情緒反應的特征,建立受眾關注度或情緒反應的研究模型。①皮膚電反應作為一種重要的電生理信號,已經被證明包含可靠的情感生理反應特征。另外,相對于其他電生理信號,皮膚電反應的監(jiān)測技術方法簡單、容易量化測試,且信噪比在可接受范圍內。皮膚電反應較為敏感,可以對應人類的情緒反饋,數據來源于皮膚汗腺的自主激活,與情緒、喚醒度和注意力等因素密切相關,是生理學反應系統(tǒng)中應用最廣泛的測量指標類型之一。同時,因其穩(wěn)定性高、測量簡便、靈敏度高等優(yōu)勢,已成為反映個體交感神經興奮性變化最有效、最敏感的生理參數。因此,皮膚電反應可以作為評價個體生理喚醒、認知負荷、努力程度、情緒反應以及應激能力的良好指標,可應用于產品設計、用戶體驗測評、操作人員應激反應等研究內容。皮膚電反應監(jiān)測分析技術近些年來也被部分國外高校及廣播電視公司用于影視研究中,用以確定人們在電影或電視及其他形式的視聽媒體上聽到或看到特定信息時的反應。這種類型的研究可以幫助電影電視創(chuàng)作者了解“傳統(tǒng)”影像美學、技巧的準確性,以便用更為理性的角度理解影像;也能夠使制片、營銷人員更好地了解目標人群和市場,并根據這些信息做出決策。②深入探討皮膚反應監(jiān)測分析技術的優(yōu)勢及應用,有助于為電影學的研究提供新的可能性,可以進一步利用實驗采集所需要的皮膚電反應信號建立實驗數據庫,并對信號進行預處理和非線性特征提取,進而進行受眾情緒、關注度識別監(jiān)測,最后建立客觀的影片評價體系。而這一客觀評價可以為電影電視內容、拍攝方法及后期處理環(huán)節(jié)提供指導或創(chuàng)新性的建議,為電影電視的研究提供新的可能性。
一、皮膚電反應簡介
普通人類的身體大約有三百萬個汗腺,在手掌、手指以及腳底分布較為密集。當機體受到感官刺激或者情緒產生變化時,皮膚內的血管會產生收縮和舒張,機體的汗腺就會被激活而發(fā)生變化,進而分泌水分,并通過毛孔滲出皮膚表面,在分泌液中的離子能夠改變電流正負平衡,這種可測量的皮膚電導的變化(皮膚電導增加等于皮膚電阻降低)稱之為皮電活動。①皮電活動能夠快速、靈敏地反應刺激事件對個體的影響程度。人類的汗液是由自主神經驅動來滿足行為需求。一般來說,自主神經包括兩個部分:交感神經系統(tǒng)代表快速反應動員系統(tǒng),促進立即行動;交感神經活動的增加與自主神經相關,如心率變快、血壓增加等。副交感神經系統(tǒng)表示緩慢變化,與調節(jié)、休戚等相關。
在神經電影學研究領域,皮膚電反應通常有以下術語:皮膚電導(SC)、原發(fā)性皮膚反應(GSR)、皮膚電反應(EDR)、皮膚電導反應(SCR)、交感神經皮膚反應(SSR)和皮膚傳導水平(SCL)等。據相關資料顯示,皮電基本上采用EDA和GSR兩種簡稱表示,但兩者之間沒有明確區(qū)別,EDA表示的是皮膚電活動,GSR表示的是原發(fā)性皮膚電反應。②
皮膚電反應信號主要分為兩部分,由漸變信號Tonic Data和突變信號Phasic Data組成。Tonic Data指總體的緩慢變化信號,因個體間的基線水平差異較大,范圍在2—20?S之間。根據不同的環(huán)境因素和皮膚特性,同一個人的皮膚在很長一段時間內Tonic Data也會發(fā)生變化。皮膚電導水平(SCL)是測量Tonic成分最常用的方法。相關研究表明,SCL的變化與個體的自主覺醒水平有關,如情緒的一般水平和壓力水平。③由于SCL變化緩慢,所以測量時間需要足夠長。SCL水平會根據個體差異和實驗環(huán)境變化而變化,所有數值本身需要結合基線分析才有意義。Phasic Data指交感神經活動引起的快速變化部分,也被認為是皮膚電導響應(SCRs)。SCRs在皮電信號中可以直觀地看到快速的波動及較大的波幅。④其中包括:事件相關SCR(ER-SCR),常用作解釋特定刺激事件與情緒喚醒水平相關關系的測量方法;非特異性SCR(NS-SCR),不同被試的NS-SCR頻率可能不同,平均為每分鐘1—3次,高水平的覺醒也與較高的NS-SCR頻率有關。在進行ER-SCR實驗設計中,SCR響應速度有一定延后性(一般在刺激呈現之后1—5s開始反應),需要保證刺激之間的時間間隔。⑤
二、皮膚電反應在神經電影學領域的國內外研究現狀
皮膚電反應和電影的交叉研究淵源可以追溯到1970年,查爾斯·凱撒(Charles Kaiser)與羅伯特·羅斯勒(Robert Roessler)在美國的休斯頓大學貝勒醫(yī)學院召集了20名男性學生,分別在平靜休息時間、溫和劇情的電影放映期間和有一定緊張刺激情節(jié)的電影放映期間監(jiān)測皮膚電反應。但當時神經電影學的概念還尚未被提出,實驗僅測試出在有一定緊張刺激情節(jié)的電影放映期間產生的皮膚電反應水平和幅度最大,而在平靜休息時間產生的皮膚電反應水平和幅度最小,由此獲得了皮膚電反應水平和幅度與MAACL評分之間的直接關系。⑥這項實驗的結論被廣泛地應用于心理學研究,雖然沒有進一步探討認知神經科學與電影學的交叉領域,但這些皮膚電反應指數與電影刺激的平行變化支持電影劇情因素在認知神經科學機制方面的重要解釋。
神經電影學自被提出,就立刻受到了高校、電影公司、廣播電視公司的廣泛關注。2011年,一位名叫蘭德爾(Randal K.)的學者在Fastcompany期刊發(fā)表了題為《神經電影學的興起:好萊塢電影公司如何利用腦電波贏得奧斯卡獎》(Rise of neurocinema: How Hollywood studios harness your brainwaves to win Oscars.)的文章。①該文章披露,美國電影工業(yè)以好萊塢電影公司為代表,已經驗證了神經電影學的實用性并將其引入到了電影的實際生產中。好萊塢電影公司選擇了研究及使用成本較高、精準度高的腦電波實驗方法。直到2017年,成本更為低廉的皮膚電反應監(jiān)測分析技術被哥本哈根大學、英國廣播公司(BBC)營銷和觀眾中心、丹麥廣播公司(DR)科研中心引入到實驗和科研領域。該項目的初期實驗內容選用了電視連續(xù)劇《金錢流向》(DR,2015)的第一集,以此進行觀眾情感投入的實證研究。該研究通過測量和分析皮膚電導(SC)反應作為情緒喚醒的指標,監(jiān)控實時的觀眾反應。其實驗結果為:每個場景的平均皮膚電導測量值與劇情發(fā)展中事件的峰值分布密度高度重合,詳見圖1、2、3、4:
該實驗結果表明:皮膚電反應監(jiān)測分析技術在認知神經科學及神經電影學領域具有較高精確度。皮膚電反應也表現出抗干擾能力強的優(yōu)點。此外,因其較為低廉的實驗成本和小巧輕便的體積,很適合由大量被試者佩戴進入日常觀影場所,以便測試場景接近實際觀看場景。相比需在特定實驗室進行的核磁共振數據或腦電數據監(jiān)測,皮膚電反應監(jiān)測分析技術可將無關變量降至更低水平。低廉的實驗成本也意味著可以采集更多被試受眾的數據,更符合建立實驗數據庫的較大樣本數據量需求,以及影片評價體系模型建立等科研與產業(yè)實踐數據量訴求。②主流認知神經科學及神經電影學研究手段優(yōu)缺點具體如表1所示:
在國內,北京師范大學藝術與傳媒學院王宜文教授團隊較早展開了該領域的研究。王宜文教授團隊基于認知神經科學技術的特點,利用功能性核磁共振(fMRI)等技術對電影理論中情緒、視聽、鏡像機制等方面進行研究并取得了一定成果。神經電影學亦在國內市場中的觀影評價等方面表現出了較大的現實意義和社會商業(yè)價值。[1]
三、神經電影學研究實驗中皮膚電反應的測量、統(tǒng)計與分析
皮電反應是由于當機體受外界刺激或情緒狀態(tài)發(fā)生改變時,其植物神經系統(tǒng)的活動引起皮膚內血管的舒張和收縮以及汗腺分泌等變化,從而導致皮膚電阻發(fā)生改變引起的反應。皮電反應測量技術是通過將一對電極放置在皮膚表面,在皮膚上施加一個微小的恒定電壓,流過皮膚的電流與皮膚電導成正比,通過電流電壓轉換后,皮膚電導變化信號將以數值形式被記錄,因此皮膚電導響應又稱為皮膚電流響應。在技術層面,通常使用電極測量皮膚電導率,測量單位為微西門子micro-Siemens(μS)。[2][3]
為獲得良好的皮電反應信號質量,電極應該接觸到皮膚中汗腺充足的區(qū)域。在我們身體的各個部位都能找到不同比例的汗腺,其中,手掌、足底、手指和肩膀是放置皮電電極最常見的位置,因為這些部位具有高密度的汗腺(圖5所示)。
對比汗腺密度,手掌的密度最高,因此是連接EDA電極的首選部位;手指相對比手掌的皮電信號低,但手指測量不影響電導率分析,大多數情況下也是放置電極的合適位置;足底、腳的內側也是測量皮電的一種選擇,但因操作相對不便,使用較少。當參與者需要使用雙手進行任務操作時,例如測試交互式電影或XR媒體項目時則推薦此種方式。
電極的放置位置取決于實驗設計、可用電極的類型以及被試所允許的干擾程度。在同一個實驗中,如果確定了最合適的測量位置,應盡量保持對所有被試對象采取同樣的方式進行數據采集,以便更可靠地進行結果對比。
在觀看時長較長的電影、電視以及其他媒體內容時,受試對象處于長時間情緒刺激,漸變信號SCL則是常用的統(tǒng)計與分析指標。個體活躍時,電導水平相對增高,松弛時則相對較低,是對啟動勢能的一種良好評價參數。SCL的變化亦可從認知負荷的角度解釋分析:特定任務造成人體認知負荷的提高,中樞神經及交感神經會更加活躍;相應的受其控制的汗腺分泌汗液活動也會加強,進而導致SCL升高。[4][5]
在測試獨立刺激事件時,突變信號的監(jiān)測更有實際意義。皮膚電反應的陡峭波峰被稱為皮膚電導反應(SCR),統(tǒng)計指標一般包括:SCR開始反應時間(Onset Time)、Peak Time峰值時間、Rise Time上升時間、Amp幅值、Half Deacy Time半衰減期、SCR反應分析結果等。從個體接收到刺激開始,皮電上升至峰值點,然后逐漸恢復至基線水平,上升時間反映了個體對刺激的響應程度,峰值測量個體對刺激的喚醒強度,半衰期測量了個體情緒的自我恢復水平,可以用于對比鏡頭內部和切換時的戲劇性強度、敘事節(jié)奏、畫面刺激、聲音設計以及劇情邏輯合理性反應等。由特定事件引起的SCR皮膚電導反應,稱為ER-SCR。統(tǒng)計指標包括刺激反應個數(nSCR)、反應延遲時間(Latency)、反應幅值(Amplitude Summary)、反應水平(SCL)、平均半衰減期(Average Half Decay Time)、平均上升時間(Average Rise Time)、平均幅值(Average Amp)、平均反應水平(Average SCL)等。①
結語
神經電影學被認為是新興的跨學科。它依靠神經科學的發(fā)現來探索電影、電視等視聽媒體對受眾感知覺、情緒情感等各個方面的影響,并以此對視聽媒體的創(chuàng)作技法、觀念、受眾分析等進行精準判斷。皮膚電反應的監(jiān)測分析技術是神經電影學研究的新角度,自被提出就受到了國際學界、業(yè)界的廣泛關注,在英國、美國等大學研究院較早開展了相關研究。近年來,神經電影學在國內也開始發(fā)展,并取得了一定的成果。核磁共振成像技術作為準確的研究手段,最先在世界范圍內被廣泛采用。其主要依托核磁共振成像技術來分析觀眾接受影像聲音刺激時的腦部區(qū)域反應,并用來驗證電影學的基本理論。其優(yōu)點在于數據準確,能夠從大腦的活躍區(qū)域以及興奮程度來對影像進行關聯分析。缺點在于成本較高,定量分析相對不足,在被測試者的觀看屏幕尺寸、節(jié)奏的準確性上都有所欠缺。因此,更為便利的皮膚電反應監(jiān)測分析技術得以運用,其可以增加研究樣本量,并通過數據分析進行數據篩選和修正,建立多樣化的測量體系。在應用價值上,當前傳播手段從圖文時代快速進入到影像時代,電影、電視、短視頻等對于信息的傳播占有更大的優(yōu)勢,所以為視頻生產、影像美學流變等提供理論與技術支持的神經電影學研究具有較強的實際應用價值。從目前的研究現狀來看,基于皮膚電反應監(jiān)測分析技術的簡便、廉價、方便量化、具備成熟的數據分析系統(tǒng)等優(yōu)點,可以為影像/聲音技術、內容、評價等方面提供準備而快速的信息支撐及發(fā)展指導,對拓寬電影研究者們研究思路方面也能有所裨益。[6]隨著神經電影學更大范圍、更深的發(fā)展,電影工業(yè)也將面臨一個新的世界。這個新世界中,影像和聲音對人腦各個方面的影響將會被相對客觀、徹底的審視。
【作者簡介】? 孫傳林,男,江蘇鹽城人,燕京理工學院傳媒學院副教授,主要從事電影攝影技術與理論研究;
袁一茗,男,河北保定人,燕京理工學院傳媒學院助教。
【基金項目】? 本文系2022年度河北省高等學校人文社會科學研究重點項目“基于多種生物電信號的神經電影學交叉研究”(編號:SD2022107)階段性成果。
參考文獻:
[1][6]王宜文,趙雨,王泉泉.基于fMRI技術的電影學與認知神經科學交叉研究進展[ J ].當代電影,2018(02):37-42.
[2]孫學軍,劉買利,葉朝輝.腦功能磁共振成像研究進展[ J ].中國神經科學雜志,2001(03):270-272.
[3]方沛如,李曉玉,聶挺,常海鵬,鐘鑫.皮膚電反應在異常心理評估中的應用初探[ J ].現代信息科技,2018(03):186-189.
[4]俞其峰.三參數人體應激檢測系統(tǒng)研究[D].浙江大學,2012(07).
[5]李曉軍,肖忠東,孫林巖,李經緯.可用性問題嚴重程度對交互過程用戶皮膚電導水平的影響[ J ].系統(tǒng)管理學報,2015(04):4-10.