飛機座艙顯示界面腦力負荷測量與評價

衛宗敏 完顏笑如 莊達民

(北京航空航天大學 航空科學與工程學院，北京100191)

飛機座艙是復雜的人機交互系統，信息高度密集.隨著飛機不斷更新換代以及各種智能化、信息化系統的運用，飛行員所面臨的信息加工要求日趨嚴格，往往需要在短時間內處理大量信息并快速作出反應決策，從而容易出現腦力負荷較高，甚至超載的情況［1］，嚴重影響到飛行員的工作效率、飛行操作的可靠性以及飛行員自身的生理心理健康.據統計，在世界范圍內近20年的飛行事故中，約有35%的飛行事故與飛行員腦力負荷過重相關［2］.因此在座艙顯示界面設計階段，通過準確評價甚至預測飛行員的腦力負荷，優化腦力任務設計并使其保持在適宜水平，已成為具有重要現實意義的研究課題.

腦力負荷測量是進行腦力負荷預測以及腦力任務優化設計的基礎，其目的主要包括兩個:設計和評價顯示界面以確保所提供的信息不至超載;當飛行任務緊急時，優化界面信息顯示以盡量減少作用于飛行員的腦力負荷［3］.航空事故調查結果顯示，腦力負荷所引發的航空事故與飛行員對信息的自動探測、警覺性、朝向注意等認知能力的下降而引起的飛行操作失誤關系密切［4－5］.在目前認知神經科學領域所使用的ERP(Event Related Potential)技術中已發現多個成分可反映大腦的認知加工過程.ERP是指外加一種特定刺激，作用于感覺系統或腦的某一部位，當給予刺激或撤銷該刺激時，在腦區引起的電位變化，ERP技術在實時、高精度反應信息加工活動等的時間效應方面具有獨特優勢［4－5］.研究表明，失匹配負波(MMN，Mismatch Negativity)和P3a成分可以有效地反映大腦皮質對信息變化的自動探測能力和注意朝向能力［5－7］，從而可能用于腦力負荷的測量與評價領域.

目前，為測試某一顯示界面設計的可用性，國外人機工效學領域已較為廣泛地使用飛行模擬器開展飛行員的腦力負荷、注意資源分配、情境意識等的測量與評價研究［8－9］，而國內所開展的相關研究還較為有限.本文在前期實驗［10］的基礎上，基于ERP技術開展飛行模擬任務，選取MMN和P3a成分作為評價指標，對被試者的腦力負荷情況進行測量，以期用于進一步的飛機座艙顯示界面設計的適人性評價，為優化完善顯示界面設計提供依據.

1 方法

1.1 被 試 者

被試者為北京航空航天大學在地面飛行模擬器上接受過良好培訓的模擬飛行員16人(男性，23～27歲，平均年齡24.4歲)，右利手，視力或矯正視力正常，聽力正常.

1.2 實驗設計

實驗采用3×3×3完全被試內設計，即:腦力負荷(高、低、對照)×腦側(左側、中線、右側)×腦區(額區、額中央區、中央區).由于MMN的頭皮分布以額部中央區所記錄的波幅為最大，故本實驗選取“額區、額中央區、中央區”3個腦區進行統計.16名被試者均參與高、低、對照3種腦力負荷條件下的3次飛行模擬任務，每個被試者的3次飛行模擬任務之間間隔0.5 h，腦力負荷水平的實驗順序在被試者中交叉平衡.

1.3 飛行模擬任務

被試者需要在飛行模擬器上完成以巡航任務為主、包括起飛和降落在內的完整的動態飛行過程.不同被試者在進行起飛或降落手動作業時會在操作時間上有少許差異，故一次飛行模擬實驗時間約為830 s.實驗通過設定所需監視的儀表數量、異常信息的呈現時間和間隔時間來控制被試者的腦力負荷水平.要求被試者在飛行模擬過程中監視平視顯示器上的儀表顯示狀態，并對異常信息進行識別、判斷及響應操作.異常信息的設定范圍如表1所示.

表1 異常信息的設定范圍

在高腦力負荷條件下，需要被試者保持監視的儀表信息數量為9個(包括:俯仰角、空速、氣壓高度、航向角、滾轉角、方向舵狀態、副翼位置、起落架狀態、發動機狀態)，異常信息的平均呈現時間與間隔時間分別為1 s與0.5 s;在低腦力負荷下，需要被試者保持監視的儀表信息數量為3個(包括:俯仰角、空速、氣壓高度)，異常信息的平均呈現時間與間隔時間均設定為2 s;在對照腦力負荷條件下，無異常信息出現，被試者保持監視的儀表信息數量為0.

1.4 三刺激“oddball”任務

被試者在飛行模擬過程中佩戴電極帽和耳機，由耳機雙側呈現三刺激“oddball”模式下的聽覺任務.實驗場景如圖1所示.

圖1 實驗場景

一個完整的聽覺刺激序列包含1 120個標準刺激(800 Hz，80 dB SPL，80%)、140 個偏差刺激(1000 Hz，80 dB SPL，10%)和 140 個新異刺激(包含多種告警聲音等，80 dB SPL，10%)，3種刺激的呈現時間均為100 ms，刺激間隔(SOA，Stimulus Onset Asynchrony)為600 ms.實驗采用非隨意注意條件下的誘發方法，要求被試者關注飛行模擬任務，忽略聽覺刺激，由大腦完成對聲音刺激的自動加工.

1.5 數據記錄與分析

采用Neuroscan Neuamps系統記錄30導腦電信號:F7，FT7，T3，TP7，T5，FP1，F3，FC3，C3，P3，O1，FZ，FCZ，CZ，CPZ，PZ，OZ，FP2，F4，FC4，C4，P4，O2，F8，FT8，T4，TP8，T6，M1，M2.以鼻尖為參考，前額接地，同時記錄水平和垂直眼電.電極與皮膚接觸阻抗小于5 kΩ，記錄帶寬為0.1～200 Hz，采樣率為1 000 Hz/導.利用 EOG信號相關法去除垂直眼電和水平眼電對EEG信號的影響，排除有明顯偽跡的數據.分析時程為600 ms，含刺激前的100ms為基線校正，波幅大于±150μV視為偽跡剔除，所得ERPs經1～30 Hz的無相移帶通數字濾波器濾波.用偏差刺激的ERPs減去標準刺激的ERPs，得到由聲音頻率變化所誘發的MMN-1和 P3a-1，如圖2a所示;用新異刺激的ERPs減去標準刺激的ERPs，得到由異常聲音所誘發的MMN-2以及P3a-2，如圖2b所示.

圖2 MMN和P3a成分的總平均圖

計算機系統自動記錄被試者對異常信息的正確操作率和反應時間(從目標出現到做出響應的時間間隔)作為評價指標.采用SPSS 17.0統計軟件包對行為績效數據和腦電數據進行重復測量的方差分析.

2 實驗結果

2.1 行為績效結果

高、低腦力負荷下被試者對異常信息的正確操作率和反應時間見表2.單因素重復測量的方差分析表明，高腦力負荷狀態下被試者對異常信息的正確操作率顯著降低(p＜0.001)，反應時間延長(p=0.065)，但未達到顯著性水平.

表2 高、低腦力負荷下的正確操作率和反應時間

2.2 ERP 結果

MMN(含 MMN-1，MMN-2)和 P3a(含 P3a-1，P3a-2)成分的總平均圖如圖2所示，其腦電壓地形圖見圖3.從圖2和圖3可以看出，MMN和P3a的幅值在不同腦力負荷條件下均存在明顯差異，以額中央部最為明顯.根據圖2和圖3，針對額中央部的9導電極，對MMN(測量時間窗:100～200 ms)和P3a(測量時間窗:200～300 ms)成分的峰值進行三因素重復測量的方差分析.

圖3 高、低、對照腦力負荷條件下的腦電壓地形圖

2.2.1 MMN 成分統計結果

對于MMN-1成分，三因素重復測量的方差分析表明，腦力負荷主效應顯著(p＜0.001)，表現為高腦力負荷條件下的 MMN峰值(－2.828 μV)顯著高于低腦力負荷條件下的MMN峰值(－1.637 μV)，低腦力負荷條件下的 MMN 峰值(－1.637 μV)顯著高于對照腦力負荷條件下的MMN 峰值(－0.178 μV).腦區主效應也是顯著的(p＜0.001)，并如圖3所示呈現出明顯的額區電壓優勢效應，具體表現為額區的MMN峰值(－1.832μV)顯著高于額中央區的 MMN 峰值(－1.561μV)，額中央區的 MMN 峰值(－1.561 μV)顯著高于中央區的MMN峰值(－1.250μV).腦側的主效應不顯著(p=0.432).無交互效應達到顯著性水平(p＞0.05).

對于MMN-2成分，三因素重復測量的方差分析表明，腦力負荷和腦側的主效應均不顯著(p＞0.05).腦區的主效應顯著(p=0.024)，具體表現為額區的 MMN 峰值(－3.783 μV)顯著高于額中央區的 MMN 峰值(－3.719 μV)，額中央區的MMN 峰值(－3.719 μV)顯著高于中央區的 MMN峰值(－3.454 μV).無交互效應達到顯著性水平(p＞0.05).

2.2.2 P3a 成分統計結果

對于P3a-1成分，三因素重復測量的方差分析表明，腦力負荷主效應顯著(p＜0.001)，表現為高腦力負荷條件下的P3a峰值(0.592 μV)低于低腦力負荷條件下的P3a峰值(1.592 μV)，低腦力負荷條件下的 P3a峰值(1.592 μV)顯著低于對照腦力負荷條件下的P3a峰值(2.956 μV).腦區主效應也是顯著的(p=0.009)，并如圖3所示，呈現出中央區電壓優勢效應，具體表現為中央區(1.904 μV)、額中央區 (1.714 μV)、額區(1.523 μV)的 P3a峰值依次顯著降低.腦側主效應不顯著(p＞0.05).無交互效應達到顯著性水平(p＞0.05).

對于P3a-2成分，三因素重復測量的方差分析表明，腦力負荷主效應顯著(p=0.015)，表現為高腦力負荷條件下的P3a峰值(3.629 μV)顯著低于對照腦力負荷條件下的P3a峰值(6.141 μV).低腦力負荷條件下的 P3a 峰值(4.726 μV)與高腦力負荷條件下 P3a 峰值(3.629 μV)以及對照腦力負荷條件下的 P3a峰值(6.141 μV)相比均不顯著(p ＞0.05).腦區的主效應也是顯著(p＜0.001)，并如圖3所示呈現出中線電壓優勢效應，具體表現為中線位置的 P3a峰 值 (5.482 μV)顯 著 高 于 左 側 腦 區(4.438 μV)和右側腦區(4.575 μV)的 P3a 峰值.無交互效應達到顯著性水平(p＞0.05).

3 討論

3.1 行為績效結果討論

由表2所示的行為績效數據表明，被試者在高、低腦力負荷條件下的作業績效差異顯著，在高腦力負荷條件下，被試者對異常信息的正確操作率顯著降低，且反應時間延長.這一結果支持了認知負載理論，即知覺負荷能夠在感知加工階段影響注意資源的分配［11］.在高腦力負荷條件下，被試者需要同時處理的信息量增多，則平均分配在每個信息上的注意資源減少，從而導致正確操作率的下降;且隨著信息量的增加，被試者對單個信息的注視頻率降低，因此反應時間延長.

3.2 對ERP結果的討論

3.2.1 關于MMN成分的討論

大腦對信息的自動加工屬于不受意識控制的加工，是認知過程的重要組成部分之一，而人行為的自動化即是大腦對信息自動加工后的結果［7］.飛行員在面臨復雜多變的空域情況時，仍然能夠靈活操作，同時完成掌握飛行姿態、觀察空域、控制飛行速度、飛行高度等多項操作任務即與飛行員對部分信息能夠做到自動化加工密切相關.

大量研究表明，MMN成分是反應大腦信息自動加工的可靠的客觀性指標［7，12］.在本研究中，通過測試3種腦力負荷水平下的MMN成分的峰值，發現其隨著腦力負荷的增加而出現逐級性的顯著提高，這一實驗結果與初期研究結果相符［10］，并與文獻［13 －15］的研究結果一致.本實驗結果支持了Lavie所提出的認知控制負載理論，說明在飛行模擬條件下，腦力負荷的增加導致了被試者對非任務相關信息(即聲音刺激)的自動加工能力的增強.提示在高腦力負荷條件下被試者對外界聽覺信息的變化更為敏感，或閾值降低，也表明被試者在高腦力負荷條件下對非隨意注意通道的無意義信息的門控能力下降，使得這些信息被納入加工機制，反而抑制了大腦對有用信息的有效加工，從而可能導致被試者對于目標信息的注意能力的下降，反應在本實驗中的行為績效結果上，即為被試者的操作績效顯著降低.如果是在實際的飛行任務中，則可能導致飛機駕駛人為失誤現象的增加和發生空中交通事故的可能.

3.2.2 關于P3a成分的討論

相關研究表明，P3a是朝向反應的重要指標，朝向反應屬非隨意注意，其注意對象原非心理活動的指向者，但因具有足夠的新異性和刺激強度而獲得注意.朝向反應能夠使機體覺知并應對不測事件，使之優先進入認知加工進程，對機體具有重要的保護意義［5－6］.在執行飛行任務過程中，為及時、準確、全面地獲取飛行信息，飛行員的隨意注意與非隨意注意活動同時并存，“自下而上”與“自上而下”的信息加工機制互為補充.并且，由于非隨意注意往往是在周圍環境發生變化時產生的(例如突然出現的視覺異常信息或告警音等)，因此基于非隨意注意的信息加工機制有助于對作業人員的機體產生保護作用，避免其遭受到意外傷害，體現了人類機體的“原始智能”［16］.

在本研究中，P3a成分的峰值隨著腦力負荷的增加而發生逐級性的顯著減低，提示被試者在高腦力負荷條件下的非隨意注意能力減弱.這一點從腦電壓地形圖上也可獲得驗證，從圖3可以看出，P3a成分在對照腦力負荷條件下呈現出明顯的中央區電壓優勢效應，但隨著腦力負荷的增加而發生明顯的活性降低.因此，本研究表明，增加腦力負荷可能會降低作業人員對危險信號的覺察判斷能力，從而導致在飛行作業任務時不能及時有效地應對突發狀況以進行自我保護，從而對飛行安全造成潛在威脅.

在本研究中，由新異刺激所誘發的MMN和P3a成分對于評價高低負荷不敏感，其原因可能在于本實驗所采用的新異刺激的新異程度過高，導致了過強的注意朝向效應，從而削弱了負荷因素的影響.

4 結論

本文結合飛行模擬任務，以正確操作率、反應時間和兩種ERP成分為指標，針對實驗設定的所需監視的儀表數量和異常信息，采用三刺激“oddball”模式開展了三級腦力負荷的測量與評價研究，并獲得以下結論:

1)MMN成分的峰值對腦力負荷變化敏感，隨著腦力負荷的增加，MMN的峰值顯著增大，反應了被試者對異常信息的自動加工能力的提高.

2)P3a成分的峰值對腦力負荷變化敏感，隨著腦力負荷的增加，P3a的峰值顯著降低，反映了被試者朝向注意能力的減弱.

3)由偏差刺激和新異刺激所誘發的MMN和P3a成分均具有一定的任務負荷效應，其中，由偏差刺激所誘發的MMN與P3a成分對與飛行任務相關的腦力負荷具有更好的敏感性，將可能用于進一步的腦力負荷分級評價.

References)

［1］郭小朝，劉寶善，馬雪松，等.戰術導航過程中新殲飛行員的信息顯示需求［J］.人類工效學，2003，9(1):5 －10 Guo Xiaochao，Liu Baoshan，Ma Xuesong，et al.Cockpit information required by advanced fighter pilots for displays in tactical navigation［J］.Chinese Journal of Ergonomics，2003，9(1):5－10(in Chinese)

［2］Caldwell J L，Gilreath S R，Norman D N.A survey of work and sleep hours of US army aviation personnel［R］.USAAR L-99-16，1999

［3］柳忠起，袁修干，劉濤，等.航空工效中的腦力負荷測量技術［J］.人類工效學，2003，9(2):19 －22 Liu Zhongqi，Yuan Xiugan，Liu Tao，et al.Mental workload measurement technology in the aviation ergonomics［J］.Chinese Journal of Ergonomics，2003，9(2):19 －22(in Chinese)

［4］羅躍嘉，魏景漢.注意的認知神經科學研究［M］.北京:高等教育出版社，2004:1－7 Luo Yuejia，Wei Jinghan.Attentive research and cognitive neuroscience［M］.Beijing:Higher Education Press，2004:1 －7(in Chinese)

［5］呂靜.腦力疲勞狀態下注意特征及情緒變化的ERP研究［D］.西安:第四軍醫大學，2008 Lü Jing.ERP study of attention and emotion in the mental fatigue［D］.Xi’an:Fourth Military Medical University，2008(in Chinese)

［6］Kok A.On the utility of P3 amplitude as a measure of processing capacity［J］.Psychophysiology，2001，38(3):5572 －5778

［7］Naatanen R，Jacobsen T，Winkler I.Memory-based or afferent processes in mismatch negativity(MMN):a review of the evidence［J］.Psychophysiology，2005，42(1):25 － 32

［8］Nicklas D，Staffan N.Mental workload in aircraft and simulator during basic civil aviation training［J］.The International Journal of Aviation Psychology，2009，19(4):309 －325

［9］Paul L，Maria K.Cardiac data increase association between selfreport and both expert ratings of task load and task performance in flight simulator tasks:an exploratory study［J］.International Journal of Psychophysiology，2010，76(2):80 －87

［10］完顏笑如，莊達民，劉偉.腦力負荷對前注意加工的影響與分析［J］.北京航空航天大學學報，2012，38(4):497－501 Wanyan Xiaoru，Zhuang Damin，Liu Wei.Analysis on effect of mental workload on preattentive processing［J］.Journal of Beijing University of Aeronautics and Astronautics，2012，38(4):497－501(in Chinese)

［11］Lavie N.Perceptual load as a necessary condition for selective attention［J］.Journal of Experimental Psychology:Human Percept＆ Performance，1995，21(3):451 －468

［12］Marco P J，Grau C，Ruffini G.Combined ICA-LORETA analysis of mismatch negativity［J］.Neuroimage，2005，25(3):471 －477

［13］宋國萍，張侃.駕駛疲勞后聽覺信息自動加工的ERP研究［J］.人類工效學，2011，17(4):1 －4 Song Guoping，Zhang Kan.ERP study of auditory automatic process over driver fatigue［J］.Chinese Journal of Ergonomics，2011，17(4):1 －4(in Chinese)

［14］Zhang P，Chen X，Yuan P，et al.The effect of visuospatial attentional load on the processing of irrelevant acoustic distractors［J］.Neuroimage，2006，33(2):715 －724

［15］Lü J Y，Wang T，Qiu J，et al.The electrophysiological effect of working memory load on involuntary attention in an auditoryvisual distraction paradigm:an ERP study［J］.Experimental Brain Research，2010，205(1):81 －86

［16］Murata A，Uetake A，Takasawa Y.Evaluation of mental fatigue using feature parameter extracted from event-related potential［J］.International Journal of Industrial Ergonomics，2005，35(3):761－770