飛行模擬器環境下飛行員視覺特征

孫瑞山 汪 苧

(中國民航大學民航安全科學研究所，天津300300)

安全是民航永恒的主題，影響航空安全的因素涉及到人和技術以及政治、經濟、科技、社會、環境等許多方面，其中人是最關鍵的因素.根據事故統計分析，民機飛行事故中約有60% ～80%是由于機組原因造成的［1］.飛行員在操作飛機的過程中，需要處理大量信息情報，而信息的來源很大程度上依賴于視覺，約有80% ～90%是通過人眼獲得.由于人眼獲取信息具有直接性、自然性和雙向性等特點［2］，因此眼動研究被認為是人信息加工研究中最有效的手段.

國外將眼動設備應用于航空研究的記錄最早可追溯至1950年［3］，分別從工作負荷、情境認知、航空人員選拔等方面進行了廣泛而持續的研究.

文獻［4］通過攝像機記錄飛行員在飛機最后轉彎階段的視覺關注區域，根據飛行日志分析其飛行精度，發現視覺管理與潛在危險方式轉彎之間的相關性.文獻［5］利用眼動設備跟蹤飛行員的眼動變化，記錄飛行經驗存在差異的飛行員在做出決策過程中的精度和時間，證明經驗豐富的飛行員在決策時用時較短、精度較高，且在故障模式下會更多地關注有用信息.文獻［6］利用眼動設備在白天和夜晚兩種不同光照強度條件下進行飛機著陸實驗，研究發現飛行員在獲取艙外信息時可以利用余光而非完全通過注視模式，且在白天光照條件下，飛行員能夠獲取更多的艙外信息，從而降低了下滑道性能.文獻［7］通過實驗采集眼動跟蹤數據，利用行為、心理模型研究駕駛艙的自動監控策略，研究在驗證前人成果的同時，證明監控錯誤是人機交互故障的主要因素.文獻［8－9］將視線跟蹤運用到航空人才選拔中，以識別監控操作的優劣，研究表明識別準確的監控行為能夠改進未來人才選拔程序.

我國在眼動方面的研究起步較晚，最早開始于20世紀70年代末、80年代初，在民用航空領域的眼動研究更為滯后.其中具有代表性的是:基于飛行員眼動視域特征的飛機駕駛艙設計與評價［10－11］，航空人因工程領域眼動研究［12－14］以及其它航空領域的眼動研究［15］.本文以固定式飛行模擬器為實驗環境，利用非接觸式FaceLAB4.0眼動儀作為眼動跟蹤設備搭建實驗平臺，簡化飛行員獲取信息的目標區域，并利用馬爾科夫鏈的數學分析方法對飛行員的視覺特征進行研究.

1 駕駛艙眼動實驗設計

1.1 實驗平臺搭建

實驗平臺搭建需要使用如下儀器設備:飛機駕駛艙人機交互仿真與測試系統(下文簡稱為“飛行模擬器”)和 FaceLAB4.0 眼動儀［16］.

實驗中的駕駛環境采用固定式飛行模擬器.該飛行模擬器包括系統控制臺、飛機仿真軟件、計算機系統硬件、飛機設備仿真件和外圍配套設備.整個系統提供了對仿真平臺進行各種設置的人機接口，實現了在實驗室條件下對真實飛機操縱的模擬.飛行中的外景圖像，通過系統自帶軟件和投影儀，播放到駕駛艙前方的屏幕上.

視線跟蹤設備采用澳大利亞Seeing machine公司生產的FaceLAB4.0眼動儀.該眼動儀是一個紅外攝像系統，采用非接觸式測量，實現對人臉的3D建模，極大地減少了測量儀器對人的干擾，為相關領域的研究提供了實時的視線跟蹤.

1.2 實驗設計

選擇普通在校研究生(男性，年齡為23～28歲)作為實驗被試，被試的視力或矯正視力正常.在實驗前期準備階段，被試需在實驗室模擬環境中進行5 h的飛行操作訓練，熟悉實驗平臺，并通過測試證實能夠獨立完成實驗任務.

實驗開始前，建立每位被試的頭部模型(the head model).要求被試完成在同一機場相同氣象環境下(晴朗的白天)的飛機起飛任務，每次實驗的眼動數據從飛機對正跑道沿著跑道中心線起飛滑跑開始記錄，直到飛機高度表顯示已爬升至300英尺高度.具體實驗設計方案如圖1所示.

圖1 實驗設計流程圖

2 眼動建模及視覺區域劃分

2.1 眼動設備建模

FaceLAB 4.0眼動儀首先要建立場景模型，場景模型是標定眼動儀、被觀測物體與測試對象之間的相對位置關系，也就是建立了基于眼動儀的坐標系.

而后，建立每位被試的頭部模型(如圖2所示).通過標定面部特征點，眼動儀可以實時跟蹤頭部、眼睛與視線的狀態.

圖2 頭部模型示意圖

最后，確立世界模型(The World Model).世界模型(如圖3所示)是FaceLAB 4.0的重要改進，允許使用者運用球體、平面等模擬外部可視場景，世界模型確立被觀測物體在全局坐標系中的大小與位置.世界模型標定的準確與否，關系到能否準確捕捉到被試的注視目標物.

圖3 世界模型示意圖

2.2 模擬飛行中的視覺區域劃分

飛行員視覺注視區域的劃分，是研究飛行員注意力分配和注視狀態轉移模式的基礎和前提.視野平面機械劃分法將視野平面機械地劃分為幾部分，落在各部分的注視點即為該區域內的注視目標［17］.

飛行員在飛機操作過程中，通過艙內儀表能夠獲取飛機的各項性能數據.在近地環境中，地面的標識、燈光、人員、車輛、環境能夠為飛行員提供周圍的交通環境信息.在實驗室環境下，為了簡化飛行員的視野和注視目標，將飛行員的視野平面按照艙內、艙外以及這之外的區域劃分為3個視覺區，分別記為:前窗艙外景區(1區)、艙內儀表區(2區)、其他視覺區(3區).實驗中被試的視野區域劃分如圖4所示.

圖4 被試的視野區域劃分圖

3 實驗數據預處理與方法分析

3.1 實驗數據預處理

每一次測試，FaceLAB 4.0眼動儀會自動采集被試的眼動參數.依據Data Analysis程序，一次實驗完成后可以導出5個數據表，分別是:世界數據表(World Data)、特征圖像數據表(Image Features)、時間數據表(Timing Data)、眼睛數據表(Eyes Data)和頭部數據表(Head Data).世界數據表主要存儲被觀測目標的坐標;特征圖像數據表主要存儲頭部、眼部和瞳孔分別在攝像機A和B中的坐標;時間數據表存儲幀數與時間的關系;眼睛數據表存儲注視、眼跳、瞳孔等信息;頭部數據表主要存儲頭部在全局坐標系中的位置、角度等信息.

本研究中的視覺狀態指:是否注視;如果注視，則收集注視目標物序號.在模擬飛行實驗中，被試的注視點數據往往會因受到疲勞、眨眼等因素的干擾而存在非注視點數據.根據眼動設備的數據記錄類型，從眼睛的閉合度、雙眼閉合置信度、注視質量、眨眼、掃視、PERCLOS值等方面建立注視狀態判斷條件，只有在同時滿足所有判斷條件的情況下，記錄的注視點數據才是最后用于實驗分析的注視點數據.注視狀態判斷條件如表1所示.

表1 注視狀態判斷條件

3.2 馬爾科夫鏈建模

根據上述判斷條件，篩選出高質量注視點數據，并收集最終用于分析的注視目標物序號.結合注視基本理論中最小注視持續時間的規定，對注視點數據進行提取.本文所使用的眼動儀采樣頻率為60 Hz，在給定最小注視持續時間t=100 ms的條件下，對同一目標物序號連續記錄6次，才達到最小持續時間.因此，在處理數據時，規定連續6幀以上記錄到同一注視目標物記為一次注視狀態數據，記錄其注視目標物序號.

注視目標物序號在世界模型建立時確定，由輸出數據表中GAZE_OBJ_INDEX體現.飛行員視野平面劃分為前窗艙外景區(1區)、艙內儀表區(2區)、其他視覺區(3區)，依次對應目標物序號輸出值1，2，－1.

假設每個時間點(每一幀)，被試的注視狀態只有一種.且由于數據采集的間隔很短，可以認為數據處理后得到的注視狀態數據是一種離散時間隨機變量序列.此序列無后效性，是離散時間的馬爾科夫鏈［18］.于是，可以得到如下馬爾科夫鏈.

其中，D為注視狀態的馬爾科夫鏈;t為時間點;T為時間點集合.

圖5所示為狀態轉移示意圖，K為注視狀態轉移概率矩陣，則

或者表示為

其中，pij為狀態i到狀態j的轉移概率:

馬爾科夫鏈D在t時刻的一步轉移概率，不僅與i，j有關，且與時刻t有關.

圖5 狀態轉移示意圖

4 實驗結果

對數據處理后的高質量注視狀態數據進行分析.1區域是實驗中劃分的前窗艙外景區.如果被試當前注視點位于1區域，下一個注視點轉移情況的概率值如表2所示.

表2 當前注視點為1區的一步狀態概率分布

表2數據顯示，如果被試當前注視點位于1區域，下一個注視點仍然位于1區域的概率(p11)最大，平均達到96.84%.說明被試觀察前窗艙外景區域時，絕大多數情況下不能在一次注視中就獲取足夠的信息，需要通過對該區域進行一次長時間的注視.下一注視點轉移到2和3區域的概率都很小，說明被試在觀察前窗艙外景區域時，非常專注，對其他的視覺區域幾乎不關注.

2區域是實驗中劃分的艙內儀表區.如果被試當前注視點位于2區域，下一個注視點轉移情況的概率值如表3所示.

表3 當前注視點為2區的一步狀態概率分布

表3數據顯示，如果被試當前注視點位于2區域，下一個注視點仍位于2區域的概率(p22)最大，平均達到92.58%.說明被試觀察艙內儀表區時，因該區域信息豐富，絕大多數情況下不能在一次注視中就獲取足夠的信息，需要通過對該區域進行一次長時間的注視.下一注視點轉移到1和3區域的概率都很小，說明被試在觀察艙內儀表區域時，非常專注，對其他的視覺區域幾乎不關注.

3區域是實驗中劃分的其他視覺區.此時被試主要觀察艙內儀表區和前窗艙外景區以外的視覺區域.當被試當前注視點位于3區域時，下一個注視點轉移情況的概率值如表4所示.

表4 當前注視點為3區的一步狀態概率分布

表4中的數據顯示，如果被試當前注視點位于3區域，下一個注視點位于3個視覺區域的概率均值大致相近.說明被試在觀察其他區域時，會同時關注艙內儀表區和艙外景區.

當前注視點為3區時，不同飛行員之間的一步狀態轉移概率相差較大.這是由于實驗過程中，被試在3區的注意力分配較少，加之在實驗后處理數據時，對注視這一視覺狀態進行嚴格篩選，并按照最小注視持續時間t=100 ms對注視點數據做提取，這樣處理后的數據在使用馬爾科夫鏈分析方法進行分析時，3區的注視點數據非常有限，單個注視點數據就會對總體產生顯著影響.

通過對一步狀態轉移概率分布情況的分析，認為被試在觀察艙內儀表區和前窗艙外景區時，由于視覺區內信息豐富，短時間注視無法獲得足夠信息，往往需要長時間的注視;被試的視覺注意力在其他視覺區時，由于該區域信息量少，在一次注視狀態中就能獲取該區的全部有效信息，因此視覺注意力在下一時刻向各視覺區發生轉移的概率大致相近;被試在飛行模擬實驗中觀察視覺區獲取信息時，注意力相對較為集中.

飛行員在飛機起飛、爬升過程中，需要獲得大量的信息，觀察艙內儀表區能夠獲得速度、爬升率、航向、飛行高度等數據，觀察艙外景區可以確保起飛過程中飛機始終對正跑道，獲得跑道上的交通情況、障礙物等各項有效信息.這些實際情況也從實驗數據的處理結果中得到驗證.

5 結 束 語

以固定式飛行模擬器和非接觸式眼動儀(FaceLAB4.0)構建了在模擬飛行過程中測試飛行員視覺特征的眼動實驗平臺.實驗中使用的眼動設備能夠精確標定面部視覺特征點、標注注視物體，建立每位被試的頭部模型和世界模型，使眼動跟蹤數據更精確、更有效.該設備相比于其他眼動追蹤設備，因其非接觸式的特點對被試干擾少、測試精度高而更具應用優勢.眼動實驗中被試下一個注視點所處的位置，只依賴于當前的注視點位置，而與此前注視點的位置無關，因此采用馬爾可夫鏈的方法分析被試的注視點數據具有可行性.本文搭建的實驗平臺及使用的數學分析方法，是一種研究飛行員飛行過程中視覺注視變化的有效手段.

References)

［1］強生權.如何預防飛行中的人為差錯［J］.人力資源管理，2010(4):52－53 Qiang Shengquan.How to prevent human error in flight［J］.Human Resource Management，2010(4):52－53(in Chinese)

［2］Jacob R J K，Karn K S.Eye tracking in human-computer interaction and usability research:ready to deliver the promises［J］.Computer Vision and Image Understanding，2003，24:682－701

［3］Fitts P M，Jones R E，Milton J L.Eye movements of aircraft pilots during instrument-landing approaches［J］.Aeronautical Engineering Review，1950，9(2):24－29

［4］Jarvis S，Harris D.Looking for an accident:glider pilots'visual management and potentially dangerous final turns［J］.Aviation Space and Environmental Medicine，2007，78(6):597－600

［5］Schriver A T，Morrow D G，Wickens C D，et al.Expertise differences in attentional strategies related to pilot decision making［J］.Human Factors，2008，50(6):864－878

［6］Kim J，Palmisano S A，Ash A，et al.Pilot gaze and glideslope control［J］.Acm Transactions on Applied Perception，2010，7(3):1－20

［7］Sarter N B，Mumaw R J，Wickens C D.Pilots'monitoring strategies and performance on automated flight decks:an empirical study combining behavioral and eye-tracking data［J］.Human Factors，2007，49(3):347－357

［8］Hasse C，Bruder C，Grasshoff D，et al.Future ability requirements for human operators in aviation，in engineering psychology and cognitive ergonomics［C］//Proceedings 8th International Conference，(EPCE 2009).Heidelberg:Springer，2009:537－546

［9］Seeingmachines.FaceLAB user support forum［M］.Hongkong:Seeingmachines，2005

［10］蘇建民.飛機座艙設計人機交互技術研究［D］.西安:西北工業大學，2002 Su Jianmin.Aircraft cockpit design of human-computer interaction research［D］.Xi'an:Northwestern Polytechnical University，2002(in Chinese)

［11］王黎明.基于知識庫的飛機駕駛艙布局設計方法研究［D］.西安:西北工業大學飛行器設計系，2004 Wang Liming.Cockpit layout design method based on the knowledge database［D］.Xi'an:Department of Flight Vehicle Design，Northwestern Polytechnical University，2004(in Chinese)

［12］柳忠起，袁修干，樊瑜波，等.模擬飛機著陸飛行中專家和新手眼動行為的對比［J］.航天醫學與醫學工程，2009，22(5):358－361 Liu Zhongqi，Yuan Xiugan，Fan Yubo，et al.Comparison of expert and novice eye movement behaviors du ring simulated landing flight［J］.Space Medicine ＆ Medical Engineering，2009，22(5):358－361(in Chinese)

［13］柳忠起，袁修干，劉偉，等.飛行員注意力分配的定量測量方法［J］.北京航空航天大學學報，2006，32(5):528－520 Liu Zhongqi，Yuan Xiugan，Li Wei，et al.Quantitative measuring method of pilot s'attention allocation［J］.Journal of Beijing University of Aeronautics and Astronautics，2006，32(5):528－520(in Chinese)

［14］柳忠起，袁修干，劉偉，等.基于模擬飛行任務下的眼動指標分析［J］.中國安全科學學報，2006，16(2):47－51 Liu Zhongqi，Yuan Xiugan，Li Wei，et al.Analysis on eye movement indices based on simulated flight task［J］.China Safety Science Journal，2006，16(2):47－51(in Chinese)

［15］徐興民.視線跟蹤技術及其應用研究［D］.南京:南京航空航天大學安全技術及工程系，2007 Xu Xingmin.Eye tracking technology and its applications［D］.Nanjing:Department of Safety Technology and Engineering，Nanjing University of Aeronautics and Astronautics，2007(in Chinese)

［16］Seeingmachines.FaceLAB4 user manual［M］.Canberra:Australia，2004:9

［17］郭應時.交通環境及駕駛經驗對駕駛員眼動和工作負荷影響的研究［D］.西安:長安大學，2009 Guo Yingshi.Study on effects of traffic environment and driving experience on driver's eye movement and workload［D］.Xi'an:Chang'an University，2009(in Chinese)

［18］張波，張景肖.應用隨機過程［M］.北京:清華大學出版社，2004 Zhang Bo，Zhang Jingxiao.Application of stochastic processes［M］.Beijing:Tsinghua University Press，2004(in Chinese)