基于用戶自定義興趣區的飛行員眼動數據可視分析方法

賀懷清 鄭立源 劉浩翰 張昱旻

摘 要：針對傳統基于興趣區的可視化方法在分析飛行員眼動數據過程中無法關注細節的問題，提出了一種基于用戶自定義興趣區的眼動數據可視分析方法。首先，根據具體的分析任務，引入對任務背景圖像的自我劃分和定義;然后，在此基礎上，結合多種輔助視圖和交互手段，設計并實現了面向飛行員培訓的眼動數據可視分析系統，幫助分析人員分析不同的飛行員之間的眼動差異，最后通過案例分析，證明了可視分析方法的有效性和分析系統的實用性。實驗結果表明，較傳統方法來說，所提方法增加了分析人員在分析過程中的主動性，在整體和局部方面，支持分析人員對任務背景進行細節的探索，增加了分析人員分析數據的多角度性，讓分析人員能夠結合整體發現飛行學員在訓練過程中認知困難的部分，進而制定更有針對性、更有效的訓練課程。

關鍵詞：飛行員;眼動數據;數據可視化;可視分析;興趣區;多視圖

中圖分類號：TP391.9

文獻標志碼：A

Visual analysis method for pilot eye movement data based on user-defined interest area

HE Huaiqing， ZHENG Liyuan*， LIU Haohan， ZHANG Yumin

College of Computer Science and Technology， Civil Aviation University of China， Tianjin 300300， China

Abstract：

Focused on the issue that the traditional interest area based visualization method can not pay attention to the details in the process of analyzing pilot eye movement data， a visual analysis method of eye movement data based on user-defined interest area was proposed. Firstly， according to the specific analysis task， the self-divison and self-definition of the background image of the task were introduced. Then， multiple auxiliary views and interactive approaches were combined， and an eye movement data visual analysis system for pilot training was designed and implemented to help analysts analyze the difference of eye movement between different pilots. Finally， through case analysis， the effectiveness of the visual analysis method and the practicability of the analysis system were proved. The experimental results show that compared with the traditional method， in the proposed method， the analysts initiative in the analysis process is increased. The analysts are allowed to explore the local details of the task background in both global and local aspects， making the analysts analyze the data in multi-angle; the analysts are allowed find the flight students cognitive difficulties in the training process as a whole， so as to develop more targeted and more effective training courses.

Key words：

pilot;eye movement data; data visualization; visual analytics;Area Of Interest （AOI）; multi-view

0 引言

近年來，隨著人們生活水平的提高，飛機逐漸成為了人們日常出行的首選交通工具，其安全性越發引人關注。當然，隨著航空系統技術的進步，飛行員訓練和機組人員、空中管制員程序的改進，商業航空的事故發生率已經相對較低。其中，緣于技術故障的僅占10%，而人為因素造成的占到了60%～80% [1]。2013年美國聯邦航空管理局（Federal Aviation Administration， FAA）[2]發布了一項培訓規定，要求到2019年3月將加強飛行員監控培訓納入現有的航空職業培訓項目中。法國調查機構事故調查局（British European Airways， BEA） [3]也建議研究飛行員的眼球追蹤監視，以改進駕駛程序。在最近的一項調查[4]中，75%的飛行員回答說，公布有關不同飛行階段（如起飛、進近）所需的視覺模式的詳細信息，可以幫助他們提高監控技能，可見飛行員眼動軌跡的研究對于飛行員訓練至關重要。

d=di/dmax（2）

這里0代表完全相似，1代表相似度比較小。在日常對相似度的比較中，數值越大代表相似度越高，所以本文方法用sim=1-d來表示相似度，這樣就構成了內部圓形的顏色編碼。

2.2.2 參與者分類

考慮到分析人員在分析過程中要對所有參與者進行評估，本文方法根據參與者對比中相似度，對所有參與者進行分類，構建參與者分類視圖。視圖包含三層圓形，如圖3所示，外層圓形包含所有參與者，中間層每個灰色圓形表示一類參與者，內層每個深色的圓形表示一個參與者，其中圓形的大小代表與被選對象的相似度，圓形越大，表示與被選對象相似度越高。

2.2.3 總體概覽

飛行的不同階段，飛行員所關注的區域以及關注區域的停留時間不同，為了便于分析人員快速獲取訓練階段參與者重點關注的區域，給出總體概覽視圖，如圖4所示，顯示所有參與者在各個AOI的停留時間，其中橫軸代表每個AOI，縱軸代表在每個AOI停留的總時間，便于分析人員了解每個AOI在整個任務過程中的重要程度。

2.3 單一視圖

2.3.1 參與者列表

參與者列表列出了數據集中的所有參與者，如圖5所示。

每一行代表一個參與者AOI交替的情況，每一行起始標簽代表參與者編號，末尾標簽代表該參與者完成任務的總時間。為了便于分析人員更好地對所有參與者觀察，本文方法采用統一開始時間和結束時間的方式，在每行的末尾處用灰色的矩形條填補，可以讓分析人員在短時間內對所有參與者完成任務所花費的時間有一個大致的了解。

2.3.2 單一參與者

對于分析人員，參與者每次視覺轉換的原因和轉換后的關注點，是重要的分析指標。本文方法提出單一參與者視圖，如圖6所示，包括上下兩個部分：上半部分用縮略圖表示當前參與者每次AOI轉換時，所關注的區域，其中縮略圖上的紅色點表示每次AOI轉換時，參與者所關注的第一個注視點;下半部分則對應當前參與者的視覺轉換軌跡視圖。

2.4 交互操作

數據可視化雖然能在一定程度上幫助用戶理解數據，但其效果有一定的局限性。為了讓用戶進一步的了解和探索數據，充分發揮分析人員的主動性和分析能力，本文加入了選擇和拖放交互設計。

2.4.1 選擇操作

參與者列表展示了每個參與者的大致完成信息，通過鼠標點擊選中每個參與者，相對應的參與者對比、參與者分類和單一參與者都會重新構建。

2.4.2 拖拉操作

當分析人員打開任務背景圖片后，可以通過點擊并拖拉鼠標的方式定義AOI。

3 方法實現和案例分析

3.1 基于本文方法的可視分析系統

本文的樣本數據主要來源于A320飛行駕駛模擬器場景下，使用Tobii Glasses 2.0與配套的眼球跟蹤系統，該眼動儀支持頭部自由活動，自動校正平行視差，采集視覺范圍為水平82°，垂直52°，在30Hz的條件下對模擬下降、進近和著陸階段飛行員眼動軌跡數據進行雙眼運動采樣。結合分析目標，提取原始數據中的當前注視點基于任務背景下的坐標點（x，y）和眼動轉換時間time信息，在眼動數據采樣過程中，由于被選人員的自身影響以及設備存在的外部環境影響等原因，使得眼動儀在采集過程中會產生噪聲數據。因此，在預處理階段需要對噪聲數據進行處理，例如補充空白數據、過濾異常數據等操作。

本文方法使用Java實現，利用JavaScript和D3.js庫進行可視化界面和交互的實現。如圖7所示，其中（a）自定義AOI、（b）參與者列表、（c）任務背景、（d）參與者對比、（e）參與者分類、（f）、整體概覽、（g）單一參與者。

3.2 案例分析

以A320飛行駕駛模擬器場景下，模擬降落和進近階段10名飛行員眼動軌跡數據為例，在數據集中P0和P1為飛行員教練，P2～P9為新手飛行員，下面說明分析人員使用系統的過程。

3.2.1 自定義AOI

當進行飛行員眼動數據分析時，分析人員可以根據具體的分析任務，對AOI自定義，然后根據自定義的AOI以及多視圖，從飛行員注視點、注視時間、注視模式等方面對眼動數據進行整體到局部的探索;同時在探索的過程中，如果自定義的AOI無法達到分析人員對任務分析的角度，分析人員可以再次根據分析任務對AOI重新定義，從而提高分析人員在數據分析過程中的主動性和數據分析的多角度性。

根據案例中對飛行員眼動數據分析的研究，將A320駕駛艙劃分為5個AOI（如圖8，包含一個未選擇AOI），分別為駕駛艙外景（AOI1）、遮光板（AOI2）、中央儀表盤（AOI3）、中央操縱臺（AOI4）和未選擇區域（AOI5），劃分后對10名飛行員眼動軌跡數據進行可視化，結果如圖7。

3.2.2 整體概覽

對可視化視圖進行分析，結合視圖對整體進行分析。

首先通過對視圖7（b）進行觀察，發現參與者完成任務所用時間大部分都在10.8min到12.2min左右，但是參與者P5完成任務只用了8.8min，低于模擬駕駛過程的平均完成時間，其次P6和P8完成時間也偏短。結合視圖（f），可以看出，在所有的AOI中，駕駛艙外景（AOI1）和中央儀表盤（AOI3）的停留時間占比比較多，可以看出在降落和進近過程中，對駕駛艙外景和中央儀表盤的監控的重要性;再結合視圖（d）中的圓環，可以看出參與者大致分為三種類型：在兩個AOI之間分布平均、在駕駛艙外景注視時間較長和在中央儀表盤注視時間較長。

本文將P0作為被觀察對象，結合（b）（c）（d）（e）視圖，可以發現：

1）在軌跡相似度方面，P0和P1在眼動軌跡掃射方面相似度最高，其他飛行員參與者的眼動軌跡與P0的相似度偏低，如圖9所示。

2）在AOI的切換方面，P0和P1飛行員在外景和儀表盤之間停留時間分布均勻，且在外景和儀表盤之間進行有規律的切換，在最后飛機落地滑向停機位時，更加關注外景，具有較好的掃視頻率和注視頻率，而其他飛行員在完成整個任務過程中視覺大部分停留在外景上，基本不關注儀表盤的變化，在飛機滑向停機位的過程中幾乎不關注儀表盤，只關注機艙外景。

3）在關注時間方面，P0和P1飛行員在每次AOI切換后保持時間相差不大，可以看出在每次視線的轉換過程中，都能及時有效地獲取相關信息，并作出相對應的操作，而其他飛行員，存在視線轉換后長時間停留的情況，可以看出該飛行員在讀取AOI中某個儀表盤的過程中出現了認知困難的情況，難以第一時間獲取有效的信息。再根據視圖（g）中單一飛行員AOI轉換的縮略圖，可以大概定位飛行員認知困難的AOI區域。

4）在飛行員評估方面，可以從視圖（e）中更好地獲取，其余參與者與被選擇參與者之間的關系，從而對每個參與者進行評估打分。

3.2.3 細節探索

通過3.2.2節的結合分析，可以對所有參與者有一個整體概覽了解，但是在分析人員對飛行員眼動數據的分析中，可能不僅需要了解飛行員關注的是外景還是中央儀表盤，還需要了解飛行員關注的是哪部分儀表盤或者儀表盤哪個位置和數字，所以根據具體的分析任務對AOI進行重新定義，如圖10所示。

對重新構建后的視圖進行分析，可以看出：P0和P1飛行員在AOI1、AOI2關注時間較多，在其他儀表盤上關注時間均衡，其他飛行員在AOI1和AOI4上關注時間較長，對AOI4關注時間多集中在降落前期，在其他儀表盤上關注時間較少。結合對飛機降落和進近過程的分析，飛機在降落的前期，會從AOI4中的系統顯示儀表盤中獲取飛機降落需要檢查的項目，所以可以看出，飛行員在查看該儀表盤時出現認知困難情況。

進一步對圖10中AOI1的主飛行顯示儀表盤（PFD）進行重新定義AOI，如圖11。

PFD主要包括三部分，左側的空速表、中間的姿態表和右側的高度表，對重新構建后的視圖進行分析，可以發現P0和P1在速度和高度表之間掃視頻率和注視時間均衡，其他飛行員存在過度關注高度或者速度的情況。

本文提出的可視化方法同文獻[11-15]對比討論如表1。

通過上述對比可以看出，本文提出的方法在主動性、整體性、局部性、多角度性和多參與者方面比其他可視分析方法完整，盡管在全面性方面僅僅支持靜態，但是目前仍可應用于固定場景下動態刺激的可視化，比如車輛駕駛、飛行駕駛、室內監控等，此時被觀察人員看到的場景單一，眼球運動在固定場景內移動;因此本文提出的方法對飛行員訓練過程中眼動數據的分析有很大幫助，同時提高了分析人員的主動性和準確性，得到質量較高的分析結果，并以此制定針對性的訓練項目，提高飛行訓練的效率，加大飛行安全。

4 結語

本文提出了一種基于用戶自定義AOI的飛行員眼動軌跡可視分析方法。以一套完整的可視系統為基礎，讓分析人員根據具體分析任務，自定義合理的AOI，結合定義不同AOI所形成的多種可視化視圖，對飛行訓練過程中飛行員的眼動軌跡數據進行分析和探索。通過案例分析，本文初步驗證了方法的可行性和有效性。

系統注重分析過程中分析人員的主動性，讓分析人員在具體分析任務的基礎上，自定義合理的AOI，進而作出有效、合理的分析結果。相比于傳統的固定AOI的可視化方法，本文方法大大提高了分析人員的參與程度，以幫助分析人員多角度分析飛行員的眼動軌跡數據。

在飛行員眼動數據分析方面，如何借助眼動數據對飛行員飛行績效進行評估，對飛行員飛行疲勞狀態進行分析也是非常重要的。同時目前存在的可視分析技術，在飛行員心理和情感可視方面還有需要突破的難點。在可視化設計方面，由于被試人群的特殊性，可操作的公開數據集較少，且目前只有靜態任務背景數據，對于視頻類飛行員訓練眼動軌跡數據不支持。如何加大對視頻類數據的可視化支持，為分析人員提供更方便、更完整的可視分析系統，以提高民航飛行安全，這些都是未來研究的重要方向。

參考文獻

[1]SHAPPELL S， DETWILER C， HOLCOMB K， et al. Human error and commercial aviation accidents： an analysis using the human factors analysis and classification system [J]. Human Factors， 2007， 49（2）： 227-242.

[2]Federal Aviation Administration （FAA）. 14 CFR part 121 qualification， service， and use of crewmembers and aircraft dispatchers; final rule; federal register [EB/OL]. （2013-11-12） [2018-11-02]. http：//www.gpo.gov/fdsys/granule/FR-2013-11-12/2013-26845.

[3]British European Airways （BEA）. Study on aeroplane state awareness during go-around [EB/OL]. （2013-08-01） [2018-11-02]. https：//www.skybrary.aero/bookshelf/books/2404.pdf.

[4]LEFRANCOIS O， MATTON N， YVES G， et al. The role of pilots monitoring strategies in flight performance [EB/OL].（2016-09-26） ?[2018-11-02]. http：//oatao.univ-toulouse.fr/16173/1/Lefrancois_16173.pdf.

[5]柳忠起，袁修干，樊瑜波，等.模擬飛機著陸飛行中專家和新手眼動行為的對比[J].航天醫學與醫學工程，2009，22（5）：358-361.（LIU Z Q， YUAN X G， FAN Y B， et al. Comparison of expert and novice eye movement behaviors during simulated landing flight[J]. Space Medicine and Medical Engineering， 2009， 22（5）： 358-361.）

[6]孫瑞山，汪苧，董屾.基于非接觸式眼動儀的模擬飛行中注視分析[J].人類工效學，2013，19（4）：51-55.（SUN R S， WANG N， DONG S. Simulated in-flight gaze analysis based on non-contact eye tracker[J]. Chinese Journal of Ergonomics， 2013， 19（4）： 51-55.）

[7]REYNAL M， COLINEAUX Y， VERNAY A， et al. Pilot flying vs. pilot monitoring during the approach phase： an eye-tracking study [C]// Proceedings of the 2016 International Conference on Human-Computer Interaction in Aerospace. New York： ACM， 2016： Article No. 7.

[8]DEHAIS F， BEHREND J， PEYSAKHOVICH V， et al. Pilot flying and pilot monitorings aircraft state awareness during go-around execution in aviation： a behavioral and eye tracking study [J]. The International Journal of Aerospace Psychology， 2017， 27（1/2）： 15-28.

[9]白杰，葛祥雨，楊坤.飛行員探測跑道入侵的眼動模式分析[J].航天醫學與醫學工程， 2017，30（5）：327-332.（BAI J， GE X Y， YANG K. Analysis of eye movement patterns in pilots detection of runway incursion [J]. Space Medicine and Medical Engineering， 2017， 30（5）： 327-332.）

[10]程時偉，孫凌云.眼動數據可視化綜述[J].計算機輔助設計與圖形學學報，2014，26（5）：698-707.（CHENG S W， SUN L Y. A survey on visualization for eye tracking data [J]. Journal of Computer-Aided Design and Computer Graphics， 2014， 26（5）： 698-707.）

[11]RICHARDSON D C， DALE R. Looking to understand： the coupling between speakers and listeners eye movements and its relationship to discourse comprehension [J]. Cognitive Science，2005， 29（6）： 1045-1060.

[12]STELLMACH S， NACKE L， DACHSELT R. Advanced gaze visualizations for three-dimensional virtual environments [C]// Proceedings of the 2010 Symposium on Eye-tracking Research and Applications. New York： ACM， 2010： 109-112.

[13]KURZHALS K， HLAWATSCH M， HEIMERL F， et al. Gaze stripes： image-based visualization of eye tracking data [J]. IEEE Transactions on Visualization and Computer Graphics， 2016， 22（1）： 1005-1014.

[14]BURCH M， KULL A， WEISKOPF D. AOI rivers for visualizing dynamic eye gaze frequencies [C]// Proceedings of the 15th Eurographics Conference on Visualization. Chichester， UK： the Eurographs Association and John Wiley & Sons， 2013： 281-290.

[15]BLASCHECK T， SCHWEIZER M， BECK F， et al. Visual comparison of eye movement patterns [J]. Computer Graphics Forum， 2017， 36（3）： 87-97.

This work is partially supported by the National Natural Science Foundation of China （U1333110）.

HE Huaiqing， born in 1969， Ph. D.， professor. Her research interests include graphic， image and visual analysis.

ZHENG Liyuan， born in 1993， M. S.candidate. His research interests include graphic， image and visual analysis.

LIU Haohan， born in 1966， M. S.， associate professor. His research interests include graphic， image and visual analysis.

ZHANG Yumin， born in 1996， M. S. candidate. Her research interests include graphic， image and visual analysis.