飛行模擬環(huán)境視覺認(rèn)知建模初步研究

王宏偉 顧宏斌 吳東蘇

摘 ? 要：為了對飛行員在飛行任務(wù)中的視覺認(rèn)知進(jìn)行建模研究，本文進(jìn)行了基于眼動追蹤技術(shù)的模擬飛行試驗(yàn)，并通過試驗(yàn)結(jié)果以及對飛行員的調(diào)查采訪初步確定了模型的輸入與輸出。把飛行員看成一個(gè)有限狀態(tài)機(jī)，初步搭建飛行員視覺認(rèn)知模型框架，并在其中加入了簡單的自我學(xué)習(xí)機(jī)制。然后利用圖像處理技術(shù)對輸入的視景圖像進(jìn)行特征提取，通過事先構(gòu)建的飛行員模糊認(rèn)知知識庫，利用模糊認(rèn)知的方式對提取到的特征信息進(jìn)行處理，最終得到飛行員對于飛機(jī)當(dāng)前姿態(tài)的認(rèn)知。最后，本文利用動態(tài)時(shí)間規(guī)整算法對模型的真實(shí)性進(jìn)行了驗(yàn)證。

關(guān)鍵詞：飛行員 ?視覺認(rèn)知 ?眼動 ?建模 ?動態(tài)時(shí)間規(guī)整

中圖分類號：V216.7 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A ? ? ? ? ? ? ? ? ? ? ? ?文章編號：1674-098X（2019）02（c）-0010-04

安全永遠(yuǎn)是民用航空里不可更改的主題，調(diào)查數(shù)據(jù)表明，一半以上的飛行事故是由飛行員失誤導(dǎo)致的，所以關(guān)于與飛行員相關(guān)的人為因素對民用航空影響的研究刻不容緩[1]。飛行仿真技術(shù)是研究航空安全的一項(xiàng)重要手段，而飛行員建模是判斷飛行模擬器真實(shí)性和可靠性的重要途徑。在飛行員感知到的外界信息中，眼睛所獲得的視覺信息占據(jù)了80%，因此，飛行員視覺認(rèn)知的建模研究對于飛行員建模具有重要意義。

1 ?基于眼動追蹤技術(shù)的模擬飛行試驗(yàn)

1.1 試驗(yàn)?zāi)康?/p>

在建立飛行員視覺認(rèn)知模型的初期，我們首先要明確模型的輸入和輸出。為了確定在飛行員對飛機(jī)狀態(tài)的認(rèn)知過程中所需的外界信息以及飛行員對所獲得的各視覺信息的關(guān)注程度，同時(shí)獲得一些飛行員視覺認(rèn)知模型中的細(xì)節(jié)參數(shù)信息，我們以進(jìn)近著陸階段為例，進(jìn)行了基于眼動追蹤技術(shù)的模擬飛行試驗(yàn)[2]。

1.2 試驗(yàn)設(shè)備

本次試驗(yàn)所用到的硬件設(shè)備主要有SMI無線眼動追蹤眼鏡、塞斯納172型號飛行模擬器以及SMI工作站一臺。本次試驗(yàn)所用到的軟件主要有：微軟模擬飛行軟件、SMI ETG智能記錄軟件以及SMI BeGaze數(shù)據(jù)分析軟件。SMI BeGaze數(shù)據(jù)分析軟件可實(shí)現(xiàn)對眼動追蹤數(shù)據(jù)及場景視頻資料的定性觀察及定量分析[3]。

1.3 試驗(yàn)對象

本次試驗(yàn)的試驗(yàn)對象是10名已完成國外培訓(xùn)但尚未參加工作的飛行學(xué)員，10名飛行學(xué)員所屬航校均為南非艾維，均接受過塞斯納172型號的真機(jī)實(shí)訓(xùn)，實(shí)訓(xùn)時(shí)長均為180個(gè)飛行小時(shí)。

1.4 試驗(yàn)場景搭建

經(jīng)過對各試驗(yàn)設(shè)備的調(diào)試，我們完成了基于眼動追蹤技術(shù)的模擬飛行試驗(yàn)場景搭建，如圖1所示。圖左下角的電腦即SMI工作站，飛行學(xué)員佩戴的眼鏡即SMI無線眼動追蹤眼鏡，其與工作站直接相連。

1.5 試驗(yàn)流程

（1）記錄被試者的基本信息，被試者穿戴SMI無線眼動追蹤眼鏡等試驗(yàn)設(shè)備。（2）定標(biāo)、校準(zhǔn)。（3）利用微軟模擬飛行軟件，環(huán)境設(shè)置為正常，被試者在飛行模擬器中執(zhí)行五邊飛行程序，同時(shí)利用SMI ETG軟件進(jìn)行實(shí)時(shí)數(shù)據(jù)采集與記錄，采樣頻率為120Hz。（4）完成正常情況下的五邊飛行，結(jié)束記錄。（5）環(huán)境設(shè)置為風(fēng)雨，被試者重新開始執(zhí)行相同的五邊飛行程序，同時(shí)利用SMI ETG軟件進(jìn)行實(shí)時(shí)數(shù)據(jù)采集與記錄，采樣頻率為120Hz。（6）完成風(fēng)雨情況下的五邊飛行，結(jié)束記錄。（7）環(huán)境設(shè)置為夜間，被試者重新開始執(zhí)行相同的五邊飛行程序，同時(shí)利用SMI ETG軟件進(jìn)行實(shí)時(shí)數(shù)據(jù)采集與記錄，采樣頻率為120Hz。（8）完成夜間環(huán)境下的五邊飛行，結(jié)束記錄。（9）被試者脫卸實(shí)驗(yàn)設(shè)備，記錄被試者的飛行體驗(yàn)，下一個(gè)被試者準(zhǔn)備。

1.6 試驗(yàn)數(shù)據(jù)分析

我們選擇凝視時(shí)間和注視軌跡圖作為眼動分析的指標(biāo)[4]。在SMI BeGaze分析軟件中，我們得到了屏幕不同區(qū)域的凝視時(shí)間圖，由于試驗(yàn)是針對整個(gè)五邊飛行程序進(jìn)行的，而我們只需要飛行員進(jìn)近階段的眼動信息，因此我們在剛開始進(jìn)近和進(jìn)近結(jié)束分別獲取了屏幕不同區(qū)域的凝視時(shí)間圖，各個(gè)區(qū)域凝視時(shí)間之差就是飛行員在進(jìn)近階段對屏幕不同區(qū)域的凝視時(shí)間。

通過飛行員在進(jìn)近階段對屏幕不同區(qū)域的凝視時(shí)間圖我們可以發(fā)現(xiàn)，無論正常、風(fēng)雨還是夜間情況下，飛行員在進(jìn)近階段注意力都主要集中在兩個(gè)區(qū)域：艙外視景（主要是跑道和地平線）以及艙內(nèi)儀表（主要是地平儀、垂直速率表、高度表、下滑道指示器和航道指示器）。在正常、風(fēng)雨和夜間三種情況下，艙外視景的凝視時(shí)間都要明顯高于艙內(nèi)儀表的凝視時(shí)間，也就是說，三種情況下飛行員的注意力都主要集中在艙外視景中，其次是艙內(nèi)儀表，艙外視景是飛行員獲取視覺信息的主要來源，艙內(nèi)儀表次之。

我們通過計(jì)算飛行員注視點(diǎn)從艙外視景轉(zhuǎn)移到艙內(nèi)儀表或從艙內(nèi)儀表轉(zhuǎn)移到艙外視景所經(jīng)歷的一系列眼跳的時(shí)間之和得到了飛行員“低頭”和“抬頭”所需的時(shí)間。我們發(fā)現(xiàn)，該時(shí)間不受風(fēng)雨和夜間環(huán)境的影響，且10個(gè)飛行員“低頭”和“抬頭”分別所需的時(shí)間也大致相同，在本次試驗(yàn)中，飛行員“低頭”所需時(shí)間大概是90ms，“抬頭”所需時(shí)間大概是120ms。

另外，通過BeGaze分析軟件，我們得到了飛行員在執(zhí)行飛行任務(wù)期間的注視軌跡圖。圖2、圖3和圖4分別為正常、風(fēng)雨和夜間情況下飛行員在飛機(jī)進(jìn)近階段某時(shí)刻的注視軌跡圖。

通過對飛行員在飛機(jī)進(jìn)近階段一系列的注視軌跡圖觀察分析，我們發(fā)現(xiàn)在正常、風(fēng)雨和夜間三種情況下，飛行員的注視點(diǎn)總是集中在以下目標(biāo)物體上：艙內(nèi)儀表、跑道中線、跑道邊線和天際線。另外，相比正常和風(fēng)雨情況，在夜間情況下飛行員會額外多關(guān)注一項(xiàng)目標(biāo)物體的信息，那就是精密進(jìn)近航道指示器。

通過對正常、風(fēng)雨和夜間三種情況下注視軌跡圖的詳細(xì)對比分析，我們得到如下結(jié)論：風(fēng)雨和夜間的條件對飛行員的艙內(nèi)儀表認(rèn)知沒有太大影響，而在一定程度上影響了飛行員的艙外視覺認(rèn)知。風(fēng)雨條件下，由于能見度下降，飛行員對艙外視景中目標(biāo)信息的提取變得困難，因此視覺認(rèn)知時(shí)間變長;而在夜間情況下，跑道信息主要由跑道燈光系統(tǒng)來提供，與周圍環(huán)境對比度大，更容易識別，因此視覺認(rèn)知時(shí)間縮短。

我們記錄了飛行員在飛機(jī)進(jìn)近階段三種情況下每次“抬頭”之后注意力在艙外視景區(qū)域停留的時(shí)間，對三種情況下得到的數(shù)據(jù)序列進(jìn)行處理，我們近似得到了飛行員在飛機(jī)進(jìn)近階段艙外視覺認(rèn)知需要的時(shí)間，正常情況下飛行員注意力在艙外視景上每次停留的時(shí)間約為2075ms，風(fēng)雨環(huán)境下這個(gè)時(shí)間延長到約2675ms，而夜間這個(gè)時(shí)間縮短到約1554ms。

2 ?飛行員進(jìn)近階段視覺認(rèn)知模型的構(gòu)建

在上述實(shí)驗(yàn)結(jié)果的基礎(chǔ)上，我們又對飛行員進(jìn)行了隨機(jī)地調(diào)查采訪，最終確定了進(jìn)近階段飛行員視覺認(rèn)知模型的整體框架，如圖5所示。

我們把飛行員簡化成一個(gè)只存在“注視艙外視景狀態(tài)”和“注視艙內(nèi)儀表狀態(tài)”的有限狀態(tài)機(jī)，兩種狀態(tài)通過“低頭”和“抬頭”的動作來切換。在艙外視景認(rèn)知模塊中存在一個(gè)定時(shí)器，定時(shí)器的計(jì)時(shí)周期是根據(jù)眼動試驗(yàn)和飛行員的經(jīng)驗(yàn)設(shè)定的閾值T，T是可變的，根據(jù)我們所做的眼動試驗(yàn)，正常情況下參數(shù)T取2075ms，風(fēng)雨環(huán)境下T取2675ms，而夜間環(huán)境下T取1554ms。初始狀態(tài)為注視艙外視景狀態(tài)，定時(shí)器開始計(jì)時(shí)，定時(shí)器計(jì)時(shí)結(jié)束執(zhí)行低頭動作，切換到注視艙內(nèi)儀表狀態(tài)，艙內(nèi)儀表認(rèn)知完成后馬上執(zhí)行抬頭動作，切換回注視艙外視景狀態(tài)，定時(shí)器重新計(jì)時(shí)。

為了實(shí)現(xiàn)模型簡單的自我學(xué)習(xí)能力，我們忽略“抬頭”過程中飛機(jī)姿態(tài)的變化，通過艙內(nèi)儀表認(rèn)知模塊向艙外視景認(rèn)知模塊進(jìn)行反饋。飛行員的知識以規(guī)則的形式存儲在知識庫中，將飛行員視覺認(rèn)知知識庫劃分為三部分：長時(shí)記憶庫、短時(shí)記憶庫和緩沖區(qū)[5]。從艙內(nèi)儀表認(rèn)知模塊反饋回來的規(guī)則存入艙外視景認(rèn)知模塊知識庫的緩沖區(qū)中，然后執(zhí)行艙外視景認(rèn)知操作，在認(rèn)知過程中必定會調(diào)用艙外視景認(rèn)知模塊知識庫中的某條規(guī)則，接下來把該規(guī)則與緩沖區(qū)中的規(guī)則對比，如果兩規(guī)則相同，那么將該規(guī)則返回艙外視景認(rèn)知模塊相應(yīng)的記憶庫，并清空緩存區(qū);如果兩規(guī)則出現(xiàn)沖突，以緩沖區(qū)中的規(guī)則為準(zhǔn)，對執(zhí)行艙外視景認(rèn)知得到的規(guī)則進(jìn)行更新和優(yōu)化，將更新后的規(guī)則存入短時(shí)記憶庫中，清除原艙外視景認(rèn)知模塊知識庫中的該條規(guī)則，清空清緩存區(qū)。每條存入短時(shí)記憶庫中的規(guī)則會在存入的時(shí)刻得到一個(gè)相應(yīng)的時(shí)間戳以及一個(gè)整數(shù)值m，如圖6所示，m的初始值為1，記錄該條規(guī)則被調(diào)用的次數(shù)。

通過基于眼動追蹤技術(shù)的模擬飛行試驗(yàn)和對飛行員的調(diào)查采訪，我們得到了飛行員通過視覺信息判斷飛機(jī)姿態(tài)的一些方法，并進(jìn)一步建立了飛行員的視覺認(rèn)知知識庫。艙外視景認(rèn)知模塊和艙內(nèi)儀表認(rèn)知模塊通過圖像處理的方法提取到視野中飛行員感興趣的特征信息，例如：跑道、地平線、地平儀、高度表等信息，然后利用模糊數(shù)學(xué)的理念，根據(jù)已經(jīng)獲得的飛行員視覺認(rèn)知知識庫，建立飛行員的模糊認(rèn)知規(guī)則庫，最終得到了飛行員對于飛機(jī)當(dāng)前姿態(tài)的視覺認(rèn)知[6]。

3 ?模型驗(yàn)證

判斷模型是否能產(chǎn)生與飛行員相同的視覺認(rèn)知是一個(gè)很困難的過程，因?yàn)轱w行員的各項(xiàng)反應(yīng)時(shí)間與模型并不相同，我們需要判斷模型是否與飛行員產(chǎn)生了相同特性的控制行為，因此我們采用動態(tài)時(shí)間規(guī)整（DTW）算法來對模型進(jìn)行驗(yàn)證[7]，動態(tài)時(shí)間規(guī)整算法可以比較兩組時(shí)間序列的相似性。我們安排了10名飛行員，分別在相同的初始參數(shù)下，與我們所搭建的飛行員視覺認(rèn)知模型執(zhí)行完全相同的進(jìn)近任務(wù)，每隔50ms記錄一個(gè)點(diǎn)，分別記錄下進(jìn)近過程中的各項(xiàng)飛行參數(shù)的時(shí)間序列，然后分別與視覺認(rèn)知模型執(zhí)行該進(jìn)近任務(wù)得到的時(shí)間序列作比較，利用DTW算法得到其最小規(guī)整路徑距離，最小規(guī)整路徑距離如式（1）所示，從而驗(yàn)證10名飛行員是否與模型產(chǎn)生了具有相同特性的控制行為。

如表1所示，我們分別計(jì)算了10名飛行員與模型在滾轉(zhuǎn)角、俯仰角、航向道偏差、下滑道偏差、高度和垂直速率這6項(xiàng)飛行參數(shù)的時(shí)間序列間的最小規(guī)整路徑距離，我們發(fā)現(xiàn)，每一項(xiàng)參數(shù)的最小規(guī)整路徑距離都很小，沒有超出我們的容錯(cuò)范圍，因此我們認(rèn)為模型產(chǎn)生了與真實(shí)飛行員具有相同特性的控制行為，該視覺認(rèn)知模型的真實(shí)性得到了驗(yàn)證。

4 ?結(jié)語

本文基于眼動追蹤技術(shù)的模擬飛行試驗(yàn)結(jié)果，采用模糊認(rèn)知的方式初步建立了飛行員進(jìn)近階段的視覺認(rèn)知模型，建立了簡單的自我學(xué)習(xí)機(jī)制，并利用DTW算法驗(yàn)證了模型的真實(shí)性。本文完成了飛行模擬環(huán)境視覺認(rèn)知模型的初步研究，初步建立了簡單的視覺認(rèn)知模型，后續(xù)考慮通過對SOAR和ACT-R認(rèn)知架構(gòu)的理解與應(yīng)用，對現(xiàn)有的視覺認(rèn)知模型進(jìn)行進(jìn)一步的優(yōu)化。

參考文獻(xiàn)

[1] International Civil Aviation Organizat-ion. Manual for Safety Management Syst-em Doc9859 [Z].2007：2-6-2-10.

[2] 柳忠起，袁修干.基于模擬飛行任務(wù)下的眼動指標(biāo)分析[J].中國安全科學(xué)學(xué)報(bào)，2006，16（2）：47-51.

[3] Salvucci，D.D.An integrated model of eyemovements and visual encoding [J].Cogn-itive Systems Research，2001（1）：201-220.

[4] Andreas Bulling， Jamie A. Ward， Hans G-ellersen and Gerhard Troster. Eye Movement Analysis for Activity Recognition Using Electrooculography [J].IEEE Transactions on Pattern Analysis and Machine Intelligence 2011，33（4）：741-753.

[5] Anderson Cognitive J.R.Retrieval of pr-opositional information from long term memory [J].Psychology，1974（5）：451-474.

[6] Lee，C.C.，F(xiàn)uzzy Logic in Control Systems：Fuzzy Logic Controller Parts l，2. IEEE Transactions Systems， Man， Cybernetics，Vol. 20， No. 2， 1990，404-418.

[7] 萬春.基于DTW的語音識別應(yīng)用系統(tǒng)研究與實(shí)現(xiàn)[J].集美大學(xué)學(xué)報(bào)：自然科學(xué)版，2002，7（2）：104-108.