基于任務情境的飛行員合作交流能力測評方法

汪磊，蔡藝偉，張夢茜，譚維，陳金濤，劉莎

(1.中國民航大學安全科學與工程學院，天津 300300； 2.中國國際航空公司天津分公司，天津 300300)

1 引言

民航事故統計表明，60%以上的飛行事故是由機組因素導致，而其中機組溝通協調問題是造成機組資源管理失效的主要原因之一[1-2]。同時隨著飛機駕駛艙自動化程度的提升，對飛行員技能的要求由手動操作向監控管理轉變。加之信息化時代的來臨，信息的傳遞及接收成為駕駛艙主要的工作環節，因此合作交流能力是適應新時代飛行任務不可或缺的能力，對合作交流能力的測評也成為飛行員能力測評體系中必不可少的維度。歐盟法規、國際航協的飛行員資質測試和國際民航組織(ICAO)定義的飛行員9項必備能力中[3]，都強調了對飛行員的合作和交流能力的要求，同時對提升飛行員溝通與合作技能提出重點關注度。

目前，國內外對飛行員基本認知能力測試的研究較多，如歐洲航空安全局(EASA)開發的飛行員選拔系統(Global Pilot Selection System，GPSS)、飛行員能力測試系統(Pilot Aptitude Testing System，PAT)、我國空軍軍醫大學研發的軍方飛行員選拔系統等，均可對飛行員的空間感知、數字推理、注意力、決策力、判斷力、工作記憶等基本認知能力進行測評，但是目前針對民航飛行員合作交流能力測評的研究較少。由于合作過程和交流過程均為非線性的序列活動，使得飛行員的合作交流能力通常被視為難以測量的能力[4]，并且已有的測評方式也多為問卷調查，主觀性較大且脫離飛行員工作狀態，難以反映其任務情境下的實際能力，因此可應用的飛行員合作交流能力測評工具領域尚是空白。

為了解決上述飛行合作交流能力測評方式偏離實際情境、不符合智能駕駛艙工作特點以及難以適應飛行員任務角色由操縱轉彎為監控的問題，本研究擬在已有的針對其他領域的合作交流能力測評系統的基礎上，引入飛行任務情境，提出一種基于任務情境的飛行員合作與交流能力測評方法，實現在任務情境中對飛行員合作交流能力水平的準確評估、動態監控及發展預測，從而實現更加高效、更加有針對性的訓練，提高機組資源管理能力和飛行安全水平。本研究整體路線圖如圖1。

圖1 飛行員合作交流能力測評研究思路

首先開展合作與交流能力的理論研究，再對飛行員合作和交流能力的測評方法以及計分方法分別進行設計，最后進行實驗驗證并提出進一步改進方案。

2 理論研究

2.1 合作能力測量

所謂團隊協作能力，是指作為一個團隊成員，通過與其他團隊成員共享資源和協作，相互溝通、相互幫助并努力融入團隊，最終使得整個團隊圓滿完成任務的一種能力。李海軍等人[5]開發“飛行員團隊協作能力測試系統”,采用模擬真實場景進行實驗，由被試與模擬的隊友共同操作一架飛機,通過協作任務的績效反應團隊協作配合能力；胡文東等人[6]研制開發了“三維運動控制協作任務”、“圍堵協作任務”等測試,充分綜合的時間、運動、操作等因素,根據相應指標計算團隊任務績效；俄羅斯航天員在訓練的過程中也采用“儀表任務”訓練團隊協作配合；惠鐸鐸[7]等人根據對飛行任務以及飛行人員性格的研發了一套飛行團隊協作能力測試系統，測試過程中，被試通過搖桿控制自己的受控球以配合團隊其他成員完成任務。也有部分學者通過調查法收集研究對象的各種材料，進行綜合分析并得到某種結論，但它一般不強調個體間相互的比較,不側重對個體在群體中所處的位置進行判別[8]。

目前，針對合作能力的測評多應用于教育領域，而部分有關民航領域合作能力的研究多采用問卷的方法，主觀性較強且受外界不確定性因素影響較大。李海軍[5]、惠鐸鐸[7]等人研發的飛行團隊協作能力測試系統，主要適用于團隊整體合作能力的測評，難以區分飛行員個人穩定的基礎合作能力，并且測試過程采用控制搖桿或模擬飛行的方式，不便于測試的普及和開展。

在上述研究的基礎上，為更真實的反映飛行員工作狀態下的合作能力，本測試結合飛行任務設定特殊情境；為剔除人-人協作的不確定性，測試采用會話代理的人機交互模式[9]；為減少語言能力差異帶來的殘差，測試采用對話選擇的互動方式；為優化題目結構，測試基于PISA2015協作問題解決框架，從12個維度對飛行員合作能力進行測評。最后參考項目反應理論(Item Response Theory,簡稱IRT)[10]，根據路徑節點選擇的差異，通過多元計分的方式對被試合作能力進行評分，并通過系統輸出測評結果。

在飛行員執飛過程中，合作能力主要用于解決特定任務情境下的問題。本研究采用PISA2015測評矩陣，以被試協作解決問題的能力反映其合作能力，見表1。

表1 PIAS2015協作問題解決框架矩陣

2.2 交流能力測量

溝通是團隊成員傳遞信息，表達情感，交流思想的主要表現，一般認為，良好的溝通能力有助于沖突的解決，增強團隊效能感等[11]。研究表明[12]在進近階段發生了52%的溝通沖突，37%的飛機事故中涉及通信錯誤[13]。目前，交流能力的測評多應用于教育領域及醫護人際溝通領域，針對民航業的研究較少，部分有關交流能力的測試有量表和試題測試兩種。量表主要依靠飛行員自評或同事評價，主觀性較強且易受多種不確定因素影響。試題測評應用最廣泛的是第四軍醫大學DXC心理測評系統中的字對匹配測驗，主要檢測對詞語的準確理解能力。但機組人員的交流是一個從信息理解到信息表達的互動過程，對信息的準確表述也是交流能力不可或缺的一部分。對語言能力的測評國際上有Cookie theft[14]和波士頓診斷性失語癥測驗[15](Boston Diagnostic Aphasia Examination，BDAE)等方法，主要應用與對腦損傷患者語言能力的測量,但其本質都是對被試語言表達、信息傳遞、準確描述能力的測量。

波士頓診斷性失語癥測驗是目前美國較為廣泛使用的一種失語癥診斷性測驗，且該測驗已制定出一套標準化的評分標準。因此，本文引入了波士頓失語癥測驗，并加入飛行場景，通過圖片及文字提問的方式呈現問題，從語義內容、詞匯內容和句法復雜性三個維度，檢測語義能力和產出能力,見表2。

表2 波士頓失語癥測量指標及評分標準

3 實驗設計

3.1 飛行員合作能力測評設計

3.1.1 測評指標

飛行員的合作能力主要應用于機長、副駕駛以及空中交通管制人員組成的團隊中，由于各自的注意、認知、感受等不同，對待問題或任務的角度也不盡相同，因此團隊成員之間需要額外的交互活動來緩解信息需求中的矛盾，通過各方進行協商以實現最優結果[16]。團隊合作最必要的一個環節是建立共享情境意識(SSA)，即團隊中的每個人保持相同程度的情境意識[17-18]，適當的SSA可通過執行交互過程形成團隊認知[19-20]，團隊成員則需主動交換產生團隊認知所必須的信息。

結合飛行員進行團隊合作所必須的信息共享、交互協商、完成任務三個關鍵環節，以及PISA2015協作式問題解決框架[21]，將合作能力的測量分為：建立和維和共識、采取適當的行動解決問題、建立和維護團隊組織三個維度，提出觀點并解釋觀點、修訂/完善觀點、同意/反對及證據、提問/追問、制定計劃、任務分配、任務執行、監督提醒、進度把控、情感支持 10個具體指標，見表3。

表3 飛行員合作能力測評指標

3.1.2 測評流程

每個任務從開始至結束,由被試與會話代理進行多個回合的溝通、聊天與行動,這些回合組成一系列具體試題。每道試題都給出有限選項,考生通過選擇來確定完成任務的路徑,一個任務的結束點自然形成下一個任務的啟動起點。每道試題都指向飛行員合作能力測評10個具體指標的其中一個。測評界面如下圖所示，界面的上半部分為情境展示區，會顯示此刻的飛行狀態以及面臨的飛行任務，界面的下半部分為被試答題區，在這里會根據情境內容顯示問題及選項，由被試進行選擇。測試包含顯性試題和隱藏試題，顯性試題指由會話代理開始飛行員被動參與的試題，隱性試題指在被試有溝通互動意愿時點擊相應按鍵得到的試題，反應被試在合作任務中的主動參與度。通過被試輸入的討論結果反應其任務執行情況。

測試過程中，界面會顯示動態情境，被試需參考情境變化(儀表顯示)、飛機狀態、故障情況、天氣狀況、機場距離等與會話代理進行討論，并在有限的時間內選擇出最佳降落機場。在討論的過程中，儀表示數及各機場的天氣狀況會發生動態變化。本項目共包含4個主要任務場景，顯性題目數量根據被試路徑選擇在5-10道不等，隱藏題目兩道，隱藏對話最多可觸發5次，被試可通過隱藏對話進行提醒、分配、鼓勵、信息獲取等，從而加快任務進度，提高選擇的準確性，見圖2。

圖2 飛行員合作能力測評試題結構

3.1.3 結果統計

試題的每個選項均指向飛行員合作能力測評指標中的一個，通過專家訪談法，對不同的路徑進行打分，如在會話代理1界面選擇A則跳轉到會話代理2界面進入第二題，選擇B則跳轉到會話代理3界面進入第二題，選擇C則直接跳轉到會話代理4界面并加2分。以此類推，根據被試路徑節點選擇的差異進行自動打分，與此同時，在測試過程中，包含顯性試題和隱性試題，當被試想要主動詢問、發言時刻點擊此圖標，即可能觸發隱藏試題，該圖標用來反應被試在此次討論任務中的主動參與程度。最后，被試選擇題目得分(包括顯性試題與隱藏試題)與點擊燈泡次數的和即為合作能力測評項目的總得分。

3.2 飛行員交流能力測評設計

3.2.1 測評指標

交流是合作的必要組成部分，也是團隊互動、信息傳遞、問題協商必不可少的途徑。飛行員的交流主要包括信息接收和信息傳達兩個流程，接收信息指對語言、儀表、文字的準確理解，信息的傳遞主要考察口頭表達的有效信息，即傳遞的目標和計劃等是否能幫助團隊建立共享的心理模型和流動狀態[22-23]。交流最重要的是將信息傳達給接受者進行解釋的真實度[24]，即語言表述的準確性，其中對語言能力的評估包括標準化語言評估和敘事話語評估[25]，結合波士頓失語癥測驗維度，對飛行員語言能力測評維度進行初步篩選，又通過飛行場景分析以及專家調研發現：有效表述、解釋表述、流暢表述在駕駛艙對話中最為重要。并通過專家打分法得到各指標權重，其中，有效率為50%、準確率30%、解釋率20%，見表4。

表4 飛行員交流能力測評指標

3.2.2 測評流程

飛行員交流能力測試的目的是檢測飛行員個體語義能力和語言產出能力。本測試將展示4張飛行情境中的儀表圖片(樣例參見圖3)，飛行員需對每一張圖片的內容進行詳細描述，并深入解讀圖片信息(如描述其飛行階段、可能面臨的情況、儀表示數產生的原因等)。在此過程中，要求被試盡量保持內容準確及語言流暢。最終統計每一張圖片描述中的有效字數、正確字數和流暢字數。

圖3 飛行員交流能力測評試題樣例

樣例題參考答案示例：圖中共有三塊儀表盤和一個起落架桿，由儀表盤示數可知飛機當前指示空速大約為211節，目標指示空速為200節，地速283節，氣壓基準為標準海平面氣壓，當前高度為19 530英尺，目標高度為10 000英尺，航向為265°，帶有左坡度，并且以1 600 ft/min的下降率下降，未接通自動駕駛儀，未接通飛行指引，未接通自動油門，發動機N1轉子轉速為左發37.5%、右發37.5%，發動機排氣溫度EGT為531攝氏度，目前剩油12.2千磅，起落架在收上位置，由此可判斷出飛機處于下降階段，飛行速度較小。

3.2.3 結果統計

首先在設置關鍵字段，如第一題的有效表述中標記“目標速度(空速)200節；當前速度(空速、表速)是184在增加；馬赫數是點501；真空速196；地速196；處于下降狀態；速度偏小；下降率3150”等詞語為有效信息；解釋表述中設置“ 飛機處于下降狀態；左發慢車/單發失效/一發失效/左側發動機故障；速度偏小；沒有完成起飛后檢查單；地速和空速不匹配”等為解釋信息；流暢率則根據字符間隔時間進行計算，由總字數比上總時間即為被試的流暢率。測試過程中記錄每個文本的總字數(N)、描述時間(T)，提取其中的有效表述字數(n1)、正確表述字數(n2)，得到被試的有效率(a)、準確率(b)、流暢率(c)，最后由權重賦值得到被試語言能力測評的最終得分，其計算過程如下：

4 實驗驗證

4.1 實驗設計及實施

4.1.1 被試招募

被試全部為國內某航空公司航線飛行員，共計20名，均為男性且具備足夠的飛行經驗。其中，機長10名，副駕駛10名，飛行小時數從4 000到15 000不等。通過數據篩選與分析，共保留20組有效數據，數據收集時間為2020年11月-2021年1月。

4.1.2 實驗設計

合作能力的測評依靠問卷星平臺設計問卷并進行發放，交流能力的測評依靠科大訊飛智能錄音筆進行語音識別及文字轉換工作。被試需要先認真閱讀和填寫知情同意書，然后熟悉測試系統的流程和操作方法。在正式開始實驗前，被試需登記個人信息，并登錄實驗平臺進行模擬測試，此階段被試的表現將不予記錄，直到被試已經確定掌握測試流程方可進行正式測試。正式測驗階段被試的每個操作都會被記錄，用來測評飛行員合作交流能力，見圖4。

圖4 飛行員合作能力測試示意圖

4.2 結果統計及分析

本實驗共收集到20組數據，根據被試合作能力和交流能力的得分，分別分成高分組和低分組，數據的描述性統計參見下表5。

進一步對兩組數據的差異性檢驗表明，兩組被試的合作能力得分(t=-4.284，P=0.012)和交流能力得分(t=-5.613，P=0.001)均存在顯著差異，說明測試具有良好的區分度。

對結果進行匯總分析，應用IBM SPSS 25，通過分位數圖示法對20組數據進行正態性檢驗，檢驗結果如圖5所示，由此可表明飛行員合作交流能力得分分布符合正態分布，見圖5。

圖5 飛行員合作與交流能力得分Q-Q圖

5 討論

在本研究中，對20名被試進行差異性檢驗發現高低分組差異性顯著，測量數據具備良好的區分度，證明建立和維護共識、采取適當的行動解決問題、建立和維護團隊組織是評價飛行員合作能力的重要指標，有效率、解釋率、流暢率從是評價飛行員交流能力水平的重要指標。其中，多數指標與該維度能力水平成正相關，但解釋率與飛行員交流能力水平呈現出負相關狀態，造成該結果的原因一方面是數據量較小，受個別異常數據影響較大，另一方面可能是解釋內容增加了被試的思考時間，從而影響了表述的流暢率，進而導致交流能力得分的下降。

經檢驗發現，飛行員的合作交流能力得分均符合正態分布，本研究結果可以與以往其它領域的合作交流能力研究結果相對照。該實驗的順利完成證明基于會話代理的人機交互模式可應用與飛行員能力水平測量的過程中，且對工作效率的提升及人-人協作不確定性的剔除具有積極意義。

6 結論

(1)在其他領域已有的合作、交流能力測評方法的基礎上，結合飛行員工作特點加入飛行任務場景，并參考專家意見進行修改精煉，總結出針對飛行員合作與交流能力測評的方法理論與實際試題，并招募被試展開實驗。

(2)本實驗在成熟飛行員之間開展，共收集數據20組，通過SPSS對收集到的數據進行正態檢驗，發現樣本服從正態分布，可反映出飛行員之間合作交流能力的水平分布，后續將以軟件的形式進行能力水平測試，提高測試的效率和精確度。

(3)本研究僅在小范圍內開展實驗，數據量較小，后續可以開展廣泛實驗，以更加充分的數據檢驗該模型的有效性，最終形成一套完善可靠的飛行員合作交流能力測評體系，為飛行員能力監測、日常訓練提供針對性的依據，為飛行員能力測評的開展提供新方法新思路。