航戰座艙顯控交互研究進展與人機協同發展趨勢

吳曉莉，張藍，牛佳然，劉瀟，韓煒毅

【院士專欄：國防裝備設計與制造】

航戰座艙顯控交互研究進展與人機協同發展趨勢

吳曉莉a,b，張藍a，牛佳然a，劉瀟a，韓煒毅a

（南京理工大學 a.設計藝術與傳媒學院 b.工業互聯網研究院，南京 210094）

為了應對態勢信息急速增長的復雜空戰環境，人機協同作戰應運而生，座艙顯控交互是實現人機協同方式的通道，對快速取得戰場優勢，完成作戰目標有著重要影響。梳理了航戰座艙顯控系統的發展、相關代表人物與研究成果；基于人機協同作戰環境中面臨的挑戰，探究座艙顯控的研究現狀與趨勢；從座艙顯控界面信息表征設計和交互的實現形式方面歸納梳理人機協同作戰下的座艙顯控交互設計研究熱點；提出未來座艙顯控交互的發展趨勢。航戰座艙顯控交互與人機協同作戰密切相關。在智能技術支持與人機協作需求的共同驅動下，人機協同作戰下的座艙顯控交互向著任務相關、信息呈現、認知融合的界面設計與多通道的交互手段相結合的方向發展。

座艙顯控設計；交互技術；人機協同

隨著人工智能技術的迅猛發展，信息化戰爭和技術的發展使戰機承擔的任務進一步多樣化和復雜化，感知能力、打擊手段和防護技術日益信息化和智能化，無人智能軍事裝備需求也隨之增加。人機協同作戰應運而生，成為了一種既符合時代需求，又綜合人機優勢的新型作戰方式[1]。在新型空戰環境下的飛行員不僅是戰斗人員，也是決策者，面臨著完成包括態勢感知、指揮決策、與無人機編隊協同作戰等任務。飛行員與無人系統形成良好的協作關系，對取得戰場優勢、完成作戰目的至關重要。戰機的座艙顯控系統作為現代航空作戰的重要工作系統，是進行信息輸入和輸出的重要交互通道。新型“人機協同”作戰方式關系著顯控交互界面信息呈現和視覺表征的變化，以及交互方式的演變。人機協同作戰座艙顯控交互研究從戰機座艙顯控系統的發展歷程出發，基于人機協同作戰所需要面臨的挑戰與相關現狀研究，探究座艙顯控交互的研究熱點、前沿方向，為未來座艙顯控交互發展提供參考與思路。

1 戰機座艙顯控系統的發展

戰機座艙顯控系統人機交互的發展主要經歷了以下階段：以儀表盤顯示為主的第1代、第2代純硬件座艙顯控系統；以電子顯示器和綜合控制系統形成的第3代座艙顯控系統；綜合運用計算機技術，采用大屏顯示器、頭盔顯示器等多種顯示設備形成的第4代智能座艙顯控系統。

在20世紀40年代至70年代，第1代、第2代機載設備剛出現顯控席位的分化。受技術限制，這一階段的系統主要通過儀表、機械旋鈕、開關等完成電臺通訊、方位顯示、敵我識別及火控瞄準等任務[2]。人機交互主要是儀表盤進行信息輸出，機械按鈕進行信息輸入的模式。1973年，頭盔顯示系統（HMDS）第1次裝備在美軍當時的主戰機上，先進的性能引起了世界各國的注意，頭盔顯示器的誕生給天空作戰帶來了新的技術革命[3-4]。隨著現代人機工程學的發展，第2代戰斗機后期開始重視儀表信息顯示與操作按鈕布局的一致性，機載顯控系統的人機工效研究也逐漸得到了相關領域的重視。為了解決儀表板日益擁擠的問題，工程師在第2代機電伺服儀表的基礎上對飛行儀表進行綜合，也對指示相關信息的儀表進行綜合，減少儀表數量；同時將無線電導航和其他經過計算機加工的指引信息綜合進相關的顯示器中，形成第3代飛機儀表，即綜合指引儀表。綜合指引儀表不但可以顯示飛機綜合的實時狀態信息，同時還通過指引信息告訴飛行員如何正確操縱飛機，以達到預定飛行狀態或目的地[5]。第3代頭盔顯示系統首次采用虛擬成像技術，可直接將虛擬畫面投射到駕駛員的面罩上，配合計算機圖像和數據處理運算技術，具備了實時呈現畫面的能力。

以人工智能、大數據為代表的信息技術在軍事領域廣泛應用，現代戰爭形態演變不斷突破，向著機械化、信息化、智能化的方向發展。進入21世紀，觸屏及語音交互的方式取代了煩瑣復雜的硬件按鈕操作，更為清晰的數字化屏幕也為信息顯示提供了更大的發展空間。第4代新型戰斗機的機載設備通過更大、更清晰的數字化屏幕呈現出更加多樣的信息內容。這一時期的人機交互主要通過數字屏幕進行信息輸出，通過語音、觸摸屏和簡潔的按鍵等多通道進行信息輸入。未來飛行員頭盔的發展趨勢是研制功能強大、集綜合性防護于一體的頭盔系統，全息投影技術也會逐漸發展成熟并應用于頭盔顯示器中[6]。歷代戰機座艙顯控界面見圖1。

對戰機座艙顯控系統的發展，各領域的研究人員針對人因工效、人機交互、座艙顯示技術、人機協同等方面進行了一系列研究。總結20世紀80年代至今具有代表性的人物及研究成果，其研究成果引用量較高，為座艙顯控發展提供了理論依據或技術支撐，見表1。

軍事技術的發展促使戰場環境復雜性的大幅提升，如F–35的大屏幕顯示器將遠不能滿足飛行員獲取信息數據流的顯示需求，而未來戰斗機為了隱身，會減小座艙空間，進而縮小座艙顯示面積[25]。座艙內的系統控制器將盡可能簡化，除了保留一些控制飛行的基本操作桿和少數與安全相關的控制器，其余的操控功能都將集成到顯示器中。未來的顯示器將采用一體化大屏幕顯示，可以自動顯示所需的相關信息，并能夠連續調整數據信息的顯示布局，大大提高飛行員的態勢感知，降低其在控制顯示、數據理解與融合的負荷。同時在座艙內運用多通道人機控制技術，采用按鍵控制、聲音控制、觸摸控制、手勢控制和眼控等多維度控制方式，盡可能縮短飛行員的操作時間，提升飛行員操作的自由性與便捷性[26]。在戰機頭盔方面，由于頭盔顯示器加強了飛行員的肉眼態勢感知能力，所以未來戰機可以取消平顯及其電源和光學系統，以加強大尺寸顯示器上電子態勢感知的顯示空間，從而使戰機座艙變得透明，成為不阻礙飛行員視野的“玻璃座艙”[27]。

圖1 戰機座艙顯控界面發展歷程

表1 座艙顯控代表性研究成果

Tab.1 Representative research results of cockpit display control

由于四代機、五代機在軟硬件和作戰場景方面都有較大的變化，在有人機的任務環境中融入無人機協同作戰，形成有人機/無人機智能協同作戰體系，充分發揮人的決策優勢與無人機本身優勢的互補作用，將是未來空戰的主要作戰方式[28]。未來戰機在新型戰場環境中面臨需要密切配合，完成包括態勢感知、指揮決策與智能AI作戰輔助打擊的任務情境下，飛行員除了作為戰斗人員外又充當決策者的身份，與無人機、人工智能協同作戰。同時隨著無人自主技術的發展，未來戰機將在軟硬件各方面都有更大的提升，無人裝備將在未來戰爭中發揮越來越重要的作用，人機協同由此可拓展為人與機器協同、人與人工智能協同的基本形式。

2 戰機座艙人機協同研究進展

2.1 人機協同作戰面臨的挑戰

在新型作戰概念、自主武器裝備軍事需求及人工智能技術驅動下，無人作戰飛機的智能化程度和自主性均得到了顯著提升，具備了較好的機動軌跡規劃與跟蹤控制等方面的能力。然而，在不確定、多任務、高威脅的現代強對抗作戰條件下，現階段無人作戰飛機仍然面臨程序規劃決策的難題[29-30]。為了能快速占據作戰優勢，取得戰斗成果，將具有戰術宏觀決策優勢的有人機與具有技術微觀規劃和控制優勢的無人機組合形成有/無人機協同作戰，這將是未來空中作戰的必然趨勢。

隨著現代戰爭形態的不斷演變，空戰戰況復雜多變，敵我雙方博弈激烈，戰場信息瞬息萬變。信息化的軍事作戰使戰場觀察和探測的范圍急劇擴張，戰場態勢的信息容量爆發性增長，同時智能化軍事裝備使未來戰爭進入“秒殺”時代，意味著對飛行員完成戰場態勢認知與決策判斷的速度提出了更高的要求。雷達探測與電子對抗的動態博弈進一步影響了作戰過程中態勢信息的獲取能力，虛假和不完整的信息會降低飛行員態勢認知的準確性和可靠性[31]。覆蓋海、陸、空、天、電等多維空間的多軍種聯合作戰形式使作戰任務更加復雜，各種參戰力量關系高度耦合并且相互關聯，作戰手段隨著跨域力量的協同運作更加豐富多樣[32]。飛行員不僅需要識別海量態勢信息，同時要兼顧其他各方力量的能力需求，實現多方力量的同步協同作戰[33]。然而面對“信息爆炸”與動態變化的作戰態勢信息顯示，受限于飛行員生理、智力及心理極限，難以在極短時間內完成對海量戰場態勢信息的認知理解與任務的判斷決策。在空戰中，飛行員造成失誤的主要原因是控制操作失誤、錯誤判斷、忽略顯示數據等[34]，因此在具有高度對抗特性的復雜動態現代空戰中，建立合理的人機協同作戰座艙顯控交互機制顯得尤為重要。

人機協同作戰是指發揮作戰人員與軍事智能系統或者軍事裝備各方的優勢，強調人機互補增能，在充分運用人的智能決策判斷的基礎上，發揮智能化無人作戰力量的超限、精確、機動等優勢，最終實現高效、精準完成作戰任務的目的。在航空領域，人機協同作戰出現了2種合作模式。

1）飛行員與智能輔助系統的人機協同模式。以美軍的“飛行員助手”戰術輔助決策系統[35]為代表，通過基于人工智能技術的智能輔助系統向飛行員整合戰場態勢信息，幫助飛行員快速做出關鍵性決策。

2）飛行員駕駛的有人機與無人機編隊之間的有/無人機協同模式。以忠誠僚機[36]為代表，在多機編隊中，有人機作為長機，帶領無人機編隊執行作戰任務，負責無人機編隊的規劃決策等任務。有/無人機協同作戰，利用無人機高機動性、低成本、隱身性能高的優勢，充分發揮了飛行員的自主決策綜合判斷的能力，通過人機協作配合，既提高了有人機的生存能力，又延伸了戰場態勢的探測距離和攻擊距離，大大提高了編隊的作戰效能。美國國防部[37[38]-39]認為有人機和無人機及其他無人裝備聯合組成的協同編隊作戰將成為未來戰爭作戰模式的新趨勢。

2.2 人機協同作戰座艙的研究現狀與趨勢

在“Web of Science”數據庫中以“人機協同（Man-Machine Coordination）”“有/無人機協同（Manned/Unmanned Cooperative）”為關鍵詞對近20年的文獻進行檢索，分別檢索到403篇、70篇文獻。“人機協同”的主要研究方向為工程科學、計算機科學、神經科學、行為科學、心理學等。“有/無人機協同”主要研究方向為工程科學、自動化控制系統、機器人、計算機科學等。對比兩者研究方向可以發現，“有/無人機協同”與“人機協同”的研究是相似的，兩者存在很多相同的研究方向，見圖2。通過比較，“人機協同”受到各個領域的極大關注，并且進行了深入的調研，已經取得了一定的研究成果，而近年來關于“有/無人機協同”的研究相對較少，并且還未涉及神經科學、行為科學、心理學等人因學科領域。

隨著分布式作戰、馬賽克戰、聯合全域作戰等新型作戰概念的提出，人機協同作戰受到關注。戰機座艙作為機載信息的匯總中心，是與飛行員進行信息互通、實現人機交互的重要通道，在人機協同作戰過程中發揮著重要作用。Walsdorf等[40]研究座艙中的認知輔助系統用來幫助飛行員進行態勢認知、計算決策等任務，減少人機協同作戰過程中飛行員的認知負荷和心理負擔。Onken等[41]提出認知輔助系統解決飛行員認知出錯的問題，使座艙設計符合“以人為中心的自動化（Human-Centred Automation）”。Pitchammal等[42]基于以人為本的自動化技術，提出應用于座艙的中央控制器，實現人機之間的智能合作。Svenmarck[43]通過研究座艙傳感器系統的目標跟蹤、分類、識別能力，幫助提高飛行員人機協同作戰的態勢感知能力。Brand等[44]通過使用自適應學習技術來支持飛行員執行有人–無人團隊任務。Ohlander等[45]基于團隊合作模型，探究多機任務中團隊合作要素的關系，為座艙顯示系統設計提供指導。可以看出，人機協同作戰座艙向智能化、人性化的方向發展。從人因工效角度，基于人工智能技術探究人機協同作戰輔助系統的設計研發，幫助飛行員減少認知負荷，提高人機交互效率，以指導智能化座艙設計。

國內學者不斷推進人機協同座艙的自主管理、協同作戰的實現與效能評估驗證體系的構建。王偉等[46]從時間、邏輯、功能3個維度對任務間的協同關系進行形式化描述，建立任務協同關系的綜合度量模型。通過設置任務協同度閾值的方法，并對協同緊密的任務進行聚合，實現了任務分解的優化。張杰勇等[47]基于有人/無人機協同作戰C2分析，分析了輔助決策、人機協同等關鍵技術，對協同作戰指揮控制系統技術展開研究。王坦等[48]通過對有人/無人協同作戰典型模型的分析，結合OODA任務環，建立了有人/無人協同作戰效能評價指標體系。董彥非等[49]根據混合編隊的作戰過程和特點，提出了一種建立有人機/無人機協同空地攻擊效能評估的綜合指數模型。Fan等[50]通過分析抽象網絡的特征參數，將指標體系與復雜網絡相結合，提出了一種協同作戰效果定性定量的評價方法。

圖2 “人機協同”與“有/無人機協同”研究方向對比

and " manned/unmanned cooperative "

頭盔顯示器（Helmet-Mounted Display，HMD）是基于虛擬現實、增強顯示等技術支持的先進顯示設備，將飛行員的視覺認知行為的過程與裝備顯示相結合，實現實時呈現、實時觀察，在現代空戰顯示設備中占據重要地位。針對HMD的研究，基于技術設備的支持展開了顯示界面交互人因工效研究。Niklas等[51]針對夜間、眩光、大霧等環境下使用多傳感器組合加強HMDs的視覺顯示效果。Zhang等[52]基于增強現實技術改進了MHD的光學系統，為飛行員提供清晰的字符信息或視頻圖像。傅亞強等[53]針對HMD的符號系統評價進行了研究，提出的頭盔顯示器具有強化感知能力、提高作戰效率、降低工作負荷等優勢。王永生等[54]探討了HMDs的任務特點，基于人因工效設計構建了HMDs的人機交互模型。

3 人機協同下的座艙顯控交互設計研究

在“Web of Science”中以“Human-Computer Interaction”“Interactive Technologies”“Interaction Design”等為關鍵詞進行檢索，共查詢到文獻2 121篇，見圖3。由圖3可以看出在人機交互中研究最為廣泛的領域為計算機科學，其次為工程、教育、數學等，其中與座艙交互相關的領域可以追溯和覆蓋到計算機學、行為科學、心理學、神經科學等。從文獻發表數量來看，排名靠前的國家有美國、中國、德國等；在航空座艙交互的領域內，可查閱到文獻348篇，見表2。總結歸納后得出，其中大多從交互實現的技術、方法與交互形式等方面入手，采用的研究途徑有生理實驗測評、仿真測試、硬件設備開發與智能科技的研發。

航戰座艙數字化界面是承載顯控系統及態勢信息的重要載體，在未來戰場面臨的智能協同作戰任務情景下，無人機、人工智能系統的信息數據將不斷融合。人機協同隨著無人自主技術的快速發展將拓展出人與無人機作戰協同、人與高自動化機械設備協同、人與AI人工智能體協同等形式。航空領域的人機協同共生模式探索是從人因規范、界面交互、系統設計與評估等方面展開的[55]。在人機協同作戰環境下戰機座艙在人機工效與智能化程度等方面有待加強，包含狀態信息的顯示方式[56]、合理的信息編碼[57]、高度的自動化程度[58]，以及對機組數據整合的作戰需求。因此，基于新一代人機協同作戰下的座艙交互研究，包含顯控系統信息呈現機制與視覺表征設計、交互設計理論方法、交互手段，以及先進交互技術設備等方面的文獻。

圖3 “web of science”中人機交互的研究學科領域

表2 “座艙交互”在“web of science”中的研究進展（學科領域存在交叉）

Tab.2 Research progress of "Cockpit Interaction" in "web of science" (Interdisciplinary)

3.1 座艙顯控界面信息表征設計

國內外針對人機界面的信息表征設計主要集中在研究信息的編碼元素與呈現形式，以及界面信息的層級化設計、內容的一致性與認知上的關聯性方面，通過認知科學、心理學與設計學的理論交叉融合分析，總體上而言在信息的可視化表征、感知與認知機制，以及系統架構的梳理方面已具有一定的研究基礎。

首先在交互信息的視覺呈現與表征方面，國內外大多從人機界面設計理論出發，研究交互界面的圖符、色彩、布局、風格樣式等。Michalski等[59]研究了圖形對象的電子屏幕界面設計及其幾何特征對用戶任務效率的影響。Chen等[60]研究了界面排列布局、距離和圖標大小3個因素對用戶搜索性能的影響。Cui[61]深入分析設計圖標和認知的各種因素如何影響顧客的注意力分布和認知負荷分布，探索顧客的視覺搜索特征和策略，了解視覺注意力分布規律和視覺信息處理情況，形成與圖標設計和認知影響因素相關的視覺搜索模型。Wu等[62]探究了雷達態勢界面的信息形狀與色彩組合特征對認知績效的影響，通過實驗發現特征物的顏色與性狀對目標物體判斷有顯著影響。汪海波等[63]提出信息符號化的設計能夠有效地實現人–系統的信息交互，并分別闡述了具象化、抽象化符號價值與傳達優勢，皆有利于操作者快速高效地認知。張慧姝等[64]采用匹配測試與排序測試實驗，測評了飛機圖標中針對友機、敵機與不明飛機的目標圖符識別性績效。邵將等[65]梳理了頭盔顯示界面的不同信息圖標布局展現形式，設計了E–prime實驗對不同特征的圖標進行績效測評。

在信息交互的邏輯架構與結構設計方面，Paas等[66]從圖式理論出發，探究了信息結構和認知架構之間的交互作用與關系；Chen等[67]通過信息的分層、一致性設計和導航設計進行認知負荷的控制，提出以活動為中心的觀點降低認知負荷；徐瑋瞳等[68]運用層次分析與場景用例分析法，針對機載導航頁面的信息內容設計展開分析，并進行樣式、交互行為與接口設計。吳立堯等[69]針對有人/無人機編隊協同作戰的場景，分別從任務規劃層、協調控制層、功能實現層將顯控系統結構中的信息模塊進行分類梳理，并最終通過仿真實驗對典型任務進行驗證。繆瑩瑩等[70]從特征整合的角度出發，通過分析認知習慣與信息特征梯度，總結出合適的體現視覺界面信息層級與次序關系的交互設計方式，提高視覺認知效率與易用性。

綜上所述，近年來在對座艙人機交互信息的表征研究中，多從人因工效與界面設計原則理論角度出發，研究著重針對交互界面布局、色彩、圖符元素研究其設計的合理性，以提高認知績效。同時針對顯控系統信息的層級化、次序化展現，從任務信息流的合理優化角度出發對界面信息架構進行設計分析。

3.2 座艙顯控界面交互設計方法研究

針對交互設計方法在戰機座艙中的應用，大多從設計方法、設計思維、設計理論等角度提出針對性的界面設計改進措施與設計系統方法。Guan等[71]利用UI分類和設計方法，對飛行訓練關鍵交互操作與核心人機交互UI進行研究，并加以整合，完成UI模塊的設計，有效地提升了飛行模擬訓練的效率和效果。Shi等[72]分析了交互系統的多模態思維，提出飛機座艙的多模態交互系統應以“任務–人–機”為中心進行設計。Dam等[73]運用生態界面設計方法優化飛行軌跡的可視化描述，幫助飛行員提高信息理解和情境感知能力。馮傳宴等[74]結合多資源負荷理論及信息認知加工理論，提出一種新的情境意識模型，來指導駕駛艙人機界面設計。邵將[75]基于視覺認知理論展開頭盔顯示器的界面信息編碼設計研究。陸炎凱[76]基于視覺注意捕獲理論提出復雜信息系統的視覺表征方法與交互設計策略。李佳益[77]從認知負荷理論和人機界面設計理論出發，總結復雜數字信息界面的設計要素對認知負荷的影響，提出可控認知負荷水平下的飛機駕艙數字界面可視化設計策略。王海燕等[78]以生態界面理論為依據抽象分析戰機顯控界面層級，結合圖形用戶界面的設計思想提出了布局設計的方法流程。

由此可以看出，近年來對戰機座艙的交互設計方法研究中，大多從心理學、行為科學等領域的人因要素出發，運用視覺感知理論、認知負荷理論、生態界面理論等人機交互界面設計理論展開對戰機座艙人機交互界面設計。

3.3 座艙顯控交互實現形式與技術研究

現代化的座艙人機交互主要采用數字屏幕進行信息輸出，采用語音交互、觸屏按鍵等方式進行信息輸入。在國內外對座艙復雜界面的交互設計研究方面，綜合了視覺、聽覺、觸覺等多種認知通道，使飛行員在任何情況下依靠本能以更加舒適自由的方式操控飛機，達到縮短飛行員的判斷、決策時間，減少操作錯誤，降低飛行員心理及生理負荷，提高作戰效能的目的。Pauchet等[79]設計了一款“Gazeform”自適應觸控界面，根據凝視方向提供一種自適應的交互手段，實驗結果表明與僅使用觸控模式相比，GazeForm產生了更低的主觀心理負荷和更高的執行效率（快20%）。Fan等[80]從駕駛艙人機交互效率認知缺點和觸屏在運行的交互特性為切入點，研究了天氣頁面的觸摸控制和信息顯示集成設計。Wam-becke等[81]提出了融合眼動與微手勢結合的協同交互模式，并通過實驗證明在處理高優先級的任務時，此協同交互方式績效更優。Jansen等[82]通過研究飛機座艙觸覺顯示技術，發現在視聽受到嚴重干擾的環境中，信息的觸覺呈現可減輕飛行員的視覺負擔，并且飛行員的操作更準確、腦力負荷更小。以上研究對多通道人機交互技術在飛行駕駛任務中的可用性提供了理論支撐。

人機交互技術的支持使作戰座艙中多種交互手段得到了極大的應用，進一步提高了人機交互效率。Caputo等[83]提出如沉浸式VR、MR等虛擬工具交互方式，通過模擬按鈕、滑塊、旋鈕等交互組件，測試此類設計對實際操作的可能性及有效性。Qiao等[84]引入眼動、手勢的自然交互模式，設計了用于飛行仿真的凝視手勢交互系統，并將其與現有的主要交互方法進行了分析比較。Niermann[85]將空間音頻作為額外的信息渠道，設計了3D音頻的航空立體聲耳機實驗，研究音頻跟蹤作為駕駛艙輔助系統的發展潛力。Wang等[86]探究了在震動條件下，輸入設備與目標大小對人機交互性能和感知工作量的影響，旨在優化人機系統在震動環境中的用戶界面設計。Liu等[87]利用特有的網絡技術解決傳統顯示器圖形處理的問題，并提出基于紅外觸摸技術的人機交互方法以提高人機交互效率。

綜上所述，近年來在對作戰座艙的實現形式和技術研究中，多引入多通道交互手段，從視覺、聽覺、觸覺等多種認知通道展開人機交互效能的研究，其中研究內容有界面組件的動態交互形式、手勢動作的交互、觸摸反饋機制等。在創新思維與多模態理論等的指導下，通過現代化硬件與軟件設施的測試模擬，對未來智能化作戰座艙交互系統提供智能交互技術層面的支持，進而構建更加沉浸式、人性化與協同感知的系統性交互體系。

4 人機協同作戰的座艙交互發展趨勢

解決人機分工問題、促成人機對話是保證人機交互效率和系統綜合效能的關鍵，也是促成人機智能協作的關鍵[88]。在高強度、強對抗的空戰場景下，飛行員將面臨人機協同作戰的多方面考驗，合理組織各類作戰任務，梳理態勢信息架構，將復雜數據轉換為可以被迅速解讀的界面信息至關重要。通過簡化復雜任務流程，結合飛行員的使用需求，梳理邏輯合理、清晰明確的界面信息層級關系，并將信息內容與設計元素耦合，為有/無人機協同作戰搭建一座溝通的橋梁。同時無人裝備不僅是遵循飛行員指令的執行方，同時也是為飛行員提供作戰建議的協同合作伙伴，信息的交互將成為未來人機協同作戰的顯控交互設計的重要內容。面對復雜多變的未來空戰對抗，通過人工智能賦能的自適應學習，構建基于飛行員心理生理反饋響應的交互機制有助于實現人機深度協同。

多通道融合的交互方式是人機協同作戰發展的必然趨勢。在人工智能、虛擬現實等技術進步和人機交互需求提升的驅動下，融合視覺、觸覺、聽覺等多個感知體驗的多通道交互被認為是更自然的人機交互方式[89]。運用語音、手勢、眼動等控制方式和視覺、聽覺等多種感知通道實現對態勢信息的認知及對戰機的操縱控制，一方面彌補了單通道識別準確率的問題，減輕了作戰人員認知負擔，另一方面使人機對話以一種自然、并行、協作的方式進行，提高了人機協同作戰的交互效率[90]。基于語音識別、視覺追蹤、肢體語言和腦機接口等技術的多通道融通交互手段，展開關于人機交互意識識別、交互操作控制、認知負荷評估等方面研究，為提高人機協同交互效率提供理論依據和技術支持。在2021年，由行業發起以“未來”“科技”與“人因”為主題的首屆未來座艙創新設計大賽，燃起國內學者對未來航戰的思考。例如，“融合多通道感知與虛擬交互的未來戰機座艙”嘗試將虛擬現實技術與眼控交互結合，實現了頭盔虛擬投射形成外視場的虛擬信息界面[91]，見圖4。

人機協同作戰座艙顯控交互研究是在多維度協同、多信息融合的新型空戰環境下，對集合空軍力量、深入人機協同展開的新命題，見圖5。

圖4 融合多通道感知與虛擬交互的未來戰機座艙

圖5 人機協同作戰的座艙顯控交互研究

5 結語

從國內外戰機座艙顯控系統的研究現狀出發，聚焦面臨復雜空戰環境的人機協同作戰發展趨勢。從人機協同態勢、人機交互界面等角度梳理了座艙顯控的研究進展，發現多維度、多層次的態勢信息顯示需求推動了人機協同作戰模式的發展，從而提出對未來人機協同座艙顯控交互研究發展趨勢的思考。面對愈發復雜的戰場環境與動態多變的作戰需求，座艙顯控需要從任務–信息–認知關聯與多通道融合的交互手段，加強人機對話，提高協作效能。未來智能化作戰環境下的座艙顯控研究，將逐漸深入地向人機協同的多通道融合交互發展。

[1] 丁達理, 謝磊, 王淵. 有人機/無人機協同作戰運用及對戰爭形態影響[J]. 無人系統技術, 2020, 3(4): 1-9.

DING Da-li, XIE Lei, WANG Yuan. The Application of Manned/Unmanned Aerial Vehicle Cooperative Combat and Its Influence on War Form[J]. Unmanned Systems Technology, 2020, 3(4): 1-9.

[2] 張德斌, 郭定, 馬利東, 等. 戰斗機座艙顯示的發展需求[J]. 電光與控制, 2004, 11(1): 53-55.

ZHANG De-bin, GUO Ding, MA Li-dong, et al. Requirements for Development of Cockpit Display on Fighters[J]. Electronics Optics & Control, 2004, 11(1): 53-55.

[3] HUA H, GAO C Y, SOC I C. A Polarized Head-Mounted Projective Display[C]// Proceedings of the 4th IEEE/ACM International Symposium on Mixed and Augmented Reality ( ISMAR 2005). Vienna, AUSTRIA: IEEE, 2005: 32-35.

[4] YAMAZOE T, KISHI S, SHIBATA T, et al. Reducing Binocular Rivalry in the Use of Monocular Head-Mounted Display[J]. Journal of Display Technology, 2007, 3(1): 83-88.

[5] 符積弘. 面向任務的現代飛機座艙人機界面信息顯示機理研究[D]. 南京: 南京航空航天大學, 2017.

FU Ji-hong. Research on Task Oriented Information Display Mechanism of Modern Cockpit Human Machine Interface[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2017.

[6] 張強. 頭盔顯示界面信息布局優化研究[D]. 南京: 東南大學, 2016.

ZHANG Qiang. Research of Hmd Interface Information Layout Optimizing[D]. Nanjing: Southeast University, 2016.

[7] ENDSLEY M R. Situation Awareness Global Assessment Technique (SAGAT)[C]// Proceedings of the Proceedings of the IEEE 1988 National Aerospace and Electronics Conference. Dayton: IEEE, 1988.

[8] LAVIE N, TSAL Y. Perceptual Load as a Major Determinant of the Locus of Selection in Visual Attention[J]. Perception & Psychophysics, 1994, 56(2): 183-197.

[9] BRONKHORST A W, VELTMAN J A H, VAN BREDA L. Application of a Three-Dimensional Auditory Display in a Flight Task[J]. Human Factors: the Journal of the Human Factors and Ergonomics Society, 1996, 38(1): 23-33.

[10] HANKINS T C, WILSON G F. A Comparison of Heart Rate, Eye Activity, EEG and Subjective Measures of Pilot Mental Workload during Flight[J]. Aviation, Space, and Environmental Medicine, 1998, 69(4): 360-367.

[11] DEREFELDT G, SKINNARS ?, ALFREDSON J, et al. Improvement of Tactical Situation Awareness with Colour-Coded Horizontal-Situation Displays in Combat Aircraft[J]. Displays, 1999, 20(4): 171-184.

[12] HAVIG P R, GRIGSBY S S, HEFT E L, et al. Luminance Contrast and Color Recognition in Helmet-mounted Displays[C]// Proceedings of the Conference on Helmet and Head-Mounted Displays VI. Orlando: SPIE, 2001.

[13] HUDLICKA E, MCNEESE M D. Assessment of User Affective and Belief States for Interface Adaptation: Application to an Air Force Pilot Task[J]. User Modeling and User-Adapted Interaction, 2002, 12(1): 1-47.

[14] BAILEY R E, ARTHUR J J, WILLIAMS S P. Latency Requirements for Head-worn Display S/EVS Applications[C]// Proceedings of the Enhanced and Synthetic Vision 2004 Conference. Orlando: SPIE, 2004.

[15] VAN ERP J B F, GROEN E L, BOS J E, et al. A Tactile Cockpit Instrument Supports the Control of Self-Motion during Spatial Disorientation[J]. Human Factors, 2006, 48(2): 219-228.

[16] HUTTUNEN K, KER?NEN H, V?YRYNEN E, et al. Effect of Cognitive Load on Speech Prosody in Aviation: Evidence from Military Simulator Flights[J]. Applied Ergonomics, 2011, 42(2): 348-357.

[17] HOOVER A, SINGH A, FISHEL-BROWN S, et al. Real-Time Detection of Workload Changes Using Heart Rate Variability[J]. Biomedical Signal Processing and Control, 2012, 7(4): 333-341.

[18] ELLERBROEK J, BRANTEGEM K C R, VAN PAASSEN M M, et al. Experimental Evaluation of a Co-planar Airborne Separation Display[C]// Proceedings of the IEEE International Conference on Systems, Man, and Cybernetics (SMC). Seoul: IEEE, 2012.

[19] BARBé J, CHATRENET N, MOLLARD R, et al. Physical Ergonomics Approach for Touch Screen Interaction in an Aircraft Cockpit [C]// Proceedings of the 2012 Conference on Ergonomie et Interaction homme-machine. Biarritz, France: ACM, 2012.

[20] WEI Zong-min, ZHUANG Da-min, WANYAN Xiao-ru, et al. A Model for Discrimination and Prediction of Mental Workload of Aircraft Cockpit Display Interface[J]. Chinese Journal of Aeronautics, 2014, 27(5): 1070-1077.

[21] HAMON A, PALANQUE P, ANDRé R, et al. Multi-Touch Interactions for Control and Display in Interactive Cockpits: Issues and a Proposal[C]//. Proceedings of the International Conference on Human- Computer Interaction in Aerospace. Santa Clara: ACM, 2014.

[22] YU C S, WANG E M Y, LI W C, et al. Pilots' Visual Scan Patterns and Attention Distribution during the Pursuit of a Dynamic Target[J]. Aerospace Medicine and Human Performance, 2016, 87(1): 40-47.

[23] WILSON M L, BEADLE S C, KINSELLA A J, et al. Task Performance in a Head-Mounted Display: The Impacts of Varying Latency[J]. Displays, 2020, 61(1): 101930.

[24] SCHWERD S, SCHULTE A. Experimental Validation of an Eye-Tracking-Based Computational Method for Continuous Situation Awareness Assessment in an Aircraft Cockpit[C]// Proceedings of the Engineering Psychology and Cognitive Ergonomics Cognition and Design. Cham: Springer, 2020.

[25] 孔淵, 陸虎敏. 未來戰斗機座艙顯控系統發展動態[J]. 航空電子技術, 2006, 37(3): 33-37.

KONG Yuan, LU Hu-min. Development Trends of the Cockpit Display and Control System of Future Fighters[J]. Avionics Technology, 2006, 37(3): 33-37.

[26] 殷春霞, 陳曉剛. 作戰飛機智能座艙研究[J]. 測控技術, 2021, 40(9): 1-6.

YIN Chun-xia, CHEN Xiao-gang. Intelligent Cockpit of Combat Aircraft[J]. Measurement & Control Technology, 2021, 40(9): 1-6.

[27] 趙國榮, 劉濤, 劉方正. 頭盔顯示器作為主飛行顯示器的技術發展綜述[J]. 海軍航空工程學院學報, 2006, 21(1): 109-112.

ZHAO Guo-rong, LIU Tao, LIU Fang-zheng. Research on the Development of Key Technologies of HMD as PFR[J]. Journal of Naval Aeronautical Engineering In-stitute, 2006, 21(1): 109-112.

[28] 張旭東, 孫智偉, 吳利榮, 等. 未來有人機/無人機智能協同作戰頂層概念思考[J]. 無人系統技術, 2021, 4(2): 62-68.

ZHANG Xu-dong, SUN Zhi-wei, WU Li-rong, et al. Research on the Fundamental and Grand Concept of In-telligent Cooperative Combat of Manned/Unmanned Aircraft[J]. Unmanned Systems Technology, 2021, 4(2): 62-68.

[29] HU X, YANG L, ZHANG J. The Design and Analysis of Hierarchical Decision-making for Manned/Unmanned Cooperative Engagement[C]// Proceedings of the 34th Chinese Control Conference (CCC). Hangzhou: IEEE, 2015.

[30] ROSALIE M, DANOY G, BOUVRY P, et al. UAV Multilevel Swarms for Situation Management[C]// Pro--ceedings of the 2nd Workshop on Micro Aerial Vehicle Networks, Systems, and Applications for Civilian Use (DroNet). Singapore: ACM, 2016.

[31] 曹蘭英, 郭明明, 羅美方. 雷達與電子戰的認知博弈[J]. 雷達科學與技術, 2021, 19(5): 552-557.

CAO Lan-ying, GUO Ming-ming, LUO Mei-fang. Cog-nitive Game between Radar and Electronic Counter-measure[J]. Radar Science and Technology, 2021, 19(5): 552-557.

[32] XING JC, CHEN CX, CHEN XR, et al. Research Progress on Joint Operation Modeling Based on Com-plex Networks[C]// Proceedings of the 31st Chinese Control and Decision Conference (CCDC), Nanchang: IEEE, 2019.

[33] 李志彤,李徽.面向未來兩棲作戰的態勢智能認知概念框架研究[J/OL].指揮控制與仿真, 2022: 1-5[2022-04-27]. http://kns.cnki.net/kcms/detail/32.1759.TJ.20211231.1313.004.html.

LI Zhi-Tong Li Hui. Research on Conpeptual Framework of Situation Intelligent Cognition for Amphibious Operations in future. [J/OL]. Command Control & Sim-ulation: 2022: 1-5[2022-04-27]. http://kns.cnki.net/kcms/detail/32.1759.TJ.20211231.1313.004.html.

[34] 吳曉莉. 復雜信息任務界面的出錯-認知機理: 由出錯因子導入系統界面設計的新方式[M]. 北京: 科學出版社, 2017.

WU Xiao-li. Error-Cognition Mechanism of Task Inter-face Complex Information System—A New Design Method of System Interface by Introducing Error Fac-tors[M]. Beijing: Science Press, 2017.

[35] 喬鑫, 孔繁峨, 馮星, 等. 單機超視距空戰智能輔助決策方法[J]. 電光與控制, 2011, 18(6): 9-15.

QIAO Xin, KONG Fan-e, FENG Xing, et al. An Intelli-gent Decision-Making Method Used in Beyond-Visual- -Range Air Combat[J]. Electronics Optics & Control, 2011, 18(6): 9-15.

[36] 趙鴻燕. 美國面向未來戰爭的導彈協同作戰概念發展研究[J]. 航空兵器, 2019, 26(4): 1-9.

ZHAO Hong-yan. Concept Develop-ment of the United States Missile Cooperative Opera-tions for Future War[J]. Aero Weaponry, 2019, 26(4): 1-9.

[37] 閆曄. 有人機/無人機協同中的交互控制技術研究[D]. 長沙: 國防科學技術大學, 2007.

YAN Ye. Research on Interactive Control Technology for Manned Vehicle-UAV Cooperative Mission[D]. Chang-sha: National University of Defense Technology, 2007.

[38] CAMBONE S, KRIEGR P P, Unmanned Aircraft Sys-tem Roadmap2005-2030[R]. Washington DC: Office of the secretary of defense, 2005.

[39] WILSON J R. Unmanned Aerial Vehicles Get Ready for Prime Time[J]. Military & Aerospace Electronics, 2009, 20(7): 18, 20-25.

[40] WALSDORF A, ONKEN R, IEEE I. Cognitive Man-machine-Cooperation-Modeling Operators' General Ob-jectives and Its Role within a Cockpit Assistant System[C]// Proceedings of the IEEE International Conference on Systems, Man and Cybernetics. Nashville: IEEE, 2000.

[41] ONKEN R, WALSDORF A. Assistant Systems for Air-craft Guidance: Cognitive Man-Machine Coope-ration[J].Aerospace Science and Technology, 2001, 5(8): 511-520.

[42] PITCHAMMAL R, SADDA V. Making the Mission Computer Intelligent – a Step Ahead[J]. Defence Science Journal, 2013, 63(2): 174-180.

[43] SVENMARCK P. Human Engineering of Multisensor and Multisource Tracking Systems[C]// Proceedings of the Conference on Signal Processing, Sensor Fusion, and Target Recognition IX. Orlando: SPIE, 2000.

[44] BRAND Y, SCHULTE A. Design and Evaluation of a Workload-Adaptive Associate System for Cockpit Crews[C]// Proceedings of the 15th International Conference on Engineering Psychology and Cognitive Ergonomics (EPCE). Las Vegas: Springer, 2018.

[45] OHLANDER U, ALFREDSON J, RIVEIRO M, et al. A Teamwork Model for Fighter Pilots[C]// Proceedings of the 13th International Conference on Engineering Psy-chology and Cognitive Ergonomics (EPCE). Toronto: Springer, 2016.

[46] 王偉, 劉付顯. 基于協同相關度的作戰任務分解優化[J]. 火力與指揮控制, 2017, 42(11): 107-110.

WANG Wei, LIU Fu-xian. Operation Task Decomposition Optimization Based on Cooperative Correlation Degree[J]. Fire Control & Command Control, 2017, 42(11): 107-110.

[47] 張杰勇, 鐘赟, 孫鵬, 等. 有人/無人機協同作戰指揮控制系統技術[J]. 指揮與控制學報, 2021, 7(2): 203-214.

ZHANG Jie-yong, ZHONG Yun, SUN Peng, et al. Com-mand and Control System and Technology for Manned/Unmanned Aerial Vehicle Cooperative Operation[J]. Journal of Command and Control, 2021, 7(2): 203-214.

[48] 王坦, 楊森, 齊曉慧, 等. 基于Hopfield網絡的有人機/無人機協同作戰效能評估[J]. 電光與控制, 2021, 28(10): 80-84.

WANG Tan, YANG Sen, QI Xiao-hui, et al. Effecti-veness Evaluation of MAV/UAV Cooperative Operations Based on Hopfield Neural Network[J]. Electronics Optics & Control, 2021, 28(10): 80-84.

[49] 董彥非, 張旺, 崔巍. 有人機/無人機協同空地攻擊效能評估的綜合指數模型[J]. 火力與指揮控制, 2015, 40(2): 58-62.

DONG Yan-fei, ZHANG Wang, CUI Wei. Synthesized Index Model for Cooperation of Manned/Unmanned Fighters in Air-to-Ground Attacking Effectiveness Assessment[J]. Fire Control & Command Control, 2015, 40(2): 58-62.

[50] FAN Jie-ru, LI Dong-guang, LI Ru-peng, et al. Analysis on MAV/UAV Cooperative Combat Based on Complex Network[J]. Defence Technology, 2020, 16(1): 150-157.

[51] PEINECKE N, KNABL P M, SCHMERWITZ S, et al. An Evaluation Environment for a Helmet-Mounted Synthetic Degraded Visual Environment Display[C]// Proceedings of the IEEE/AIAA 33rd Digital Avionics Systems Conference (DASC). Colorado: Springs, 2014.

[52] ZHANG B, SUN C, ZHANG H, et al. An Aberration Correction Method and Circuit Implementation for AR Helmet Mounted Display Optical System[C]// Procee-dings of the Conference on AOPC - Display Technology. Beijing: SPIE, 2021.

[53] 傅亞強, 許百華. 機載頭盔顯示器符號系統評價的原則與方法綜述[J]. 航天醫學與醫學工程, 2013, 26(5): 415-419.

FU Ya-qiang, XU Bai-hua. Review of Principles and Evaluation Methodologies for Cockpit Helmet-Mounted Display Symbology[J]. Space Medicine & Medical Engineering, 2013, 26(5): 415-419.

[54] 王永生, 劉紅漫. 機載頭盔瞄準顯示系統的人機工效綜述[J]. 電光與控制, 2014, 21(7): 1-5.

WANG Yong-sheng, LIU Hong-man. A Summary on Human /System Performance of Airborne HMSDS[J]. Electronics Optics & Control, 2014, 21(7): 1-5.

[55] 吳曉莉, 方澤茜, 劉瀟, 等. 工業系統的智能交互模式及人因工效研究綜述[J]. 包裝工程, 2022(4): 12-26.

WU Xiao-li, FANG Ze-xi, LIU Xiao, et al. Review of Intelligent Interaction Mode and Human Factors in Industrial System[J]. Packaging Engineering, 2022(4): 12-26.

[56] 張煒, 宋筆鋒. 飛行器座艙狀態信息顯示方式的實驗研究[J]. 人類工效學, 2004, 10(3): 1-2, 6.

ZHANG Wei, SONG Bi-feng. Analysis of Status Information Display in Cockpit Designing[J]. Chinese Ergonomics, 2004, 10(3): 1-2, 6.

[57] ZHANG Lei. Information Coding for Cockpit Human-Machine Interface[J]. Chinese Journal of Mechanical Engineering, 2011, 24(4): 707.

[58] ACKERMAN K, XARGAY E, TALLEUR D A, et al. Flight Envelope Information-Augmented Display for Enhanced Pilot Situational Awareness [C]// AIAA Info-tech @ Aerospace. American Institute of Aero-nautics and Astronautics. Kissimmee, Florida: AIAA, 2015.

[59] MICHALSKI R, GROBELNY J, KARWOWSKI W. The Effects of Graphical Interface Design Characteristics on Human-Computer Interaction Task Efficiency[J]. International Journal of Industrial Ergonomics, 2006, 36(11): 959-977.

[60] CHEN C H, CHIANG Shu-ying. The Effects of Panel Arrangement on Search Performance[J]. Displays, 2011, 32(5): 254-260.

[61] CUI Y. Advertising Icon Design and Communication Conception Under the Condition of EEG and Eye Movement Experiments-Taking the Lingmei Omnimedia E-Commerce Platform Mobile APP as an Example[C]// Proceedings of the International Conference on Cyber Security Intelligence and Analytics (CSIA). Shenyang: Springer, 2020.

[62] WU Xiao-li, LI Jing, ZHOU Feng. An Experimental Study of Features Search under Visual Interference in Radar Situation-Interface[J]. Chinese Journal of Mechanical Engineering, 2018, 31: 45.

[63] 汪海波, 薛澄岐, 史銘豪. 自動化影響下的復雜系統數字界面設計研究[J]. 包裝工程, 2014, 35(4): 36-39.

WANG Hai-bo, XUE Cheng-qi, SHI Ming-hao. Digital Interface Design of Complex System under the Influence of Automation[J]. Packaging Engineering, 2014, 35(4): 36-39.

[64] 張慧姝, 莊達民, 馬丁, 等. 飛機座艙顯示界面目標圖符的設計和評價[J]. 包裝工程, 2011, 32(10): 89-92.

ZHANG Hui-shu, ZHUANG Da-min, MA Ding, et al. Design and Evaluation of Target Icons of the Cockpit Display Interface[J]. Packaging Engineering, 2011, 32(10): 89-92.

[65] 邵將, 薛澄岐, 王海燕, 等. 基于圖標特征的頭盔顯示界面布局實驗研究[J]. 東南大學學報(自然科學版), 2015, 45(5): 865-870.

SHAO Jiang, XUE Cheng-qi, WANG Hai-yan, et al. Experimental Study on HMDS Interface Layout Based on Icon Characteristics[J]. Journal of Southeast University (Natural Science Edition), 2015, 45(5): 865-870.

[66] PAAS F, RENKL A, SWELLER J. Cognitive Load Theory: Instructional Implications of the Interaction between Information Structures and Cognitive Architecture[J]. Instructional Science, 2004, 32(1/2): 1-8.

[67] JIANZHEN C. Reducing Cognitive Load in Mobile Learning: Activity-centered Perspectives[C]// Proceedings of the 2010 International Conference on Networking and Digital Society. Wenzhou: IEEE, 2010.

[68] 徐瑋瞳, 孫遠. 基于任務場景分析的機載導航頁面人機界面設計過程研究[J]. 航空電子技術, 2020, 51(4): 20-25.

XU Wei-tong, SUN Yuan. Research on Human-Computer Interface Design Process of Airborne Navigation Page Based on Task Scenario Analysis[J]. Avionics Technology, 2020, 51(4): 20-25.

[69] 吳立堯, 韓維, 張勇, 等. 有人/無人機編隊指揮控制系統結構設計[J]. 系統工程與電子技術, 2020, 42(8): 1826-1834.

WU Li-yao, HAN Wei, ZHANG Yong, et al. Structure Design of Command and Control System for Manned/Unmanned Aerial Vehicles Formation[J]. Systems Engineering and Electronics, 2020, 42(8): 1826-1834.

[70] 繆瑩瑩, 潘偉營, 姜斌. 戰術顯控系統人機交互中的特征整合設計研究[J]. 包裝工程, 2021, 42(20): 85-91.

MIAO Ying-ying, PAN Wei-ying, JIANG Bin. Feature Integration Design in Human-Computer Interaction of Tactical Display and Control System[J]. Packaging Engineering, 2021, 42(20): 85-91.

[71] 關淯尹, 耿心. 飛行模擬系統人機交互設計[J]. 計算機工程與應用, 2017, 53(23): 230-235.

GUAN Yu-yin, GENG Xin. Design of Human-Computer Interaction for Flight Simulation System[J]. Computer Engineering and Applications, 2017, 53(23): 230-235.

[72] SHI YANBIN, LI XIAOQI, OUYANG DANTONG, et al. Multimodal Usability of Human-Computer Interaction Based on Task-Human-Computer-Centered Design[J]. Lecture Notes in Computer Science, 2017: 459-468.

[73] DAM S B J V, MULDER M, VAN PAASSEN M M. Ecological Interface Design of a Tactical Airborne Separation Assistance Tool[J]. IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans, 2008, 38(6): 1221-1233.

[74] 馮傳宴, 完顏笑如, 陳浩, 等. 基于多資源負荷理論的情境意識模型與應用[J]. 北京航空航天大學學報, 2018, 44(7): 1438-1446.

FENG Chuan-yan, WANYAN Xiao-ru, CHEN Hao, et al. Situation Awareness Model Based on Multi-Resource Load Theory and Its Application[J]. Journal of Beijing University of Aeronautics and Astronautics, 2018, 44(7): 1438-1446.

[75] 邵將. 基于視覺認知理論的頭盔顯示界面信息編碼方法研究[D]. 南京: 東南大學, 2016.

SHAO Jiang. Research on the Information Encoding Method of Helmet Mounted Display System Interface Based on Visual Perception Theory[D]. Nanjing: Sou-theast University, 2016.

[76] 陸炎凱. 基于視覺注意捕獲的復雜信息系統界面可視化研究[D]. 南京: 南京航空航天大學, 2020.

LU Yan-kai. Research on Visualization of Complex Information System Based on Visual Attention Capture[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2020.

[77] 李佳益. 飛機駕駛艙數字界面可視化設計及其認知負荷研究[D]. 南京: 南京航空航天大學, 2020.

LI Jia-yi. Visual Design of Airplane Cockpit Digital Inter-face and Its Cognitive Load Research[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2020.

[78] 王海燕, 卞婷, 薛澄岐. 新一代戰斗機顯控界面布局設計研究[J]. 電子機械工程, 2011, 27(4): 57-61.

WANG Hai-yan, BIAN Ting, XUE Cheng-qi. Layout Design of Display Interface for a New Generation Fighter[J]. Electro-Mechanical Engineering, 2011, 27(4): 57-61.

[79] PAUCHET S, LETONDAL C, VINOT J-L, et al. GazeForm: Dynamic Gaze-adaptive Touch Surface for Eyes-free Interaction in Airliner Cockpits [C]// Pro-ceedings of the 2018 Designing Interactive Systems Conference. Hong Kong: ACM, 2018.

[80] FAN R, ZHAO C, MA X, et al. Design of Touch Control Display Interface Based on Synoptic Page in Civil Aircraft Cockpit [C]//2021 IEEE Asia-Pacific Confer-ence on Image Processing, Electronics and Computers (IPEC). Dalian: IEEE, 2021.

[81] WAMBECKE J, GOGUEY A, NIGAY L, et al. M[Eye]Cro: Eye-gaze+Microgestures for Multitasking and Interruptions[J]. Proceedings of the ACM on Human-Computer Interaction, 2021, 5(EICS):1-22.

[82] JANSEN C, WENNEMERS A, VOS W, et al. FlyTact: A Tactile Display Improves a Helicopter Pilot's Landing Performance in Degraded Visual Environments[C]// Proceedings of the 6th EuroHaptics International Conference. Madrid: Springer, 2008.

[83] CAPUTO A, JACOTA S, KRAYEVSKYY S, et al. XR-Cockpit: A Comparison of VR and AR Solutions on an Interactive Training Station[C]// IEEE International Conference on Emerging Technologies and Factory Automation(ETFA). Vienna: IEEE, 2020.

[84] QIAO Yuan-yuan, WANG Ji-hui, CHEN Jing, et al. Design and Realization of Gaze Gesture Control System for Flight Simulation[J]. Journal of Physics: Conference Series, 2020, 1693(1): 012213.

[85] NIERMANN C A. Potential of 3D Audio as Human-Computer Interface in Future Aircraft[C]// Proceedings of the 13th International Conference on Engineering Psychology and Cognitive Ergonomics (EPCE). Toronto, CANADA: Springer, 2016.

[86] WANG Hai-liang, DA TAO, CAI Jian, et al. Effects of Vibration and Target Size on the Use of Varied Computer Input Devices in Basic Human-Computer Interaction Tasks[J]. Human Factors and Ergonomics in Manufacturing & Service Industries, 2022, 32(2): 199-213.

[87] 劉碩, 李孟華, 張磊. 大尺寸機載智能多功能顯示器的設計與實現[J]. 電訊技術, 2018, 58(4): 476-482.

LIU Shuo, LI Meng-hua, ZHANG Lei. Design and Implementation of an Intelligent Multi-Function Large-Screen Display for Avionics[J]. Telecommunication Engineering, 2018, 58(4): 476-482.

[88] 薛澄岐, 王琳琳. 智能人機系統的人機融合交互研究綜述[J]. 包裝工程, 2021, 42(20): 112-124.

XUE Cheng-qi, WANG Lin-lin. Review of Human-Computer Integration Interaction in Intelligent Human-Computer System[J]. Packaging Engineering, 2021, 42(20): 112-124.

[89] COHEN P R, MCGEE D R. Tangible Multimodal Interfaces for Safety-Critical Applications[J]. Communi-cations of the ACM, 2004, 47(1): 41-46.

[90] 馮悅, 王言偉, 耿歡. 戰斗機智能座艙人機交互方式發展及應用[J]. 飛機設計, 2020, 40(4): 54-58.

FENG Yue, WANG Yan-wei, GENG Huan. Development and Application of Human-Computer Interaction Mode of Fighter Smart Cockpit[J]. Aircraft Design, 2020, 40(4): 54-58.

[91] 李孟牛,吳曉莉,陳博宏, 等. 融合多通道感知的模擬戰斗機飛行軟件V1.0: 中國, 2021SR1212278[P].2021-08-16.

LI Meng-niu, WU Xiao-li, CHEN Bo-hong, etal. Flight Simulation Software Based on Fusion of Multi-Cha-nnel Sensing V1.0: China, 2021SR1212278[P]. 2021-08-16.

Review of Display Control Interaction and Man-machine Coordination in Fighter Cockpit

WU Xiao-lia,b, ZHANG Lana, NIU Jia-rana, LIU Xiaoa, HAN Wei-yia

(a. School of Design Art & Media b. Research School of Industrial Internet, Nanjing University of Science and Technology, Nanjing 210094, China)

Facing the complex battlefield environment and dynamic changeable combat demands, man-machine cooperative combat has become the inevitable trend of air combat. The cockpit display control interaction is a method to realize man-machine cooperation, which has an important influence on obtaining battlefield advantages and achieving combat targets quickly. Firstly, the development history of fighter cockpit display control system, representative figures and related research findings are reviewed. Secondly, based on the challenges in the man-machine cooperative combat, the paper analyzes the status and trend of fighter cockpit display control interaction; and concludes the research hotspots in the aspect of information representation design and interaction realization form. Finally, this paper prospects the development trend of fighter cockpit display control interaction. In order to cope with the complex air combat environment that have extremely large amounts situation information, man-machine cooperative warfare emerges as the times require, which is closed related to the fighter cockpit. The support of intelligent technology and the demand of man-machine cooperation combat urge the development of fighter cockpit display control interaction, which are the interface design mode of task-related, information presentation, cognitive integration and multi-channel interaction method.

cockpit display; interaction technology; man-machine coordination

TB472

A

1001-3563(2022)10-0001-13

10.19554/j.cnki.1001-3563.2022.10.001

2022-01-15

中央高校基本科研重大基礎研究專項（30920041114）；國家自然科學基金（52175469，71601068）；江蘇省社會科學基金（20YSB013）；國家社會科學基金后期資助項目（20FGLB046）；江蘇省重點研發計劃（社會發展）項目（BE2019647）

吳曉莉（1980—），女，博士，教授，博士生導師，主要研究方向為人因與設計工效學。

張藍（1995—），女，博士生，主要研究方向為人因與設計工效學。

責任編輯：陳作