鈕建偉,安月琪,李晗,高煒峰,焉正權,董銘宇
軍事領域中的人機協作研究綜述
鈕建偉,安月琪,李晗,高煒峰,焉正權,董銘宇
(北京科技大學 機械工程學院,北京 100083)
對軍事領域中人機協作的應用現狀和理論現狀進行歸納與分析,指出未來的發展趨勢,旨在為人機協作軍事系統的技術發展和設計研究提供理論方向。以無人機系統、無人車系統、無人艇系統的實際應用場景為代表,分析人機協作的軍事應用現狀;剖析軍事背景下國內外人機協作任務分配、人機交互方式、人機交互界面設計、人機協作效能評估的研究進展;綜合前人的研究現狀對未來的研究發展趨勢進行總結。根據國內外研究的現狀、熱點與趨勢可知,人機協作的任務分配需綜合考慮人員行為和任務時序等因素,以提高人機協作效率,探尋更優的分配模式;多模態智能交互將成為未來人與無人集群交互的主流形態,多通道結合的信息交流將改變操作員與指控系統互動的方式,實現人與無人集群的高效交互;態勢認知是未來智能戰場面臨的挑戰,人機協作為智能態勢認知領域的研究奠定了基礎。
軍事;人機協作;人機協同
隨著戰場信息化趨勢的發展,現代化戰場的整體規模不斷擴大,戰場要素也愈加復雜,涉及多目標任務和多資源的體系化作戰成為了主要的戰爭形態。人機協作是指發生在人和自動化之間的協同交互,通常被稱作Human-Agent Teaming或者Human-Automation Collaboration[1]。在軍事層面,龐大的有人/無人協同系統會參與到信息化戰場的協同作業中,復雜的操作任務和作戰資源需要作戰體系具備規劃任務和自主完成目標的能力[2]。因此,在復雜多變的戰場環境下,自主規劃系統及監督指揮人員的協同作業顯得至關重要[3]。人機協同作戰一直是軍事領域的研究熱點,是指將無人系統與有人系統進行有機融合,基于共享任務或信息的形式完成共同目標,這是智能化戰爭中具有代表性的作戰方式之一[4]。基于對相關領域的研究及應用資料的調查,美軍于2003年的伊拉克戰爭中首次實現了有人/無人機協同作戰,通過有人機指揮“MQ-1捕食者”無人機發射導彈,實現作戰目標物的發射打擊任務[5]。當前,國內外對無人機領域的人機協作應用研究愈加廣泛。為實現資源的最大化利用,通常采用單一操作員監督多個無人機的作戰模式,但這種方式往往會增加人機系統的總體操作負荷[6]。例如,美國在2018年的“拒止環境下無人機協同作戰CODE”項目中采用單一操作員控制多架無人機的模式,執行偵察、打擊等作戰任務[7]。隨著未來作戰化的趨勢向協同一體化的方向發展,在操作者層面和武器平臺層面,實現資源的合理利用及充分配置是人機協同作業的重要目標。
隨著人工智能、大數據等技術的發展,智能計算等高新技術廣泛應用于軍事領域中的指揮控制系統、無人作戰系統及輔助決策系統等自動化系統[8]。上述系統注重人工智能技術的應用,突破了戰場環境下人類生理疲勞等方面的限制,通過與人類合作來執行作戰任務,形成人機協同作戰系統。人機協同作戰主要有以下三種類型:第一種是智能化無人系統指引有人系統實施作戰;第二種是智能化無人系統輔助有人系統實施作戰;第三種是智能化無人系統掩護有人系統實施作戰[4]。在人機協作系統中,智能系統運行速度快,適用于執行規范化的繁雜任務,而人擔任監督規劃的角色,通常在指定或突發階段,與智能系統聯合完成協同作業[3]。然而,值得注意的是,雖然當前的自動化系統能夠在一定程度上實現智能化任務,但是在態勢感知及知識理解等方面仍存在固化思維,難以完全替代人類[9]。例如,在指揮控制系統中,人類可以發揮態勢感知的能力優勢,分析敵方的作戰意圖,合理地分配作戰任務。而自動化系統主要是程序化的定量感知,對動態的戰場環境感知的靈活度較低[10]??傮w來說,智能化作戰系統距離全自主性仍有較大差距,需要和操作人員聯合完成作戰任務。
綜上所述,人和智能系統相互配合、執行任務,可以發揮各自的優勢,提高作戰效率。人機協作過程涉及任務分配、人機交互、效能評估等諸多方面,只有實現各層面的高效融合和技術突破,才能達到理想的協同作戰效果。然而,在動態、大規模的作戰環境下,受限于智能技術的發展程度及未知的戰場態勢等因素,人機協同技術仍處于探索階段,有許多工程技術方面的難題需要解決,比如如何實現合理的協同任務分配、如何實現靈活的人機交互等問題。因此,現階段的研究重點是探究如何將人的經驗知識與機器智能高效融合,最大化地發揮人機協同作戰系統的效能。
隨著頂尖科學技術在軍事領域的加速應用,智能無人系統已成為現代戰爭的重要組成部分,世界各大軍事強國高度重視智能無人系統技術在軍事領域的應用。根據智能無人系統作用的空間范圍,可以劃分為無人機系統、無人車系統和無人艇系統[11]。
無人機系統(UAS)由無人機(UAV)、地面控制站、數據鏈和回收與發射系統組成。無人機是自主制導、遠程控制的軍用飛機,它攜帶傳感器、目標指示器、進攻性彈藥和電子發射器。無人機不受機組人員、生命支持系統和有人駕駛飛機的設計安全要求的影響,可以提供比同等有人駕駛系統更長的航程和續航時間。
1916年,皇家飛行隊的拉斯頓普洛克特制定了空中目標擊毀計劃,他們的概念是研制一種非常簡單的小型飛機,在飛機上裝滿炸藥,然后引導它飛向指定的目標[12]。1916年9月12日,休伊特-斯佩里公司自動飛機進行了首次飛行[13]。這兩種飛機被認為是今天無人機的起源。在第二次世界大戰中,美國陸軍、空軍和海軍提出了更多無人機魚雷概念?;谕瑯拥臒o線電控制原理,許多飛機被改裝成飛行炸彈,其中包括PQ-8、PQ-14、B-17和B-24。冷戰期間,軍事學家發現,似乎用無人駕駛飛行器收集信息更安全、更高效。1946年,為了收集核試驗數據,幾架B-17被改裝成無人機[14]。隨著技術的改進,其他偵查無人機也出現在世界舞臺上:Boeing YQM- 94 B-Gull(見圖1)、D-21無人偵察機(見圖2)。
目前,無人機在軍事領域主要執行偵察和攻擊任務。以MQ-9死神無人機為例,如圖3所示,MQ-9“死神”無人機的主要目的是發現、跟蹤、摧毀陸地和海上目標。這種無人戰斗飛行器的翼展可達20 m,長度為11 m。最大起飛質量為4 763 kg,對外可承載1 361 kg。在起落架上,機身內部裝載量為386 kg。驅動使用了霍尼韋爾TPE331-10渦輪螺旋槳單元,使這款飛行器的最大速度達到445 km/h,在空中可續航36 h,高度上限為15 240 m[15]。

圖1 波音YQM-94 B型海鷗

圖2 D-21無人偵察機

圖3 MQ-9死神無人機
由于人的精力有限,做不到精準控制無人機,因此,人與無人機的協作方式,可以分為兩種,人通過遙控器控制無人機飛行(見圖4),以及無人機自主飛行(見圖5),這兩者之間的本質區別在于人是否在工作環中。由此也引發出了無人機的三種工作模式:自主(自動)模態、人工干預模態和人工操縱模態,這3種模態的使用是由人(操作員)設置與選擇的。人可以通過制定規則和策略管控無人機,無人機按規則和策略自主生成控制指令控制飛機的飛行;當無人機在飛行過程中出現與人的設想不一致的結果時,人可以進行適當的干預;若飛行出現應急情況且干預無效時,人可以直接操控飛機[16]。

圖4 人遙控無人機

圖5 無人機自主控制
MQ-9“死神”無人機配備了現代化管理系統和自動駕駛儀,如圖6所示。在整個任務過程中,飛機可以在沒有飛行員的情況下完全自主操作,因此可以在沒有人類飛行員干預控制的情況下起飛、飛到任務目標、返回和安全著陸。這樣的管理需要對飛機的整個任務進行仔細的編程,以便能夠完全自主飛行。而操作員可以在任何時候介入控制并取得控制。在自主模式下,飛機從地面控制站接收命令信號。為了實現對飛機更加全面的控制和管理,在大多數情況下都需要使用衛星通信系統。

圖6 MQ-9死神無人機控制面板
在現代化戰爭中,有一個明顯的特點就是無人機的大量使用。2020年3月,在伊德利卜和土耳其的春季盾牌行動中,土耳其武裝部隊大規模使用了無人系統,包括作戰任務和其他作戰手段,比如火炮合作,極大地提高了土耳其武裝部隊的活動效率。在納戈爾諾-卡拉巴赫地區控制權的戰斗中,阿塞拜疆使用武裝無人機獲得了對亞美尼亞的重大優勢[17]。據報道,2021年以色列國防軍使用無人機向被占領的約旦河西岸的抗議者投擲催淚瓦斯,而哈馬斯則向以色列發射了所謂的“神風”無人機[18]。2022年俄烏戰爭爆發,俄軍先后使用察打一體無人機對烏克蘭武裝據點、指揮所等高價值軍事目標實施打擊,獲得了較好的效果,而烏克蘭在沖突爆發伊始就將無人機作為空襲作戰的主力,主要依靠“旗手”TB2察打一體無人機較低的雷達探測性實施低空突防,在俄軍野戰防空系統攔截距離外發射精確制導彈藥,對俄軍燃油車、地面輸油裝置、彈藥補給車等后勤保障節點實施打擊,從而減緩其進攻節奏。
無人車(UGV)也被稱為自主控制機器人,是一種與地面接觸、在無人駕駛的情況下運行的車輛,在軍事領域發揮著重要作用。無人車可以更有效地打擊恐怖主義和遠程作戰,無人車在戰場上可以提高士兵的存活率。無人車可以分為輕型機器人戰斗車輛(RCV-L)、中型機器人作戰車輛(RCV-M)和重型機器人作戰車輛(RCV-H),其中,輕型機器人戰斗車輛在步兵和工兵之間運行,攜帶補給品和重型武器,主要用于運輸和偵查,而中型機器人作戰車輛(RCV-M)和重型機器人作戰車輛(RCV-H)會與主戰坦克和步兵戰車并肩作戰[19]。
輕型機器人戰斗車輛如圖7所示,是一種專門制造的緊湊型柴電混合動力無人地面戰車,該車輛質量為3 855.53 kg,最高時速為64.37 km/h,載重量為3 175.14 kg,由混合動力發電機驅動,該發電機由高壓電池供電,有助于實現靜音監視和類似隱身的功能[20]。戰車配備了25 mm主炮的遙控炮塔、高分辨率360°態勢感知攝像機、傳感器和導航設備,還可以安裝無人機系統,這是一種小型無人機系統,可以在車輛保持安全距離的同時進行。在武器方面,可裝備50口徑機槍或MK19手榴彈機槍和一枚標槍導彈。

圖7 輕型機器人戰斗車輛
中型機器人作戰車輛(RCV-M)如圖8所示,是專為戰斗設計的軍用機器人。它是一種快速、敏捷的機器人,可用于執行各種任務,包括偵察、戰斗支持和后勤。它被稱為“戰爭的未來”,將永遠改變戰爭的面貌[21]。這款無人駕駛車輛配備了各種傳感器、攝像頭和裝甲,可以保護其免受輕武器火力和火箭彈的傷害。還配備了一個導彈發射器、一挺30 mm機槍和無人機,使其具備一定的摧毀目標的能力。2021年,美國陸軍進行了首次RCV-M實彈測試,開始使用XM813主炮和M240機槍進行實彈測試[22]。
重型機器人作戰車輛(RCV-H)如圖9所示,具有更加實際的利益,因為這種級別的無人地面車輛可以在戰場上提供真正的戰術優勢,與輕型UGV相比,其有足夠的火力進行激烈的戰斗,并能攜帶更大載荷的物資[23]。RCV-H是三類無人車中體型最大、性能最強大的,可能會配備裝甲以抵御機槍火力和火炮彈片。它可以安裝鏈炮和更重的反坦克導彈,例如即將推出的聯合空對地導彈(JAGM)。RCV-H最常與M1艾布拉姆斯主戰坦克和M2布拉德利步兵戰車并肩作戰。

圖8 中型機器人戰斗車輛

圖9 重型機器人戰斗車輛
2017年,美國陸軍提出了《機器人與自主系統(RAS)戰略》,為開展無人作戰能力建設提供了頂層規劃[11]。制定RAS戰略的主要目的是提高陸軍與無人車之間的協作能力,其目標可以分為五點:第一,增強態勢感知,借助無人車可以到達有人系統無法到達的地方,從而增加了防區外距離、生存能力和指揮官反應時間;第二,減輕士兵負荷,自主系統減輕了裝備負荷,可以有效提高士兵的機動性和耐力,與此同時,RAS通過收集、組織和處理數據來促進決策制定并提升作戰機動性;第三,提高運輸能力,無人駕駛車輛可以將物資運送到最緊迫的需求點,為作戰人員提供后勤保障;第四,提高部隊機動性,陸軍使用RAS可以擴大作戰區域的覆蓋范圍,并對敵人的行動作出反應,擴大了陸軍作戰時間和空間;第五,保護士兵,RAS可以通過收集到的信息,計算出安全區域,在行動期間,可以將更少的士兵置于危險之中來提高士兵的生存能力[24]。
水面無人艇(USV),是一種無人操作的水面艦艇,主要用于執行危險以及不適于有人船只執行的任務,配備先進的控制系統、傳感器系統、通信系統和武器系統,可以執行多種戰爭和非戰爭軍事任務。水面無人艇的發展相對其他無人系統平臺來說較為滯后,但自主程度在不斷提高,全自主型無人艇的實現還處于研究探索階段,主要是因為一些關鍵技術尚需進一步提高,如智能優化技術、路徑規劃技術等。無人艇的出現,使人員免于現場操作,而由無人系統去執行各種危險任務(如掃雷、海盜監視和深??睖y)。因此,這些系統確實可以挽救生命。
以海上獵手(Sea Hunter)為例,如圖10所示,是一種自主無人水面航行器(USV),于2016年作為DARPA反潛戰連續跟蹤無人船計劃的一部分推出。它是一種雙螺桿無人駕駛自航船,由兩臺柴油發動機提供動力,最高時速為50 km/h,質量為135 t,包括40 t燃料,足以進行70天的航行[25]。
現有的USV有不同程度的自主權。在最基本的層面上,USV是手動控制的,由操作員連續輸入。由于USV能夠自主執行基本的導航和碰撞躲避,因此,一個操作員可以同時控制多個USV。經過計算,將路徑點分配給每輛無人艇,而操作員監視任務結果,并在需要時進行交互,操作員只在任務級別上工作[26]。通常來說,人類對無人艇的控制框架可以劃分為三層。第一層是遠程操作層,它將人類操作員的命令傳遞給USV。第二層是自主任務層,以碰撞物躲避任務為例,人類往往不會參與決策,由無人艇自主完成,因此,無人艇需要一些特定的算法去生成指令。第三層是任務分配層,將任務拆解成具體指令,由無人艇執行操作[27]。
2022年10月29日,在俄羅斯入侵烏克蘭期間,烏克蘭武裝部隊對塞瓦斯托波爾海軍基地的俄羅斯海軍艦艇進行了多艘USV攻擊。俄羅斯國防部稱,在八架無人機的支持下,七艘無人水面艇參與了這次襲擊。這是無人水面艦艇首次在海戰中使用。新聞報道稱,被小型USV擊中的兩艘軍艦、一艘俄羅斯護衛艦和一艘掃雷艦都沒有受到損壞。然而,此次軍事行動并非真的毫無影響,它使俄羅斯海軍進入保護模式[28]。
近年來,在人和軍事系統協作的相關研究領域,國內外學者從理論研究視角出發,對人機協作問題進行了多角度的深入探索和剖析。本文通過查閱有關領域的參考文獻,歸納總結出軍事領域人機協作的主要研究方向,主要包括人機協作任務分配、人機交互方式、人機交互界面設計、人機協作效能評估四方面的研究內容,如圖11所示。
隨著信息技術及智能技術的發展,人機協作任務顯著增長并愈加復雜,人機任務分配成為了人機交互領域的重要研究內容。在軍事領域中,人和智能機器需要相互配合、共同完成復雜的作戰任務。在人機協同完成任務時,通常將復雜任務拆分成子任務,將各個子任務劃分給人和機器,并確定子任務執行的優先級[10]。由于軍事指揮系統等各類人機協同系統具有復雜性,人的認知負荷、人和機器的組合方式等都會對任務完成度和完成時間產生影響[10]。為了實現協作任務的最優分配方式,使人機協同系統達到最優協作效能,首先需要從人和機器的角度,分析兩者的工作特點及適合的任務種類。
由表1可以看出,人和機器在可靠性、可持續性、靈活性、感知能力、準確性等方面均有不同之處,人和機器的工作特點直接影響了任務分配方式。通過對人和機器的工作特點進行對比,結合機器的穩定性和可持續性,以及操作者的認知能力和靈活性,歸納出人和機器分別適合的任務種類,以發揮人和機器的最大操作優勢,結果如表2所示。
表1 人機工作特點對比[10]

Tab.1 Comparison of working characteristics between human and machine[10]
表2 人和機器適合的任務種類[10]

Tab.2 Types of tasks applicable to human and machine[10]
近年來,國內外研究者通過分析人機協作系統中人和智能機器的功能特點,依據分配原則或數學模型將系統中的協作任務合理地分配給人和智能機器,進而準確劃分人和機器的分工。人機協作任務分配領域的代表性研究進展見圖12。

圖12 人機協作任務分配領域的代表性研究進展[29-30,32,34]
國外部分學者依據自動化控制程度設計了人機協作任務分配模式,并在無人機等軍事系統中進行了應用和評估。Bevacqua等[29]構建了應用于搜救任務場景的人和多無人機協作系統,并設置了手動控制、混合主動和完全自主控制模式對系統性能進行評估,多機器人和單機器人監控系統見圖12a。Schmitt等[30]針對飛行員的狀態變化,建立了規范策略模型,將多車輛規劃任務交付給自動化系統,并在軍事駕駛團隊中進行了應用驗證,規劃策略模型的結構見圖12b。Idris等[31]應用Petri網對飛行員和駕駛艙的分離保證功能進行了任務分析,基于各功能的三個行為級別:技能、規則和知識水平,將其劃分為相應的自動化等級。Wang等[32]在多無人機監督系統中,設計了自主、跟隨和混合主動行動選擇三種人機協作模式,實驗結果表明混合主動行動選擇模式優于其他兩種模式,人- 無人機協同任務環境見圖12d。
除此之外,一些學者還綜合考慮了人的認知狀態等因素,驗證了分配方式對操作者態勢感知及任務執行效率的影響。Hogenboom等[33]提出了船舶動態定位系統的功能分配模型,分析了當前控制功能的分配方式及其對操作員態勢感知的影響,最后針對控制功能分配提出了相關建議。Zhao等[34]提出了一種認知模型,該模型使用情境模糊認知圖并根據任務特性和人的認知狀態來動態調整人和無人機的自主水平,結果表明該模型能夠提高操作者的工作效率,適應性學習的認知模型見圖12c。
在國內,一些學者對無人機、艦艇等軍事系統的任務進行了分析,實現了人機功能的動態分配。崔波等[35]基于人機交互的Agent思想,提出了自適應人機功能分配機制,并對無人機地面站進行了應用探索。汪匯川等[36]構建了基于FAHP法的人機功能分配模型,分析了艦艇模擬系統中人和機各自適合的任務范圍,成功提升了模擬訓練效果。李珍等[37]結合操作者和飛機的交互信息及認知-感知特性,提出了人機功能權衡分配模型,有效地提高了作戰環境下的人機協作效率。付亞芝等[38]采用模糊聚類算法,提出了基于非合作博弈理論的人機功能動態分配方法,驗證了其在民航機執行任務環境下的可靠性。
上述軍事領域中人機協作任務分配的大量研究表明,自動化控制程度和人的認知狀態是人機協作任務分配的重要理論依據。此外,分配方式會直接影響系統綜合性能及人的執行效率。因此,國內外學者關于人機協作任務分配的研究成果,為未來操作員和軍事系統的協同作業提供了理論參考,也為人機協作效率及作戰效能的提升提供了可靠依據。
人機交互是人類工效學、計算機和認知心理學等多個學科交叉的重要研究領域,也是工程心理學重要的研究內容。人機交互的發展進程大致經歷了四個階段:手工作業階段、作業控制語言及命令交互語言階段、圖形用戶界面階段、網絡用戶界面階段。如今,人機交互正朝著多通道、多媒體的智能人機交互方向發展,比任何時期都更智能、更自然、更實體、更擬人化。
Kancler等[39]為考察語音頭部綜合控制(Voice Head Integrated Control,VHIC)硬件的頭部跟蹤功能和語音識別功能,以C-141空軍預備隊的飛機維修員為研究對象,通過驗證語音命令詞匯,對VHIC硬件進行評估。得出該硬件的用戶策略符合屏幕界面特征,符合用戶對計算機的體驗水平,并且就VHIC系統在飛機維修環境中的戰略應用提出了一系列建議。
Li等[40]對20名研究對象與系統的交互情況進行了統計分析,把傳統顯示屏(Primary Flight Display,PFD)與增強可視化飛行顯示器交互功能相比較,如圖13。研究結果表明,最新的增強可視化飛行顯示器(PFD)可以提高飛行員的態勢感知能力,減少感知工作量,從而縮短認知信息處理的響應時間。
Cai等[41]提出了一種改進的動態時間規整(Improved Dynamic Time Warping,IDTW)算法來獲得最終的動態手勢識別結果。實驗結果表明,其提出的動態手勢識別算法不僅實現了高于96.5%的平均識別率和更快的響應時間,而且對非受控環境具有魯棒性。
Agarwal等[42]提出了一種結合遺傳算法、局部搜索技術和并行計算的混合結構設計與優化方法,目的是在能夠滿足用戶定義的設計標準的同時,最大限度地減少所需的計算時間,得到較優的桁架系統。
Sherry等[43]研究了飛行員人機交互的分析結果,該交互需要響應有代表性的現代飛行管理系統的67條系統錯誤消息,其中36%的信息需要飛行員迅速響應,且不受視覺提示的引導。研究證明需要精心設計消息來充分考慮人機交互的特性,并提出了優化錯誤消息的方法和設計指南。
Revels等[44]研究了一種經濟高效的算法,以得到在與計算機系統交互時由免提控制的語音命令策略。研究以斯普林菲爾德、俄亥俄州空軍國民警衛隊的飛機維修人員為研究對象。該算法適用于確定語音命令和頭部跟蹤設備的組合使用,并能作為訪問數字化飛機技術手冊的用戶界面。實驗結果發現,對Windows接口熟悉程度高的用戶容易出現點擊策略,而新手則可能更多地嘗試各種面向功能的語音命令,最后提出了一系列建議,解決了一個語音命令詞匯表對應一個無人駕駛用戶界面的策略應用問題。
Ke等[45]通過深度學習和機器視覺模型構建了視覺人機交互系統,基于Faster-RCNN-ResNET50-FPN模型結構實現了人體手指檢測,通過不同手指之間的關系實現了移動鼠標和鍵盤的功能。同時利用MediaPipe- BlazePose進行人體姿態識別,通過人體動作間的角度建立動作分類模型,實現遠程控制的控制功能。

圖13 傳統顯示器與增強顯示器交互功能的比較[40]
Jiang等[46]將傳感器和人機交互應用到英語教學中,應用卡爾曼濾波對傳感器信息進行改進,結合傳感器定位算法對在線英語教學中的學生進行跟蹤,通過骨架算法將內核轉化為以腰部為坐標原點的空間直角坐標系的對應坐標,得到了虛擬現實中的人機交互骨架模型。根據英語教學人機交互的實際需要,構建了一個基于傳感器和人機交互的新型英語教學系統,并對其性能進行了測試。
Anishchenko等[47]開發了一個系統,該系統包括三個基礎算法:分割、標記點檢測和運動方向評估,可以從用戶的視頻圖像中直接估計其頭部位置。研究表明,連接眼角和鼻尖的直線所形成的角度變化具有變化動力學特征,并且該系統能夠確保運動方向(= 0.95)的高精度。
綜上可知,現代智能人機交互是計算機和客戶之間信息交換的橋梁,根據已經調研的資料可以看出,人機交互在發展過程中出現了不同類別的交互應用,各個國家的研究者們更關注移動式實物交互、3D交互以及人機之間協同式的交互應用。其中,國內研究者更加青睞手持顯示器、透明式顯示器或當前流行的移動設備。隨著移動設備(如智能手機、智能平板)的普及,設備的觸控界面更加靈敏,觸屏也變成一種新興的人機交互方式。
在軍事領域中,人機交互界面設計研究的重要性不言而喻,良好的人機交互界面設計能夠提高作戰效率、降低作戰風險、增強軍隊戰斗力。為了更加準確地把握戰場的動態變化,對人機交互界面顯示的直觀性和準確性提出了更高的要求。隨著計算機技術的進步,人機交互界面設計也得到了長足的發展。軍用領域大量的人機交互界面也開始注重對用戶體驗的提升,主要體現為引入多模態交互手段、不斷簡化操作步驟、提高關鍵信息的可視化效率、降低用戶的學習時間與成本[48]。
信息化是當前時代發展的主要特征,人機界面信息來源于各種不同渠道的復雜信息,為了優化復雜系統人機界面設計,許多研究正致力于提升界面設計的視覺美觀性以及信息的有序性和簡潔性,以提高用戶獲取信息的效率。王黎文等[49]基于WIMP界面范式設計研究了一種多層級聯合任務規劃的人機交互界面,通過將聯合任務規劃流程及結果信息以界面中顯示元素的形式直觀地展示給用戶,降低了用戶對任務規劃操作命令和結果信息的認知難度,提升了系統工作的準確性。馬超民等[50]提出了一種面向智能化制造裝備的復雜信息系統人機交互界面設計模型,將傳統復雜系統界面設計的功能性與以人為中心的設計理念相結合,為工業制造領域中復雜智能系統的人機交互界面設計提供了支撐和參考。研究者們通過研究用戶行為、認知和心理模型等方面來了解用戶的需求和習慣,進而設計出更加易于理解和使用的界面。同時,基于用戶習慣和操作流程,設計出更加簡單直觀的界面結構和布局,以提升用戶的使用體驗。
人機交互過程中認知負荷的有效控制對提高交互效率、安全性和用戶滿意度來說具有重要意義[51]。人的認知能力是有限的,因此在設計人機交互界面時需要考慮用戶的認知負荷,將信息呈現和交互操作盡可能簡化,以提升界面易用性和用戶體驗。Sevcenko等[52]提出了一種基于理論的認知負荷測量新方法,通過眼動追蹤眼睛注視頻率,實現現實情況下的認知負荷測量。Tang等[53]使用事件相關電位(ERP)評估了界面復雜性對用戶決策的影響,發現界面復雜性具有適合決策的特定范圍,進而提出了一種在所有設計階段快速、經濟地評估核電廠接口的方法。
通過虛擬現實、增強現實、人工智能等技術來打造更加真實和智能的用戶體驗是當前研究的熱點方向,同時,研究者們也在探索如何通過調整界面的顏色、圖標、動畫等元素,來增強用戶的感知和情感反應,提升用戶體驗。張寶等[54]為了提升人機交互界面的視覺舒適性和高效性,提出了一種基于視覺感知強度的人機交互界面優化設計方法,驗證了該方法適用于人機交互界面優化布置設計。Zhou等[55]通過在虛擬環境中進行虛擬手點擊實驗,確定了虛擬點擊交互設計中的控件性能,提升了手部交互的可用性。用于多樣化應用的人機界面,見圖14。

圖14 用于多樣化應用的人機界面[56]
總的來說,人機交互界面設計的理論研究主要圍繞如何提升界面的易用性、用戶體驗和信息獲取的可靠性等方面展開,這些研究成果對軍事領域中的人機協作研究來說也有重要的借鑒意義。
在軍事領域,人機協作多出現在無人機、無人車等智能集群作戰系統中,對其作戰效能評估的研究成果相對較少。受實際作戰環境復雜多變的影響,作戰效果的不確定因素較多,因此通過大量實驗進行人機協作效能評估所需的成本較高,所以往往采用一系列相關的評估方法對其效能進行分析與評價[57]。
以美國為例,美軍自20世紀以來,以智能無人機集群作戰相關技術為核心,開展了多項研究項目,如何科學地評估無人系統的作戰效能顯得極為關鍵。20世紀中后期,美國Levis等[58]提出了SEA系統效能分析法,其本質是比較系統運行軌跡和使命軌跡,最后得出結論:重合率與系統性能正相關;1995年,美國Brown[59]使用任務完成度來代表特定環境中作戰飛機的效能;21世紀,在美國的《空軍2025》研究報告中,美國空軍大學提出有必要對未來空中武器裝備發展項目進行評價[60]。
英語閱讀不僅僅是在閱讀中明白每個單詞的意思就可以了,很多情況下,有的學生即便認識某個句子中的所有單詞,但仍不明白句子的意思,這是因為句子中存在著大量的非謂語動詞、各種復雜的句型等知識結構,如果不掌握英語句法,是很難理解長句、難句的意思的。目前高職院校的很多學生在句法知識方面表現得比較薄弱,很多學生不懂句子結構、句子成分等,甚至有些學生學了多年的英語還分不清主語、謂語、賓語、各種從句等。這些基本的句法知識在高中時候就已經被老師重復了多少遍,步入高職院校的學生儼然成為英語學習中的“老手”,但是依然找不到英語的“春天”。
近年來,國內對無人機集群作戰的評估也取得了一定的成果。屈高敏等[61]以對地攻擊型無人機群協同作戰為例,引入協同效能影響因子代表多載荷之間的關系,構建了效能影響模型,如圖15所示。陳亮[62]建立了攻擊型無人機作戰效能評估指標體系及綜合指標模型。張陽等[63]基于OODA環分析了無人機協同作戰中每個階段的效能影響因素,研究了無人機協同作戰效能的評估體系,通過實驗對其可靠性進行了驗證。陳俠等[64]以ADC模型為出發點,引入保障度與突發因素,總結了適合體系作戰的偵察無人機作戰效能評估改進模型。
綜合以上學者對無人機集群作戰效能的研究,必須采用恰當的效能指標對其進行評價,其往往需要專業人員的協商交流,并符合針對性、敏感性、可用性的原則。其中,針對性是指針對研究的特定問題,完成相應軍事任務的能力;敏感性是指該指標應對作戰條件、作戰任務等相對敏感;可用性是指該指標應具有明確的物理意義,方便使用模型求解,便于計算[65]。

圖15 對地攻擊型無人機效能指標體系[61]
目前國內外學者在不同場景下構建出了各種適用于軍事作戰的人機協作效能評估體系,為未來面對更加復雜的戰場局面提供了參考與借鑒。
人與計算機之間的任務分配是實現復雜人機系統控制的基礎,當前復雜人機任務分配的求解方法主要為集中式任務分配策略和分布式任務分配策略兩種。其中,集中式人機任務分配策略雖然能夠生成比分布式任務分配策略更優、更精確的解,而且在相同條件下計算機的計算負荷比分布式任務分配策略更小,但是集中式任務分配策略產生的最優解卻依賴于計算機中心節點的靈敏度及其與具體操作者之間是否進行了有效的通信。因此,目前為了提高復雜人機任務分配求解效率,規避集中式任務分配策略求解框架中存在的中央節點計算機計算負荷大、人機系統的魯棒性差等缺陷,分布式人機任務分配策略正在逐漸成為學術界關注的熱點。
如今,越來越多的國內外研究者會采用拍賣算法來協調考慮人員行為和任務時序的復雜人機任務分配,見圖16。研究者利用拍賣算法高精度的計算結果和高效率的計算時間,充分借助拍賣算法對不確定態勢感知的魯棒性以及一致性算法對網絡拓撲的魯棒性[66],為復雜人機多任務分配問題提供了更加可行的、與實際沒有沖突的解。

圖16 拍賣算法計算框架[66]
隨著現代科學技術的發展,人機交互技術已經不滿足于簡單的命令字符和圖形畫面的點擊交互,逐漸進入了多通道融合交互階段,在圖形界面的基礎上,逐漸引入虛擬顯示、語音交互、手勢交互、腦機接口等新型交互技術,具備更加豐富的顯示輸出資源,極大地增強了控制輸入能力。相對于單人單機的交互,人與無人集群的交互往往更加復雜,為了保證人與大規模無人集群交互的安全性和成本要求,對交互效率和準確性提出了更高的要求。而通過多通道融合能夠更加準確高效地實現人機交互,彌補單通道識別的不足與缺陷。因此,越來越多的研究希望通過文字、視覺、動作等多模態的人機交互方法來提高交互效率、提升交互準確性。
基于手勢的自然交互系統是最直觀的系統類型。手勢識別技術提供了一個簡單、快速、高效的人機交互環境,操作員可以通過簡單的手勢向目標系統發出指令;基于語音的自然交互系統則提供了更好的系統控制,語音識別功能讓用戶能夠通過口語與系統進行自然交流。這些交互方法可以顯著提高人機交互的效率和舒適性。蘇翎菲等[67]構建了基于語音和手勢的雙模型交互框架,提出了一種基于通道切換的通道融合機制,實現了人與無人機集群多模態交互,見圖17。Xiang等[68]融合了語音和手勢兩種輸入模式,實現了對無人機群的高效控制。Chen等[69]設計了一個基于增強現實的多通道HSI系統,通過增強現實顯示通道、三維手勢交互通道、自然語言指令通道補充交互信息,有效降低了單個交互通道的負載,提高了人與群機器人的交互效率。
腦機接口(BCI)允許用戶通過解碼大腦信號來控制外部設備[70],未來腦電圖(EEG)可能成為識別并反映用戶意圖的重要工具,基于腦機接口和腦電圖的人機交互被廣泛應用于機械臂、輪椅和無人機等機器中。2015年,Karavas等[71]通過從腦電圖信號中得出與事件相關的電位,驗證了與大腦功能相關的群體行為的感知和表達,為集群控制和認知界面的設計提供了依據。2017年,Karavas等[72]設計了一種結合腦電信號和操縱桿輸入的混合腦機接口系統,初步展示了使用腦電信號控制機器人群體行為的可能性。Lee等[73]通過運動意象、視覺意象和語音意象刺激大腦產生的特征性腦電信號初步實現了對無人機群的控制,見圖18。
多模態智能交互將成為未來人與無人集群交互的主流形態,多通道結合的信息交流將改變操作員與指控系統互動的方式,大幅度提升交互的準確性、可靠性和便利性,重新定義操作員與指控系統的關系,實現人與無人集群的高效交互。

圖17 基于語音識別的無人機集群編隊實現機制整體算法[67]

圖18 獲取與無人機群任務控制相關的腦電數據的示例實驗[73]
態勢認知,是在多信息和態勢要素感知的基礎上對戰場態勢的感知、判斷與預測。態勢認知是指揮控制活動從信息域邁向認知域的關鍵標志。
彭文成等[74]分析了戰場態勢要素構成,包括敵情態勢信息、我情態勢信息與戰場環境信息,并將每個要素進行進一步的劃分。Kokar等[75]分析了人機協作完成目標任務的過程,并指出了提高態勢認知與完成目標任務能力的途徑。Mcguinness[76]提出了一種態勢認知量化分析的評價方法,利用信號檢測理論對態勢認知主體進行評價。Saner等[77]提出了一種基于個體態勢認知相似度的評分方法,給出了提升群體共享態勢認知準確性的方法。Stewart等[78]通過在空戰模擬場景中采集的數據,構建了用于識別關鍵智能對象的命題網絡,證明了個體態勢認知對系統整體認知的關鍵作用。Gao等[79]結合無人機群協作參與的特點,分析了群體分布式合作方法的本質,提出了基于態勢認知共識的群體分布式合作方法,可進一步分為情境感知共識和情境理解共識,如圖19所示。

圖19 基于情境感知共識與情境理解共識的合作方法[79]
為應對戰場中的智能態勢認知挑戰,應以人機協作為基石,結合概率統計、現代控制理論、最優化理論進行智能態勢認知研究,未來的研究方向主要包括基于人機交互的態勢認知可視化以及基于人機協作的指揮員意圖理解與學習[80]。
在人工智能等高新技術飛速發展的科技現狀下,軍事領域的作戰系統逐步面向智能化、信息化發展。然而,也應當看到,目前的自動化系統還未達到完全的自主化和智能化,人類仍是作戰體系中不可或缺的角色。因此,探尋科學可行的人機協作模式是相關研究領域的重要突破方向。本文從應用視角出發,梳理了無人系統中人機協作的應用現狀;從理論視角出發,分析了國內外學者的研究方向和熱點問題;對軍事領域下人機協作的未來發展趨勢進行了展望,以期為軍事人機協作系統的理論研究和轉型升級提供探索方向。
基于對當前軍事領域人機協作研究現狀的分析,本文梳理了未來的發展趨勢,并得出以下結論:(1)人機協作模式已廣泛應用于無人機、無人車、無人艇等武器作戰平臺,將人員行為和任務時序納入人機任務分配理論層面,對實現人機協作體系的資源合理利用及充分配置具有重要的推進作用;(2)研究多模態智能交互技術,實現虛擬顯示、語音交互、手勢交互、腦機接口等新型交互技術的多通道融合,是實現未來人與無人集群高效交互的重要手段;(3)智能態勢認知是信息化戰場在指揮控制活動中面臨的挑戰,基于人機交互的態勢認知可視化以及基于人機協作的指揮員意圖理解與學習是未來的重要研究方向。
[1] KLIEN G, WOODS D D, BRADSHAW J M, et al. Ten Challenges for Making Automation a "Team Player" in Joint Human-Agent Activity[J]. IEEE Intelligent Systems, 2004, 19(6): 91-95.
[2] LEWIS M, WANG J, SCERRI P. Teamwork Coordination for Realistically Complex Multi Robot Systems[C]. Proceedings of NATO Symposium on Human Factors of Uninhabited Military Vehicles as Force Multipliers, 2006.
[3] 賈凡. 面向多智能體的人機協同航跡規劃技術研究[D]. 長沙: 國防科學技術大學, 2016. JIA Fan. Research on Human-automation Collaborative Path Planning for Multi-agent[D]. Changsha: National University of Defense Technology, 2016.
[4] 單月暉. 智能化人機協同作戰發展研究[C]//第九屆中國指揮控制大會論文集. 北京, 2021: 219-223. SHAN Yue-hui. Research on the Development of Intelligent Man-Machine Cooperative Combat [C]// Proceedings of the 9th China Command and Control Congress. Beijing, 2012: 219-223.
[5] 徐文. 美國面向未來威脅的作戰無人機[J]. 飛航導彈, 2003(11): 1-4. XU Wen. American Combat Drones Facing Future Threats[J]. Winged Missiles Journal, 2003(11): 1-4.
[6] BARNES M J, CHEN J Y C, JENTSCH F. Soldier Interactions With Aerial and Ground Robotic Systems in Future Military Environments[C]. Proceedings of NATO Conference on the Human Factors of Uninhabited Military Systems, 2006.
[7] 胡月. 有人/無人機協同作戰任務分配與航跡規劃研究[D]. 南京: 南京航空航天大學, 2020. HU Yue. Research on Mission Assignment and Flight Path Planning of Manned/unmanned Aerial Vehicles Cooperative Operations[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2020.
[8] 劉大學, 殷廣川, 黃元浩. 基于人機混合智能的無人平臺設計[J]. 控制與信息技術, 2018(6): 27-31, 43. LIU Da-xue, YIN Guang-chuan, HUANG Yuan-hao. Design of Ground Unmanned Platform Based on Human-Machine Hybrid Intelligence[J]. Control and Information Technology, 2018(6): 27-31, 43.
[9] 孫宇祥, 周獻中, 徐爽, 等. 智能指揮與控制系統人機混合模型研究[J]. 火力與指揮控制, 2020, 45(12): 80-86. SUN Yu-xiang, ZHOU Xian-zhong, XU Shuang, et al. Research on Man-Machine Hybrid Model of Intelligent Command and Control System[J]. Fire Control & Command Control, 2020, 45(12): 80-86.
[10] 南函池. 考慮工作勝任度的人機協同任務分配模型與人機協作策略研究[D]. 杭州: 杭州電子科技大學, 2020. NAN Han-chi. Research on Human-machine Cooperative Task Assignment Model and Human-machine Cooperation Strategy Considering Job Competency[D]. Hangzhou: Hangzhou Dianzi University, 2020.
[11] 王耀南, 安果維, 王傳成, 等. 智能無人系統技術應用與發展趨勢[J]. 中國艦船研究, 2022, 17(5): 9-26. WANG Yao-nan, AN Guo-wei, WANG Chuan-cheng, et al. Technology Application and Development Trend of Intelligent Unmanned System[J]. Chinese Journal of Ship Research, 2022, 17(5): 9-26.
[12] BARNHART R K, HOTTMAN S B, MARSHALL D M, et al. Introduction to Unmanned Aircraft Systems[J]. Photogrammetric Engineering & Remote Sensing, 2012, 82(2): 89-92.
[13] BLOM J D. Unmanned Aerial Systems: A Historical Perspective[M]. Kansas: Combat Studies Institute, 2010.
[14] EHRHARD T P. Airforce UAVs–the Secret History[M]. Washington: Mitchell Institute, 2010.
[15] BE?O V, ADAM?íK Jr F. Unmanned Combat Air Vehicle: Mq-9 Reaper[J]. Brasov, 2014(3): 22-24.
[16] 范彥銘. 無人機的自主與智能控制[J]. 中國科學: 技術科學, 2017, 47(3): 221-229. FAN Yan-ming. Autonomous and Intelligent Control of the Unmanned Aerial Vehicle[J]. Scientia Sinica (Technologica), 2017, 47(3): 221-229.
[17] KONERT A, BALCERZAK T. Military Autonomous Drones (UAVs)-from Fantasy to Reality. Legal and Ethical Implications[J]. Transportation Research Procedia, 2021, 59: 292-299.
[18] HERNANDEZ J. A Military Drone With A Mind Of Its Own Was Used In Combat[EB/OL]. (2021-06-01)[2023- 01-06]. https://www.npr.org/2021/06/01/1002196245/a- u-n-report-suggests-libya-saw-the-first-battlefield-killing- by-an-autonomous-d.
[19] MIZOKAMI K. The Army's Robotic Combat Vehicles Will Invoke WWII's 'Ghost Army[EB/OL]. (2021-08-03) [2023-01-06]. https://www.popularmechanics.com/mili-tary/weapons/a37202757/army-robotic-combat-vehicles- ghost-army/.
[20] Robotic Combat Vehicle–Light (RCV-L)[EB/OL]. (2022- 06-09)[2023-01-06]. https://www.army-technology.com/ projects/robotic-combat-vehicle-light-rcv-l/.
[21] CAMACHO M S. Innovative Israeli Robotic Combat Vehicle Could Be the Future Of Ground Warfare[EB/ OL]. (2022-07-29)[2023-01-06]. https://www.thein-fo-graphicsshow.com/medium-robotic-combat-vehicle/.
[22] ROQUE A. Us Army Conducts First RCV-M Live-Fire Testing[EB/OL]. (2021-08-06)[2023-01-06]. https://www. janes.com/defence-news/news-detail/us-army-conducts-first-rcv-m-live-fire-testing.
[23] BLOKHIN A, KOSHURINA A, KRASHENINNIKOV M, et al. The Analytical Review of the Condition of Heavy Class Military and Dual-Purpose Unmanned Ground Vehicle[J]. MATEC Web of Conferences, 2015, 26: 04002.
[24] UPPAL R. US Army’s Robotic and Autonomous System (RAS) Strategy for gaining overmatch in future high- intensity conflicts[EB/OL]. (2021-03-09)[2023-01-06]. https://idstch.com/military/army/us-armys-robotic-and-autonomous-systems-ras-strategy/.
[25] NJUS E. The Military'S Oregon-Built Drone Ship Is Headed To California[EB/OL]. (2016-04-07)[2023-01- 06]. https://www.oregonlive.com/business/2016/04/sea_ hunter_the_militarys_orego.html.
[26] TANAKITKORN K. A Review of Unmanned Surface Vehicle Development[J]. Maritime Technology and Research, 2019, 1(1): 2-8.
[27] ZHUANG Jia-yuan, ZHANG Lei, QIN Zi-he, et al. Motion Control and Collision Avoidance Algorithms for Unmanned Surface Vehicle Swarm in Practical Maritime Environment[J]. Polish Maritime Research, 2019, 26(1): 107-116.
[28] OZBERK T. Analysis: Ukraine Strikes With Kamikaze USVs – Russian Bases Are Not Safe Anymore[EB/OL]. (2022-10-31)[2023-01-06]. https://www.navalnews.com/ naval-news/2022/10/analysis-ukraine-strikes-with-kamikaze- usvs-russian-bases-are-not-safe-anymore/.
[29] BEVACQUA G, CACACE J, FINZI A, et al. Mixed- Initiative Planning and Execution for Multiple Drones in Search and Rescue Missions[J]. Proceedings of the International Conference on Automated Planning and Scheduling, 2015, 25: 315-323.
[30] SCHMITT F, SCHULTE A. Mixed-Initiative Mission Planning Using Planning Strategy Models in Military Manned-Unmanned Teaming Missions[C]//2015 IEEE International Conference on Systems, Man, and Cyber-netics. Hong Kong, China. IEEE, 2016: 1391-1396.
[31] IDRIS H, ENEA G, LEWIS T A. Function Allocation between Automation and Human Pilot for Airborne Separation Assurance[J]. IFAC-PapersOnLine, 2016, 49(19): 25-30.
[32] WANG Chang, WU Li-zhen, YAN Chao, et al. Coactive Design of Explainable Agent-Based Task Planning and Deep Reinforcement Learning for Human-UAVs Teamwork[J]. Chinese Journal of Aeronautics, 2020, 33(11): 2930-2945.
[33] HOGENBOOM S, ROKSETH B, VINNEM J E, et al. Human Reliability and the Impact of Control Function Allocation in the Design of Dynamic Positioning Systems[J]. Reliability Engineering & System Safety, 2020, 194: 106340.
[34] ZHAO Zhe, NIU Yi-feng, SHEN Lin-cheng. Adaptive Level of Autonomy for Human-UAVs Collaborative Surveillance Using Situated Fuzzy Cognitive Maps[J]. Chinese Journal of Aeronautics, 2020, 33(11): 2835- 2850.
[35] 崔波, 王崴, 瞿玨, 等. 無人機地面站自適應人機功能分配機制探討[J]. 飛航導彈, 2016(4): 52-54, 88. CUI Bo, WANG Wei, QU Jue, et al. Discussion on Adaptive Man-Machine Function Allocation Mechanism of UAV Ground Station[J]. Aerodynamic Missile Journal, 2016(4): 52-54, 88.
[36] 汪匯川, 寧云暉, 陶偉, 等. 基于FAHP的艦艇模擬訓練系統人機功能分配[J]. 指揮控制與仿真, 2018, 40(5): 37-40. WANG Hui-chuan, NING Yun-hui, TAO Wei, et al. Man-Machine Function Allocation of Naval Ships Simulation Training System Based on FAHP[J]. Command Control & Simulation, 2018, 40(5): 37-40.
[37] 李珍, 武恒州, 殷毅, 等. 一種戰斗機人機功能分配方法[J]. 飛機設計, 2020, 40(4): 1-6, 34. LI Zhen, WU Heng-zhou, YIN Yi, et al. A Method of Human-Machine Function Allocation for Fighter Plane[J]. Aircraft Design, 2020, 40(4): 1-6, 34.
[38] 付亞芝, 郭進利. 基于非合作博弈的動態人機系統功能分配法[J]. 火力與指揮控制, 2021, 46(2): 30-34. FU Ya-zhi, GUO Jin-li. A Dynamic Method of Man- Machine System Function Allocation Based on Non- Cooperative Game Theory[J]. Fire Control & Command Control, 2021, 46(2): 30-34.
[39] KANCLER D E, GORMAN M E, REVELS A R. The Use of Voice and Head-Tracking for Hands-Free Human-Computer Interaction[J]. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 2002, 46(23): 1915-1919.
[40] LI W C, HORN A, SUN Zhen, et al. Augmented Visualization Cues on Primary Flight Display Facilitating Pilot's Monitoring Performance[J]. International Journal of Human-Computer Studies, 2020, 135: 102377.
[41] CAI Lin-qin, CUI Shuang-jie, XIANG Min, et al. Dynamic Hand Gesture Recognition UsingRGB-D Data for Natural Human-Computer Interaction[J]. Journal of Intelligent & Fuzzy Systems, 2017, 32(5): 3495-3507.
[42] AGARWAL P, RAICH A M. Design and Optimization of Steel Trusses Using Genetic Algorithms, Parallel Computing, and Human-Computer Interaction[J]. Structural Engineering and Mechanics, 2006, 23(4): 325-337.
[43] SHERRY L, FENNELL K, FEARY M, et al. Human- Computer Interaction Analysis of Flight Management System Messages[J]. Journal of Aircraft, 2006, 43(5): 1372-1376.
[44] REVELS A R, KANCLER D E, QUILL L L, et al. Determining Voice Strategies for Hands-Free Human- Computer Interaction[J]. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 2001, 45(24): 1704-1708.
[45] KE Zi-yi, CHEN Zi-qiang, WANG Huan-lei, et al. A Visual Human-Computer Interaction System Based on Hybrid Visual Model[J]. Security and Communication Networks, 2022, 2022: 1-13.
[46] JIANG Shuai, WANG Lei, DONG Yuan-yuan. Application of Virtual Reality Human-Computer Interaction Technology Based on the Sensor in English Teaching[J]. Journal of Sensors, 2021, 2021: 1-10.
[47] ANISHCHENKO S I, OSINOV V A, SHAPOSHNIKOV D G. Assessment of Human Head Pose in Human- Computer Interaction[J]. Pattern Recognition and Image Analysis, 2012, 22(4): 541-545.
[48] XU Jian-dong, LI Xiao-shi, CHANG Hao, et al. Electrooculography and Tactile Perception Collaborative Interface for 3D Human–Machine Interaction[J]. ACS Nano, 2022, 16(4): 6687-6699.
[49] 王黎文, 周同樂, 吳慶憲. 多層級聯合任務規劃人機交互界面設計研究[J]. 工業控制計算機, 2021, 34(9): 25-27, 30. WANG Li-wen, ZHOU Tong-le, WU Qing-xian. Design of Human Computer Interaction Interface of Multi- Layer Joint Mission Planning[J]. Industrial Control Com-puter, 2021, 34(9): 25-27, 30.
[50] 馬超民, 趙丹華, 辛灝. 基于用戶體驗的智能裝備人機交互界面設計[J]. 計算機集成制造系統, 2020, 26(10): 2650-2660. MA Chao-min, ZHAO Dan-hua, XIN Hao. Human- Machine Interaction Interface Design of Intelligent Equipment Based on User Experience[J]. Computer Integrated Manufacturing Systems, 2020, 26(10): 2650- 2660.
[51] 賀孝梅, 何世杰, 邵將. 認知負荷在人機交互中的研究現狀與發展趨勢[J/OL]. 計算機集成制造系統(2022- 10-11)[2023-01-06]. http://kns.cnki.net/kcms/detail/11. 5946.TP.20221011.1404.004.html. HE Xiao-mei, HE Shi-jie, SHAO Jiang. Current Research Status and Development Trend of Cognitive Load in Human-computer Interaction[J/OL]. Computer Integrated Manufacturing Systems(2022-10-11)[2023-01-06]. http://kns.cnki.net/kcms/detail/11.5946.TP.20221011.1404. 004.html.
[52] SEVCENKO N, APPEL T, NINAUS M, et al. Theory- Based Approach for Assessing Cognitive Load during Time-Critical Resource-Managing Human-Computer In-teractions: An Eye-Tracking Study[J]. Journal on Mu-ltimodal User Interfaces, 2023, 17(1): 1-19.
[53] TANG Wen-zhe, CHEN Shan-guang, XUE Cheng-qi, et al. Influence of Nuclear Power Plant Interface Com-plexity on User Decision-Making: An ERP Study[J]. Ergonomics, 2022: 1-19.
[54] 張寶, 丁敏, 李燕杰. 基于視覺感知強度的人機交互界面優化設計[J]. 中國機械工程, 2016, 27(16): 2196- 2202. ZHANG Bao, DING Min, LI Yan-jie. Optimization Design of Human Machine Interaction Interface Based on Visual Perception[J]. China Mechanical Engineering, 2016, 27(16): 2196-2202.
[55] ZHOU Xiao-zhou, GUO Yi-bing, JIA Le-song, et al. A Study of Button Size for Virtual Hand Interaction in Virtual Environments Based on Clicking Performance[J]. Multimedia Tools and Applications, 2022, 82: 15903-15918.
[56] ZHU Ming-lu, SUN Zhong-da, ZHANG Zi-xuan, et al. Haptic-Feedback Smart Glove as a Creative Human- Machine Interface (HMI) for Virtual/Augmented Reality Applications[J]. Science Advances, 2020, 6(19): eaaz8693.
[57] 韓月明, 方丹, 張紅艷, 等. 智能無人機集群協同作戰效能評估綜述[J]. 飛航導彈, 2020(8): 51-56. HAN Yue-ming, FANG Dan, ZHANG Hong-yan, et al. Summary of Effectiveness Evaluation of Intelligent UAV Cluster Cooperative Operation[J]. Aerodynamic Missile Journal, 2020(8): 51-56.
[58] LEVIS A H, WAGENHALS L W. C4ISR Architectures: I. Developing a Process for C4ISR Architecture Design[J]. Systems Engineering, 2000, 3(4): 225-247.
[59] BROWN K W. Measuring the Effectiveness of Weapons Systems in Terms of System Attributes[J]. British Medical Journal, 1995, 1(4): 220-222.
[60] United States Department of Defense. Unmanned Sys-tems Integrated Roadmap: Fiscal Years 2017-2042[M]. Washington D.C., 2017.
[61] 屈高敏, 董彥非, 岳源. 對地攻擊型無人機作戰效能評估[J]. 火力與指揮控制, 2016, 41(4): 145-149. QU Gao-min, DONG Yan-fei, YUE Yuan. Operational Effectiveness Evaluation of Ground Attack UCAV[J]. Fire Control & Command Control, 2016, 41(4): 145- 149.
[62] 陳亮. 體系作戰條件無人機作戰效能評估模型[J]. 艦船電子工程, 2016, 36(7): 124-127, 160. CHEN Liang. UAV Operational Effectiveness Evaluation Model in System Combat[J]. Ship Electronic Engineering, 2016, 36(7): 124-127, 160.
[63] 張陽, 王艷正, 司光亞. 集群式電子戰無人機的OODA作戰環分析與建模[J]. 火力與指揮控制, 2018, 43(8): 31-36. ZHANG Yang, WANG Yan-zheng, SI Guang-ya. Analysis and Modeling of OODA Circle of Electronic Warfare Group UAV[J]. Fire Control & Command Control, 2018, 43(8): 31-36.
[64] 陳俠, 胡乃寬. 基于APSO-BP神經網絡的無人機空地作戰效能評估研究[J]. 飛行力學, 2018, 36(1): 88-92. CHEN Xia, HU Nai-kuan. Research on Effectiveness Evaluation of UAV Air-to-Ground Attack Based on APSO-BP Neural Network[J]. Flight Dynamics, 2018, 36(1): 88-92.
[65] 王光源, 孫濤, 毛世超, 等. 基于任務協同的有人機/無人機對海攻擊作戰效能評估研究[J]. 海軍航空工程學院學報, 2017, 32(5): 491-495. WANG Guang-yuan, SUN Tao, MAO Shi-chao, et al. Research on Effectiveness Assessment for Attack Against Maritime Targets of Manned/Unmanned Vehicles Based on Mission Cooperative[J]. Journal of Naval Aeronautical and Astronautical University, 2017, 32(5): 491-495.
[66] 顏驥, 李相民, 劉波. 考慮時序約束的多智能體協同任務分配[J]. 控制與決策, 2015, 30(11): 1999-2003. YAN Ji, LI Xiang-min, LIU Bo. Multi-Agents Cooperative Task Allocation with Precedence Constrains[J]. Control and Decision, 2015, 30(11): 1999-2003.
[67] 蘇翎菲, 化永朝, 董希旺, 等. 人與無人機集群多模態智能交互方法[J]. 航空學報, 2022, 43(S1): 727001. SU Ling-fei, HUA Yong-zhao, DONG Xi-wang, et al. Human-UAV Swarm Multi-Modal Intelligent Interaction Methods[J]. Acta Aeronautica et Astronautica Sinica, 2022, 43(S1): 727001.
[68] XIANG Xiao-jia, TAN Qin, ZHOU Han, et al. Multimodal Fusion of Voice and Gesture Data for UAV Control[J]. Drones, 2022, 6(8): 201.
[69] CHEN Ming-xuan, ZHANG Ping, WU Ze-bo, et al. A Multichannel Human-Swarm Robot Interaction System in Augmented Reality[J]. Virtual Reality & Intelligent Hardware, 2020, 2(6): 518-533.
[70] WOLPAW J R, BIRBAUMER N, HEETDERKS W J, et al. Brain-Computer Interface Technology: A Review of the First International Meeting[C]//IEEE Transactions on Rehabilitation Engineering. IEEE, 2002: 164-173.
[71] KARAVAS G K, ARTEMIADIS P. On the Effect of Swarm Collective Behavior on Human Perception: Towards Brain-Swarm Interfaces[C]//2015 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI). San Diego, CA, USA. IEEE, 2015: 172-177.
[72] KARAVAS G K, LARSSON D T, ARTEMIADIS P. A Hybrid BMI for Control of Robotic Swarms: Preliminary Results[C]//2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Vancouver, BC, Canada. IEEE, 2017: 5065-5075.
[73] LEE D H, JEONG J H, AHN H J, et al. Design of an EEG-Based Drone Swarm Control System Using Endogenous BCI Paradigms[C]//2021 9th International Winter Conference on Brain-Computer Interface (BCI). Gangwon, Korea (South). IEEE, 2021: 1-5.
[74] 彭文成, 郭東明, 李林希. 基于態勢描述的機步團作戰仿真決策活動模型研究[J]. 兵器裝備工程學報, 2017, 38(1): 24-28. PENG Wen-cheng, GUO Dong-ming, LI Lin-xi. Research on Decision Activities Model of Operational Simulation of Mechanized Infantry Regiment Based on Situation Description[J]. Journal of Ordnance Equipment Engineering, 2017, 38(1): 24-28.
[75] KOKAR M M, ENDSLEY M R. Situation Awareness and Cognitive Modeling[J]. IEEE Intelligent Systems, 2012, 27(3): 91-96.
[76] MCGUINNESS B. Quantitative Analysis of Situational Awareness (quasa): Applying Signal Detection Theory to True/false Probes and Self-ratings [C]//2004 Command and Control Research and Technology Symposium. Bristol: Human Factor Department Advanced Technology Centre, 2004: 219—224.
[77] SANER L D, BOLSTAD C A, GONZALEZ C, et al. Measuring and Predicting Shared Situation Awareness in Teams[J]. Journal of Cognitive Engineering and Decision Making, 2009, 3(3): 280-308.
[78] STEWART R, STANTON N A, HARRIS D, et al. Distributed Situation Awareness in an Airborne Warning and Control System: Application of Novel Ergonomics Methodology[J]. Cognition, Technology & Work, 2008, 10(3): 221-229.
[79] GAO Yang, LI Dong-sheng. Unmanned Aerial Vehicle Swarm Distributed Cooperation Method Based on Situa-tion Awareness Consensus and Its Information Proces-sing Mechanism[J]. Knowledge-Based Systems, 2020, 188: 105034.
[80] 李婷婷, 刁聯旺, 王曉璇. 智能態勢認知面臨的挑戰及對策[J]. 指揮信息系統與技術, 2018, 9(5): 31-36. LI Ting-ting, DIAO Lian-wang, WANG Xiao-xuan. Challenges and Countermeasures of Intelligent Situation Awareness[J]. Command Information System and Tech-nology, 2018, 9(5): 31-36.
Human-machine Collaboration in the Military Field
NIU Jian-wei, AN Yue-qi, LI Han, GAO Wei-feng, YAN Zheng-quan, DONG Ming-yu
(School of Mechanical Engineering, University of Science and Technology Beijing, Beijing 100083, China)
The work aims to summarize and analyze the current application status and theoretical status of human-machine collaboration in the military field and point out the future development trend, so as to provide theoretical directions for the technical development and design research of human-machine collaborative military systems. The current application status of human-machine collaboration in the military field was analyzed with the practical application scenarios of unmanned aircraft systems, unmanned vehicles and unmanned boats as representatives. Then, the research progress of human-machine collaborative task allocation, human-machine interaction methods, human-machine interaction interface design and human-machine collaborative effectiveness evaluation in China and abroad was analyzed in the military context. The future research trends were summarized by synthesizing the current status of the previous research. From the current status, hotspots and trends of Chinese and international research, it is concluded that the task allocation of human-machine collaboration needs to take into account factors such as personnel behavior and task timing, with the goal of improving the efficiency of human-machine collaboration, and exploring a better allocation model. The multimodal intelligent interaction will become the mainstream form of human-unmanned cluster interaction in the future, and the combined multi-channel information exchange will change the way for operators to interact with the accusation system, realizing the efficient human-unmanned cluster interaction. The situational awareness is a challenge for the future intelligent battlefield, and human-machine collaboration has laid the foundation for research in the field of intelligent situational awareness.
military; human-machine collaboration; human-machine cooperation
TB472
A
1001-3563(2023)10-0024-16
10.19554/j.cnki.1001-3563.2023.10.003
2023–01–14
鈕建偉(1977—),男,博士,教授,主要研究方向為人機混合智能、人機工程、人機協作。
責任編輯:馬夢遙