面向集群自主系統的人機混合增強智能研究進展

黃捷，陳宇韜，鄭松

(工業自動化控制技術與信息處理福建省高校重點實驗室，福州大學電氣工程與自動化學院，福建 福州 350108)

0 引言

當前，制造業作為國民經濟、 國計民生和國家安全的重要基石正面臨全球新技術革命和新產業革命的挑戰，特別是新一代信息通信技術和新一代人工智能技術的深度融合，引發制造模式、 制造手段和制造生態系統的大變革，促生了“智能制造” “工業4.0” “柔性制造”等全新概念和技術. 其中，人機混合增強智能受到越來越多的關注，在人機物協同的智能協作機器人、 基于人機協同的智能生產線和人機物動態協同的生產過程閉環控制等方面已經有許多研究與應用.

在智能制造場景中，人機混合增強智能的典型對象即自主系統，包括機器人、 機械臂、 地面無人小車和無人機等. 隨著人工智能技術和決策與控制理論的發展，單個自主無人系統已越來越多地應用于包括運輸安全、 搜索和救援、 太空探索等軍事領域[1-2]，同時也廣泛應用于各類民用領域，如無人駕駛汽車、 自動農業設備和無人駕駛商用飛機等. 不僅如此，智能制造場景中通常存在大量自主系統并通過各種通訊方式進行組合聯結，形成自主無人系統集群. 自主無人系統集群是指多個自主無人系統組成的群體系統，可根據自身當前狀態和周圍環境進行自主協調、 競爭與合作，其分布式特性使得整個系統相比單個自主無人系統具有出色的故障魯棒性和數量可擴展性. 在自主無人系統集群中，單個自主無人系統通常具備不同的能力，可以承擔不同的角色[3-5]，可分別執行個體和群體任務.

然而，現有自主無人系統高度依賴機器學習和深度學習等人工智能方法，這些方法目前適用于環境具有緊約束和有限目標的條件，不能處理動態、 非完整、 非結構化的信息[6]，導致對自主無人系統日益增長的依賴有相當大的風險. 此時，人類參與自主無人系統的感知、 決策和控制可以提高自主無人系統的認知能力，減輕自主決策和控制技術不成熟帶來的安全風險，在面臨不確定、 脆弱和開放問題時作為自主無人系統的服務對象和最終價值判斷的仲裁者. 為實現這些目標，需要將人的作用或認知模型引入自主無人系統，把人對模糊、 不確定問題分析與響應的高級認知機制與自主無人系統緊密結合，使人的感知與認知能力和計算機強大的運算與存儲能力相結合，最終形成“人在回路”的“1+1>2”的人機混合增強智能[7]. 當前，得益于群體智能理論的快速發展，超越單人-單系統的多人-單系統交互[8]、 多人-多系統交互[9]以及單人-多系統[10]交互系統等新型人機混合增強智能形式已經成為重要的研究課題.

人在回路的混合增強智能是新一代人工智能的典型特征[6]. 人機混合增強智能源自人機融合，而人機融合的研究最早源自于人機交互與協同[11]. 因此，本綜述以智能制造為背景，回顧實現人機混合增強智能的人機交互、 協同與控制新理論與新技術. 通過概述人類-自主無人系統集群交互的基本理論、 需求和挑戰，從自主無人系統集群和人類認知模型、 人機交互與協同、 基于控制共享的人機合作等幾個方面對相關領域的研究文獻進行梳理，確定有待進一步研究的問題和方向.

1 智能制造與人機協同

智能制造系統是一個由人、 網絡系統和物理系統組成的復合智能系統，其目標是在優化的水平上實現特定的制造目標，被通稱為人-信息-物理系統(human cyber physical system, HCPS). 在技術上，HCPS既可以揭示技術原理，又可以形成智能制造的技術架構. 因此，智能制造的本質是在不同的情景和不同的層次上設計、 構建和應用HCPS.

在智能制造中應用HCPS是未來工業互聯網的典型特征，但針對其共性基礎理論問題的研究仍不充分，迫切需要從工業互聯網絡模型表征、 “人在回路”的分布式控制與決策、 人機物協同和相互作用機理、 全要素-全產業鏈多目標優化和人機協同預測、 決策和控制等方面進行深入探索. 目前，一些學者從宏觀上闡述了智能制造中人機物系統的概念、 方法和關鍵技術，例如文獻[12]較早地提出一種人機物系統智能制造新模式，建立了務聯網、 物聯網、 內容/知識網、 人際網與制造技術融合的智慧制造，其核心思想是通過人機物的融合決策，實現對物或機器的控制. 文獻[13]從智能制造的視角回顧了智能制造的發展歷程，并對智能制造的內涵、 特點、 技術框架和關鍵技術進行了深入探討，最后對新一代智能制造中HCPS面臨的主要挑戰進行了展望. 文獻[14]回顧了人機物融合系統的背景，從系統工程的角度探討并提出建立人機物融合系統的科學基礎面臨的5個重要挑戰. 文獻[11]從人機物三元融合智能方向出發，回顧了其基本概念、 相關研究內容和發展應用情況，給出人類智能和機器智能融合的關系模型，如圖1所示. 由圖1可知，智能制造HCPS需要建立人類和機器在意圖/目標、 決策/規劃和行為/執行層的多尺度融合，實現深度信息交互和智能融合.

圖1 人機物關系模型[11]Fig.1 HCP relation model[11]

當前，智能制造HCPS的應用場景包括人機物協同智能協作機器人、 基于人機協同的智能生產線和人機物動態協同的生產過程閉環控制等，其主要思想是充分融合新一代人工智能的賦能能力和制造業的基礎能力，打造智能云、 智能車間、 智能工廠和智能運營中心等平臺與體系，實現智慧車間作業、 智慧排產和智慧運營等功能. 在這些場景中，許多學者和工程師開展了初步的工作，如文獻[15]分析了5G在協同智能制造中的各種可能應用，并重點關注了人機接口設計和模塊化協同生產方法. 文獻[16]以智能工廠中的工業機器人為背景，提出一種具有成熟智能制造能力的在線通信算法來解決實時人機交互問題. 該算法用于實時管理和控制機器人的所有參數，將機械臂的數據整合到工業大數據中以管理工廠，并利用機器對機器和人對機器的相互作用結合網絡能力實時解決人機協同和共識問題. 文獻[17]介紹了量化工廠的概念以及其中的一些核心技術. 作者指出，量化工廠不是無人化工廠，而是基于同一個底層數據庫，將所有的人、 IT系統、 自動化系統連通在一起，運用各種高精度的量化手段對“精益制造”進行反哺，用人機結合的方式重塑工業創新模式. 文獻[18]著眼于裝配站布局在智能制造中的應用，提出一種產品在整個裝配期間都停留在一個裝配站的配置方案，同時讓所需工人、 設備和材料根據裝配工藝和生產計劃被轉移到該裝配站. 然而，在裝配站位置固定的情況下，由于空間有限、 裝配過程復雜以及材料、 設備和人力流動具有高動態性，需要采用大量的人為干預. 文章基于裝配4.0原理，結合物聯網技術、 工業可穿戴設備和機器學習技術，實現了人機物協同的智能裝配.

綜合來說，當前關于智能制造中HCPS的研究多局限于某些特定的應用場景或者應用對象，尚缺乏比較全面和通用的研究成果. HCPS的實現也多局限于人機協同交互的部分功能，如人機界面設計和人機共享控制等，有待進一步研究面向智能制造的人機共融智能和人機物全要素協同方法與應用.

2 人機協同中的模型

人機混合增強智能的核心是實現人機協同與交互，其基礎是將自主系統和人進行量化建模，從而可以從數學的角度出發對兩者進行分析和計算，有助于充分理解未來工業互聯網“萬物互聯”的表征和人機物協同機理. 基于此，本節回顧主要的自主系統和人類決策數學模型構建方法.

2.1 自主無人系統集群模型

自主無人系統集群并不是單個無人系統的數量堆積，而是通過群體理論和組織方法將單個無人系統進行有機結合，實現無人系統之間的協同、 競爭與合作，可執行單個無人系統難以完成的復雜任務. 文獻[19]分別從建模方法和組織方式兩個方面對自主無人系統集群建模進行回顧.

2.1.1從建模方法出發

自主無人系統集群建模從自然界汲取了許多靈感，包括生物啟發、 控制理論、 非定形計算和物理啟發等. 由此產生的模型和方法不僅在靈感來源方面有所不同，而且在理論保證、 操作條件和實現效果方面也有所不同. 由于這些方法可能與人類對群體行為的理解有關，因此，設計人機混合增強智能系統必須要深刻理解這些常用的集群模型.

1) 生物啟發模型. 自然界的生物一直是無人系統設計的靈感來源. 綜述[20]回顧了群體系統的研究工作，并提出需要重點關注的四個領域以實現人-自主無人系統集群混合系統在現實中的應用，分別為建模和需求、 群體行為設計、 群體模型的驗證和人機交互. 在文獻[21]中，Couzin等用簡單的局部交互規則對動物群體的空間行為進行建模. 文獻[22-23]提出基于信息素的群體交流方式，該方法在文獻[24]中被用于協調自主無人系統集群以執行任務. 文獻[25]探索了描述生物系統表現出集體行為的原理，并將這些原理應用于工程系統實現了的從生物靈感出發的自主無人系統集群.

2) 控制理論模型. 許多學者從控制理論的角度出發對自主無人系統集群建模與分析做了大量的工作[26]. 文獻[27]提出嚴格的控制和通信模型，其中單個無人系統的物理模型為一個連續時間連續空間的動力學系統，并利用通信邊緣圖決定任意兩個無人系統之間是否存在通信鏈路. 該文還對控制和通信規律進行了正式定義. 控制理論模型的優勢是可以充分考慮無人系統的物理動力學，這在生物啟發模型中較為少見. 基于控制理論的模型的另一個優勢是可以產生嚴格的數學保證，因此可以提供充分的數學分析工具，為人類的參與和人機系統設計者提供基礎[28].

3) 無定形計算模型. 無定形計算[29]的主要特點是自主無人系統無需知道它本身的位置或相鄰無人系統的信息. 無定型計算的計算單元由相同的程序控制，并通過與附近節點的交互來決定各自的行為. 可以看出，無定形計算的思想與自主無人系統集群建模方式非常相似. 文獻[30-31]使用Proto程序設計語言采用無定形計算方法，創建了一個由10 000個獨立機器人和一個由40個機器人組成的真實系統并測試其群體行為. 結果表明，該系統對通信丟失和延遲時間具有較強的魯棒性，并且可以成功實現集合和分散等簡單的集群行為.

4) 物理啟發模型. 物理啟發模型與生物啟發模型類似, 也是一種從自然界中尋求靈感的方法，利用人們熟知的物理方程式描述大規模的群體現象[32-33]. 文獻[34]提出自推進粒子系統，遵循簡單的更新規則實現群體一致性. 隨后，Jadbabaie等[35]從控制和圖論的角度對這類系統提供嚴格的數學分析，證明該物理啟發模型基于鄰域的規則協調粒子的運動，與基于生物啟發模型的集群算法在本質上是相同的. 文獻[36-37]受到人工力的啟發，采用反冪律來確定機器人和機器人群之間的吸引力和斥力，構建出社會勢場. 物理啟發模型與生物啟發模型的區別是其采用被動互動而非主動互動的建模方式，利用粒子不主動交流而只是通過力量相互影響這一特點，其主要優點是可以借鑒大量與物理系統中的自組織相關的實驗和結論[38-39].

2.1.2從組織方式出發

1) 組隊. 組隊是最簡單的集群自主系統組織方式. 例如，Korsah等[40]提出xBots多機器人控制系統，可以實現最優任務分配規劃和任務執行，并可在失敗或意外事件發生時安全地退出任務.

2) 分層. 在復雜環境中，單個自主系統通常缺乏靈活性，因此僅能執行少量簡單的任務. 分層組織的集群自主系統[41-43]通過特定的通信方法，可分為領導和跟隨者的自主系統等不同角色，以適應更復雜的環境和任務. 然而，分層組織方式需要繁瑣和復雜的組織算法，在未經歷過的突發狀況下難以真正適應環境. 此外，隨著分層數量的增加，需要控制的自主系統數量也越來越多，為自主系統之間的安全、 穩定和快速的通信帶來巨大挑戰.

3) 靈活. 靈活組織方式可根據環境中的關鍵事件或與特定問題集相關的算法實現可變級別的組織，其定義尚不固定[44-47]. 為簡便起見，可根據決策主體將靈活組織決策空間劃分為三種類型. 其中，不同類型的靈活組織方式取決于人類在決策中的作用，分別為： 任務開始前預先確定、 人類參與可調和混合倡議(在任務過程中進行聯合行動和決策[47-49]). 不同組織方式及其優缺點總結如表1.

表1 人機混合集群自主系統組織方式及其優缺點Tab.1 Organzing structures of human-machine swarm systems and their advantages and disadvantages

2.2 人類行為模型

人類行為模型對預測人類表現和設計人機交互策略具有重要作用. 然而，從推理、 規劃到運動的所有抽象層次上對一般人類行為進行建模幾乎是不可能的. 因此，建模的目標主要集中在高級認知決策模型和低級交互模型等人類行為的特定方面. 文獻[68]對人類角色和人類決策模型進行簡要回顧，并且給出人類在具有分層結構的人機混合系統中所處的位置和功能，對人機混合系統框架搭建具有重要意義.

1) 人類角色. 在人機混合增強智能系統中，人類通常扮演監督和積極參與的角色[69]. 人類扮演監督角色時通常位于任務或計劃層，明確知道并有權限修改任務總體目標，可進行全局和局部干預. 此時人工控制輸入不能直接影響人機系統，而只能通過任務和計劃層間接影響. 人類扮演積極參與角色時將人帶進集群自主系統的控制回路中，其中人與集群自主系統之間的交互通常是連續的甚至有直接的物理接觸[70]. 此時，人類可通過向子任務或行動層提供控制輸入直接影響底層交互. 典型的分層組織結構中人類角色與各層之間的關聯如圖2所示.

圖2 人類在分層結構人機混合系統中的角色示意圖[68]Fig.2 Human role in hierarchical human-machine systems[68]

2) 人類決策模型. 人類決策模型在與自助系統集群的互動和監督中起著重要的作用. 設計人類決策模型的關鍵科學問題是如何將認知心理學的結果轉化為適合系統和控制分析的模型. 在此，本綜述著重回顧一些針對特定場景的人類決策建模方法.

首先，人類作為監督和管理角色時通常采用馬爾科夫模型. 文獻[71]將神經認知模型轉化成馬爾可夫模型用于預測人類在選擇部署(deployment, D)和集結(rendezvous, R)兩個全局行為時的決策過程. 在人類決策模型中，能夠捕捉決策動態的模型稱為累加器模型[72]. 累加器模型通常用于只存在兩種選擇情形下的強制選擇任務(TAFCTs)，由于選擇的離散性，一般適用于人類擔任監督角色時的人類決策動態建模. 文獻[73]采用由漂移-擴散模型(drift diffusion model, DDM)衍生出來的soft-max選擇模型，提出用于人機互動的累加器模型. 文獻[74]提出另一種累加器模型，并建立擴展決策場理論(extended decision field theory, EDFT)模型，用以表示在人機交互與人在監督角色中的多個順序決策. 文獻[75]根據DDM模型提出人在回路的human drift diffusion model, HDDM模型，通過實時監控人類決策信號是否超過設定閾值來觸發人類對自主系統的干預.

總的來說，對人與集群自主系統之間的持續交互進行建模仍然是一個很大的挑戰. 文獻[76]使用黑箱方法來識別、 指揮機器人群作為主動角色中的人類決策行為. 然而，對所得到的線性定常系統的頻率分析表明，人類的決策過程在高頻范圍內違反了無源性條件. 因此，基于無源性的模型有其局限性，需要在這方面進行更多的研究.

3 架構、 感知與交互

3.1 人機交互模式與架構

在人機混合智能系統中，自主系統的自主程度定義了哪些功能應該是自主的，而哪些功能應該由人來管理[77]. 早期的研究者提出了固定數量的、 離散的、 居于無自主和完全自主之間的自主程度表，如表2所示. 如今，這個概念已經擴展到每個信息處理系統功能的自主程度，包括信息獲取、 信息分析、 決策、 行動選擇以及行動實施. 文獻[62]發現，高水平的自主程度有益于信息獲取和信息分析，但不利于決策，因為它會導致人類技能的退化、 自滿和較差的情境意識. 文獻[78]利用文獻[77]提出的十級自主程度表，提出人-集群自主系統交互的自治譜概念. 該方法已在涉及巡邏和追蹤的復雜應用場景中通過人工操作員進行了測試. 文獻[79]引入兩種可切換的操作模式，允許人類在高自主性和低自主性之間進行切換.

表2 分為10級的自主程度表[77]Fig.2 Ten level autonomous level list[77]

當前，對于人機交互模式的研究尚不成熟，難以回答諸如“靈活可變的自主程度是否真正有益”這類問題. 由于群體行為不可預測且人類對自主系統的理解能力不足，在不同自主程度之間進行切換可能會顯著降低人類的情境意識，并可能干擾人類的理解能力，導致人機系統性能下降. 因此，鑒于“人在回路”對控制回路所有方面的深刻影響，需要更多更深入的研究以真正理解人-集群自主系統的交互模式與架構[68].

3.2 人在回路的態勢感知

在人機混合系統中，實現人類有效監控的最關鍵因素之一是保持整體任務環境和單個自主系統的態勢感知能力，即要求人類能夠觀察到環境的變化和集群自主系統的狀態和運動. 文獻[69]對人在回路的態勢感知進行詳細回顧，指出態勢感知能力的一項重要功能是通過估計集群自主系統的狀態以便能夠提供適當的控制輸入. 靈活的人機組織方式允許系統設計者根據人類的認知需求更精確地設計人-自主無人集群系統[55].

當自主系統不完全可靠時，采用較高的自主程度有明顯缺陷[80]. 在與自主系統進行交互時，人類常常難以感知環境與模式的變化，因此對自主系統的行為感到困惑[81]. 數據顯示，即使人類檢測到環境的變化也難以解釋這些變化的相關性及其對現有任務或計劃的影響[82]. 此外，正確使用信息可視化技術可以幫助人類提高態勢感知能力. Lee等[83]建議在可行的情況下將自主系統的能力和局限性告知人類，以獲得人類足夠的信任. 美國海軍智能自主項目的經驗表明，由于人類難以理解自主系統輸出背后的原理，人類有時會質疑自主系統輸出的準確性和有效性. 在最近的一項研究中，van Dongen等[84]發現，人類參與者對決策輔助推理過程的可理解性對其建議的依賴有顯著影響. 與此同時，生態界面設計(eid)被用于圖形化描述自主系統的能力和局限性、 意圖以及自主系統提出的計劃修訂的質量，其對人機相互作用的有效性得到了證實[85-87]. 這些研究一致發現，eid可以有效地支持人類對自主系統行為的理解和對其未來行為的預測，從而可以正確地校準人類對自主系統的信任.

3.3 人機交互與協同界面設計

人機交互界面是人類和自主系統之間的橋梁，決定了人類的命令和反饋信息及其表示形式. 人機交互界面的設計對人機交互的可實現性有重要影響. 文獻[69]認為，人機交互界面需要確保人類能夠理解機器和環境的意圖和行為. 此外，還需要適當分配人對重要事件的注意力，并確保人的決策權力. 文獻[68]分別從命令接口和反饋接口兩個方面對人機交互界面進行分析，現總結如下：

1) 命令接口. 命令接口將人類的意圖或動作轉換成適配機器的控制命令. 在擔任管理角色時，人類通常通過圖形用戶界面(GUI)與集群自主系統以觸摸屏[88]或語音[89]進行交互. 此時，人類的行為被映射為高級命令，包括為自主系統設定目標、 分配自主級別和干預[44, 90-91]. 在擔任主動角色時，人提供諸如動作或力量等連續的控制命令，通過動作測量設備如觸摸屏[76]、 基于視覺的系統[92-93]和觸覺設備[68, 70]傳遞給自主系統. 然而，集群自主系統的自由度遠遠高于人類指令信號的維度，導致人與集群自主系統之間互動存在不對稱性. 因此，亟需研究如何找到從低維人類指令信號到高維集群自主系統控制任務的直觀映射，從而使人類能夠有效地學習如何進行人機交互.

當前，與高自由度系統的直觀交互僅在特定的應用實例中得到解決. 例如，文獻[28, 92]考慮集群自主系統編隊控制場景，讓人類使用虛擬可變形體積的概念來指揮自主系統隊形的變化. 類似地，文獻[94]通過虛擬球體控制實現了人類控制多抓取對象機器人編隊，并采用基于子任務的控制方法在子任務層通過全局行為與機器人團隊進行交互，降低了命令和信息的維度. 從控制的角度來看，對人機混合系統可控性的研究有助于人機交互界面的設計[95]. 通過研究自主性程度，可以決定自主系統中哪些狀態應該由人類控制，而為了保證這些狀態的可控性，必須提供足夠數量的指揮通道，以此來指揮設計命令接口.

2) 反饋接口. 反饋接口將自主系統的輸出轉換為人類能夠理解的反饋信息，通常以視覺輔以觸覺形式實現. 在人類擔任管理角色時，人可通過GUI和視頻接收反饋. 文獻[88]指出，如果在任務執行過程中人類和機器的角色發生了變化，反饋界面必須提供動態反饋. 在人類擔任主動角色時，觸覺反饋可以增強視覺反饋信息，提供關于自主系統內部狀態的額外信息，如到障礙物的距離[96-97]、 協同操縱中的內力[98-99]和與環境的互動[7]. 文獻[100]也證實了觸覺反饋在人-自主系統交互中的有效性. 文獻[101]研究了具有可變隊形的人-自主系統互動系統，觸覺信號在自主系統被拉伸、 壓縮或重塑時會通知人類. 當自主系統與環境建立多個接觸時，可穿戴觸覺設備是非常有前景的反饋界面技術[99].

然而，由于人-集群自主系統交互的復雜性，僅僅提供關于系統狀態的反饋信息難以實現人機交互，還有必要通過表示自主程度的活動和對未來活動的敏感性進行加強[102]. 文獻[103]將多架無人機的自主程度設計為反饋接口，允許人類在不同自主水平之間進行選擇并最終實現轉換成本的降低. 綜上所述，現有的文獻提供了許多針對特定界面設計的人-集群自主系統交互的實例研究，但由于命令和反饋接口的特性，對影響閉環系統性能和局限性的系統控制理論的理解仍然相當缺乏，是亟需研究的核心科學問題.

4 人機協同決策與控制

4.1 人機信任

在人機混合系統中，人類對自主系統的信任是團隊能否完成任務的關鍵因素. 信任在組織心理學、 人際關系、 人機交互等領域的文獻中有許多定義[83, 104-106]，其中以Lee和See定義[83]的認可度最為廣泛. 關于人機信任與整個人-集群自主系統的關系，參見圖3[68].

圖3 人機信任與整個人-集群自主系統的關系[68]Fig.3 Role of human-machine trust in the human-machine swarm system[68]

Lee和See的人機信任定義在人機交互背景下給出了信任發展的前提，為支持信任發展的系統和環境相關因素提供了一個基本框架. 本節接下來將對人機混合系統中有關信任的關鍵制度與環境因素和人為因素進行回顧.

1) 制度與環境相關因素. 在人機交互的背景下，系統的透明度和可觀測性對人類非常重要，人類的整體任務負載也將影響其信賴自主系統的程度[107-108]. McBride等[109]認為，自主系統發生錯誤的類型和任務負載水平之間存在相關關系. 在他們的模擬實驗中，與任務負荷較輕時相比，人類更容易錯誤地聽從錯誤警報系統. 與此同時，許多研究已發現了人們對人類參與輔助與自主系統輔助的感知可靠性的差異，以及人類與機器的認知差異. 研究發現，人們傾向于認為自主系統比人類參與輔助更有能力和更可靠[110]. 然而需要注意的是，人們對自主系統的錯誤行為比人類自己本身的錯誤更加敏感： 一旦自主系統出錯，這種相對的敏感性將導致對自主系統信任的快速下降[111]. 此外，de Visser等[112]的研究表明，當人類認知表現出更強的合作性而非競爭性時，人類對自主系統的信任度會增加. Lyons和Stokes[113]調查了風險對人類依賴于來自人類和自主系統決策輔助的影響. 他們發現，當風險變大時，人類傾向于更多地依賴自主系統而不是人工輔助.

不僅如此，與自主系統信任相關的問題還涉及包括社會和倫理的多個層面. 當自主系統在人類的命令下做出有害行為時，目前尚未有責任界定的成熟方案. 隨著自主系統變得更復雜和更智能，并且還能基于學習算法或從其他網絡獲取信息來學習和進化，研究人類對自主系統的信任影響是極其必要的. 綜上所述，目前的研究表明，自主系統的信任問題主要受自主系統的性能和表現所影響，但人機混合系統的復雜性使得工作量、 風險和自主系統的可靠性感知都影響人類對自主系統的信任程度[114].

2) 人為因素. 與制度和環境因素相比，人機信任中人的因素也同樣重要. 研究表明，人類的自信是調節自主系統信任對系統依賴的影響的關鍵因素[115-118]. 當自信超過對自主系統信任時，人類傾向于使用手動控制； 當對自主系統的信任超過自信時，將更多使用自動控制. 人類作為一個團隊與自主系統一起工作時并不總是信任機器隊友，而可能會過度依賴或棄用自主系統. 這主要是是因為人類在做決策時會承擔更多的決策責任，因此更傾向于掌握控制權[110, 119]. 人類對自主系統的態度和信任也會受到其個性(如內向和外向[120-121])、 情感因素(如情緒[122])和壓力狀態(如疲勞[123-125])的影響.

4.2 不同人機交互模式下的控制共享

重點回顧人-集群自主系統交互中的控制共享問題. 文獻[78]給出了行為控制(即人類與群體中的每個自主系統單獨互動)和策略控制(即人類與整個群體互動)的區別. 在圖1的分層架構下，行為控制是指人對局部行為的控制，而策略控制則為人類對全局行為的控制并讓自主系統自主執行局部行為. 一般來說，策略控制對于大規模集群自主系統來說更為合適[126]，這是因為若人類與每個自主系統都進行交互會帶來工作量和時間壓力[127]. 在文獻[128]中，這種方法被稱為吸引子，即為自主系統狀態在低維狀態空間上的投影，或者從個體行為到集體行為的抽象. 文獻[68]分別從互補交互模式和重跌交互模式下對控制共享問題進行了分析，現總結如下：

1) 互補交互模式下的控制. 人類扮演主動參與角色時，Sieber等[93]提出集群自主系統負責自主協調并執行避免碰撞的局部子任務. 當然，自主系統不同行為所需的命令可能會發生沖突，導致集群自主系統出現不可預測的行為. 此時需要將整個集群自主系統的動力學解耦，確保自主任務不受人類控制. 由于集群自主系統在本質上是冗余的，可以同時執行多個子任務，因此為了避免控制輸入的沖突，可以應用基于零空間的行為控制來定義、 解耦和分配優先級以執行多個子任務[129].

當人類扮演監督角色時，人類的作用更像一個開關. 當然，人類也可以同時扮演兩種角色. 在文獻[7]中，人類可以主動選擇交互模式，而無人機團隊則自主控制其可變拓撲，在全局干預(將編隊的質心導向目標)和局部干預(控制單個無人機)之間做出選擇. 在文獻[76]中，人類在兩個控制器之間進行手動切換，分別控制機器人團隊的位置和速度，并向所選的控制器提供輸入命令. 然而，因為子任務分布恒定且自主系統自主程度固定，這些方法在任務執行過程中不夠靈活. 此外，若需要執行多個子任務，而子任務優先級是固定的，則必須根據任務執行過程動態地改變子任務的優先級，并在線分配子任務的職責[130].

2) 重疊交互模式下的控制. 在人類和集群自主系統共同執行任務時，人類干預自主控制指令的方法稱為混合主動控制. 這種類型的控制方法屬于重疊交互模式，其中整個系統得到的控制命令是人工命令輸入和自主系統輸入的綜合. 文獻[131]采用模型預測控制方法對直升機機器人團隊進行混合主動控制，實現了部分人工遙控操作.

具體來說，將人類控制輸入表示為uh(t)，自主控制輸入表示為ua(t)，它們的線性混合可表示為

u(t)=Khuh(t)+Kaua(t),Kh+Ka=I

其中：u(t)為生成的控制命令；Kh和Ka為仲裁矩陣；I為單位矩陣.

在混合主動共享控制中，有必要根據人的行為來確定最合適的自主控制輸入以實現令人滿意的輔助決策. 文獻[132]提出利用常數仲裁矩陣的線性混合以及基于人類意圖預測的自主控制輸入. 作者認為，系統任務應該分解成包含穩定的全局行為和局部行為表示的多個子任務. 這些子任務應根據當前環境狀態進行優先級排序，并解耦以避免沖突和干擾，最后再動態分配給人類和自主控制器. 在此，子任務在人類和自主系統之間的動態分配也稱為交易控制[133-134]. 表3列出了共享控制和人機交互自主性程度相關的參考文獻.

表3 共享控制和人機交互自主性程度相關的參考文獻Tab.3 An overview of surveyed literature for control sharing in human-robot team interaction

5 基于博弈論的人機交互

博弈論是應用數學的一個分支，是研究沖突條件下最優解的一門學科. 簡單來說，博弈是指人、 團體或組織在一定的環境和規則下，從行動集合中同步或連續地、 一次或多次地選擇并執行他們所選擇的策略的過程. 所有參與者選擇策略后得到相應的收益. 由此可見，博弈論可以為分析涉及多個主體的交互行為提供有力工具，其在智能電網系統、 信息共享問題、 路由安全、 云計算和入侵檢測等領域得到了廣泛的應用.

因此，基于博弈論的人機交互與協同得到了許多學者的關注，其核心思想是將自主系統也看成“人”，存在相當程度的智慧性，因此可從博弈的角度闡述它們與人的互動. 文獻[142]運用博弈論分析了人機交互問題并開發了具體的人機交互框架，并在實際的機器人控制中予以實現. 文章的主要貢獻是提出了一種根據交互力測度的機器人角色調整的自適應律，以實現動態人-機協調. 文獻[143]基于博弈論的模型實現人機協同執行復雜任務，并通過道路交叉路口仿真予以驗證. 文獻[144]提出一種新的博弈論方法用于建模以目標為導向的人機交互與合作. 文章通過實例說明了引導人機交互、 空中交通管理以及文檔協作等典型人機合作案例. 文獻[145]開發了一個能夠理解人類控制策略的交互式機器人控制器. 作者證明，將一個觀測器與一個微分博弈論控制器相結合可以導致人類與機器人之間形成穩定的交互，并可以精確地識別彼此的控制律. 關于博弈論與人機結合的詳細分析與回顧，可參見文獻[146].

總的來說，博弈理論不僅在傳統的交互、 通信與控制問題中得到應用，還越來越多地在新興人機交互方面得到重視，包括眾包、 物聯網(internet of things, IoT)和比特幣等非傳統領域[146]. 在這些方面，如何巧妙而精確地設計博弈目標、 參與者、 策略、 博弈模型和平衡點，是成功應用博弈論的關鍵科學問題.

6 結語

人機混合增強智能理論從20世紀90年代到21世紀初多以人機交互形式呈現[147-148]，較多關注界面設計、 交互設計和共享控制設計等內容. 本文回顧了近年來面向集群自主系統的人機混合增強智能中關于人機協同、 交互和控制的關鍵理論和方法，總結了以下5個主要結論.

1) 人類決策模型目前僅處理極其有限的人類決策行為表征，結合社會學、 心理學和腦科學的人類決策行為研究將極大促進人機混合增強智能系統的理論深度和應用廣度.

2) 隨著自主系統能力的提高，人在人機互動中的作用并沒有減少; 相反地，人類可以體現更高的責任感并增加交互任務的復雜性. 因此，在控制回路中將人作為一個決策動態系統來考慮對人機混合增強智能非常重要.

3) 混合倡議架構可以利用人類的豐富經驗和更復雜的世界觀，同時利用自主系統的計算能力、 快速反應和低延遲，實現良好的人機協同.

4) 在人機混合增強智能系統中，人類對自主系統的信任非常重要，如何對這一信任水平進行校準并指導人機交互與協同極其關鍵.

5) 人類通過管理自主系統的全局行為，并在子任務級別上進行主動交互是目前最有前景的人機混合增強協同交互模式，可以解決低維度的人類指令通道與高自由度自主系統之間交互的不對稱問題.

面向未來，人類與機器的結合必將越來越緊密. 為了更好地實現人機共融，亟需突破人機混合增強智能的共性關鍵技術. 包括: 1)混合增強智能核心技術； 2)認知計算框架和在線智能學習； 3)人機共駕的理論與應用； 4)平行管理與控制的混合增強智能框架. 在智能制造領域，這些共性關鍵技術的研究可緊密圍繞指令傳達、 信息展示、 意圖感知、 智能理解、 心智模型構建和交互系統設計等方面，其成果有助于實現人機物高效共融與三元協同，最終構建人機物全要素-全價值鏈協同的柔性智能制造系統.