自動駕駛系統中人機協同的認知決策一體化機制研究

張文鏑 周詩婕 金海亮 焦璇

（北京新能源股份有限公司，北京100176）

0 引言

隨著人機智能系統的不斷發展，機器自主水平也在不斷提高。在人工智能時代，基于智能系統的機器正逐漸從支持人類操作的輔助工具發展成為具有一定認知能力、獨立執行、自適應能力的自主化智能體[1]。理想情況下，人和機器的結合應該產生一個高效的團隊，可以成功地提高團隊績效，并避免成為單一決策錯誤的制造者[2]。越來越多的機器人系統與產品深度融合到各個應用領域，也對傳統機器人技術提出了更高要求，尤其是在如何與人更好地進行交互和協同方面。人機智能技術則是人機智能系統實現目標的理論與技術支撐，主要通過結合傳統機器人技術和人工智能技術，從系統建模、感知與交互、協同控制和人在環路（Man In the Loop,MIL）優化方面提升機器人與人交互和協同的自然性、安全性和魯棒性。

目前，人機協同技術融合了機器人、視覺、網絡、數據采集、傳感器技術，主要集中在基于傳統機器人的建模研究，而關于人機合作的方式和研究進展非常有限。對于一個運轉良好的自主支持系統設計，必須基于對人機團隊在感知、認知和決策過程中心理框架的深入分析[3]。人機協同核心技術挑戰是如何整合人類智能和機器智能，實現安全、自然和精準人機交互，本文綜述了人機共駕中的人類工效學問題，強調創建一個能夠真正提高整個團隊績效質量的雙向整合系統的重要意義，旨在解決人機共駕實際場景中人機協作的不確定性和脆弱性問題。

1 人機共駕中的人類工效學問題

按照汽車智能化、自動化的發展進程，國際自動機工程師學會（SAE International）將智能汽車的發展分為手動駕駛、駕駛輔助、部分自動化、有條件自動化、高度自動化和完全自動化6 個級別[3]，如圖1所示。

圖1 汽車智能化發展進程[3]

但是，由于目前的技術交通環境、公眾接受程度等因素，完全自動駕駛技術（L5級）何時能投入使用仍處于未知狀態[4]。在未來相當長一段時間內，智能自主系統人機共駕的狀態將成為常態。因此，在實現全域無人駕駛之前，產業界和學術界正努力研究駕駛員在環的智能系統，不再把自動駕駛汽車視為一種“工具”，而是一個“隊友”，充分發揮人類和自動駕駛汽車雙方的優勢合作完成駕駛任務。

使用自主系統可能會提高智能汽車的整體能力，但也可能帶來一些困難和挑戰，即任何智能車輛的自動駕駛算法都不能完全取代人類[5]。當面臨一些復雜的工況或緊急情況時，系統會發出接管請求，要求駕駛員接管車輛控制權。此時，駕駛決策需要在人類駕駛員和自動駕駛汽車之間安全、靈活地切換。因此，智能系統需要識別駕駛員的感知和意圖，從而達到駕駛決策的一致性，增強駕駛員的控制能力。這有助于引導駕駛員在面對突發事件時正確判斷環境狀況，進而有效做出合理的接管決策。

因此，智能汽車要充分考慮自動駕駛系統中駕駛員須始終在環的因素，將人腦的作用引入到智能系統的算法回路中。人機協同的認知決策一體化研究，確保了人始終是系統的一部分。對于智能系統給出的執行結果，人始終會對結果做進一步判斷，即人在環路協同優化，解決在復雜駕駛場景中車輛控制的人機沖突問題。本文從梳理人機協同的關系入手，探索人機認知與決策處理的差異，將人類信息處理的高級心理機制與智能自治系統的模糊問題緊密耦合，從而通過智能形式的混合增強形成雙向信息交換和設備控制，促進人機組隊的合理分工和人與智能汽車的實時交互[6]。

1.1 人機協作發展進程

人工智能技術的發展提高了機械的智能程度，智能技術及其自治特性推動了智能自治系統的變革。當系統可以在一定程度上自主行動時，傳統的“刺激—反應”的人機關系模式正在被改變，人機交互的時代正在向人機融合的時代發展[7]。自動化控制器正在控制復雜系統中取代人工干預，操作員的角色經常從主動控制器轉變為監督控制器，通過結合人類和機器各自的優勢，實現自然、安全、魯棒的人機協同任務，形成“人機組隊”式協作關系。

人機協作的發展進程可分為3個階段，如圖2所示。

（1）人機共生關系階段

20 世紀60 年代初，Licklide 首次提出了“人機共生”的觀點[8]，其中提到了在預期的共生伙伴關系中，人和計算機能夠合作做出決策和控制復雜情況。

（2）人機交互階段

20 世紀70 到80 年代，人與AI 的關系重點在于人機交互。1970 年成立了2 個人機交互研究中心，即HUSAT 研究中心和Palo Alto 研究中心。1982 年，ACM 人機交互學會（SIGCHI）成立。人機交互在多學科交叉融合下逐漸擁有了自己的理論體系。

（3）人機協作發展階段

20 世紀90 年代至今，人機協作進入快速發展期，進入到人機協作發展階段。2015 年Epstein 提出了協作智能（Collaborative Intelligence）概念，在人與計算機之間建立良好的協作關系，以共同實現人類目標。

1.2 智能系統人機智能協同的新型人機關系

目前，L3 級別自動駕駛汽車正處于典型的人機共駕階段。不同于傳統駕駛過程，人機共駕包括廣義人機共駕和狹義人機共駕。廣義人機共駕包括感知層、決策層和控制層。狹義人機共駕指人和系統同時在環，駕駛員與智能系統操縱相互交叉、融合，具有雙在環和雙交叉的特點[9]。于是，出現了一種新的合作關系，即人機關系從最初的人機交互關系發展并演化為人機協作關系[10-11]。不同于作為駕駛輔助的自動化系統，智能自主系統可以成為與人類合作的“協作隊友”，分享任務和操控權，形成“人機組隊”式協作的新型人機關系[12]。從長遠看，未來要實現人類和機器之間真正完全的共生關系，需要在機器中開發出真正類似人類特性的智能系統，將人的決策和經驗與機器智能在邏輯推理、演繹推理方面的優勢結合，使人機協作更高效，形成人機融合智能的概念框架（圖3）。

圖3 人機融合智能的概念框架[13]

智能系統認知過程包含輸入、處理、輸出3 個階段：

（1）人感知來自機器和物理環境的刺激，機器識別到來自人和物理環境的數據。

（2）分別基于各自不同屬性進行決策處理。

（3）最終生成的輸出物之間產生對話。

人和機器都是認知主體，屬于人機雙智能，這種群體智能系統不僅涉及人、機器、物理環境，也包含了3者間相互影響的關系[13]。

在人機融合中，人和機器是合作關系。這種合作表現在以人腦為代表的生物智能（認知加工能力）和以計算技術為代表的機器智能（人工智能）通過深度融合達到智能互補。人機交互與人機融合形成了一個連續體的兩端。隨著智能技術的發展，人機關系將繼續向人機融合端演化，各種具有不同智能程度的產品在這樣一個連續體內共存。按照Hollnagel 和Woods 提出的理論，人機融合就是通過人和機器2 個認知主體，互相依存和合作組成的協同認知系統[14]。

1.3 人機一體化認知決策模型

智能系統具有以下4項關鍵特征，包括情境感知、自適應學習、自主決策及主動交互與協同[15]。當人與具備這些特征的智能系統進行交互時，這些特征將衍生出一些在傳統人機交互領域內原本不存在的新興問題，包括人機協作任務分配、動態學習與修正、情境自適應及主動響應模式，也正是這些問題促進人機交互向人機一體化協同轉變。人類傾向于在與智能機器的互動中應用人類互動的規范，駕駛員已經從主要的控制者的角色轉變為共同完成任務的積極隊友[16-17]。智能系統是通過智能匹配實現的人機協同操作狀態，實現安全、高效、友好操控。智能系統的認知主體具有雙重智能，其協同感知來自于人機對象的復雜場景。智能系統結合各自的屬性完成雙向交互和混合決策，形成人機融合智能[18]。在模型開發方面，大多數現有模型采用生成式ACT-R（Adaptive Character of Thought-Rational）模型（圖4），用于模擬動態復雜多任務中人的績效，改進了以往采用單一模型模擬結果[19-20]。ACT-R模型在駕駛場景中完成一種交互計算和情景推理，從感知交互的層面有目的地提高人機的相互理解和共享感知能力。對于車輛的執行層面而言，人機協同也可以提高智能車輛在不確定動態環境下的響應能力。

圖4 ACT-R認知體系理論模型[20]

在實時變化的交通環境中，大多數駕駛決策需要在相當短的時間內做出。對于協同駕駛智能車輛，持續分析交通環境是實現駕駛自動化的核心技術之一，同時智能駕駛自動化系統應具有準確認知和理性決策的能力。駕駛員在執行駕駛決策時，遵循一定的認知決策和情感偏好。因此，駕駛自動化系統需要理解駕駛員的認知及心理過程，以便在環境的影響下與人類產生聯動效應。當前，人工智能計算技術的發展為認知計算建模提供了良好機遇。研究可計算的人的心理績效模型可為智能系統提供實時的自適應人機交互能力。研究智能系統產品的情感計算模型以及普適計算中的社會交互模型可以擴展現有模型中對認知加工的深度和廣度。認知模擬計算采用基于人的認知模型計算方法，來定量地模擬計算人在操作任務條件下的認知加工績效，為人類工效學在系統研發中提供一種評價和預測系統設計有效性的工具[21]。當認知模型與其他現有人類工效學模型（如人體測量和生物力學建模等）進行整合時，將為一些復雜領域中（如自動駕駛）特殊的、具有操作風險的任務和環境開展有效模擬仿真，從而為汽車智能系統設計的計算模擬提供人類工效學方案。

2 用于高級自動駕駛的智能系統

智能汽車人機協同智能系統由環境感知技術、智能決策技術和控制執行技術3個層面構成?；诔墒斓腁CT-R 認知決策理論，結合智能車輛的關鍵過程，即感知、決策、控制[22]，從人機混合認知、共享駕駛意圖、自主車輛控制權和個性化交互的角度探索人機合作的新范式，探討人機協同駕駛的具體內容。

2.1 人機混合認知

智能系統的人機協同體現在相互之間的即時溝通和更新共享信息。智能系統的環境感知通常由多種形式的分布式傳感器處理和合成，通常伴隨有先驗知識和智能模型。例如，機器通過計算屬性來完成表征和推理，而人類通過個性化的認知框架來完成表征和推理過程。機器計算過程和人類認知過程都存在一些程序性和描述性的不確定性。人類要正確處理信息，首先要正確接收人機界面的信息，然后通過人腦對信息進行正確分析和判斷，最后通過人的行為對機器進行正確操控，給機器輸入正確的信息。也就是說，通過人機界面可以實現正確的信息交換，從而減少誤判和誤操作概率，這可以顯著提高智能系統的可靠性和舒適性。

Chakraborti 等[23]認為理解人在環路中的能力與認知特性對于人機協同決策非常關鍵，并討論、促進解決有效人機協同的人的心智模型相關問題，包括心理狀態表征以及可有效學習表征的方法及其可用性，如經典的ACT-R 認知加工模型為解釋人類認知過程提供了一定的基本框架，它以描述性知識模塊為核心，類似于人腦，對目標、視覺和動作模塊進行整體處理。這些信息交互過程在一定規模上連續觸發，模擬了人腦的認知活動。ACT-R 提示系統處理收到的各種任務，包括感知、學習、理解和記憶任務，即機器語言難以描述和學習的習慣和經驗，甚至是類AI智能所需要的情感偏好，在更高的認知層次上為腦機智能疊加（如學習、記憶）建立更有效的模型和算法，探索將人的決策和經驗與機器智能在邏輯推理、演繹推理方面的優勢結合，從而更好地與人類交流，促進人機信任，進而促進人工智能框架對人類感知決策過程進行解釋、模仿甚至預測[24]。

2.2 共享駕駛意圖

在實時變化的交通環境中，需要在相當短的時間內做出許多駕駛決策，任務依賴于對最新環境的持續分析。因此，獲得并保持良好的態勢感知是保證駕駛員對周圍環境有足夠認識和理解的基礎，是動態系統中有效決策和控制的核心。文獻[25]指出，自動化系統可以提高態勢感知能力，為駕駛員提供更好的綜合信息。對于多成員團隊，共享駕駛意圖產生于每個認知主體的集合，即團隊情境意識（Situation Awareness，SA）可以被認為是每個團隊成員對其職責所要求的團隊情境意識程度。

因此，團隊成員SA 質量（作為一種知識狀態）可以用作團隊意圖的指標。對于團隊創建情景應用的方式，已經提出了各種理論，包括共享情景意識和分布式情景意識[26]。Kitchin 等[27]初步研究表明，分布式SA在團隊協作中的表現優于共享SA，因為前者能發揮各認知主體的優勢和團隊SA的質量，并能注意兩個主體在操作和所需情境信息上的優勢。因此，一些研究在人類操作者和自主認知主體中提出了合作認知系統的理論框架[16]。一些研究證明，人機協同智能系統的透明性對于人機團隊的共享SA[28]非常重要，因為它可以使人類對機器的狀態和動作保持足夠關注。

人類生物智能和機器智能可以通過雙向交流和深度融合實現智能互補，通過對多通道人機交互中的信號實現有效融合的智能方法，以支持對于駕駛員駕駛意圖的準確理解，從而有效支持人機合作[29-30]。此外，Chen等[31-32]開發了代理透明模型，這是一個促進和校準團隊信任的有效工具，以促進駕駛員對代理意圖、邏輯和預期結果的理解，從而規范駕駛員對代理的依賴。為此，Wang 等[33]提出了以人為中心、決策理論驅動的可解釋性人工智能（Explainable Artificial Intelligence，XAI）概念框架，探索了人類認知模式驅動構建XAI 的需求路徑以及XAI 如何減輕常見的認知偏差。

2.3 共享控制權

1978 年，Sheridan 等[34]首次將共享控制定義為“自動化和人工在同一時間處理同一任務的情況”。這種相互作用可以通過2種不同的方式實現：

（1）機器可以擴展人的能力（例如，動力轉向系統）。

（2）機器可以部分減輕操作者的總任務量（例如，具有觸覺反饋的機械臂）。

在非完全自動駕駛條件下，人類駕駛員實時在環，同機器系統共享決策控制權，協作完成駕駛任務，目的是為了讓人類和機器更加緊密地合作，高效地執行復雜任務。

根據轉向系統的不同，共享控制方式可分為直接式和間接式2種。直接式共享控制基于電動助力轉向系統（Electric Power Steering, EPS）實現，駕駛員操縱轉向盤和輔助系統形成機械耦合，并通過力反饋進行持續交互，因此也被稱為觸覺共享控制。間接式共享控制基于線控轉向技術（Steer By Wire,SBW），取消了轉向盤和轉向傳動裝置之間的機械連接，擺脫了傳統轉向系統的各種限制，用于減小人機沖突，具有更大的發展潛力。柔性制造要求機器人同伴在人類的個人空間內行動，這強調了有效的人機交互應該允許兩個智能代理共享對各種功能和任務的控制。機器人和駕駛員可能會參與對物體的共享操作，甚至與駕駛員直接接觸。然而，確定如何將駕駛員和自動駕駛車輛的自動化能力結合起來以實現最佳的人機合作仍然是一個挑戰[35]。實現駕駛員與自動化系統交互的一種有吸引力的方法是共享控制權，這是一種人機合作領域傳承來的概念，在機器人領域有多種應用。

在自動化行業實際應用中，智能系統會評估人類駕駛員是否能夠完成任務目標，然后決定是等待人類的操作指令，還是由智能代理自主響應[36]。因此，需要通過理解人類駕駛員在決定依賴自動輔助決策或他們自己的決策時使用的過程，決策輔助幫助人類駕駛員正確地評估情況或系統狀態，以通過警告和建議做出適當的響應。這個組隊決策過程是人機協作的輔助貢獻。例如，在高級自動駕駛汽車中，當駕駛員處于低負荷狀態時，該系統鼓勵駕駛員進行手動操作，以保持對駕駛員的有效監控。當駕駛員在高負荷狀態下執行駕駛任務時，系統會輔助駕駛人控制汽車。人機界面應突出當前的道路環境和駕駛目標，以便自動駕駛車輛有效地執行駕駛任務。

Muslim 等[37]還提出了一種以人為中心的自動駕駛汽車方法，該方法使用自適應策略在人類和機器之間切換控制權限。具體的自動化水平直接影響操作員所需的功能和對系統狀態的了解，這可能會試圖通過決策輔助技術減輕認知負荷。智能系統根據人機團隊中駕駛員的狀態和交通狀況，通常采用強化學習技術來實現人機智能協同中的動態學習與修正。Konstantinos 等[38]提出了一個交互式強化學習框架，該框架將人機智能協同中的顯性反饋與隱性人工反饋相結合，促進了智能系統的個性化。在共享控制中，自動化系統通過扭矩反饋向駕駛員傳達其期望的意圖，從而動態調整人機團隊任務。通過系統自優化決策算法的深度學習，最大限度地提高了人類與自動駕駛系統的協調性，使駕駛員能夠在動態變化的交通環境中準確優化駕駛決策。

2.4 個性化交互

在“人、車、環境”一體的交互體系中，駕駛員扮演了重要角色。駕駛員駕駛特性直接影響車輛行駛的安全性、舒適性。因此，如何學習理解和模仿特定人類駕駛員的駕駛行為和駕駛經驗，是智能系統實現個性化的關鍵。例如，在駕駛汽車換道過程中，不同駕駛員不僅在面對相同的道路環境時會有不同的駕駛風格，而且在不同的駕駛狀態下也會有不同的行為績效。當智能駕駛系統只考慮車輛自身狀態以及外界交通環境因素，在駕駛員駕駛習慣不確定或者與駕駛員操作風格相違背的情況下，智能系統為駕駛員提供的駕駛引導信息并不能被駕駛員接受和使用。這種情況一方面會降低駕駛員對駕駛輔助系統的信任，另一方面其貿然干涉行駛車輛容易造成駕駛員情緒緊張，最終造成不必要的交通事故[39-40]。

因此，人因屬性是智能系統適應駕駛員特異性的關鍵因素，駕駛員特性和駕駛狀態彼此耦合，形成“人駕”的內在屬性。因此需要駕駛員異質性參數，考慮駕駛員本身駕駛狀態，建立適應于個性化駕駛模式的人機協同共駕研究，提高智能駕駛系統與駕駛員之間的貼合度。Jin 等[40]在研究中發現駕駛員在與智能系統的初始交互中，會表現出與駕駛員交互不同的人格特征和交際屬性。在一些具體領域內人機智能協同的情感化研究方面，Mou 等[41]主要對看護機器人情感行為的相關功能進行了研究，認為機器人必須了解人的情感狀態，并建立虛擬情感狀態以表達情感，才能夠在交互與協同中產生情感化行為。Miyaji 等[42]研究了服務機器人中的情感交互，開發了一種面向人機協同的分布式系統，結合了所有基本感官元素，可以識別用戶情緒并通過情感交互提供個性化服務。

隨著人工智能和情感計算相關基礎理論研究和技術的突破，未來智能系統的交互研究方向將會向著混合認知、共享意圖和控制權及個性化交互方面不斷推進和深化，大大提升自動駕駛系統在環境感知、智能決策和控制執行技術能力，推進了智能汽車在復雜駕駛場景下的動態認知，增強自主性和適應性，有助于構建人機互補、人機融合、人機協同的人機智能系統[43-45]。

3 結束語

基于AI技術的智能系統，具有不同程度的環境感知、實時分析、自主決策、精準執行、學習提升能力。智能技術的自主特性帶來了一種新的合作關系，即人機組隊合作。在傳統人機交互中，人與機器（包括基于計算技術的產品）之間的關系基本上是一種“刺激與反應”的關系，即兩者間的“反應”按順序取決于另一方的“刺激”（輸入或輸出)。在人機融合中，人和機器的關系則是合作的關系。人和機器在感知、分析、推理、學習、決策多個智能水平上互相協同合作，從而實現系統的整體優勢。智能車輛不再是人類操作的工具，而是成為與人類合作完成動態共駕任務的合作者。

本文梳理了人機智能協同的人機新型關系、人機一體化認知決策模型、分析了高級自動駕駛的智能系統在人機混合認知、共享駕駛意圖、共享控制權、個性化交互這4 個方面的人機團隊合作，為未來智能系統中的人機合作提供了跨學科的視角，提出了人機協作研究發展趨勢思考。未來針對智能自主系統的人機合作研究中，在技術推進的基礎上，還需要充分考慮人類工效學設計因素方面的研究：

（1）要從倫理、道德角度出發，利用智能系統來增強人的能力而不是取代人。

（2）要充分考慮人類工效學設計，智能系統設計應該是可解釋、可理解、有用和可用，充分考慮人的因素來提供符合人類工效學要求的解決方案，從而最大限度地發揮智能系統的工作績效，實現人機合作的整體優勢。

（3）要將個人智能助理與智能輔助系統結合，全方位滿足用戶對多模態交互高效性、立體感、情感性方面的需求，能主動根據用戶學習思考用戶的需求，提供多元化的駕乘體驗。

未來面對工業人工智能化問題，對新型機器人還需加大研究力度，例如社會交互類機器人（如康復、娛樂、家居服務）的人機組隊、決策自主權，自動化透明設計、自動化信任、自動化機—機交互、情景意識、文化因素方面的研究。從人類認知屬性和機器計算屬性入手，展開對人機協作模式的研究，從人類的感知、認知理解、決策推理過程展開對人機認知決策的融合機理研究，實現人機智能高效融合。