人?AI 交互:實現“以人為中心AI”理念的跨學科新領域

許為，葛列眾，高在峰

（1.浙江大學 心理科學研究中心，浙江 杭州 310058;2.浙江大學 心理與行為科學系，浙江 杭州 310058）

人工智能(AI)技術正在造福人類，但是，目前許多AI 系統的研發主要遵循“以技術為中心”的理念[1-5]。研究表明不恰當的AI 技術開發導致了許多傷害人類的事故，AI 事故數據庫已經收集了1 000 多起事故[6]，這些事故包括：自動駕駛汽車撞死行人，交易算法錯誤導致市場“閃崩”，面部識別系統導致無辜者被捕等。美國工程院院士、計算機教授Shneiderman[4]將圍繞“以技術為中心”還是“以人為中心”理念開發AI 系統的爭議形象化地描述為“AI 哥白尼革命”，提出AI 開發應該將人類放在中心，而不是算法和AI 技術。

近幾年來，圍繞“以人為中心AI”理念、如何避免AI 傷害人類以及產生社會負面影響等方面的研究引起越來越多的重視[2-3,5-11]，目前國內外還沒有形成系統化的跨學科工作框架來有效應對這些新挑戰及促進這方面工作的開展。中國國家自然科學基金委員會在2020 年成立了交叉科學部，在交叉科學高端學術論壇上，受邀的AI、人機交互(human-computer interaction)、人因工程(human factors engineering)等專家一致認為，學科交叉是未來科學發展的必然趨勢。

在這樣的基于跨學科合作理念的背景下，本文回答以下3 個問題：與傳統計算技術相比，AI 技術帶來了什么新挑戰？應該如何促進“以人為中心AI”理念在AI 研發中的應用？從跨學科合作角度我們應該采取什么策略？本文將進一步闡述我們在2019 年提出的“以人為中心AI”(humancentered AI，HCAI)理念[2]，系統地提出人?人工智能交互(human-AI interaction，HAII)這一新興跨學科領域。希望通過倡導HCAI 理念和HAII 領域，促進AI 研發造福于人類，避免潛在的負面影響。

1 AI 技術帶來的新變化和新挑戰

1.1 AI 技術的跨時代特征

AI 界一般認為AI 技術主要經歷了3 次浪潮。前兩次浪潮集中在科學探索，局限于“以技術為中心”的視野，呈現出“學術主導”的特征。深度機器學習、算力、大數據等技術推動了第3 次浪潮的興起。在第3 次浪潮中，人們開始重視AI 技術的應用落地場景，開發對人類有用的前端應用和人機交互技術，考慮AI 倫理等問題。同時，AI 界開始提倡將人與AI 視為一個人機系統，引入人的作用[1,3]。

可見，第3 次浪潮開始圍繞“人的因素”來開發AI，促使人們更多地考慮“以人為中心AI”的理念。因此，第3 次浪潮呈現出“技術提升+應用開發+以人為中心”的特征[2]，意味著AI 開發不僅是一個技術方案，還是跨學科合作的系統工程。

1.2 智能時代的新型人機關系

AI 可以開發成具有自主化(autonomy)特征的智能體。取決于自主化程度，AI 系統可以擁有一定程度上的類似于人的認知、學習、自適應、獨立執行操作等能力，在特定的場景下可以自主地完成一些特定任務，可以在一些設計未預期的場景中自主地完成以往自動化技術所不能完成的任務[9-11]。

這種智能自主化特征賦予人機系統中機器新的角色。在非智能時代，人類操作基于計算技術，機器充當輔助工具角色。人與AI 系統的交互本質上是人與自主智能體的交互。隨著AI 技術提升，自主智能體有可能從一種支持人類操作的輔助工具的角色發展成為與人類操作員共同合作的隊友，扮演“輔助工具+人機合作隊友”的雙重新角色[11]。

因此，智能時代的人機關系正在演變成為團隊隊友關系，形成一種“人機組隊”(human-machine teaming)式合作[12-13]。智能時代的這種人機關系區別于PC 時代的人機交互，對AI 研發是挑戰和機遇，研發者需要在AI 研發中要利用這種人機合作，保證人類能夠有效控制AI 系統，避免傷害人類。

1.3 人?非AI 系統交互與人?AI 系統交互的比較

人機交互是PC 時代形成的跨學科領域，它研究人?非AI 計算系統之間的交互。表1 比較了人?非AI 系統交互與人?AI 系統交互之間的一些特征。人?AI 系統交互所具備的特征是基于AI 系統具有較高的智能自主化程度，有些特征目前還沒實現。從表1 可見，與人?非智能系統交互相比，人?智能系統交互帶來了許多新特征和新問題，也給人?智能系統交互的研究和應用帶來了新機遇。

表1 人?非AI 計算系統交互與人?AI 系統交互的特征比較Table 1 Comparative analysis between human interaction with non-AI systems and AI systems

續表 1

在人?非智能系統交互中，作為一種支持人類操作的輔助工具，機器依賴于事先設計的規則和算法。盡管人機之間也存在一定程度上的人機合作，但是作為輔助工具的機器是被動的，只有人可以主動地啟動這種有限的合作。

AI 系統智能體具備的自主化特征使得智能體與人類之間可以實現一定程度上類似于人?人團隊之間的“合作式交互”。在特定的操作環境中，這種交互可以是由兩者之間雙向主動的、分享的、互補的、可替換的、自適應的、目標驅動的以及可預測的等特征所決定的(見表1)。隨著AI 技術的發展，未來AI 系統將更多點地具備這些特征[13]。

由此可見，智能時代人?AI 系統交互的新特征以及研究的問題等已經遠超出了目前人機交互研究和應用的范圍，需要一種新思維來考慮如何更加有效地開展多學科合作來應對人?AI 系統交互以及AI 系統研發中面臨的一系列新特征和新挑戰。

2 HAII 領域的興起及領域理念

國外針對人?AI 系統交互的研究和應用已經展開[12-13]。例如：人?智能體交互[14]，人?自主化交互(human-autonomy interaction)[15]，人?AI交互[16]。盡管這些工作各有側重點，但是都是研究人與智能“機器”(智能體、智能代理等) 之間的交互。所以，這種交互本質上就是人?AI 交互 (human-AI interaction，HAII)。目前還沒有一個系統的有關HAII 領域的工作框架，有必要正式提倡將HAII 作為一個新的多學科交叉領域來推動。

2.1 HAII 領域的理念：以人為中心AI

近幾年，當“以技術為中心”方法影響著AI 研發的同時，研究者也在探索基于“以人為中心”的AI 開發方法，例如，以人為中心的算法、AI 人文設計、包容性設計、基于社會責任的AI[8]。

斯坦福大學在2019 年成立了“以人為中心AI”(human-centered AI，HCAI) 研究中心，目的是通過技術提升與倫理化設計手段，開發出合乎人類道德倫理和惠及人類的AI 系統[17]。

許為[2,18]在2019 年提出了一個“以人為中心AI”(HCAI)的系統概念框架，該框架包括人、倫理、技術3 個方面。Shneiderman[19]在2020 年提出了一個為開發可靠、安全和可信賴的AI 系統的指導框架。HCAI 就是指導HAII 新領域的理念。以下進一步闡述HCAI 理念的3 個方面：技術、人、倫理(見圖1)[2]。其中，圖1 概括了各方面工作的主要途徑(見圖1 中圍繞3 個周邊圓形部分的藍色字體)，例如，人的需求、AI 應用場景；圖1 也概括了這些工作要達到的HCAI 設計目標(見圖1 中圍繞“以人為中心AI”中心圓形部分的黑色字體)，例如，可用的AI、有用的AI。

圖1 以人為中心AI(HCAI)理念Fig.1 Human-Centered AI (HCAI) design philosophy

1)“技術”方面：強調3 類智能的有機結合。①機器智能：利用算法、大數據、算力等技術來開發機器智能。②人類智能：利用智能增強技術，借助心理學、腦神經技術等方法推動人類智能的增強。③人機混合增強智能：AI 界已經認識到單獨發展AI 技術的路徑遇到了瓶頸效應，在高級人類認知方面難以達到人類的智能水平[1,3，20]。因此，HCAI 理念強調將人的作用融入人機系統，通過人機智能的互補，開發人機混合增強智能、AI 與人類智能增強技術的整合。目的是開發出可持續發展、強大、人類可控的AI；AI 開發的目的是提升人的能力，而不是取代人類。

2)“人”方面：強調在AI 系統研發中從人的需求出發，落實有效的應用場景，開發人類認知模型，在AI 研發中實施基于“以人為中心”的人機交互設計和方法(建模、設計、測試等)。目的是開發出有用的(滿足人的需求、有使用價值)、可用的(易用、易學)、人類擁有最終決控權的AI 系統。

3)“倫理”方面：結合跨學科方法、有效開發實踐、標準和治理等工作，通過工程設計手段(如“有意義的人類控制”)，保證AI 開發遵循公平、人的隱私、倫理道德、人的決策權等方面的權益。目的是開發出倫理化、負責任的AI。

HCAI 理念強調在AI 開發中保持人的中心地位，貫徹技術、人、倫理三方面相互依承的系統化AI 開發思維，主張AI 開發是一個跨學科協作的系統工程，開發出可靠的、安全的、可信賴的AI 系統[2,19]。

2.2 HAII 領域的工作框架

針對HAII 這一新興領域，我們作出以下初步的定義。圖2 示意了人?人工智能交互(HAII)的領域框架，其中，藍色圓圈部份代表跨學科的主要合作學科，白色長形部份代表本文所討論的HAII 研究和應用的主要問題。

HAII 領域理念：以人為中心AI(HCAI)。

HAII 領域目的：作為一個跨學科交叉領域，HAII 利用AI、計算機科學、人機交互、人因工程、心理學等學科技術和方法，致力于合作研發AI 系統，優化人與AI 系統之間的交互，注重機器與人類智能的優勢互補，全方位考慮AI 倫理道德，強調人對AI 系統的最終決控權，通過提供一個跨學科的合作平臺，在AI 系統開發中實現HCAI 開發理念，為人類提供安全、可靠、可信賴的AI。

HAII 研究和應用范圍：狹義地說，HAII 涉及到人與AI 系統交互的研究和應用；廣義地說，任何涉及到由人來使用、影響人的AI 研究發都屬于HAII 的范疇，包括與人產生交互的AI 系統的研究和應用領域，如智能手機應用APP、智能人機交互技術、智能決策系統、智能物聯網等。如圖2 所示，HAII 從人?機?環境系統的角度來考慮各種因素對人與AI 交互的影響，全面了解這些影響有助于發揮AI 技術的優勢，避免負面影響。

圖2 人?人工智能交互(HAII)領域示意Fig.2 Illustration of the human-AI interaction (HAII) domain

HAII 領域方法：作為一個跨學科領域，通過多學科方法(建模、算法、設計、工程、測試等)和合作的流程來開發AI 系統。這些方法來自這些相關學科，例如計算模型、工程設計方法、行為科學研究方法、人機交互設計等。

HAII 領域人員：從事HAII 研究和應用的人員包括來自AI、計算機、數據科學、人機交互、心理學、認知神經科學、社會科學等專業人員。廣義地來說，大多數從事AI 系統研發的人員都屬于這個范疇，他們研發的AI 系統或多或少都與人交互，都是為了開發出有利于人類的AI 系統。

2.3 為什么需要HAII 新領域

首先，HAII 領域為各學科提供了一個合作平臺。HAII 有助于在一個領域名稱(HAII)下，聯合參與AI 系統研發的跨學科、跨行業專業人員，避免易混淆的名稱，這種跨學科合作有助于有效地開發以人為中心的AI 系統。

其次，HAII 領域強調其研究和應用的對象是AI，不是傳統的非AI 系統，有助于提醒人們注重AI 與非AI 系統之間的特征差異，促使人們重視AI 技術帶來的新挑戰和新問題，采用有效的方法來解決AI 系統開發中的獨特問題。

最后，HAII 領域有助于推動HCAI 理念在AI 研發中的落實。HAII 強調AI 研發中將人的中心作用整合到系統設計中，避免潛在安全風險問題[8,20]。

歷史上，新技術促進了新領域的產生。進入PC 時代，傳統“人機交互”(human-machine interaction)領域過渡到新版的“人機交互”(人?計算機交互)，但是此“機”非彼“機”[21]。智能時代的機器過渡到AI 系統，AI 的新特征促使HAII 新領域的產生，因此，HAII 的出現也是必然的。

我們并不建議將HAII 設置為一門獨立的新學科，強調HAII 是一個新型跨學科領域，希望通過該領域的跨學科、跨行業協同合作來落實HCAI 理念。例如，HAII 工作需要人機交互人員的參與，他們必須采用新思維開展針對人與AI 交互的研究和應用。

2.4 實現HCAI 理念面臨的挑戰和HAII 解決方案

HAII 領域的工作并非剛剛興起，AI 界和其他相關學科已經開展了一些工作。為進一步闡述HAII 領域，基于文獻綜述和分析，表2 概括了當前HAII 研究和應用的重點、實現HCAI 理念的挑戰、HAII 領域可能的解決方案、期望的HCAI 設計目標。表2 也引用一些實例，詳細內容在本文第3 部分討論。

從表2 可知，首先，為實現基于HCAI 理念的設計目標，HAII 研究和應用有許多挑戰期待解決。不解決這些挑戰我們就無法實現HCAI 理念，無法開發出安全、可靠、可信賴的AI。

表2 HAII 領域中實現HCAI 理念所面臨的挑戰、HAII 可能解決方案、應用實例以及HCAI 設計目標Table 2 Challenges in realizing the HCAI design philosophy,possible HAII solutions,application examples,and expected HCAI design goals

續表 2

其次，表2 概括出了HAII 研究和應用的范圍。目前來自AI 和其他學科的專業人員在開展這方面的工作，這些挑戰不是單一學科可以解決的，這正說明了HCAI 和HAII 工作需要跨學科的協同合作。

最后，HAII 領域采用跨學科的方法。HAII 研究和應用的挑戰、可能的解決方案以及實例都依賴于跨學科方法(建模、工程設計、行為科學方法等)，單一學科的方法無法有效地解決這些問題。

40 多年前，當PC 新技術剛興起時，開發者基本遵循“以技術為中心”的理念。隨著PC 的普及，許多用戶體驗問題隨之出現，人們開始意識到“以人為中心設計”理念的重要性，來自計算機科學、人因工程、心理學的專業人員協同推動了人機交互學科的形成和發展。多年的實踐，用戶體驗的理念已經在社會和計算技術界形成共識。

今天，隨著AI 技術的引進，我們又目睹了類似情景，但是這一次忽略“以人為中心”理念的代價對人類和社會的影響將更為嚴重[6]。因此，各學科必須再一次協同合作，推動智能時代的“以人為中心設計”版本(即HCAI 理念)和HAII 領域的工作，更加有效地利用AI 技術，揚長避短，為人類服務。

另外，HCAI 理念和HAII 領域定義的是AI 開發中應該遵循的理念、目標及途徑等，并非是一個具體模型或算法。我們強調跨學科合作，一旦明確了這些理念、目標及途徑等，AI 人員就能更加有效地開發出實現HCAI 理念、設計目標的模型、算法以及技術。

3 HAII 研究和應用的關鍵問題

依據HCAI 理念，針對目前AI 帶來的新挑戰，我們從以下幾方面分析目前HAII 研究和應用的進展，提出今后的重點方向。目前一些AI 人員也在開展這方面工作，希望HCAI 理念和HAII 領域的提出能夠強化這些人員的HCAI 理念以及跨學科的合作，也希望非AI 人員積極參與到HAII研究和應用中。

3.1 人類智能增強

自1956 年AI 概念被提出后，研究者已經開始致力于另一條路徑：智能增強 (intelligence augmentation，IA)[41]。智能增強致力于增強人類智能[42-43]。研究人員利用新技術(如心理學、腦機接口、虛擬現實)，借助AI 技術來推動智能增強的研究和應用[44]。從HCAI 理念看，HAII 領域與智能增強具有相同目標：利用AI 技術來增強人的能力。

AI 領域與智能增強領域之間長期存在競爭。一些AI 人員認為AI 可以取代人類，而智能增強人員認為AI 僅僅為智能增強技術提供了新的手段[23]。從HCAI 理念分析，AI 和智能增強會采用類似的技術，遵循的應該都是擴展人類智能，應該是“以人為中心”的伙伴關系，許多智能方案其實是兩種技術的集合，HAII 可以為兩者的合作起到橋梁的作用。

今后，智能增強研究中有許多問題需要HAII領域的貢獻。首先，機器智能無法模仿人類智能的某些維度，HAII 提倡從跨學科角度來探索哪種類型的人類智能增強以及技術可以提供有效手段來彌補AI 的弱點[45]，這需要智能增強人員主動尋求來自AI、心理學、認知神經科學、人因工程學科的支持。

其次，開發AI 與智能增強技術最佳組合的應用解決方案將有效促進兩種技術之間的合作，從而達到“1+1>2”的效果。HAII 領域可以起到一個中間橋梁的作用，從人機交互、心理學等學科角度，從人機交互方式、多模態交互兼容性、人類認知加工水平、AI 系統自主化程度等多種維度來開發能夠支持人與智能系統有效交互的解決方案。

第三，依據HCAI 理念，智能增強專業人員要將人類置于系統方案的中心。HAII 領域提倡心理學、認知神經科學等人員積極參與研究。例如，基于可塑性機制，構建認知負荷可控、及時生理反饋、體腦雙向交互的新型人機交互研究。這些研究將有效支持在許多應用領域中訓練和增強人類智能[46]。

最后，在生物神經層面上尋找AI 技術與智能增強技術的整合解決方案。這是當前關注的研究方向之一，例如，腦機融合[47]。HAII 提倡AI、認知神經科學、腦成像技術、人機交互等人員合作，優化腦機界面解決方案，通過在生物神經層面上整合AI 與智能增強技術來探索有效的人?AI 交互手段[48]。

3.2 人機混合增強智能

將人類的作用和人類智能引入AI 系統將形成人類智能與機器智能的優勢互補，從而開發出更強大、可持續發展的人機混合增強智能[1,20,48]。

目前，針對混合增強智能的研究基本可分為兩類。第一類是在系統層面上的“人在環路”式混合增強智能[49]。這種思路符合HCAI 理念，即將人的作用引入AI 系統中，形成以人為中心、融于人機關系的混合智能。例如，在“人在環路”范式中，人始終是AI 系統的一部分，當系統輸出置信度低時，人主動介入調整參數給出合理正確的問題求解，構成提升智能水平的反饋回路[1,50]。另一種方案是在生物學層面上開發“腦在環路”式混增強智能[3]，以生物智能和機器智能深度融合為目標，通過神經連接通道，可以形成對某個功能體的增強、替代和補償。

第二類混合增強智能是將人類認知模型嵌入AI 系統中，形成基于認知計算的混合增強智能[1]。從HCAI 理念分析，這類混合增強智能并不是真正意義上的人機混合增強智能，因為這種系統并非能夠保證以人機系統為載體來實現人在人機系統中的中心作用和最終決控權。當然，把人類認知模型引入到機器智能中，對于發展機器智能是非常重要的。

HAII 領域工作將對人機混合增強智能研究和應用發揮重要作用。首先，HAII 領域提倡心理學、認知工程等學科專業人員的合作支持，加速現有心理學等學科成果的轉換來支持認知計算的研究，提供有效的認知計算體系架構[51]，例如，為提高對非結構化視聽覺感知信息的理解能力和海量異構信息的處理效率，HAII 領域需要支持AI 界在“感知特征的提取、表達及整合”和“模態信息協同計算”等方面的視聽覺信息認知計算研究[52]。HAII 鼓勵將基于認知計算方法與“人在環路”方法(系統、生物學層面) 整合的工作思路。基于HCAI 理念，這種思路有助于開發出更強大、可持續發展的、人類可控的AI。

第二，開展基于HCAI 理念的人機混合智能控制研究。針對人機混合智能系統控制，目前主要有兩種方案：“人在回路控制”和“人機協同控制”[53]。AI 系統在應急狀態時人機之間的高效切換是目前重要研究課題。例如，自主武器系統發射后的追蹤控制，自主駕駛車應急狀態下的高效人機切換。HCAI 理念要求人擁有最終控制權，這需要AI、人機交互等專業人員的合作，尋找有效解決方案。

第三，開展人機混合增強智能系統的人機交互研究。“人在環路”混合智能系統需要與用戶交互的交互設計[24]。不同于傳統人機交互，用戶交互的對象是AI 模型，用戶界面難以理解，用戶與AI 交互中存在用戶意圖的不確定性[1]。HAII 研究要求AI 專業人員與人機交互、人因工程等專業合作，從智能系統、用戶、人機交互設計三方面優化系統設計。例如，開發自然式交互設計，選擇有效的心理模型。

最后，開展人類高級認知層面上的人機混合增強智能研究。HAII 研究需要AI、認知神經科學、計算機科學、心理學等專業人員的合作。例如，進一步探索人機融合、腦機融合等方面的研究，今后要在更高的認知層次上為腦機智能的疊加(如學習、記憶)建立更有效的模型和算法[44]；探索如何將人的決策和經驗與機器智能在邏輯推理、演繹推理等方面的優勢結合，使人機合作具有高效率[1]。從長遠看，人機混合增強智能未來可能形成有效的人機共生[46]，通過個體和群體智能融合等途徑，最終在系統和生物學層面上實現人機共生和融合[54]。

3.3 人?AI 合作

智能技術帶來了一種新型人機關系：人?AI 合作，人?AI 系統作為一個組合體比單個實體的工作更加有效[27,29]。人?AI 合作的研究目前在國外是一個熱點。HAII 研究需要AI、心理學和人因工程等學科的合作，從感知、認知、執行3 個層面上開展。

在感知層面，為了有效的人?AI 合作，AI 系統需要人的模型來支持系統對人類狀態的監控(生理、行為、情緒、愿圖、能力等)；AI 系統的人機界面要足夠透明，幫助人類了解當前系統狀態。例如，人機之間情景意識(態勢感知)分享是人?AI 合作研究的基本問題之一。研究需要了解如何有效實現人?AI 之間基于情景意識模型的的雙向溝通[55]，目前還缺少針對人?AI 合作的情景意識模型和測試方法[56]。今后的HAII 工作需要豐富情景意識理論，為人?AI 合作建模、認知架構、績效測評提供支持。

在認知層面，PC 時代的人機交互模型已經不能滿足智能時代的復雜交互場景。HAII 需要構建符合人?AI 合作的認知和計算模型[57]。人與AI 之間的互信影響人?AI 合作的績效，HAII 需要研究信任測量、建模、修復、校正等方面的工作，以及如何量化不同操作場景中人機之間動態化功能交換時所需的信任。不同于傳統人機交互，人與AI 均需要彼此感知并識別交方的意圖與情感，今后研究要進一步探索心理模型、意圖識別、情感交互等模型，以及在系統設計中如何實現和驗證這些模型。

在執行層面，有效的人?AI 合作應該允許在任務、功能、系統等層面上實現決控權在人與AI 代理之間的分享。決控權的轉移取決于人機雙向信任、情景意識共享、合作程度等因素。例如，在自動駕駛車領域，HAII 工作需要研究人機控制分享范式、人機共駕所需的情景意識分享、人機互信、風險評估等，保證車輛控制權在人機之間的快速有效切換，確保人擁有最終控制權(包括遠程控制等)[58]。HAII 研究需要了解在什么條件下人機之間如何完成有效切換，是否可以借助人?AI 合作的思路，通過有效人機交互，提供有效的人機控制權轉移。HAII 今后的工作還應該在以下幾方面開展。

首先，HAII 需要為人?AI 合作的研究開發新理論、模型以及評估和預測人?AI 合作團隊績效的方法，這些都是傳統人機交互中沒有遇到的新問題。HAII 領域的工作要支持AI 建模以及對建模數據的需求(例如，情景意識、行為、意圖、信任)[13]，合作開發人?AI 合作在各種應用領域的解決方案。

其次，HAII 領域需要從行為科學等角度、社會層面上來研究人?AI 合作。要研究社會因素(社會責任、道德等)對人?AI 合作的影響，研究如何讓AI 代理擔當團隊角色并且與人類隊友合作[13]；研究如何從系統設計角度，通過合適的人機交互方式來發展良好的人機關系(信任，情感等)；研究如何有效支持長期人?AI 合作(如醫用機器人)。

第三，HAII 研究要構建人?AI 合作場景所需的人機交互建模。與AI 人員合作研究對人?AI 合作中人機交互建模構成挑戰的理論問題，例如，分布式認知理論，基于上下文的知識表征和知識圖譜[59]，人?AI 合作中情感交互、社交互動等方面的認知建模。

最后，HAII 需要在真實的操作、社交環境中研究人?AI 合作[60]。例如，實驗室研究表明，與簡單機器人的交互可以增強人的協調性，并且機器人可以直接與人合作[61]；人?AI 合作中AI 與人的認知風格、人格特性等特性相適應時，可增強人機互信與可靠性。今后要在真實社會環境中驗證這些人?AI 社會互動，這將有助于優化人?AI 合作的設計。

3.4 可解釋AI

深度學習等方法會產生AI“黑匣子”效應，導致用戶對AI 系統的決策產生疑問，該效應可在各類使用中發生，包括AI 在金融股票、醫療診斷、安全檢測、法律判決等領域，導致系統決策效率降低、倫理道德等問題，影響公眾對AI 的信任度。

尋求可解釋AI(explainable AI,XAI)已成為AI界的一個研究熱點，具有代表性的是DARPA[62]在2016 年啟動的項目。該項目集中在：1)開發或改進ML 技術來獲取可解釋算法模型；2)借助于先進的人機交互技術，開發可解釋AI 的用戶界面模型；3)評估心理學解釋理論來協助可解釋AI 的研發。

經過多年的努力，AI 界開始認識到非AI 學科在可解釋AI 研究中的重要性[63]。Miller 等[64]的調查表明，大多數可解釋AI 項目僅在AI 學科內展開。許多AI 人員采用“以算法為中心”的方法，加劇了算法的不透明[65]。一些AI 人員沒有遵循HCAI 理念，通常為自己而不是用戶構建可解釋AI[66]。研究還表明，如果采用行為科學方法，側重于用戶而不是技術，針對可解釋AI 的研究將更有效[64]。

今后HAII 領域的工作主要有以下幾方面。首先，研究和開發“以人為中心的可解釋AI”解決方案。HAII 領域要從人機交互、心理學、人因工程等方面來尋找解決方案。以往許多研究是基于靜態和單向信息傳達式的解釋，今后HAII 工作要研究探索式、自然式、交互式解釋來設計可解釋界面[67-68]。

第二，HAII 領域提倡可解釋AI 研究要進一步挖掘心理學等模型。盡管這些理論和模型通常是基于實驗室研究產生，可解釋AI 研究應該善于利用這些模型，同時驗證它們的可行性[68]。HAII的工作可以利用本身交叉學科的特點起到一個中間橋梁作用，加快理論轉換，構建有效的界面或計算模型。

最后，HAII 領域要開展可理解AI 的研究和應用。可解釋AI 也應該是可理解的[68]，可解釋性是必要條件，但不是充分條件。從HCAI 理念考慮，可理解AI 方案應滿足終端用戶的需求(例如知識水平)。這方面的研究需要行為科學方法的支持以及實驗驗證[69]。

3.5 人類可控自主化

智能自主化技術正在走進人們的工作和生活，但是已有人開始混淆自動化與自主化的概念，這可能導致對技術不恰當的期望和誤用[10]。自動化技術按照固定算法、邏輯和規則而產生確定的機器行為。智能系統會擁有不同程度的類似于人的智能(自適應、自我執行等能力)，系統輸出具不確定性，有可能出現偏差的機器行為。AI 的自主化特征對安全和大眾心理等負面影響還沒有引起足夠的重視[70]。

從HCAI 理念出發，我們提倡基于“人類可控AI”設計目標的人類可控自主化設計，即智能自主化系統需要人類的監控，人類操作員具有最終的決控權(通過直接或遠程操控等方式)[4]。

人因工程界已經對一些復雜領域(航空、航天等)中的自動化系統開展了廣泛的研究，已達成共識[71-72]。許多復雜自動化系統存在脆弱性，在設計所規定的操作場景中運行良好，但是在遇到意外事件時，可能導致操作員的“自動化驚訝”現象[71]：操作員無法理解自動化正在做什么，為什么這樣做。

Endsley[70]認為在智能自主化系統中，隨著系統自主化程度的提高，各單項功能的“自動化”水平也相應提高，這可能會導致操作員對這些功能的關注度降低，在應急狀態下出現“人在環外”的現象。對近幾年發生的多起自動駕駛車致命事故調查表明，界面模式混淆、“人在環外”、過度信任等問題正是以往自動化系統中出現的典型問題[73-74]。

智能技術中潛在的自主操作性等特征也會造成人們對該技術產生類似于對自動化的過度信任。具有學習能力的自主化系統意味著其操作結果的不確定性可能以意想不到的方式發展，有可能給操作員帶來比自動化更強烈的“自動化驚訝”體驗。

今后HAII 領域的工作可從以下幾方面考慮：

首先，HAII 領域要針對一些自主化的基本問題展開研究。從人機交互角度充分理解AI 自主化特性對人機交互設計的影響，研究自主化對操作員期望、角色等的影響，研究自主化對操作員情緒應激、認知能力、人格特質和溝通屬性的影響[75-76]。

其次，HAII 領域要在自主系統開發中實現HCAI 理念的“人類可控AI”設計目標。目前，盡管人機交互等專業人員參與了自主化系統(如自動駕駛汽車)的研發，但是頻頻發生的事故提醒我們評估目前的方法[11]。SAE[77]認為L4-L5 等級的自動駕駛車不需要人類監控和干預，我們質疑SAE 忽略了自動化和自主化之間的本質差異[78]，可能對設計、安全、標準化和認證等產生不利影響。高等級自動駕駛汽車是一個“移動式”自主化系統，不是傳統的自動化系統。基于HCAI 理念，要從人-AI 合作、人機互信、態勢感知共享、自主化共享等角度探索自主化設計，實現有效的人機共駕及交接[79]，任何等級的自動駕駛車都需要確保人是系統的最終決控者(包括遠程控制方式)。

最后，實現針對自主化系統的“有意義的人類控制”(meaningful human control)設計目標[40]。HAII 工作要落實該目標的實現：1)通過“人在環路”、人機交互設計，保證應急狀態下人類可接管或中斷系統運行；2)在重要的自主化系統中安裝“故障追蹤系統”來實現設計改善和人機故障問責制[40]，推動HCAI 理念中“人類可控AI”設計目標的實現。

3.6 智能人機交互

智能化人機交互為HAII 領域帶來了挑戰和機遇。AI 系統豐富的應用場景和用戶需求需要有效的人機交互范式[80]。現有人機交互方式(如WIMP)局限于有限的感知通道、交互帶寬不足、輸入/輸出帶寬不平衡、交互方式不自然等問題，已有研究提出了Post-WIMP 的范式[81]，這些范式需要HAII 工作的驗證。多模態融合及并行交互范式是今后HAII 的重要研究內容，這方面研究目前主要在AI、計算技術界展開，HAII 應該提供跨學科支持。HAII 還要在情境感知、意圖理解等方面取得更大突破[81-83]。

人?AI 合作的新型人機關系對人機界面設計提出了新要求。傳統人機界面主要基于“刺激?反應”理念的“指令順序”式交互，針對智能人機交互(情感、意圖識別、上下文檢測等)的多模態余度式交互，HAII 要設計有效的人機界面來支持人?AI 合作所需的情景意識分享、人機互信、人機控制分享等。

HAII 領域要開發針對AI 系統的人機交互設計標準。現有的標準主要是針對非AI 系統，國際標準化組織正在起草人?AI 系統交互的設計標準(ISO 9241-810)[36]，已有一些針對AI 系統的人機交互設計指南[16,64]，但是還需要HAII 領域的貢獻。

3.7 倫理化AI 設計

HCAI 理念推崇的倫理化AI 設計目標是AI 界目前普遍關心的重要問題。研究表明，AI 人員在職業培訓中通常缺乏應用倫理規范進行設計的培訓，AI 界已經認識到倫理化AI 設計需要多學科的合作[84]。專業組織和企業已發布了多套AI倫理準則，但是研究表明在AI 系統開發中如何有效落實這些規范有待進一步努力，一些專業人員是在開發后期而不是過程中考慮倫理化設計[85]。因此，HAII 領域的一項重要工作是將倫理化AI設計落實在開發過程中。

首先，HAII 領域要開展針對AI 機器行為的研究。2019 年MIT 等大學的多名學者在《自然》上發文建議開展AI 機器行為的研究[9]。目前從事機器行為研究主要是AI 人員，沒有受過行為科學的訓練。AI 機器行為的非確定性，需要從算法、數據、培訓、測試等方面來研究影響因素，避免算法偏差。目前，已有基于HCAI 理念的機器行為研究，例如，“以人為中心的機器學習”、交互式機器學習等方法[22,66]。這些方法有助于在開發中解決AI 系統極端行為、公平性等問題。

第二，HAII 領域可采用跨學科的方法論來支持倫理化AI 設計，將人機交互所倡導的迭代式設計和測評方法應用在模型算法訓練中，收集算法培訓數據，定義用戶預期結果并且轉化成有效的輸入數據，利用早期原型開展用戶體驗測評，通過迭代式設計和測試來減小算法偏差[86]。

第三，采用“有意義的人類控制”方法將倫理化AI 落實在系統設計中[40,70]。系統設計要保證：1)操作員能夠對所使用的自主化技術做出知情且有意識的決策；2)操作員有足夠的信息來確保采取合法的行動。另外，在系統設計、測試、專業人員培訓等方面采取措施來確保人類對系統的有效控制。“有意義的人類控制”與HCAI 理念一致，有利于在設計中實現倫理化AI 的目標。

最后，HAII 領域要優化AI 的開發實踐來支持倫理化AI 設計。研究表明，目前AI 界缺乏有效的倫理化AI 設計方法論、指導設計選項的技術細節或詳細示例[85]。HAII 領域可從“人在環路”AI、人-AI 合作等設計思路方面提供幫助。如何將倫理化AI 原則嵌入到開發流程、如何提高倫理化AI 準則對AI 工程師行為的影響、如何提升AI 工程師的倫理化設計技能等方面的問題都需要HAII 的多學科方案。

4 HAII 研究和應用的挑戰及對策

作為一個新興領域，在實現HCAI 理念的實踐中，HAII 研究和應用必定面對挑戰。

第一，AI 人員缺乏對HCAI 理念的理解。許多AI 人員在開發中基本按照“以技術為中心”的理念，一些人員認為人機交互無法解決的問題目前已被AI 技術解決(如語音輸入)，人機界面不必考慮用戶體驗；而人機交互等專業人員往往在AI 項目產品需求定義后才參與項目，限制了他們對AI 系統設計的影響，并且導致一些AI 項目的失敗[87-89]。

第二，AI 系統研發中缺乏有效的跨學科合作。AI 人員與非AI 人員之間缺乏有效的溝通語言，非AI 人士缺乏必要的AI 知識，而AI 人士缺乏對其他學科的了解[90]。目前，已有研究提出了基于HCAI 理念的AI 與人機交互專業人員的“配對式AI 合作開發流程”[40]以及提升的人機交互方法[91]。

第三，跨學科合作缺乏有效的方法。一些人機交互人員在AI 系統開發中仍然采用傳統針對非AI 系統的方法；許多AI 人員不易接受其他學科的方法。目前，人們已經提出了一些方法，例如，“AI 優先”方法、“AI 作為設計材料”[37,39]。

為有效實現HCAI 理念和開展HAII 工作，從以下3 個層面提出建議，如圖3 所示。

圖3 有效實現HCAI 理念以及開展HAII 研究和應用的“三層面”策略Fig.3 “3-layer” strategy for effectively implementing HCAI and carrying out HAII research and application

首先，在AI 研發團隊層面，建立多學科團隊和采用跨學科方法。AI 帶來的新問題只有采用多學科合作才能找到有效方案。基于HCAI 理念來優化現有的AI 研發流程，例如，在開發初期制定HCAI 設計目標，優化在各個開發流程節點上協同合作。

其次，在AI 研發企業組織層面，培育基于HCAI 理念的組織文化，制定基于HCAI 的開發標準指南，提供HCAI 研發資源(跨學科人力資源、HAII 項目、跨學科研究設備等)，建立高效的AI 研發團隊。

最后，在AI 研發社會層面，培養具備HCAI理念的跨學科復合型人才。例如，在高校開設“AI 主修+輔修”、“主修+AI 輔修”本科專業，培養針對HAII 關鍵問題的碩博研究生；制定AI 發展策略、法規等；開展跨行業、跨學科攻關項目，提倡學術界和工業界之間的協作；設立政府專項基金來支持HAII 項目；建立完善的產學研相結合的科研體系，在一些關鍵行業開展HAII 研究和應用。

5 結論

1)當前的智能時代呈現出“技術提升+應用開發+以人為中心”的階段特征。擁有一定程度的學習、自適應、獨立執行等能力是智能技術的獨特自主化特征，賦予了機器在人機系統中新的角色，帶來了新型人機關系：人?AI 合作。與人?計算機交互相比，人?AI 交互帶來了許多新特征和新問題，給AI 系統研發帶來了新挑戰，促使我們重新評估目前所采用的、基于非AI 系統的研發策略。

2)為有效解決AI 系統研發中的新挑戰，本文闡述了HCAI 的理念，它強調三方面工作的有機結合。①“技術”：提倡AI 技術的發展策略應該注重人類與機器智能的優勢互補，將人的作用引入AI 系統中，從而產生更強大、可持續發展的人機混合增強智能。AI 的目的是提升人的能力，不是取代人。②“人”：強調從人的需求出發，為人類提供有用、可用、人類擁有最終決控權的AI 系統。③“倫理”：從人類倫理出發，AI 系統研發要避免產生倫理道德等問題，目的是開發出倫理化、負責任的AI。

3)為實現HCAI 理念在AI 研發中的落實，本文系統提出HAII 這一跨學科新領域。HAII 領域可以為各學科提供一個有效的合作平臺，注重AI 技術的新挑戰和新問題，有助于推動HCAI 理念在AI 研發中的落實，開發出安全、可靠、可信賴的AI 系統。

4) 針對AI 帶來的新問題，我們提出今后HAII 研究和應用的重點方向，它們包括人類智能增強技術、人機混合增強智能、人?AI 合作、可解釋AI、人類可控自主化、智能人機交互、倫理化AI 設計。

5)針對今后HAII 實踐面對的挑戰，從研發團隊、研發組織、研發社會環境3 個層面上，我們建議：設立多學科研發團隊，采用跨學科方法，優化現有AI 研發流程；培育HCAI 理念的組織文化，開發HCAI 標準指南和研發資源；培養跨學科復合型AI 人才，政府出臺相關政策和法規，積極開展跨學科、跨行業以及關鍵行業領域的HAII 研究和應用。我們展望只要各學科和各行業一起努力，一個基于“以人為中心AI”理念的智能社會時代將會到來。