工業(yè)系統(tǒng)的智能交互模式及人因工效研究綜述

吳曉莉，方澤茜，劉瀟，韓煒毅，杜婧銀，陳玉風(fēng)，李琦桉

（1.南京理工大學(xué) 工業(yè)互聯(lián)網(wǎng)研究院，南京 210094；2.南京理工大學(xué) 設(shè)計(jì)藝術(shù)與傳媒學(xué)院，南京 210094）

伴隨大數(shù)據(jù)、CPS、物聯(lián)網(wǎng)等“smart”技術(shù)的開發(fā)和成熟，生產(chǎn)制造、航空駕駛、安全監(jiān)控等工業(yè)系統(tǒng)已進(jìn)入第四次工業(yè)革命的智能轉(zhuǎn)型升級。2021 年11月30 日，我國工業(yè)和信息化部連續(xù)發(fā)布了《“十四五”信息化和工業(yè)化深度融合發(fā)展規(guī)劃》[1]《“十四五”軟件和信息技術(shù)服務(wù)業(yè)發(fā)展規(guī)劃》[2]《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》[3]等三個(gè)產(chǎn)業(yè)發(fā)展規(guī)劃，2025 年將全面實(shí)施工業(yè)智能，即達(dá)到人機(jī)協(xié)同、人機(jī)融合的智能交互。企業(yè)經(jīng)營管理數(shù)字化普及率達(dá)80%，數(shù)字化研發(fā)設(shè)計(jì)工具普及率達(dá)85%，關(guān)鍵工序數(shù)控化率達(dá)68%，工業(yè)互聯(lián)網(wǎng)平臺普及率達(dá)45%。該規(guī)劃重點(diǎn)在于新型智能產(chǎn)品、平臺化設(shè)計(jì)、數(shù)字化管理、網(wǎng)絡(luò)化協(xié)同、個(gè)性化定制、智能化制造、服務(wù)化延伸等新模式新業(yè)態(tài)的構(gòu)建。其中“工業(yè)軟件”作為新一代工業(yè)智能的心臟，成為了人、信息、物理系統(tǒng)的核心運(yùn)作模式。

新一代工業(yè)智能面臨的重大難題和嚴(yán)峻挑戰(zhàn)是物理世界與信息世界的融合，關(guān)鍵是人、機(jī)、物的協(xié)同共生（周濟(jì)[4]，2019）。日本基于CPS 信息物理系統(tǒng)提出了社會5.0，“人”在信息和物理環(huán)境中的互相作用和映射的重要地位被重新鞏固，并特別強(qiáng)調(diào)操作員的執(zhí)行和現(xiàn)場作用，即是人與信息物理系統(tǒng)的實(shí)時(shí)交互[5]。在中國的工業(yè)智能轉(zhuǎn)型中，特別是大型生產(chǎn)實(shí)時(shí)調(diào)度與制造過程全流程監(jiān)控、核電廠實(shí)時(shí)跟蹤告警、武器裝備作戰(zhàn)指令實(shí)時(shí)傳輸、高鐵通信指揮實(shí)時(shí)調(diào)度等重大工業(yè)，如何通過人與信息物理系統(tǒng)的感知融合，達(dá)成“信息高效傳輸和人精準(zhǔn)決策的協(xié)同共生”，對于維系重大工業(yè)系統(tǒng)運(yùn)行的高效性和穩(wěn)定性有著舉足輕重的作用，也是快速推進(jìn)中國作為第四次工業(yè)革命領(lǐng)軍者的工業(yè)智能轉(zhuǎn)型升級的重要核心問題。

1 工業(yè)系統(tǒng)的智能化發(fā)展趨勢

1.1 工業(yè)制造系統(tǒng)的智能化轉(zhuǎn)型

在工業(yè)信息物理系統(tǒng)智能升級方面，周濟(jì)[6]在2019 年第七屆智能制造國際會議上提出“面向新一代智能制造的人—信息—物理系統(tǒng)”，他認(rèn)為增強(qiáng)智能的人機(jī)混合，使得各方優(yōu)勢有機(jī)會充分發(fā)揮，同時(shí)互相啟發(fā)作用，是對人類智慧的創(chuàng)新潛能的釋放，有效增強(qiáng)了制造業(yè)的創(chuàng)新能力；姚錫凡[7]（2019 年）認(rèn)為“人工智能+”是制造業(yè)未來發(fā)展的必然趨勢，實(shí)現(xiàn)工業(yè)信息物理系統(tǒng)的縱向集成、橫向集成以及端到端集成，關(guān)鍵是人機(jī)物深度融合的高度柔性生產(chǎn)系統(tǒng)；德國工業(yè)4.0 報(bào)告[8]指出，無論是作為參與操控員、生產(chǎn)計(jì)劃員，亦或是維護(hù)人員和程序員，人類將持續(xù)作為生產(chǎn)過程中的關(guān)鍵角色；在服務(wù)化、虛擬化、和數(shù)字孿生[9]的支持下，可形成社會世界和物理世界的數(shù)字鏡像映射，并將感知、分析判斷、預(yù)測、決策能力歸入其中，達(dá)成生產(chǎn)全流程的智能化；GIRET等人[10]（2016 年）認(rèn)為當(dāng)智能制造發(fā)展到一定程度后形成的智能制造系統(tǒng)，將以服務(wù)為主導(dǎo)，并伴隨著消費(fèi)和管理結(jié)構(gòu)的全面革新；PACAUX 等人[11]（2017年）通過提高人們對正確整合智能制造系統(tǒng)的重視程度，提出根植于人機(jī)合作原則的解決設(shè)計(jì)方案，從而保證不同層次自動(dòng)化水平在控制回路中的參與程度。

從人機(jī)交互角度分析，與系統(tǒng)直接交互的“人”——決策者（操作員、指揮員等具有特殊任務(wù)的執(zhí)行者）、擁有“人工智能”的信息系統(tǒng)、物理系統(tǒng)，形成了智能交互模式[12]。正如美國IMS 中心提出的“未來智能工業(yè)系統(tǒng)”，通過信息服務(wù)傳遞達(dá)到“Just-intime”，從而實(shí)現(xiàn)“Near-zero downtime”，在完全掌控預(yù)測中將信息反饋到從設(shè)計(jì)端至產(chǎn)品制造端的全過程中，最終實(shí)現(xiàn)信息的閉環(huán)[13]，日本的IVRA[5]（左）和美國的工業(yè)互聯(lián)網(wǎng)聯(lián)盟IIRA[13]（右）見圖1。可以認(rèn)為，系統(tǒng)的運(yùn)作、監(jiān)管和決策完全取決于人與信息的智能交互模式，其關(guān)鍵在于人與系統(tǒng)的交互達(dá)成信息的溝通共享、實(shí)時(shí)告警、協(xié)同作業(yè)，即操作員在執(zhí)行排查、調(diào)度、應(yīng)急通信等任務(wù)時(shí)，完全依賴信息呈現(xiàn)進(jìn)行感知、分析判斷、預(yù)測，并作出決策[14-15]。

圖1 日本的IVRA（左）和美國的工業(yè)互聯(lián)網(wǎng)聯(lián)盟IIRA（右）Fig.1 Japan’s IVRA (left) and the US Industrial Internet Alliance IIRA (right)

相比于一般工業(yè)系統(tǒng)，智能協(xié)同環(huán)境下的人機(jī)交互過程突顯了任務(wù)執(zhí)行的高難度，環(huán)境的復(fù)雜性，任務(wù)執(zhí)行者將進(jìn)入復(fù)雜性認(rèn)知。由于工業(yè)系統(tǒng)信息呈現(xiàn)的不合理性，任務(wù)執(zhí)行者或許會面臨困惑的信息圖符、找不到的操作程序、糟糕的信息結(jié)構(gòu)、信息中斷的任務(wù)執(zhí)行、隨機(jī)的信息干擾等，極易造成注意捕獲中斷、感知決策速度下降、工作記憶缺失等嚴(yán)重的失誤行為，降低認(rèn)知績效指數(shù)[16]。由此可見，在智能工業(yè)系統(tǒng)的升級轉(zhuǎn)型中，尤其是重大工業(yè)控制領(lǐng)域在生產(chǎn)流程、運(yùn)營情況與監(jiān)管角度需求的看板、多屏顯示、指揮操控等智能交互模式中，若未考量用戶信息獲取的大腦信源解碼過程，僅從技術(shù)層面升級為智能工業(yè)系統(tǒng)，將凸顯出不可預(yù)測性與高度危險(xiǎn)性，即使細(xì)微差錯(cuò)都將導(dǎo)致認(rèn)知決策失誤或任務(wù)失敗，給未來工業(yè)智能帶來了嚴(yán)重的系統(tǒng)隱患，工業(yè)系統(tǒng)的智能化轉(zhuǎn)型需求見圖2。

圖2 工業(yè)系統(tǒng)的智能化轉(zhuǎn)型需求Fig.2 The demand for intelligent transformation of industrial systems

1.2 航空航天領(lǐng)域的人機(jī)協(xié)同及智能化

在航天應(yīng)用領(lǐng)域，NASA 從設(shè)計(jì)標(biāo)準(zhǔn)和程序的層面上確立了人—系統(tǒng)一體化設(shè)計(jì)要求，并提出了“人即系統(tǒng)”的HAAS（Human-As-A-System）設(shè)計(jì)模型和基于“設(shè)計(jì)—測試—再設(shè)計(jì)模式”的以人為中心的HCDP（Human Centered Design Philosophy）設(shè)計(jì)理念（NASA/SP-2010-3407[17]；NASA-STD-3000[18]；NASA-STD-3001[19]）。中國人因工程在航天領(lǐng)域的發(fā)展也取得了豐厚的成果，陳善廣等人[20]（2015 年）認(rèn)為，通過20 余年的科學(xué)研究與工程實(shí)踐，我國已在該領(lǐng)域形成了一整套較為完善的人機(jī)工學(xué)評價(jià)技術(shù)、方法、程序與標(biāo)準(zhǔn)，并建立了我國獨(dú)具特色的航天人因工程體系。在智能化發(fā)展模式上，人與機(jī)器如何高效協(xié)同工作是人因工效學(xué)后續(xù)研究的重點(diǎn)。在人與機(jī)器人間交互技術(shù)的發(fā)展中，NASA 的研究計(jì)劃也提供了人與自動(dòng)機(jī)器人整合項(xiàng)目（Human and Automation /Robotic Integration，HARI），在綜合分析了以往的空間機(jī)械臂、特殊靈巧機(jī)械手（Special Purpose Dexterous Manipulator，SPDM）和機(jī)器人 2 號（Robonaut 2）等基礎(chǔ)上，構(gòu)建了與人的認(rèn)知能力相符的人機(jī)功能分配的高效人機(jī)交互模型，以非侵入式態(tài)勢感知和人因負(fù)荷測試作為關(guān)注重點(diǎn)。

在航空領(lǐng)域，美國聯(lián)邦航空局（FAA）頒布了美國聯(lián)邦航空條例（Federal Aviation Regulations,FAR）[21]，為安裝在飛機(jī)座艙內(nèi)的裝置等制定了人因?qū)W規(guī)范，以保證飛行安全性。在人機(jī)界面交互方面，MICHAEL 等人[22]（2017 年）對新一代航空運(yùn)輸系統(tǒng)的飛行界面中的可用信息展開了評估研究，認(rèn)為航空控制系統(tǒng)的信息表征與信息質(zhì)量之間存在著顯著關(guān)聯(lián)；LI Wen-Chin 等人[23]（2020 年）評估了最新的增強(qiáng)可視化主飛行顯示器（PFD）在人機(jī)交互方面和傳統(tǒng)PFD 的差異，發(fā)現(xiàn)增強(qiáng)可視化可以提高飛行員的態(tài)勢感知能力，從而縮短認(rèn)知信息處理的響應(yīng)時(shí)間；白杰等人[24]（2021 年）研究了平視顯示器（HUD）上不同的告警位置對飛行員任務(wù)績效、認(rèn)知負(fù)荷和注意力分布的影響，為HUD 的告警設(shè)計(jì)提供了參考。在人的失誤與人因可靠性分析方面，WU Xiao-li 等人[25]（2018 年）針對復(fù)雜信息界面在任務(wù)執(zhí)行中造成遺漏、誤讀和誤判的人因失誤問題，對戰(zhàn)斗機(jī)態(tài)勢界面特征搜索進(jìn)行實(shí)驗(yàn)研究，發(fā)現(xiàn)干擾環(huán)境和信息特征是影響雷達(dá)態(tài)勢界面信息識別的重要因素。在人—系統(tǒng)整合設(shè)計(jì)與評估方面，NIU Ya-feng 等人[26]（2019 年）探索了戰(zhàn)斗機(jī)飛行員在視覺和語言警戒條件下的行為和認(rèn)知模式，實(shí)驗(yàn)結(jié)果表明視覺和語言雙通道警示的表現(xiàn)顯著高于視覺警示；劉志方等人[27]（2018 年）在測試了飛機(jī)儀表平視顯示系統(tǒng)和下視顯示系統(tǒng)的可用性特性及其優(yōu)缺點(diǎn)后，發(fā)現(xiàn)兩種顯示系統(tǒng)的可用性特性受個(gè)人經(jīng)驗(yàn)調(diào)整的影響；馮悅等人[28]（2020年）提出面向空間的3D 音頻告警技術(shù)可以顯著減輕飛行員的視覺負(fù)擔(dān)，讓飛行員在復(fù)雜的作戰(zhàn)環(huán)境中獲得更準(zhǔn)確、多維、有效的態(tài)勢信息，從而提高飛行作戰(zhàn)能力。

如今，多通道人機(jī)控制技術(shù)成為智能化發(fā)展的重要方向，支持語音、按鍵、觸控、眼動(dòng)、手勢等多維交互方式對機(jī)器進(jìn)行控制。雖然目前手勢人機(jī)交互技術(shù)和眼控人機(jī)交互技術(shù)并未真正在航空航天領(lǐng)域?qū)嶋H運(yùn)用，但其自然、簡單和方便的人機(jī)交互特性已引起領(lǐng)域內(nèi)的研究潮流。多通道人機(jī)控制技術(shù)領(lǐng)域代表性進(jìn)展[29-30]見圖3。在眼控交互方面，PAVAN K 等人[29]（2020 年）開發(fā)了眼動(dòng)儀與頭戴顯示器集成的交互技術(shù)，允許操作者通過眼動(dòng)注視控制無人機(jī)攝像頭，使其使用性能比遙控操作更好，基于凝視軌跡的無人機(jī)操控方案見圖3a；WANG Jie 等人[30]（2021 年）設(shè)計(jì)了一種可穿戴式人機(jī)界面，通過加工人眼注視不同的物體運(yùn)動(dòng)輸出的電信號精確操控?zé)o人駕駛航空器的運(yùn)動(dòng)方向，可穿戴人機(jī)界面概念說明及工作原理見圖3b；馬寶元等人[31]（2018 年）提出了一種眼動(dòng)交互方法，將頭戴式增強(qiáng)現(xiàn)實(shí)顯示技術(shù)與頭戴式眼動(dòng)儀相結(jié)合，在增強(qiáng)現(xiàn)實(shí)顯示界面中完成了人機(jī)間的眼動(dòng)交互；在手勢交互方面，高慶等人[32]（2018 年）針對探月機(jī)器人—航天員的手勢交互問題，采用航天員輔助機(jī)器人（AAR-2）作為實(shí)驗(yàn)平臺，構(gòu)建了一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的靜態(tài)手勢識別方法，卷積神經(jīng)網(wǎng)絡(luò)模型見圖3c。

圖3 多通道人機(jī)控制技術(shù)領(lǐng)域代表性進(jìn)展Fig.3 Representative progress in the field of multi-channel man-machine control technology

1.3 工業(yè)安全監(jiān)控系統(tǒng)的智能化發(fā)展

在工業(yè)安全監(jiān)控系統(tǒng)研究領(lǐng)域，國內(nèi)外學(xué)者圍繞人機(jī)交互任務(wù)及其環(huán)境因素對人誤的產(chǎn)生途徑及作用機(jī)理，從預(yù)防、檢測、預(yù)警與干預(yù)等多角度整合的系統(tǒng)安全保障理論等方面開展了廣泛研究[33]，并通過建立仿真環(huán)境評估和用戶認(rèn)知測評，以驗(yàn)證人機(jī)界面設(shè)計(jì)的可靠性和安全性。隨著科學(xué)技術(shù)的發(fā)展成熟，現(xiàn)今的核電廠主控室控制系統(tǒng)能夠達(dá)到高度的集中化、精準(zhǔn)化和自動(dòng)化。然而，由于智能化的發(fā)展，系統(tǒng)界面呈現(xiàn)的信息量逐日劇增，操作員域與系統(tǒng)間的人機(jī)交互突顯出任務(wù)執(zhí)行的高難度和環(huán)境的復(fù)雜性，操作員進(jìn)入復(fù)雜性認(rèn)知。核電工業(yè)系統(tǒng)研究方面，CASEY R. KOVESDI 等人[34]（2020 年）指出，人因工程在美國的核電站數(shù)字化轉(zhuǎn)型框架中扮演了重要的角色，通過加強(qiáng)技術(shù)、人員、流程的協(xié)調(diào)，將人為因素應(yīng)用于核工業(yè)創(chuàng)新。HANYOUNG LEE 等人[35]（2018 年）根據(jù)核電廠以安全功能作為最高優(yōu)先級要?jiǎng)?wù)的特性，提出了基于入侵容忍的網(wǎng)絡(luò)安全指數(shù)相關(guān)概念，使用平均妥協(xié)時(shí)間（MTTC）量化估計(jì)系統(tǒng)對入侵的耐受程度，并對入侵事件進(jìn)行建模；HYUNSOO LEE 等人[36]（2019 年）開發(fā)了基于視覺感知過程和人體測量數(shù)據(jù)變量的計(jì)算模型和包含虛擬建模和仿真框架的智能設(shè)計(jì)評審系統(tǒng)，為今后核電廠全數(shù)字化或部分?jǐn)?shù)字化的MCR 控制臺設(shè)計(jì)提供了一種可行的方法；WU Xiao-jun 等人[37]（2018 年）較為詳盡地討論了核電廠警報(bào)管理策略，尤其是警報(bào)洪水期的過濾、壓縮、優(yōu)先級等細(xì)節(jié)分析，并列舉了現(xiàn)階段應(yīng)用較廣泛的可視化信息展示方案和核電廠警報(bào)系統(tǒng)評判指標(biāo)；張力等人[38]（2019 年）針對數(shù)字化核電廠的人誤機(jī)理和影響模式進(jìn)行了深入、系統(tǒng)的建模，并提出了DCS-HRA 模型及智能數(shù)據(jù)庫系統(tǒng)，為量化性的人因失誤智能預(yù)防方案設(shè)計(jì)提供了堅(jiān)實(shí)的理論依據(jù)；李鵬程[39]（2021 年）為了探索性能塑造因素（PSFs）對SA、TSA 和工作負(fù)載的影響，通過模擬器實(shí)驗(yàn)研究了任務(wù)復(fù)雜度和操作員知識和經(jīng)驗(yàn)水平對操作員SA、TSA 和工作負(fù)載的影響；在煤炭礦井監(jiān)控系統(tǒng)智能化升級設(shè)計(jì)方面，F(xiàn)ARIZ SETYANA PRATAMA 等人[40]（2019 年）使用分類系統(tǒng)方法（HFACS-CM）研究人為因素對煤炭礦井事故的影響，從不安全行為的水平、不安全行為的先決條件等因素出發(fā)，構(gòu)建了基于HFACS-CM 模型的結(jié)構(gòu)方程模型（SEM）分析導(dǎo)致工作場所事故的人為因素。孫林輝等人[41]（2018 年）以煤礦瓦斯監(jiān)測系統(tǒng)為研究對象，對比監(jiān)控界面中、英文兩種參數(shù)呈現(xiàn)方式的眼動(dòng)行為特征，借助眼動(dòng)實(shí)驗(yàn)設(shè)計(jì)了兩種視覺搜索任務(wù)，揭示了人在中英文兩種不同語言所組織等材料中的視覺搜索規(guī)律和認(rèn)知過程；楊亞格等人[42]（2018年）通過聚焦煤礦工人的操作輸出、運(yùn)動(dòng)能力與現(xiàn)場事故之間的潛在聯(lián)系，以礦工在多種儀器上的受傷頻次作為量化指標(biāo)，對其事故傾向性進(jìn)行了數(shù)據(jù)上的分析。綜上所述，工業(yè)安全監(jiān)控系統(tǒng)正在逐步走向智能化，體現(xiàn)出人機(jī)智能交互下操作員認(rèn)知績效研究的需求，還需要從新的智能交互模式下考慮人的視覺認(rèn)知規(guī)律、生理量化測評指標(biāo)等。

1.4 軍事指揮系統(tǒng)的發(fā)展變革

作為軍事領(lǐng)域中輔助高級指揮員進(jìn)行統(tǒng)籌計(jì)劃、指揮決策、戰(zhàn)斗指導(dǎo)的信息平臺，指揮控制系統(tǒng)（Command and Control System，又稱為指揮信息系統(tǒng)）[43]通過對各軍兵種的信息綜合、集成、設(shè)計(jì)和應(yīng)用，使信息作為控制與指揮目標(biāo)的決策基礎(chǔ)，力求戰(zhàn)事的代價(jià)最小化和效果最大化[44]。ALEXANDER K等人[45]（2018 年）基于指揮與控制中關(guān)于觀察—方向—決定—行動(dòng)（OODA）的推論，創(chuàng)建了OODAWN模型（Observe-Orient-Decide-Act Weighted Network），用于澳大利亞國防軍（ADF）作戰(zhàn)的持續(xù)評估和分析，提供了指揮與控制結(jié)構(gòu)狀態(tài)的快速轉(zhuǎn)變和其演變的縱向數(shù)據(jù)；APOSTOLOS M 等人[46]（2020 年）針對C2 作戰(zhàn)信息系統(tǒng)（Air Command and Control Operational Center）中的數(shù)據(jù)融合和極端現(xiàn)象數(shù)據(jù)問題，通過對指揮和控制雷達(dá)環(huán)境的特征進(jìn)行了識別和模擬，開發(fā)了參數(shù)化多雷達(dá)網(wǎng)絡(luò)的作戰(zhàn)信息仿真系統(tǒng)。

大數(shù)據(jù)、人工智能AI、云計(jì)算、物聯(lián)網(wǎng)等技術(shù)的發(fā)展與融合已經(jīng)瞄準(zhǔn)了未來戰(zhàn)爭。大數(shù)據(jù)、人工智能AI、云計(jì)算、物聯(lián)網(wǎng)等技術(shù)的發(fā)展與融合已經(jīng)瞄準(zhǔn)了未來戰(zhàn)爭。指揮信息系統(tǒng)的交互架構(gòu)[44，47]見圖4。當(dāng)下第四代指揮信息系統(tǒng)達(dá)成了新型傳感器、信息共享、無人偵察、信息獲取和處理等技術(shù)的有效運(yùn)用，指揮系統(tǒng)代際更新見圖4a[47]，其中智能技術(shù)和指揮與控制的相互作用，尤其在專業(yè)性的戰(zhàn)場態(tài)勢感知、情景評估和協(xié)助決策等方面的應(yīng)用范圍將會進(jìn)一步拓寬[42]。SILVIA LU 等人[48]（2019 年）在意大利空軍（ITAF）的C4I 軍事系統(tǒng)中，討論了磁共振成像技術(shù)的用途、應(yīng)用優(yōu)勢、應(yīng)用規(guī)范和限制標(biāo)準(zhǔn)；孫宇祥等人[44]（2020 年）基于智能指揮與控制系統(tǒng)在作戰(zhàn)態(tài)勢評估、方案生成與選擇方案和人機(jī)融合四方面的關(guān)鍵技術(shù)探討，分析了系統(tǒng)使用產(chǎn)生的新OODA 環(huán)理論，并引入了平行仿真的態(tài)勢預(yù)測理念，基于人件的人機(jī)整合建模見圖4b；董慶超等人[49]（2021 年）綜合運(yùn)用指揮信息系統(tǒng)本體建模技術(shù)、情景感知技術(shù)，借助UML 擴(kuò)展機(jī)制，基于情景感知構(gòu)建了智能指揮信息系統(tǒng)的一種本體建模方法。

圖4 指揮信息系統(tǒng)的交互架構(gòu)Fig.4 Interactive architecture of command information system

指揮信息系統(tǒng)智能化領(lǐng)域代表性進(jìn)展見圖5。態(tài)勢感知（SA）作為人因工程研究領(lǐng)域的關(guān)鍵理論，是基于感知環(huán)境信息，以綜合形式理解信息含義，與目標(biāo)任務(wù)耦合，提供對決策制定有價(jià)值的未來狀態(tài)預(yù)測的認(rèn)知過程理論，態(tài)勢感知信息來源見圖5a，態(tài)勢感知過程及涉及機(jī)制見圖5b[50]。在軍事領(lǐng)域中對態(tài)勢感知理論和技術(shù)問題的深入研究，能夠?yàn)橹笓]信息系統(tǒng)的設(shè)計(jì)開發(fā)、團(tuán)隊(duì)作戰(zhàn)配合、作戰(zhàn)計(jì)劃的探討制定等多方面提供參考依據(jù)[51]。AARON ROWEN 等人[52]（2021 年）通過在海上實(shí)施物理模擬實(shí)驗(yàn)，探討了頭戴式顯示器（HMD）對操作員移動(dòng)性，以及在安全設(shè)置任務(wù)中操作員績效和態(tài)勢感知的影響，頭戴式顯示器對操作員任務(wù)表現(xiàn)、態(tài)勢感知和穩(wěn)定性的影響見圖5c；劉文等人[53]（2021 年）構(gòu)建了系統(tǒng)中活動(dòng)信息加工模型和認(rèn)知負(fù)荷均衡機(jī)制，并以美國海軍TADMUS 系統(tǒng)界面為例，提出了均衡認(rèn)知負(fù)荷的設(shè)計(jì)策略；吳曉莉等人[54]（2020 年）根據(jù)視覺感知強(qiáng)度理論和線性規(guī)劃算法，建立了視覺感知強(qiáng)度模型，和出錯(cuò)因子—視覺感知—界面布局間的關(guān)聯(lián)效應(yīng)，從而解決由不合理的信息交互界面而導(dǎo)致的操作員認(rèn)知績效降低的問題，視覺感知強(qiáng)度模型（左）和硼和水補(bǔ)給系統(tǒng)界面視覺感知強(qiáng)度模型（右）見圖5d。

圖5 指揮信息系統(tǒng)智能化領(lǐng)域代表性進(jìn)展Fig.5 Representative progress in the field of command information system intelligence

第五代指揮信息系統(tǒng)已經(jīng)跨越式的從戰(zhàn)場中的信息中樞向著中心大腦而升級發(fā)展了。丁峰等人[47]（2018 年）指出第五代指揮信息系統(tǒng)在面向認(rèn)知與智能處理、泛在網(wǎng)絡(luò)與普適計(jì)算、彈性適變與賽博免疫、人機(jī)融合與自主演化的能力特征；張志華等人[55]（2021 年）圍繞第五代系統(tǒng)的總體架構(gòu)設(shè)想，指出技術(shù)提升的戰(zhàn)場認(rèn)知、決策和行動(dòng)優(yōu)勢，促進(jìn)了作戰(zhàn)指揮由信息域向認(rèn)知域的全面升級。未來第五代指揮信息系統(tǒng)的應(yīng)該是基于知識中心、人機(jī)融合、智能賦能、云邊一體、自主演化、韌性適變構(gòu)建的指揮信息系統(tǒng)[48]。綜上所述，由于未來戰(zhàn)爭需求、狀態(tài)及信息技術(shù)升級仍存在著未知性，指揮信息系統(tǒng)的升級和完善不可能一揮而成，辨析智能化戰(zhàn)場機(jī)制，并融合相關(guān)信息技術(shù)，能夠?yàn)橹笓]信息系統(tǒng)建設(shè)提供堅(jiān)實(shí)的力量[53]。

2 工業(yè)系統(tǒng)的人因工效研究綜述

2.1 人因工效的測評技術(shù)與評估模型

2.1.1 測評技術(shù)研究進(jìn)展

基于計(jì)算機(jī)和數(shù)字化技術(shù)的發(fā)展，信息化智能化的人機(jī)交互系統(tǒng)已被廣泛應(yīng)用與核電、航空航天、軍事指揮等各類復(fù)雜系統(tǒng)交互的領(lǐng)域中，新的人機(jī)交互方式如何與操作人員的認(rèn)知能力相適應(yīng)仍是需要不斷深入研究的問題。近年來，研究者通過使用眼動(dòng)、腦電、肌電、皮電、心電等技術(shù)有一些新的發(fā)現(xiàn)。基于眼動(dòng)技術(shù)，NING Li 等人[56]（2020 年）將EMMA模型的研究領(lǐng)域擴(kuò)展到指揮控制系統(tǒng)設(shè)計(jì)領(lǐng)域，而且為可量化的認(rèn)知行為建模提供了準(zhǔn)確的數(shù)據(jù)支持；ZHOU Tian-yu 等人[57]（2021 年）提出了一種面向數(shù)字界面功能圖標(biāo)的眼控交互方法，將圖標(biāo)識別的相關(guān)眼動(dòng)信號應(yīng)用于數(shù)字界面的人機(jī)交互；YUKI KUROSAWA 等人[58]（2020 年）為了確認(rèn)在任務(wù)中注視點(diǎn)的眼動(dòng)標(biāo)準(zhǔn)差的變化是測量疲勞的有效依據(jù)，考察了被試在執(zhí)行任務(wù)時(shí)眼球運(yùn)動(dòng)與疲勞和內(nèi)部狀態(tài)之間的關(guān)系；ZHOU Ying-wei 等人[59]（2020 年）基于眼動(dòng)行為、操作表現(xiàn)和主觀感受數(shù)據(jù)，得出眨眼對目標(biāo)的拾取相對較快、眼睛注視的優(yōu)勢在于目標(biāo)控制等更具針對性的結(jié)論；吳曉莉等人[60]（2020 年）運(yùn)用眼動(dòng)實(shí)驗(yàn)，通過凝視與掃視生理測評指標(biāo)，以核電廠監(jiān)控任務(wù)界面為樣本，對核電數(shù)字化復(fù)雜系統(tǒng)界面的信息特征布局進(jìn)行了探究，為數(shù)字化儀控界面的設(shè)計(jì)提供了參考；金濤等人[61]（2021 年）采用視覺搜索范式，通過眼動(dòng)實(shí)驗(yàn)表明圖標(biāo)數(shù)量的變化對布局方式和視覺特征的認(rèn)知績效產(chǎn)生顯著影響，圖標(biāo)布局橫向排列可以有效提高目標(biāo)信息搜索速度。

人因測評技術(shù)的代表性研究進(jìn)展見圖6。基于腦電技術(shù)，HU Ling-ling 等人[62]（2020 年）以報(bào)警信息為例，利用行為數(shù)據(jù)和腦生理指標(biāo)，探索了在安靜和嘈雜情況下視聽界面信息的認(rèn)知規(guī)律，建立了視聽信息與認(rèn)知的映射關(guān)系；CHAO Hao 等人[63]（2020 年）提出了一種將神經(jīng)膠質(zhì)細(xì)胞鏈與條件隨空場相結(jié)合的深度信念—條件隨空場框架，擬議的DBN-CRF 框架見圖6a，利用該框架可以通過神經(jīng)膠質(zhì)鏈挖掘多通道間的相關(guān)信息，捕獲腦電信號的通道間相關(guān)信息和上下文信息，從而用于情緒識別；PING-KENG JAO等人[64]（2021 年）通過模擬飛行和繪圖任務(wù)動(dòng)態(tài)過渡難度水平的腦電相關(guān)性研究，發(fā)現(xiàn)在構(gòu)建自適應(yīng)HMI 系統(tǒng)時(shí)，用戶在不同任務(wù)之間的復(fù)合狀態(tài)變化的延遲是一個(gè)需要考慮的因素；BYUNG HYUNG KIM等人[65]（2020 年）通過腦電圖信號來評估基于反饋的解釋界面的實(shí)施和使用，表明神經(jīng)相關(guān)性可以作為解釋效能的測量方式；MATHIAS VUKELI 等人[66]（2021 年）利用腦電圖（EEG）研究皮層網(wǎng)絡(luò)對系統(tǒng)啟動(dòng)輔助的事件相關(guān)同步（ERD/ERS）和事件相關(guān)功能耦合，以接近自然的HCI 范式評估了局部振蕩功率夾帶和分布式功能連通性，發(fā)現(xiàn)了作為幫助系統(tǒng)啟動(dòng)的積極和消極情感過程的振蕩信號是可識別的，情感反應(yīng)在頻域的整體神經(jīng)元特征見圖6b。MATTHEW J BORING 等人[67]（2020 年）利用腦電圖頻率特征子集，高、低交叉任務(wù)負(fù)荷預(yù)測時(shí)平均腦電激活情況見圖6c，建立了捕獲認(rèn)知負(fù)荷任務(wù)的一般腦電圖相關(guān)模型，允許在不同任務(wù)背景下的進(jìn)行負(fù)荷檢測；YU Zhi-peng 等人[68]（2021 年）根據(jù)表面肌電圖，提出了一種卷積神經(jīng)網(wǎng)絡(luò)瞬時(shí)手勢識別的遷移學(xué)習(xí)策略，為提高手勢識別系統(tǒng)的泛化能力提供了一種有效的方法。YING SUNA 等人[69]（2020 年）利用手勢識別的過程中拇指產(chǎn)生的表面肌電信號，提出了一種基于方差理論的冗余電極確定方法，得出了拇指運(yùn)動(dòng)模式識別的最佳方法，通道冗余可視化見圖6d；WANG Qun 等人[70]（2018 年）提出了一種基于任務(wù)負(fù)荷的新型PRV 乘員功能分配方案的多指標(biāo)評價(jià)方法，在實(shí)驗(yàn)中測量皮電和心電兩項(xiàng)生理指標(biāo)，表明當(dāng)物理載荷增加時(shí)，乘員人數(shù)的變化對乘員性能的影響更大。這些眼動(dòng)、腦電等測評技術(shù)在人機(jī)交互上的研究成果，代表著智能化人因工效測評技術(shù)的發(fā)展升級，將加速多通道交互的深度融合進(jìn)程。

圖6 人因測評技術(shù)的代表性研究進(jìn)展Fig.6 Representative research progress of human factors evaluation technology

2.1.2 評估模型

伴隨智能化的發(fā)展，復(fù)雜人機(jī)交互系統(tǒng)信息源顯著增長，限定時(shí)間內(nèi)的人機(jī)交互任務(wù)大幅增加，新的人機(jī)交互方式不斷出現(xiàn)、融合。因此，越來越多的領(lǐng)域?qū)＜壹把芯空咿D(zhuǎn)眼于如何評估和改進(jìn)現(xiàn)有人機(jī)交互方式。SHAO Zhi-yu 等人[71]（2019 年）提出了一種基于交互線索的多層次知覺順應(yīng)模型，分析了物理測量與知覺感覺之間的關(guān)系，為觸覺顯示與遙操作系統(tǒng)的設(shè)計(jì)與改進(jìn)提供指導(dǎo)；YUAN Jie 等人[72]（2020年）設(shè)計(jì)并實(shí)現(xiàn)了多模態(tài)傳感導(dǎo)航虛擬與真實(shí)融合實(shí)驗(yàn)室，研究了一種用于化學(xué)實(shí)驗(yàn)的多模態(tài)融合模型和算法，并在實(shí)驗(yàn)室中得到了驗(yàn)證和應(yīng)用，通過多模態(tài)融合感知算法，可以了解用戶的真實(shí)意圖，提高人機(jī)交互效率；LU Ai-guo 等人[73]（2020 年）重于聲音、眼睛控制、觸摸、大腦控制和手勢的五種形式，并根據(jù)人—機(jī)—環(huán)境認(rèn)知決策模型和針對不同應(yīng)用場景下各模態(tài)交互的層次處理模型，建立了多模態(tài)交互層次處理模型，有助于提高命令交互的自然性和友好性。ZHAO Min-rui 等人[74]（2020 年）提出了一種基于腦電和眼動(dòng)的人機(jī)交互意圖識別方法，表明意圖識別算法比單純依靠單個(gè)信號的效果更好；HAN Su 等人[75]（2021 年）提出了一種基于認(rèn)知加工模型的船員日常導(dǎo)航任務(wù)交互策略研究方法，為避免船員交互中的人為失誤，降低船舶碰撞風(fēng)險(xiǎn)，有效提高人機(jī)交互的可靠性提供了一種新的方法和思路；CHEN Hao等人[76]（2021 年）改進(jìn)了SA 模型，利用人類的行為為駕駛艙界面設(shè)計(jì)優(yōu)化和人機(jī)工程學(xué)評估中飛行員SA 的定量表征提供了新的輔助工具；郭云東等人[77]（2021 年）提出一種基于 FBCREAM（Fuzzy Bayesian Cognitive Reliability and Error Analysis Method）的飛機(jī)駕駛?cè)艘蚩煽啃栽u估模型，該模型在評估飛機(jī)駕駛?cè)艘蚩煽啃苑矫娴母叨葴?zhǔn)確性，能夠?yàn)楹娇赵u估安全提供高效的工具方法和支持。綜上所述，國內(nèi)外學(xué)者關(guān)于人因工效評估模型的研究成果，為提高人機(jī)交互效率、降低人因出錯(cuò)提供可靠方法，為研究多模態(tài)交互方式于一體的智能化人機(jī)交互測評體系提供了可靠依據(jù)。

2.2 多源人因工效指標(biāo)的關(guān)聯(lián)性研究

近年來，不少研究者嘗試融合多種生理信息，以提升對人類搜索意圖、動(dòng)作意圖及感知狀態(tài)的辨識精度。目前國內(nèi)外已研發(fā)出如生理信號測量儀、人機(jī)環(huán)境同步平臺等測量工具，可以同時(shí)采集人體的腦電、心電、眼電、心率、肌電、皮膚溫度、皮電、血流量等生理信號，以及眼動(dòng)數(shù)據(jù)、頭部運(yùn)動(dòng)和表情變化。多模態(tài)數(shù)據(jù)融合相關(guān)領(lǐng)域代表性進(jìn)展見圖7。例如，近年津發(fā)科技研發(fā)了人因環(huán)境同步平臺，結(jié)合人類顯性行為（動(dòng)作、姿勢、運(yùn)動(dòng)等）的視頻數(shù)據(jù)，對所有內(nèi)外變化間的因果關(guān)系進(jìn)行測量與解析；同時(shí)實(shí)時(shí)同步記錄、跟蹤和分析在同一時(shí)間點(diǎn)、時(shí)間段內(nèi)的人機(jī)環(huán)境數(shù)據(jù)信息，多源生理信號數(shù)據(jù)同步平臺見圖7a[78]。KANG J[79]（2015 年）、POSTELNICU 等人[80]（2019 年）運(yùn)用多種生理組合特征開發(fā)智能學(xué)習(xí)工具，并融合相關(guān)指標(biāo)，開發(fā)混合腦機(jī)界面系統(tǒng)；郭伏等人[81]（2018 年）研究了主觀評價(jià)指標(biāo)、眼動(dòng)指標(biāo)和腦電指標(biāo)作為人的感性評估；謝平等人[82]（2018年）運(yùn)用時(shí)頻分析方法和復(fù)雜度分析方法對駕駛疲勞進(jìn)行評估，發(fā)現(xiàn)多生理特征融合的識別準(zhǔn)確率明顯高于單個(gè)生理信號的識別準(zhǔn)確率；王崴等人[83]（2021年）通過采集并提取腦電和眼動(dòng)信號特征進(jìn)行意圖識別，證明融合腦電和眼動(dòng)信號的人機(jī)交互意圖識別方法識別準(zhǔn)確性明顯優(yōu)于僅依靠腦電或眼動(dòng)數(shù)據(jù)的方式，決策級人機(jī)交互意圖識別原理見圖7b；凌文芬等人[84]（2021 年）利用多模態(tài)間交互關(guān)系，融合3D分層卷積的多模態(tài)特征，提出效價(jià)、喚醒度的二分類和四分類任務(wù)中的特征模型，基于3D 分層卷積的融合模型見圖7c。大量相關(guān)實(shí)驗(yàn)與研究的結(jié)果表明，相較于單一模態(tài)，多模態(tài)數(shù)據(jù)融合與分析可以提高對人的意圖、情感與狀態(tài)等維度的識別準(zhǔn)確率。在未來，相關(guān)研究可促進(jìn)語音交互、手勢交互、腦機(jī)交互、眼控交互、情感交互以及語音交互等新興的多模態(tài)交互方式的技術(shù)提升與實(shí)踐。

圖7 多模態(tài)數(shù)據(jù)融合相關(guān)領(lǐng)域代表性進(jìn)展Fig.7 Representative progress in related fields of multi-modal data fusion

3 工業(yè)系統(tǒng)的智能化進(jìn)程

研究者們逐漸意識到為人類提供長期服務(wù)的重要性，以及如何利用技術(shù)創(chuàng)新來促進(jìn)工業(yè)與社會之間的協(xié)作和“雙贏”互動(dòng)等問題。楊挺等人[85]（2019年）運(yùn)用了在計(jì)算、感知和認(rèn)知方面具有高處理能力的人工智能（AI），探究其在電力系統(tǒng)及綜合能源系統(tǒng)中的能源預(yù)測應(yīng)用、規(guī)劃應(yīng)用、運(yùn)行優(yōu)化與穩(wěn)定 控制中的應(yīng)用，改變能源傳統(tǒng)利用模式，推動(dòng)綜合系統(tǒng)的智能化升級；吳曉莉等人[86]（2019 年）以信息特征及呈現(xiàn)方式為變量開展實(shí)驗(yàn)，得出了圖標(biāo)形態(tài)和信息呈現(xiàn)方式對視覺搜索均影響顯著的結(jié)論；莊存波等人[87]（2021 年）闡述了工業(yè)5.0 包括以人為中心、可持續(xù)性、韌性和智慧型等四個(gè)主要特征，并基于歐盟報(bào)告提出的包括個(gè)性化人機(jī)交互（Individualised Human-machine-interaction）和人工智能（Artificial Intelligence）在內(nèi)的六項(xiàng)技術(shù)，建立了使能技術(shù)體系和實(shí)現(xiàn)路徑；孫賀等人[88]（2021 年）通過融合集成VR、AR、工業(yè)互聯(lián)網(wǎng)的技術(shù)特點(diǎn)，提出了具備研發(fā)設(shè)計(jì)、裝配、檢測、運(yùn)維、管理、培訓(xùn)的智能交互解決方案的創(chuàng)新人機(jī)智能交互系統(tǒng)平臺；吳曉莉等人[89-91]（2021 年）構(gòu)建了工業(yè)智能制造系統(tǒng)的信息呈現(xiàn)引力模型和信息表征的有序度模型，形成了光伏制造系統(tǒng)的信息可視化表征模式；XU 等人[92]（2017 年）在智能工廠裝配線性能可視化設(shè)計(jì)中，開發(fā)ViDX 可視化分析系統(tǒng)，以支持實(shí)時(shí)跟蹤裝配線性能和歷史數(shù)據(jù)分析；LYU Zhi-han 等人[93]（2021 年）旨在研究視覺感知技術(shù)在智慧城市中的應(yīng)用效果和功能，利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）和物聯(lián)網(wǎng)（IoT）技術(shù)構(gòu)建了圖像處理與質(zhì)量評價(jià)系統(tǒng)，并處理和分析獲得的圖像和視頻的質(zhì)量性能，結(jié)果表明改進(jìn)后的CNN 算法在圖像和視頻處理方面優(yōu)于其他；EIRINAKIS PAVLOS 等人[94]（2021 年）通過結(jié)合當(dāng)代工業(yè)4.0 技術(shù)、預(yù)測分析、模擬和優(yōu)化的功能，基于態(tài)勢感知的決策模型，設(shè)計(jì)了一種情境感知制造系統(tǒng)框架，用于識別和預(yù)測中斷、評估影響并及時(shí)做出反應(yīng)以修復(fù)影響。工業(yè)系統(tǒng)基于智能算法、設(shè)備和技術(shù)支持，逐步實(shí)現(xiàn)人機(jī)智能交互系統(tǒng)平臺的有效運(yùn)行，通過人機(jī)交互、融合、協(xié)同達(dá)成工業(yè)系統(tǒng)的最佳智能狀態(tài)，工業(yè)系統(tǒng)智能化研究趨勢見圖8。

圖8 工業(yè)系統(tǒng)智能化研究趨勢Fig.8 Research trend of industrial system intelligence

多通道交互（Multi-modal Human-computer Interaction MMHCI）相對于傳統(tǒng)的單一通道交互方式，更符合人類自然行為[95]，具備更深層應(yīng)用空間的多通道人機(jī)交互中，手勢、體感、語音等交互技術(shù)已經(jīng)逐步應(yīng)用在現(xiàn)實(shí)產(chǎn)品中，并將在操作形式、使用觀念、應(yīng)用場所等方面帶來相應(yīng)變化，逐漸發(fā)展為主流的交互形式[96]。張青[97]（2018 年）基于觸覺和聽覺雙重通道進(jìn)行三維場景建模和虛擬信號模擬，建構(gòu)了全新的多重感官增強(qiáng)現(xiàn)實(shí)交互系統(tǒng)，并通過實(shí)驗(yàn)結(jié)果證明了系統(tǒng)優(yōu)質(zhì)的交互性和用戶體驗(yàn)；陳建華等人[98]（2019 年）表示多通道交互方式的信息交流是雙向的，很大程度降低了傳統(tǒng)單交互方式輸入單一、作業(yè)人員認(rèn)知負(fù)擔(dān)等造成的失誤操作概率，自然高效的人機(jī)交互技術(shù)，也是目前的軍事指控系統(tǒng)發(fā)展需求之一；ZAHRA EMAMI 等人[99]（2019 年）通過改良任務(wù)界面來減少視覺干擾，來確定干擾物對腦機(jī)接口系統(tǒng)（BCI）用戶模擬任務(wù)中認(rèn)知負(fù)荷的影響，并在沒有干擾物、視覺干擾物和在干擾物中的認(rèn)知策略條件下進(jìn)行腦電實(shí)驗(yàn)；SON JOONWOO 等人[100]（2020年）旨在降低駕駛員的認(rèn)知負(fù)荷，從評估視覺和聽覺次要任務(wù)可能引起潛在風(fēng)險(xiǎn)的角度，通過駕駛模擬器進(jìn)行駕駛性能和行為數(shù)據(jù)的測量實(shí)驗(yàn)。L CAI 等人[101]（2020 年）突破單一模態(tài)情感識別限制，提出了一種語音和面部表情特征相結(jié)合的方法，與語音和面部表情的單一模態(tài)相比，其提出的模型的整體識別準(zhǔn)確率分別提高了10.05%和11.27%。ZENG Bo-tao 等人[102]（2020 年）通過融合手勢、語音和壓力信息構(gòu)建多模態(tài)交互模型，該模型搭建了多模態(tài)智能交互虛擬實(shí)驗(yàn)平臺（MIIVEP）。綜上所述，學(xué)者關(guān)于跨通道融合與信息交互的研究成果，為處理復(fù)雜信息情況下提高識別準(zhǔn)確率、降低交互過程中單通道信息下的出錯(cuò)率提供可靠的模型與評價(jià)方法，為研究多通道融合的智能系統(tǒng)交互研究提供了可靠依據(jù)。

4 結(jié)語

工業(yè)系統(tǒng)的智能化轉(zhuǎn)型在與日俱進(jìn)的技術(shù)推動(dòng)下，將人機(jī)交互研究引向了更具未來感的全面升級。智能增強(qiáng)使得人—信息—物理系統(tǒng)之間的各自優(yōu)勢得以充分發(fā)揮，相互聯(lián)結(jié)、協(xié)調(diào)與啟發(fā)，為工業(yè)互聯(lián)灌注了更深的創(chuàng)新潛能。目前，智能化技術(shù)形態(tài)存在未知的拓展空間，對智能化工業(yè)系統(tǒng)交互體系的構(gòu)建，需要從多學(xué)科交叉融合的角度，針對智能交互模式、人因工效等核心問題進(jìn)行梳理研究，以實(shí)現(xiàn)智能交互的人機(jī)物閉環(huán)，達(dá)成真正的人機(jī)協(xié)同共生模式，對工業(yè)智能的轉(zhuǎn)型升級，重要工業(yè)系統(tǒng)的高效穩(wěn)定運(yùn)行、信息高效傳輸和人精準(zhǔn)決策都有著深遠(yuǎn)的研究意義。