VR仿真環境下對艦船操控的情境意識評估研究

陳 杰 何小二 李崇斌 何景異 張 煜

（1.武漢第二船舶設計研究所，湖北 武漢 430205；2.西安交通大學機械工程學院，陜西 西安 710049）

0 前言

隨著新型艦船裝備的技術指標大幅度提升，其信息量的復雜程度呈幾何級增加，這對操作人員的能力提出了更高的要求。忽視人的生理特征和認知水平的設計可能會危及任務的有效性、計劃的執行、進度和成本[1]。情境意識（Situation Awareness，SA）這一概念最早由Endsley[2]提出，被用于評估飛行員操作時的認知特性。情境意識，即在特定的時間和空間內對環境中各種要素的知覺，對其含義的理解以及預測它們隨后的狀態，反映了“認知-理解-預測”這一高水平的認知過程。其評估方法可以分為4 類，包括生理指標評估（眼動、EEG 等）、記憶探查評估（SAGAT 等）、操作水平評估（任務績效）和主觀評估（SART 等）。

在艦船航行的過程中，操作員長時間作業導致的疲勞可能會使注意力集中程度下降、腦力負荷增加，從而導致SA出現問題，使其操作效能下降。因此在航行任務中對操作員的SA 進行評估具有一定的必要性，既可以優化操作臺的界面設計，也可以提升艦船整體的操作效能。

虛擬現實技術（Virtual Reality，VR）是一種通過計算機程序創造三維虛擬世界的數字技術。該文是在VR 仿真平臺與實物仿真平臺中進行研究，通過評估操作者的SA 來驗證是否可以用VR 仿真平臺替代實物仿真平臺進行艦船操作臺人機界面的人機工效評估。

1 實驗方案

1.1 艦船航行操作任務

艦船是復雜的人機系統，具有多人多機協同關系復雜、環境惡劣、長時間作業、有限或特定空間中人流、物流、信息流高度密集以及人機界面交互操作繁多等特點[3]。該研究對常規操作及異常情況下操作的SA 進行評估，設定的主要任務包括正常航行工況下發現異常、執行變速和變向等常規指令操作以及出現應急情況下的應急處置操作。各工況的具體任務見表1～表3。

表1 工況一具體任務

表2 工況二具體任務

表3 工況三具體任務

1.2 VR仿真平臺及實物仿真平臺

近年來，隨著VR 技術的發展和成熟，VR 技術在包括場景展示、虛擬漫游、設計驗證以及虛擬演練等很多領域中進行實際運用。基于VR 技術的設計、評估和驗證系統也得到了廣泛運用，包括波音、大眾以及通用等在內的公司在很長一段時間以來通過使用VR 技術來對數字模型進行模擬以及驗證相關方案，減少了昂貴的物理原型的使用，從而節約了大量成本；同時能夠有效地縮短研發周期，提升產品設計的質量。Rieuf V.等為了驗證在真實環境與VR 環境2 種情境下，人在執行復雜任務過程中的行為模式和工作效率是否存在明顯差異這一疑問，將VR 環境下與真實環境下的作業效率、滿意度以及體驗感受等做了對比測試，讓用戶在2 種環境下完成一系列的概念設計的任務，例如草圖繪制、概念設計等，結果發現VR 環境下不僅沒有影響其工作成效，還在某些環節擁有更好的體驗[4]。實驗表明VR 環境下人的行為、感受和思維與真實環境下無顯著差異。

與此同時，VR 技術也存在一些不足之處，其主要用處在于為用戶提供視覺上的沉浸體驗，但是無法真實地模擬現實中人的動作或展示真實的交互行為，也無法完全模擬操作過程中的力反饋等。因此在使用VR 技術時，需要考慮交互需求和應用場景。基于VR 的人機工效評價手段由單維度視覺驗證發展為多維度虛實結合驗證，即在真實的仿真環境中，借助半實物來進行仿真驗證，提供更好的交互體驗，同時提供真實的物理操作反饋，保證用戶輸入的準確性，從而提高產品人機工效驗證的結果和質量。

該文實驗涉及的評估設備包括測試使用的高性能主機、29 英寸顯示屏、VR 仿真平臺采用VR 眼動儀（HTC Vive Pro eye，采用的是植入式VR 眼動追蹤元件，幀率為120 Hz，采用5 點校準，精度為0.5°～1.1°）、實物仿真平臺采用眼鏡式眼動儀（SMI Eye Tracking Glasses 2.0，采樣率為60 Hz，精度為0.5°）以及配套的實驗室記錄設備（記錄用紙筆，錄像機，錄音筆等）；使用的軟件包括unity 引擎（Unity 2019.3.4f1）、眼動儀測試數據記錄軟件（iMotions）以及屏幕錄制軟件（Camtasia 2019）等。

實驗室長寬各5 m，分為VR 仿真平臺（主機與VR 頭盔）、實物仿真平臺（原有的實驗平臺）和眼鏡式眼動儀及相關設備存放桌共3 個區域，VR 定位器位于房間對角線，共2 臺。實驗環境及設備布置平面圖如圖1 所示。

圖1 實驗環境及設備布置平面圖

VR 仿真實驗過程中，高性能主機通過HDMI 接口將視頻信號傳輸到顯示屏上供測試人員監視，通過USB 接口將視頻信號傳輸到VR 頭盔中供被測人員測試。同時，VR 定位器通過光學信號對VR 頭盔和VR 手柄進行定位，再通過USB 接口將這些位置信息傳輸回主機。VR 手柄也通過USB接口將手部動作傳輸回主機。設備連接以及數據傳輸情況如圖2 所示。

圖2 VR 仿真平臺設備連接與數據傳輸

在實物仿真實驗過程中，眼鏡式眼動儀采集被測使用實物仿真平臺時的眼動信息并將其通過USB 接口傳輸至高性能主機。設備連接以及數據傳輸情況如圖3 所示。

圖3 實物仿真平臺設備連接與數據傳輸

1.3 被試及實驗設計

該研究共招募9 名被試者，分為3 組，均為男性（年齡范圍在18～45 歲）。第一組為4 名人機工效評價專家，具備人機工效評價的各種方法與理論，能對艦船操作臺的人機工效做出全面評價并給出改進建議，但對艦船操作任務流程不太熟悉；第二組為3 名艦船操作臺設計人員，具有多年設計艦船操作臺的設計經驗，熟悉艦船操作臺界面以及艦船操作方式，對于艦船操作臺的設計能夠提出有效建議；第三組為2 名艦船操作員，具有多年艦船操作實踐經歷，熟悉艦船操作臺界面以及艦船操作方式，并且熟悉操作艦船時各種不同的任務指令與異常情況。實驗前，所有被試者均被告知實驗步驟和需要采集的數據，并簽署了知情同意書。所有被試者身體狀況良好，視力或矯正視力正常，實驗前24 h 內保證被試者有足夠的睡眠時間（6 h 以上）。

測試任務分為4 個部分：第一部分是訓練任務，幫助被試者熟悉被試系統的現實界面邏輯與操作方式。第二部分是模擬正常航行工況，需要被試者及時發現參數異常情況并報告指揮員（這里以及下文所有的指揮員均由主測試員擔任）。第三部分是模擬工況切換任務，被試者需要聽從指揮員的口令完成操作任務，并在完成后報告指揮員。第四部分是模擬應急處置等事故工況，被試者需要及時發現異常情況并報告指揮員，指揮員下達處置操作的口令，被試者通過處置操作解除異常情況后報告指揮員。

被試在測試人員的幫助下穿戴用于VR 仿真平臺的實驗設備并進行校準，首先進行第一部分的訓練任務，再依次進行第二部分模擬正常航行工況、第三部分模擬工況切換任務以及第四部分模擬應急處置等任務。各個工況間有5 min 的休息時間，被試在完成每個工況后需要填寫10D-SART 量表。在測試過程中眼動儀全程采集生理信號并由主測試員進行SAGAT 測試。

實物仿真平臺的實驗流程同上。隨機選擇VR 或實物仿真平臺進行測試，全部任務完成后，再間隔24 h 并在另一平臺進行測試。

1.4 評估變量

Endsley 提出的情境意識評定技術（Situation Awareness Rating Technique，SART）通過10 維或3 維的SART 量表來評估操作者的SA。近年來有研究表明眼動注視特性與SA 存在聯系。Van de merwe 等人在一項模擬飛行任務的故障檢測任務中提出使用眼動的注視率、注視持續時間和注視熵作為評估信息獲取效率的指標[5]。因為任務績效無法直接反映操作人員的SA，所以通常被作為一種間接的SA 評估方式，而情境意識全局評估技術（Situation Awareness Global Assess Technique，SAGAT）被認為是評估SA 最有效的方法之一[6]。

腦力負荷、注意力分配策略與情境意識之間存在緊密又復雜的關系，一般認為腦力負荷水平決定了注意力分配的效率和方式，而注意力分配水平的優劣則是測試作業人員情境意識水平高低的依據之一[7]。現有研究更多地關注了腦力負荷和情境意識之間的關系，而其中較少涉及由信息優先級設計所產生的作業人員注意力分配策略的影響。

目前國內對于信息化人機交互界面的工作負荷評估方面的研究起步較晚，主要在航空航天領域較為系統地開展了腦力工作負荷方面的研究工作，海軍裝備受到技術等各方面因素的制約，還未對評價人員的腦力工作負荷能力展開深入研究。張智君對飛行員腦力負荷主觀評定方法的特點及局限性進行了總結[8]，董明清等人對腦力負荷評定指標敏感性做了比較研究[9]。

該研究記錄SART 得分、SAGAT 得分、眼動指標以及任務績效作為SA 的評價指標。其中，SART 得分即10D-SART量表的得分。10D-SART 量表包括3 個一級維度和10 個二級維度，見表4。

表4 10D-SART 量表子維度

通過每個二級維度的打分求每個一級維度的平均值，再通過Q3-（Q1-Q2）來計算SA 的水平。

SAGAT 得分指將任務界面暫停（即“凍結”），詢問操作員當時的情景認知狀況問題，對問題進行正確反應的百分比[2]。由于各個工況任務中參數復雜，艦船狀態變化快，無法采用凍結法對停止界面進行操作，因此采用穿插提問的方式，詢問被測者有關界面上部分參數的相關問題，不打斷其操作。問題類型包括當前參數、目標參數以及參數變化量等。根據參數的重要性對問題進行賦權，再結合正確率來計算SAGAT 得分。眼動指標采用iMotions 軟件進行采集和初步分析，采集指標包括注視率與注視熵。注視率指單位時間在AOI 內的注視次數，反映注視在某一區域的注意力集中程度，注視率越高，表明SA 越好。注視熵反映視覺掃描的隨意性[10]，根據任務性質反映了不同的含義，對于視覺搜索類的任務來說，注視熵越高，反映任務負荷越大，SA 越強；對于需要解決某個問題集中注視的任務來說，注視熵越低，反映注意力的集中程度越高，SA 越強[11-12]。任務績效包括響應時間t和正確率p，響應時間為每個子任務的平均響應時間，正確率為每個子任務的正確響應次數占異常次數的百分比。

2 結果與討論

2.1 10D-SART量表

該實驗使用的是10D-SART 量表，該量表比3D-SART 量表有更多的子維度，其中3 個一級維度分別為注意力需求。注意力供應和情境理解，各工況平均得分如圖4 所示。工況一在VR 仿真平臺平均得分為5.42，實物仿真平臺平均得分為5.93，實物仿真平臺的SA 略好于VR 仿真平臺，具有一定相關性（r1=0.586）且無顯著差異（p1=0.408）。工況二在VR 仿真平臺平均得分為5.44，實物仿真平臺平均得分為5.69，實物仿真平臺的SA 略好于VR 仿真平臺，具有一定相關性（r2=0.743）且無顯著差異（p2=0.668）。工況三在VR 仿真平臺平均得分為5.63，實物仿真平臺平均得分為5.24，VR 仿真平臺的SA 略好于實物仿真平臺，具有一定相關性（r3=0.694）且無顯著差異（p3=0.570）。同時，注意力需求、注意力供應以及情境理解3 個一級維度的得分差異不大，具有較好的一致性。其中，實物仿真平臺對操作員的注意力需求較低，與操作員對實物仿真平臺操作的熟悉程度有關。

圖4 操作員在各工況下2 種平臺的SART 量表平均得分

2.2 SAGAT

SAGAT 在各工況下的平均得分如圖5 所示。工況一在VR 仿真平臺平均得分為94.25，實物仿真平臺平均得分為95.83，實物仿真平臺的SA 略好于VR 仿真平臺，具有一定相關性（r1=0.699）且無顯著差異（p1=0.541）。工況二在VR 仿真平臺平均得分為93.55，實物仿真平臺平均得分為93.46，2 個平臺得分非常接近，具有一定相關性（r2=0.623）且無顯著差異（p2=0.979）。工況三在VR 仿真平臺平均得分為95.47，實物仿真平臺平均得分為95.07，VR 仿真平臺的SA 略好于實物仿真平臺，具有一定相關性（r3=0.715）且無顯著差異（p3=0.383）。在3 種工況下，VR 仿真平臺和實物仿真平臺的SAGAT 法的SA 得分具有較好的一致性。

圖5 操作員在各工況下2 種平臺的SAGAT 平均得分

2.3 眼動評估數據

工況一各任務的注視率普遍略高于工況二與工況三，是由于工況一的任務特點需要關注整個屏幕，而工況二與工況三的任務在大部分時間只關注幾個主要參數，因此注視率大部分不超過3 次/s，如圖6 所示。2 種平臺注視率在置信度0.05 水平下顯著相關（r=0.570）且無顯著差異（p=0.848）。

圖6 操作員在各任務中2 種平臺的注視率對比

VR 仿真平臺的注視熵普遍略高于實物仿真平臺，這是由于VR 環境中的視野較小，因此被試者需要進行頻繁掃視與眼跳，各任務注視熵如圖7 所示。工況二中任務9 和任務10 比任務7 和任務8 的注視熵更小，是因為任務9 和任務10 只需要調整航速，只須關注部分參數。同樣，工況三中任務11 比任務12 和任務13 的注視熵更小，是因為卡舵時只需要按下停車減速即可，只須關注部分參數。2 種平臺的注視熵在置信度0.01 水平下顯著相關（r=0.956）且無顯著差異（p=0.249），能夠有效證明VR 仿真平臺的模擬仿真效果不低于實物仿真平臺的模擬仿真效果。

圖7 操作員在各任務中2 種平臺的注視熵對比

2.4 任務績效

從工況一的6 個子任務的平均反應時間（r1=0.681）來看，實物仿真平臺和VR 仿真平臺有較高的一致性，且實物仿真平臺的反應時間普遍低于VR仿真平臺。主要原因是VR仿真平臺的視野范圍較小，部分參數不易查看，與實際視野范圍有一定差異，需要對操作員佩戴VR 頭盔操作進行一定培訓。二者的完成率沒有明顯差異，任務3、任務4 和任務5存在未完成任務的情況，主要原因是橫傾、縱傾和轉速這3個參數在界面上不易被發現，需要對3 個參數的布局進行改進。從工況二的4 個子任務的平均完成時間（r2=0.996）來看，實物仿真平臺與VR 仿真平臺的相關性很高，其中，實物仿真平臺任務7 的平均完成時間略大于VR 仿真平臺。從工況三的3 個子任務的平均完成時間（r3=0.972）來看，實物仿真平臺與VR 仿真平臺的相關性很高。總體來看，2 個平臺各個工況完成時間的一致性很高（r=0.988）且沒有顯著差異（p=0.899），見表5。

表5 各工況子任務平均完成時間

2.5 討論

該研究的目的是通過評估SA 來驗證仿真評估系統的有效性，對比實物仿真平臺與VR 仿真平臺對于實際操作的仿真效果，比較2 種仿真評估系統的優劣。該實驗的3 組用戶在SA 的評價指標方面并無顯著差異，主要是由于3 組用戶的專業知識水平、操作策略、操作技能以及對界面的熟悉程度等方面存在較大差異，影響人機工效評價指標的變量較多。由于注意策略不同，第三組用戶對非重要參數的敏感性較低，導致工況一的任務績效并不理想，而面對工況二、工況三中的復雜任務，第三組用戶的完成率有明顯提升，但同時他們對于任務完成的自我標準較高，從完成時間并不能準確反映該類用戶的操作水平明顯優于前兩類用戶。SA 取決于任務因素（工作負荷、壓力、平臺設計以及復雜度）和個人因素（目標、經驗、預判、培訓、知識水平以及能力），在不同工況及不同用戶的影響下，3 類工況的SART 得分與SAGAT 得分的變化趨勢均不明顯。在測試中對實驗環境設置進行了主觀評價，其存在的主要問題有屏幕配色不適、分辨率低以及燈光顏色不適等，在后續的實驗中，需要對上述問題進行改進。同時，實驗樣本量較少，也是影響統計學分析結果的主要原因，后續研究需要進一步增加被試樣本的人數。

該研究方法可以應用于其他各類艙室的設計方案評價中，使用VR 技術在虛擬環境下對設計方案進行人機工效學評價，可以節省大量制造樣機的成本，同時也可以取得與實物仿真平臺基本一致的效果。

3 結論

該研究通過在VR 仿真平臺和實物仿真平臺上進行3 種工況任務操作，記錄了包括SART、SAGAT、眼動指標以及任務績效等多個SA 直接或間接評估指標。從上述指標的評價結果可以看出，實物仿真平臺與VR 仿真平臺在評價結果上存在較高的一致性（r>0.5），見表6。

表6 各工況各指標相關性

相比于實物仿真平臺，VR 仿真平臺具有更低的成本，這是由于沒有實體的物理模型，因此修改設計方案時只需要修改VR環境中的模型和參數即可。該研究為艦船操作臺在VR環境下進行方案評估的可行性與合理性提供了一定依據。但同時由于VR 設備的特殊性以及視野較小，因此被試者需要一定時間去學習和訓練，并且容易產生視覺疲勞。今后仍需要對VR 場景設計及測試任務選擇方面進行研究。例如通過改進信息優先級的設計來優化操作員的注意力分配策略，以提高SA；也可以通過優化界面顏色與亮度來減輕VR 環境中的視覺疲勞。