基于行為學的無人機操作員認知狀態評估

謝松云, 李亞兵, 王偉, 孟雅, 謝辛舟

(西北工業大學 電子信息學院, 陜西 西安 710072)

警覺度，作為一種反映人類能夠維持較長時間的注意力，并對該段時間內發生的小概率事件保持警惕的能力[1-2]。特別是隨著科學技術的進步，操作員在駕駛過程中承擔的任務逐漸發生改變，從飛機的操控任務變為機器的監控任務[3]。隨著時間的推移，操作員的大腦認知負荷上升，會對判斷能力、注意力造成不利影響，從而對飛行器等的安全造成潛在的影響。基于此，警覺度的研究受到越來越多的關注。

針對該問題，大量學者對人類的認知負荷評價方法進行了探索性研究：主要包括：主觀評價方法(如NASA-task load index)[4]和客觀評價方法(基于生理參數的評價方法[5]、基于生物反應的評價方法[6])。主觀評價方法是對人類主觀感受的直接描述，但實驗結果無法動態標注認知負荷的變化。基于生理參數(如腦電、心電和呼吸等)的評價方法需要附加的設備對生理信號進行采集，增加實驗復雜度。

使用基于生物反應的評價方法具有簡易性，并且能夠實時實現對被試狀態的監控。研究表明警覺度實驗中視覺注意力的響應時間和大腦特定區域(前額葉、頂葉控制區、視覺皮層、扣帶回和丘腦等)的神經活動的變化相關[7]。美國霍普金斯大學醫學院的Catherine M.Davis等人的研究發現，生物反應特征(響應時間(response time,TR)、響應遺漏(lapse)等)可以有效反映出警覺度的變化[8]。愛爾蘭國立都柏林大學的Whelan等人通過對響應時間的變換，進一步降低異常點響應對度量準則的影響[9]。

然而，到目前為止，并沒有文章對基于生物反應的警覺度的靈敏度進行系統性的對比分析，這對于判定這些準則對認知功能的影響與否具有重要的參考價值。因此，本文從不同的角度對不同準則的靈敏度進行對比和分析。

1 警覺度分析的行為學準則

警覺度度量準則主要分為2類：響應時間相關和錯誤響應相關。不同的任務階段，響應時間和錯誤響應的分布具有顯著性的不同。對于響應時間而言，如果值小于100 ms時，認為被試按鍵響應是無效的，即錯誤開始[8]，反之，則可以用于進一步的分析。錯誤響應指在下一次刺激到來時，被試沒有對刺激做出正確的響應。除此之外，遺漏(lapse)和錯誤響應定義為錯誤(error)。基于這些概念，本文的警覺度度量準則如下所述：①得分指標；②平均響應時間；③Q-10(響應時間前10%的平均值)；④Q-50(中值響應時間)；⑤Q-90(響應時間后10%的平均值)；⑥遺漏概率(lapse probability)；⑦錯誤開始；⑧平均響應速率；⑨似然比例準則(likelihood ratio metric,LRM)[10]。具體計算方法如下：

1) 得分指標：隨著警覺度的變化，該指標對被試神經行為缺失的靈敏度測量。計算方法見公式(1)：

(1)

2) 平均響應時間:該指標直接反映了被試對刺激的靈敏程度。

(2)

式中，TRi表示第i次刺激的響應時間。

3) Q-10:根據被試的警覺度水平,Q-10,即排列在前10%區間的響應時間的平均值,反映了被試的正常狀態或者警醒狀態。如果被試的警覺度水平較高,則Q-10保持不變或者變化很小。

(3)

式中，Iround( )表示四舍五入取整；Isort( )表示對序列升序排列。

4) Q-50:相比于平均響應時間,該指標會自動屏蔽極值點,使得計算在一定程度上更加可靠。

Q-50=Vmedian(TR)

(4)

5) Q-90:根據被試的警覺度水平變化,如果被試不能集中注意力,相比于正常的TR,會顯著增加,該指標更能反映被試的警覺度水平較低的程度。

(5)

6) 遺漏概率:該指標表示遺漏響應次數在有效響應中所占的比例。

(6)

7) 錯誤開始:錯誤開始指的是相比于刺激的超前響應。該指標會隨著警覺度的下降而增加。

錯誤開始=次數(響應時間<100 ms)

(7)

8) 平均響應速率:平均響應速率是最先發現反應被試狀態靈敏度的度量準則。該準則在突出慢反應速率方面,是最優化的響應準則,它受到較長響應時間的影響更小。

(8)

9) LRM:LRM是基于被試響應時間的相對頻率分布的規律計算而來的。該準則可以通過如下公式計算:

(9)

此處,tmin表示有效時間范圍的最小值,tmax表示有效時間范圍的最大值。

這些準則在被試警覺度水平差異的對比性研究中受到很多的重視。但是如何確定這些方法的有效性,就成為了一個更加重要的問題。本文從計算不同任務的統計顯著性的角度出發,利用效應量對各個度量準則進行對比分析。

2 實驗方法及評價

2.1 實驗流程

本實驗總共有6名年齡在22～27歲之間的研究生(其中4男2女)作為實驗對象,要求被試具有午休習慣,右利手。本實驗要求所有被試在實驗前一天保持正常作息,并提前對被試進行實驗培訓,熟悉實驗流程。整個實驗流程持續2 h,并分為2個時間段分別完成:10∶00—11∶00和14∶00—15∶00。整個實驗共包括4個模塊,具體流程見圖1。

圖1 實驗流程

本文實驗采用仿真的飛行器狀態判別任務。具體的刺激圖如下:首先將圓環均分為4份,然后在各個部分放置一個飛行器。每一個飛行器的飛行姿態是隨機的(順時針或逆時針)。在安全情況下,所有飛行器的姿態同為順時針或同為逆時針;否則,飛行狀態判斷為相撞。

圖2 實驗示意圖

精神運動警覺性任務(psychomotor vigilance task,PVT):單次PVT任務持續時間約為10 min,該任務要求被試對電腦屏幕中間出現的飛機狀態進行反應,當飛機出現相撞的情況,被試按“1”鍵,否則按“2”鍵。被試按鍵結束之后,屏幕刺激消失;如果被試在刺激呈現時沒有反應,則刺激持續1s后消失。刺激消失后會出現隨機的時間間隔(1～9 s)。為了保證實驗開始時,被試狀態盡可能一致。對被是進行一個任務段的訓練,然后利用Quest方法對刺激呈現時間進行進一步優化,以此確保被試在實驗開始階段的表現狀態盡可能一致。

1) 間歇性PVT任務:2個實驗周期間,選擇讓被試進行一定時間的休息,實驗時間選擇早上10∶00—11∶00;

2) 持續性PVT任務:2個實驗周期間,被試不需要休息直接進行下一個周期進行連續性的實驗工作,實驗選擇時間為下午13∶00—14∶00。

2.2 性能評價模型

為了對以上提及的不同警覺度狀態的評價準則進行分析,選擇結合兩評價模型:①效應量;②顯著性分析。效應量是一種基于t檢驗的分析方法,利用效應量的分析,可以輔助判別顯著性分析差異性是否真的有意義。而效應量可以分為3個等級:小效應(η2>0.01且η2<0.06);中等效應(η2>=0.06且η2<0.15);大效應(η2>0.15)。具體標準如

表1所示:

表1 衡量指標的可信度

3 實驗分析

從圖3b)可以看到,隨著實驗的進行,被試腦力負荷也逐漸增加,精神負荷增加,導致響應時間呈現緩慢上升的趨勢。由于持續性任務中被試沒有午休,被試的精神狀態較為萎靡,間歇性任務第一個PVT任務的響應時間小于持續性任務,這與中國人的生活習慣相一致。從表2的分析,NASA-TLX的得分在連續性任務較高,即為警覺度較低,這與圖3的結論具有一致性,即被試的響應時間呈現明顯上升。由此可知,長時間的連續工作或者缺乏休息可能會誘發心理疲勞,受到該因素的影響,被試在PVT任務上的績效發生相應變化。結果分析表明,警覺度狀態的變化,使得被試在任務的績效水平降低,而在NASA-TLX量表上則表現為疲勞度增加。

圖3 2種任務下響應時間分析

任務心智需求(指數/權重)體力需求(指數/權重)時間需求(指數/權重)績效(指數/權重)精力(指數/權重)挫折感(指數/權重)加權平均 連續性80/285/180/185/490/285/284.58 間歇性60/170/565/065/285/480/374.67

3.1 警覺度性能對比

表3和圖4給出了不同警覺度條件下,前1分鐘到前10分鐘9種度量準則的變化情況。根據結果分析,相比于間歇性任務,持續性任務在6種度量準則(錯誤開始、遺漏概率、平均響應時間、Q-50、Q-10以及Q-90)顯著增加。與此相反,響應速度和性能得分卻越來越小。通過數據分析可知:在有效的響應時間范圍內,響應越快,錯誤率越低。和響應時間相關的度量準則(除了響應速度)中,持續性任務得分呈現逐漸下降的趨勢。與遺漏或錯誤響應相關的度量準則卻會逐漸增加。從整體分析,隨著實驗的進行,2種任務下腦力負荷強度逐漸變大,被試的響應時間和錯誤開始相關的準則呈現明顯增加趨勢,但間歇性任務的變化幅度小于連續性任務,這與前文所述的NASA-TLX所得的結果相吻合。結果表明不同的度量準則可以在一定程度上用來估計被試警覺度水平,但是不同任務難度下區分效果并不是特別明顯,特別的,平均響應時間、Q-50和響應速率等參數均沒有發現明顯的差異。圖4a)中空心表示錯誤開始，實心表示得分指標；圖4b)中空心表示LRM，實心表示遺漏概率。

圖4 4種不同度量準則在0～1分鐘,0～2分鐘,…,0～10分鐘的變化趨勢

參數任務12345678910平均速率連續性1.3371.2981.3291.3651.3441.3221.3221.3121.3031.302間歇性2.5822.5112.4032.2792.1752.1272.0982.0552.0251.986平均響應時間連續性0.7740.7940.7790.7580.7680.7790.7780.7820.7870.788間歇性0.4130.4180.4440.4650.4880.4960.5000.5110.5180.528Q-10連續性0.5460.5460.5570.5500.5540.5590.5620.5650.5650.569間歇性0.2740.2770.2800.2880.2960.3020.3080.3140.3200.326Q-50連續性0.7310.7650.7990.7520.7780.8030.8010.7990.8020.803間歇性0.3830.3920.4460.4660.5170.5200.5190.5210.5290.544Q-90連續性0.970.970.9680.9640.9620.9600.9630.9630.9630.962間歇性0.6170.6000.6260.6220.6680.6680.6650.6930.6980.726

3.2 不同PVT任務條件下度量準則的對比分析

為了驗證各種度量準則在2種PVT實驗下的影響,表4和圖5表示對2種PVT任務下9種度量準則效應量和顯著性分析結果。考慮到實驗初始階段,被試的狀態相差不大,對于遺漏(遺漏概率和錯誤開始)和得分標準而言,在2種條件下沒有顯著性差異,隨著時間的變化,被試的腦力負荷呈現出差異越來越大的趨勢,這2種條件下的度量準則具有顯著性的差異和有效的效應量。同樣,對于響應時間(平均響應時間,Q-50,響應速度和Q-10)相關的度量準則,在2種PVT任務下具有顯著性的變化。隨著警覺度狀態的變化,二者的差異性的顯著性呈現增加的趨勢。

圖5 4種不同度量準則在0～1分鐘,0～2分鐘,…,0～10分鐘效應量(空心)和顯著性水平(實心)的變化趨勢

參數任務12345678910得分指標效應量0.010.2260.3750.6510.740.7850.80.7890.7370.692顯著性0.870.4190.0990.2720.0610.0450.0410.0440.0620.081平均響應時間效應量0.9940.9770.9630.9510.930.9520.9680.9560.9370.931顯著性00.0010.0050.0030.0080.0050.0020.0040.0070.008Q-10效應量0.9870.9820.9750.9710.9030.9050.9580.9620.9660.967顯著性0.0010.0010.0020.0020.0130.0130.0040.0030.0030.003Q-50效應量0.9780.9710.9550.9380.9190.9290.9370.9230.8870.866顯著性0.0010.0020.0070.0040.010.0080.0070.0090.0170.022Q-0效應量0.8990.9910.9970.9850.9860.9950.9940.9890.9820.974顯著性0.01400.00100.0010000.0010.002

3.3 不同度量準則和準確率的相關性分析

不同度量準則和正確率(ACC)的相關性分析如表5所示。通過對生理學信號分析表明,文中所描述的9種警覺度度量準則與無人機操作員的認知負荷或精神狀態具有較高的關聯性,可作為評價操作員的認知負荷的有效指標。

表5 幾種和響應時間相關的度量準則(錯誤開始;遺漏概率;LRM和

遺漏相關(遺漏概率,錯誤開始,和LRM)和得分指標等度量準則和ACC進行相關性分析。由圖可知,間歇性PVT任務的遺漏概率、LRM以及績效的相關r值分別為-0.940(p<0.05),0.840(p<0.05)和0.940(p<0.05)。在連續性PVT任務中,這些度量準則和ACC具有較小相關性,相關值分別為-0.741(p=0.057),-0.535(p=0.216)和0.741(p=0.057)。有趣的是,連續性PVT任務的腦力負荷比較大,錯誤開始和ACC的相關性r值具有顯著相關性:r=0.815,p<0.05。并且錯誤開始在間歇性任務中具有較高的穩定性。

和響應相關的度量準則(平均響應時間;Q-50;Q-10;Q-90;和響應速度)和ACC的相關性分析如表5所示。表中具體給出了回歸系數(r值)和p值。由表5可以得出:在間歇性任務中,平均響應時間的相關性比連續性任務的相關性高(0.976>0.814);相比于間歇性任務,連續性任務的相關性在Q-50,Q-90和速度相關的度量準則明顯較差,而Q-10的相關性在2種條件下表現較為良好。根據這些分析可知:均值響應時間、Q-50以及速度等在被試狀態較好的基礎上采用,效果更好;而Q-10在2種情況下相差不大。

4 結 論

針對關于警覺度的行為學的研究較為分散，本文從t檢驗和效應量的角度，系統性的對比了不同度量準則的適用范圍。根據統計學分析，響應速率和ACC具有更高的相關性和效應量，在度量準則中更能適用于警覺度的分析；遺漏相關準則(錯誤開始、遺漏概率)在效應量和顯著性分析中表現突出，但在相關性分析中表現不足，可以進一步提高該準則的有效性；和響應時間相關的準則(平均響應時間、Q-10、Q-90)受到被試異常響應的影響較大，在警覺度分析的過程中容易產生誤差；Q-50可以避免異常響應的影響，但從統計學的角度分析，和響應時間相關的度量準則的效應量和顯著性表現較差。在后續的研究中通過引入腦電和眼電數據等其他生理信號，可以進一步的在多模式基礎上對操作員的精神狀態進行綜合評價。