基于視線追蹤技術的工藝操作人員人為失誤識別研究*

胡瑾秋，張來斌，胡靜樺

(中國石油大學(北京) 安全與海洋工程學院 油氣生產事故預防與控制基礎研究室，北京 102249)

0 引言

現(xiàn)代工藝的自動化水平逐日提高，但人工操作過程還不能被自動化設備所完全取代。同時隨著智能化水平的不斷提高，一旦出現(xiàn)操作事故，事故進程更難控制、后果更加嚴重。根據(jù)資料統(tǒng)計[1-2]，近年來人因失誤導致的安全事故占全部工業(yè)事故的比例從20%上升到80%，具體到電力生產、油氣生產等行業(yè)，有70%～80%的事故是由于人因失誤引起的。因此，有效預防人因失誤，并在失誤發(fā)生之前進行有效的預警，是工藝生產事故預防與控制的關鍵環(huán)節(jié)之一[3]。

在典型控制室中，操作者在異常情況處理期間執(zhí)行的認知任務可以分為：熟悉情況、診斷和執(zhí)行3個步驟。人為失誤可能發(fā)生在其中任何1個步驟之中，每1項失誤都能帶來負面影響[4-6]。

目前在生產實際中消除人為失誤的最常見的方法是在過程危害分析期間對其進行分析，或使用在風險分析中的人的失誤概率來計算人的可靠性，存在較強的主觀判斷。因此，需要通過對操作員認知狀態(tài)的自動監(jiān)測、識別、評估，確保操作者正確地實施操作，從而減少因人為失誤帶來的工藝安全事故。

視線追蹤技術能夠分析操作者的心理過程，適用于監(jiān)測與識別設備系統(tǒng)操作者的認知狀態(tài)。近年來，對視線追蹤技術的應用包括醫(yī)療安全、駕駛安全、視覺搜索和信息處理等方面[7-10]。文獻[11]使用視線追蹤技術來評估新手和駕駛熟練的飛行員的操作行為，研究結果表明，關于飛行員的認知狀態(tài)的信息可以通過持續(xù)監(jiān)測的眼動數(shù)據(jù)來獲得；文獻[12]對外科醫(yī)生的操作熟練度進行判斷，發(fā)現(xiàn)經(jīng)驗較少的外科醫(yī)生視線主要集中于手術顯示器而忽視患者的生命體征；文獻[13]中也得出了經(jīng)驗豐富的醫(yī)生更頻繁關注麻醉監(jiān)視器的結論；文獻[14]中使用眼動數(shù)據(jù)識別專業(yè)車手和首次騎摩托車的新手，將視線注視情況與道路環(huán)境相關聯(lián)以評估駕駛員的行駛狀態(tài)。因此，視線追蹤技術能對各個領域中操作者的認知狀態(tài)進行有效的監(jiān)測，從而可實現(xiàn)異常行為的早期預警。

本文結合視線追蹤技術對生產工藝操作人員人為失誤模式進行分析，提取人為失誤的眼動數(shù)據(jù)特征，建立失誤模式智能識別方法，能夠通過人員對工藝生產調控系統(tǒng)注視的眼動特征進行有效的監(jiān)測，智能識別操作人員的失誤模式，實現(xiàn)對誤操作的早期預警。

1 眼動數(shù)據(jù)采集

1.1 視線追蹤技術

視線追蹤技術是1種通過檢測人員在各個時間注視的位置，注視的時間長短以及眼球的運動軌跡等信息來幫助科學家了解被測人員注意力情況的技術[15-16]。本研究采用瞳孔-角膜反射法實現(xiàn)操作人員在工藝過程調控中的視線追蹤，以識別其發(fā)生誤操作的可能。如圖1所示，視線追蹤系統(tǒng)通過將1束紅外光線射向眼睛，再利用相機記錄來自眼睛的反射信息，然后對該信息進行處理以獲得關于注視和眼跳的相關信息。

圖1 瞳孔-角膜反射法Fig.1 Pupil-cornea reflection method

圖2 模擬生產操作人機界面中的注視和眼跳過程示意Fig.2 Schematic diagram of fixation and saccade processes in simulated production operation man-machine interface

人員在工藝操作時眼球會產生一系列由于眼球跳動而產生的離散停頓，這些離散停頓被稱為注視，眼球的跳動被稱為眼跳。視覺對于信息的處理僅在注視期間發(fā)生，在眼跳期間被基本抑制，眼睛的整體活動可以認為是注視、眼跳和眨眼的組合。圖2為工藝操作人員在中控室遠程操作設備時的注視和眼跳過程，圖中的圓圈表示注視點，其中圓圈的大小表示注視時間的長短，數(shù)字是以毫秒為單位所表示的注視時間，而連接各圓圈的線段表示眼跳。

根據(jù)眼腦一致假說可以認為，人的眼動特征是能夠實時展示其認知情況的窗口，并且能夠根據(jù)眼動特征提供關于人的認知行為的動態(tài)信息。因此，為了更高層次的對人員注視特點，以及大腦對外部信息的理解過程進行有效的分析，本文建立如下基于眼動數(shù)據(jù)的注視統(tǒng)計指標，對操作人員各類注視模式進行有效的辨識：

①注視時間(s)：每次注視目標區(qū)域的持續(xù)時間；

②注視次數(shù)：測試者注視目標區(qū)域的次數(shù)；

③停留時間(s)：落在目標區(qū)域內的所有注視時間的總和；

④注視比率(%)：對某一區(qū)域每秒的注視次數(shù)；

⑤眼跳時間(s)：眼睛在2個注視點之間實際移動的時間。

1.2 眼動分析實驗

本次眼動分析實驗通過中控室操作人員對生產乙醇流程的控制來研究操作人員的認知情況。整個生產裝置主要由進行反應的連續(xù)攪拌反應器(CSTR)以及對產物進行處理的蒸餾塔組成。主要發(fā)生的化學反應為乙烯與水在CSTR中發(fā)生反應生成產物乙醇，其反應機理如式(1)所示：

C2H4+H2OCH3CH2OH ΔH=-45 kJ·mol-1

(1)

這一流程中沒有使用任何自動控制器，因此監(jiān)視和控制需要由操作者(人工參與)執(zhí)行。在本次實驗中共有18 名不具備相關工藝操作經(jīng)驗的學生來扮演控制室操作員的角色。在實驗之前，沒有告知被試這項研究的真實目的，以防止影響他們的認知行為并防止他們產生任何輔助或破壞實驗假設的戰(zhàn)略反應。具體的操作界面如圖3所示。

圖3 實驗界面目標區(qū)域劃分Fig.3 Division of target areas in experimental interface

在實驗中通過模擬6個與內外擾動相關的異常事件場景(見表1)來分析操作者的認知行為。在實驗過程中，每名測試者的任務是由6個異常事件場景組成的隨機集合。也就是說，18名測試者的實驗產生了1個包含108個任務的數(shù)據(jù)集。考慮到操作者之間的固有變異性，將具有類似任務完成狀態(tài)的測試者聚集，以便從他們的眼動數(shù)據(jù)特點中提取可聚類的模式。

表1 實驗中的異常控制場景Table 1 Anomaly control scenarios in experiments

在實驗期間，測試者操作調控系統(tǒng)對異常事件進行處理的過程中，其各項動作均被視線追蹤系統(tǒng)記錄下來，包括視線的移動、鼠標的點擊移動、對各個滑塊的操作，以及各項過程參量的實時變化。

2 失誤模式與失誤類型識別方法

2.1 失誤模式建立

為了對被試者在實驗期間的認知行為進行分析，將操控系統(tǒng)界面中的17個特定區(qū)域標記為目標區(qū)域(AOI，Area of Interest)，包括11個變量標簽(T)、4個滑塊(V)、趨勢窗口以及報警摘要窗口。具體的目標區(qū)域形狀、大小及劃分情況在圖3中給出。對各個目標區(qū)域的眼動指標的分類分析可以將數(shù)據(jù)的有效性最大化并且使校準誤差最小化。

從認知行為角度，一旦出現(xiàn)異常事件，被試者必須在人機界面中對多個目標區(qū)域進行有序的觀察來分析該異常事件的類型、原因及應對措施：

①通過點擊變量標簽來顯示相應變量的趨勢變化；

②通過觀察趨勢窗口來觀察變量的變化情況；

③通過操作主滑塊來控制閥門的開閉度。

因此，將目標區(qū)域歸納為趨勢窗口、主滑塊、主標簽、次要滑塊、報警摘要和其他區(qū)域6個區(qū)域。通過統(tǒng)計操作者在每個目標區(qū)域上的停留持續(xù)時間和多個目標區(qū)域之間的轉換，分析他們處理異常事件的認知行為特點。

在數(shù)據(jù)分析階段，發(fā)現(xiàn)操作者有部分失敗操作時的眼動情況顯示與典型操作具有不同的特征。因此按不同眼動特征對這些被試者眼動數(shù)據(jù)進行分類。分類后通過與被試者溝通，得出其當下精神狀態(tài)，并將其操作方式對應不同認知狀態(tài)。將這些認知狀態(tài)與安全行為科學原理中關于人為失誤分類方法的概念法分類結果(偏離、疏忽、錯誤)相結合，最終得出3類人為失誤的失誤模式：精神渙散、高度緊張和操作生疏，如圖4所示。從而將實驗結果數(shù)據(jù)按認知狀態(tài)分為4組：

A組：正常工作狀態(tài)。

B組：被試操作生疏。包括預先培訓階段未掌握操作技巧。

C組：被試精神渙散。包括被試疲勞或者在操作過程中收到其他因素干擾。

D組：被試高度緊張。

圖4 失誤模式分類Fig.4 Classification of error patterns

通過數(shù)據(jù)統(tǒng)計，將這4組在各個目標區(qū)域的視線停留時間進行對比分析，得出各失誤模式的失誤特征，如圖5所示。圖5中，橫坐標按4種狀態(tài)在不同區(qū)域的注視情況分類，縱坐標為該組在該區(qū)域注視視線停留時間占總時間的百分比。

圖5 各組被試者完成測試任務時的視線停留時間分布Fig.5 Distribution of sight fixation time for each group of testers when finishing testing tasks

從圖5中可以看出，在視線停留時間的分布上,B組在次要變量標簽上的停留時間遠高于A組，達到了30%，而在趨勢窗口和主變量標簽上的值遠低于A組，分別為28%和15%；C組在其他區(qū)域上的停留時間遠高于A組，達到了30%；D組在主滑塊上的停留時間遠高于A組。

2.2 失誤類型識別方法建立

在對各類被試者在不同目標區(qū)域注視情況的研究中，發(fā)現(xiàn)雖然不同失誤模式展現(xiàn)出了全然不同的眼動數(shù)據(jù)特征，但各個參數(shù)之間的定量關系難以用固定的數(shù)學公式描述。失誤模式與不同區(qū)域注視時間之間雖然具有較高的模糊性，但失誤模式一定，且具有模式可分性。因此，嘗試利用距離函數(shù)分類法對失誤模式進行分類。將每個待測樣品看作P維空間的1個點，通過計算P維空間中待測樣本與各個標準樣本之間的距離，把距離最小的那一類認定為待測樣本所屬的分類。

具體實施步驟如下：

1)通過對實驗中各組失誤模式在各個目標區(qū)域的視線停留時間進行歸納統(tǒng)計，得出主要失誤模式及其特征參數(shù)，具體見表2。表2中參數(shù)為各組認知狀態(tài)對應的操作人員在各個目標區(qū)域注視時間長短占總注視時間的比值。

表2 各類失誤模式特征參數(shù)值Table 2 Values of characteristic parameters for each type of error pattern

注：表中參數(shù)為被試者在不同區(qū)域的注視時間比例。

2)根據(jù)表2中數(shù)據(jù)建立關于認知狀態(tài)的標準矩陣Y。矩陣的每1行分別表示正常、操作生疏、精神渙散、高度緊張4種狀態(tài)；矩陣的每1列分別表示被試者在趨勢窗口、主滑塊、主標簽、次要滑塊、報警摘要、其他區(qū)域的視線停留時間百分比。

3)進一步計算各指標的權重矩陣W。矩陣的每1行分別表示4種認知狀態(tài)；每1列分別表示對應狀態(tài)下在不同區(qū)域中注視時間長短的指標重要度。

4)利用視線追蹤系統(tǒng)采集操作者進行操作時的眼動數(shù)據(jù)。在本次數(shù)據(jù)分析過程中，選擇 “持續(xù)時間”、“坐標X”、“坐標Y”3項數(shù)據(jù)作為分析過程的輸入。

5)采用距離函數(shù)分類法，其輸入值包括注視點坐標的x值、y值及注視持續(xù)時間。實現(xiàn)對注視點按照目標區(qū)域分區(qū)，統(tǒng)計各區(qū)域注視持續(xù)時間，計算各區(qū)域注視持續(xù)時間百分比，得出樣本參數(shù)矩陣，進而計算歐氏距離矩陣，并將樣本與參照對象的距離由大到小排序。根據(jù)分類法則，樣本與哪一個失誤模式類距離最小，則該被試的操作狀態(tài)就判別到那一類。

3 案例分析

3.1 歐氏距離函數(shù)分類結果

以表3中的8個測試樣本為對象進行試驗。樣本1，5被試者為正常狀態(tài)；樣本2，6被試者為操作生疏；樣本3，7被試者為操作狀態(tài)疲勞；樣本4，8被試者操作時狀態(tài)緊張。

表3 操作人員操作狀態(tài)測試樣本Table 3 Testing samples of operators’operation status

最終利用歐氏距離函數(shù)法對操作者的認知狀態(tài)進行識別的結果見表4，可以看出，除了第4號樣本的狀態(tài)判別與真實情況存在差距以外，其余各組樣本的識別結果均與實際情況一致。

表4 樣本與各類失誤模式的歐氏距離Table 4 Euclidean distance between samples and each type of error pattern

3.2 加權歐氏距離函數(shù)分類結果

由于每種失誤模式的眼動情況都有各自明顯的標志和特征，引入權系數(shù)矩陣來強化各個區(qū)域注視情況對分類起到的不同作用。對于每個失誤模式的各個參數(shù)其權重值均不同。以各個模式的標準參數(shù)矩陣作為基準，結合權重計算表3中各樣本的加權歐氏距離，最終利用加權歐氏距離函數(shù)法對操作者進行認知狀態(tài)識別，結果見表5。從表5可以看出，與一般歐氏距離分類法相比，失誤模式識別的準確性進一步得到了提高。

表5 樣本與各類失誤模式的加權歐氏距離Table 5 Weighted euclidean distance between samples and each type of error pattern

4 結論

1)針對已有的人為失誤分析方法大都依賴于歷史數(shù)據(jù)或主觀判斷的情況，本文創(chuàng)建了基于視線追蹤技術的工藝生產操作人員人為失誤監(jiān)測與識別技術。建立了以眼動特征群為指標的人員認知行為失誤監(jiān)測方法，實現(xiàn)了對生產過程中操作人員認知行為的實時感知與監(jiān)測。

2)提出基于聚類分析的操作人員失誤狀態(tài)綜合識別方法，以被試者在不同區(qū)域的視線停留時間百分比作為特征參數(shù)，運用加權歐氏距離函數(shù)分類法對待測狀態(tài)與參考模式之間的距離進行比對。

3)實驗結果顯示，使用加權歐氏距離分類法加以改進后，不僅對認知模式類別的識別更加準確，且識別模式與其他模式類別的距離也增大，顯著提高了失誤模式識別的分辨率，有利于對工藝生產操作人員誤操作的早期預警。