民機復合材料目視檢查中的眼動與疲勞檢測

賀強，譚德強，程林

中國民用航空飛行學院 航空工程學院，廣漢 618307

目視檢查是民機復合材料結構持續適航的重要工作，是保證大量應用復合材料的民機飛行安全的第一防線[1]。近20年的航空事故統計表明，由機務維修差錯導致的事故增加了4%，而大部分維修差錯都與維修人員的疲勞作業有關[2]。疲勞會誘發維修作業中的錯、忘、漏等安全風險[3]。因此，對維修人員在復合材料結構目視檢查中的疲勞狀態進行監測，對于減少維修差錯，保障飛行安全具有重要意義。

人的因素已經是現代民用航空事故的關鍵致因，疲勞作為人的因素的一項重要內容也成為影響航空安全的重要因素之一[4]。飛行員疲勞的影響因素與評價[5-6]、空中交通管制員的疲勞及疲勞狀態檢測[7-8]、機務維修人員的疲勞管理[9-10]等已經成為民航的熱點研究主題，形成了基于量表的主觀疲勞檢測和基于生理信號的客觀疲勞檢測方法。基于量表的主觀疲勞檢測方法主要利用疲勞量表采樣數據，通過數據統計分析疲勞狀態或分布[11]。基于生理信號的客觀疲勞檢測方法利用心跳、皮電、腦電、眼動和面部表情等生理信號來估算疲勞程度，已經成為疲勞狀態檢測的發展趨勢[12]。其中，基于眼動的疲勞狀態檢測具有的客觀性和非接觸性使其廣泛應用。牛清寧等[13]利用4類眼動指標，建立駕駛疲勞檢測模型。Lenskiy和Lee[14]利用眨眼頻率和眼睛閉合時間進行疲勞狀態的檢測。Mandal等[15]魯棒地提取眼動數據并進行疲勞檢測。Yamada和Kobayashi[16]提出了多種基于眼動的疲勞檢測模型。當前，基于眼動的疲勞檢測模型雖然采用了支持向量機、決策樹、邏輯回歸、貝葉斯網絡等方法，但這些方法直接利用可能度量疲勞的眼動信號，缺少眼動信號與疲勞的相關性分析，以至疲勞檢測精度有待進一步提高。在基于眼動的民航從業人員疲勞檢測方面，平均注視時間、掃視速度、掃視幅度、瞳孔直徑等用于分析其與空中交通管制疲勞[8,17-18]、飛行疲勞[19]的關系，并建立了的管制疲勞檢測模型[17]。

相對于主觀的疲勞檢測方法，基于眼動的飛行和空中交通管制疲勞檢測可以更主動且有效地保障民航安全。綜合文獻[17-21]，機務維修具有與飛行和管制類似的輪班和晝夜節律的擾亂以及高工作負荷等疲勞致因。疲勞導致3類從業人的差錯，從而影響航空安全。因此將眼動應用于機務維修人員的疲勞檢測對于民航安全水平的提升具有重要意義。但現有的針對機務維修人員疲勞檢測的研究，仍然以主觀問卷的方式識別疲勞風險，度量企業級或行業級的疲勞分布，以及疲勞的風險管理為主[20-21]，鮮有應用于機務維修人員疲勞檢測的眼動指標研究，也未涉及針對目視檢查的基于眼動指標的疲勞狀態檢測模型。為此，本文通過復合材料結構目視檢查實驗，利用Tobii眼動儀提取了機務維修人員在正常狀態和疲勞狀態的眼動數據，基于數據分析提取與疲勞相關的眼動指標。在此基礎上，利用支持向量機(Support Vector Machines, SVM)方法構建了目視檢查疲勞狀態檢測模型。

1 復合材料結構目視檢查實驗

1.1 實驗人員與設備

某高校飛行器適航技術專業的13位大四本科生參加了民機復合材料結構目視檢查實驗。其中，男生8名，女生5名。實驗人員平均年齡22歲，均參加并通過了CCAR147部的技能培訓，掌握了基本的維修技能，且經過專業課程學習具有一定的復合材料結構持續適航專業知識，對目視檢查也有一定的了解。13名實驗人員會以正常狀態和疲勞狀態進行復合材料結構目視檢查實驗，并利用瑞典Tobii公司的Tobii Glasses 2眼動儀記錄目視檢查過程中的眼動數據。

Tobii Glasses 2是一款測量精度高、采集高效、使用方便、可用于現實和虛擬場景研究的眼動設備。該設備是頭戴式的，由一副眼鏡、一個輔助記錄器、從不同維度采集雙眼眼動信息的四部眼動攝像機和廣角高清場景攝像機構成。眼鏡只有45 g，保證了實驗人員的舒適性和行動自由。該眼動設備記錄的數據通過Tobii ProLab Analyzer 軟件導出，可根據用戶需求提取相應的數據。該軟件集成了新的數據疊加工具，可以將來自眼動追蹤視頻的數據智能地疊加到指定的場景目標上，便于生成可視化的眼動數據。

1.2 實驗場景

1.2.1 實驗件

實驗件為某型民用直升機的復合材料槳葉，在槳葉上規劃出3塊長和寬均約為120 mm的區域作為待檢區，每個待檢區在實驗前都用白色覆蓋物遮蓋以免落塵，如圖1所示。在每個待檢區域人工制造出7～8個位置隨機分布的凹坑或裂紋等目視檢查中常見的復合材料結構損傷，每個損傷的尺寸必須達到勉強目視可檢標準及以上。根據波音公司的復合材料結構的勉強目視可檢損傷尺寸標準，損傷的尺寸在0.01～0.02 in(1 in=2.54 cm)范圍內。

在設置好典型的復合材料結構損傷后，預先進行檢查以保證每個構建的損傷的尺寸符合波音公司的勉強目視可檢標準，并在復寫紙上標記出每個損傷的位置，以便之后與每個實驗人員的目視檢查結果進行比對，從而得到實驗人員目視檢查的準確率。

圖1 復合材料結構損傷目視檢查場景Fig.1 Visual inspection scene of composite material component damage

1.2.2 實驗環境的控制要素

導致維修差錯的因素很多，本文專注疲勞，因此必須對除疲勞外的其他因素進行控制，以提高實驗結果的準確性和可靠性。針對環境因素，結合復合材料結構目視檢查要求，控制實驗環境的照明條件、使得每個實驗人員所處環境的光照強度和角度都相同；選擇的損傷區域均為黑色，避免其他顏色區域的損傷干擾實驗結果；將實驗件水平放置在位置固定的架子上，按照目視檢查標準，固定檢測距離50 cm，由于待檢區相鄰，因而上述措施避免實驗人員頻繁變換體位，能夠有效地將檢查角度控制在一個較小的范圍內。目視檢查實驗場景如圖1所示。

1.2.3 實驗人員的狀態控制

為模擬真實疲勞維修場景，采取下列措施使得實驗人員處于疲勞狀態，具體為：

1)睡眠剝奪[17]：實驗人員實驗前一天需熬夜(推遲入睡時間2 h以上、次日早晨起床時間照常)；疲勞狀態下的復合材料槳葉目視檢查實驗在下午兩點半到三點半之間進行且剝奪當日午睡休息(每個實驗人員都有午睡習慣)。

2)腦力消耗：為增加實驗人員的大腦疲勞程度，要求實驗人員在目視檢查之前完成一個低難度和一個中等難度的數獨游戲以增加其腦力負荷。數獨游戲如圖2所示。

圖2 疲勞實驗中的數獨游戲Fig.2 Sudoku in fatigue experiment

3)連續作業：連續的腦力作業會使實驗人員產生精神疲勞。在進行目視檢查實驗前，每個實驗人員必須完成時長約40 min的背單詞任務。根據個人詞匯量，單詞軟件會自動生成任務，并對未回答正確的單詞進行重復顯示直到完成任務。

為保證實驗人員的正常狀態，除良好的睡眠和休息外，實驗前可以喝適量的咖啡用于提神。正常狀態實驗在早上十點到十一點不易犯困的時間段進行。

1.3 實驗過程及眼動數據

復合材料結構目視檢查實驗過程分為正常狀態和疲勞狀態下的目視檢查2個階段進行。每個實驗人員都參加2個階段的實驗。首先對實驗人員進行統一的航空復合材料結構目視檢查操作培訓和眼動設備使用培訓，然后進行正常狀態下的目視檢查實驗。間隔2周后進行疲勞狀態下的目視檢查實驗。根據“艾賓浩斯記憶曲線”，正常實驗后2周再進行疲勞狀態下的實驗可以有效排除2個階段順序進行實驗所帶來的學習或記憶績效對實驗結果的影響。在目視檢查實驗開始時，首先利用NASA_TLX疲勞量表[21]檢查實驗人員是否處于疲勞狀態。

按照實驗場景的要求組織開展實驗，同步采集實驗過程中產生的眼動數據，包括眼動記錄持續時間、視線位置、組合視線3D位置、左右注視方向、左右瞳孔位置和直徑、左右眼位置、眼動時間持續時間、眼動時間類型索引和熱點區域等。

2 實驗結果分析

本次實驗中，參與實驗的13名學生中有一名男生在實驗過程中長時間關注實驗室的其他區域，導致數據作廢，最終獲得12名學生的在正常和疲勞工作狀態下目視檢查的24份有效眼動數據。以該數據為基準，進行目視檢查結果、與疲勞相關的數值型眼動指標和可視化型眼動指標的相關性分析。

2.1 目視檢查結果

根據實驗開始的NASA_TLX疲勞量表問卷結果，正常狀態下的目視檢查實驗前，實驗人員的疲勞指數均處于正常狀態，疲勞狀態下的目視檢查實驗前，實驗人員的疲勞指數均處于疲勞狀態。實驗人員在正常狀態與疲勞狀態下對復合材料槳葉目視檢查的結果如表1所示。表1的結果表明疲勞狀態下實驗人員進行目視檢查容易出現漏檢和錯檢的情況，平均差錯率達14.13%，其中，人均差錯1.08，標準差0.67，正常狀態下實驗人員進行目視檢查的差錯為零。實驗結果表明疲勞是導致維修差錯的重要致因。

表1 不同工作狀態下的目視檢查結果Table 1 Visual inspection results under different working conditions

2.2 疲勞相關的眼動指標分析

2.2.1 數值型眼動指標

結合與疲勞相關的眼動指標現狀和Tobii Glasses 2眼動儀所支持記錄的眼動行為，本文根據目視檢查任務持續時間、左右瞳孔直徑、注視次數、注視總時間、眼跳次數、眼跳總時間、掃視速度等指標數據提取與疲勞相關的眼動指標。首先根據記錄數據計算正常狀態下和疲勞狀態下的上述指標的實驗人員的平均值，結果如圖3所示。疲勞狀態下，實驗人員的目視檢查任務持續時間、注視次數、注視總時間、眼跳次數和眼跳總時間數據均高于正常狀態，而瞳孔直徑和掃視速度小于正常狀態。以此初步判定與疲勞相關的眼動指標包括左右瞳孔直徑、平均注視時間=注視總時間/注視次數、平均注視頻率=注視次數/任務持續時間、平均眼跳時間=眼跳總時間/眼跳次數、平均眼跳頻率=眼跳總次數/任務持續時間和掃視速度。上述與疲勞相關的眼動指標需要根據實驗人員眼動數據的方差齊次性檢驗和方差分析(ANOVA)檢驗以進一步確定其與疲勞的相關性，為疲勞狀態檢測模型的構建奠定基礎。

圖3 不同工作狀態下實驗人員的眼動數據均值Fig.3 Eye movement data mean under different working conditions

表2為疲勞狀態和正常狀態下實驗人員的上述眼動指標的方差齊次性檢驗結果，其中df為自由度，df1=工作狀態數-1，df2=工作狀態數×(同一狀態樣本數-1)。根據初步選定的與疲勞相關眼動指標的方差齊次性分析結果，所有的眼動指標的顯著性結果都大于0.05，說明上述眼動指標的方差在0.05水平上不存在顯著性差異。

表2 眼動指標的方差齊次性檢驗Table 2 Homogeneity test of eye tracking indexs’ variance

根據表3眼動指標的ANOVA單因素方差分析結果，左右瞳孔直徑、平均注視時間和掃視速度的顯著性概率值小于0.05，表明工作狀態對實驗人員的瞳孔直徑、平均注視時間和掃視速度有顯著性影響。其中F值是組間均方差與組內均方差的比值，P值為顯著性概率。特別地，表3的結果表明右眼瞳孔直徑受工作狀態的影響更大。平均注視頻率、平均眼跳頻率和平均眼跳時間對應的顯著性概率值高于0.05，表明工作狀態對實驗人員的平均注視頻率、平均眼跳頻率和平均眼跳時間沒有顯著性影響。

圖4給出了實驗人員的左右瞳孔在不同工作狀態下的瞳孔直徑的均值，從圖中可以看出，疲勞狀態下，瞳孔直徑變小。分別計算不同工作狀態下，左右瞳孔直徑的差異值的均值。其中，實驗人員正常和疲勞狀態下左瞳孔直徑差異值的均值為0.276 mm，右瞳孔為0.367 mm，每個實驗人員的不同工作狀態下，瞳孔直徑的差異情況如圖5所示。瞳孔直徑差異值的均值和圖5的數據表明不同工作狀態下右瞳孔直徑差異更大。為了排除非疲勞因素導致這一現象，通過視頻回放整個實驗過程，所有有效數據的實驗人員的光照強度和角度沒有明顯差異，注視方向也都集中在待檢查區域范圍。同時統計每個實驗人員的視力情況，發現右眼視力均優于左眼，由此推斷目視檢查中，由于左右眼視力差異，導致檢查更依賴右眼，因此右眼受疲勞的影響更大。

表3 ANOVA分析結果Table 3 ANOVA analysis results

圖4 目視檢查中的瞳孔直徑Fig.4 Pupil diameters in visual inspection

2.2.2 可視化型眼動指標

利用Tobii Pro Lab軟件的Visualizations功能，生成注視熱點圖和注視軌跡圖，以獲取不同工作狀態下實驗人員在目視檢查時的注視點分布情況。由于每個實驗人員均有6幅注視熱點圖與軌跡圖，限于篇幅，僅給出一個目視檢查區域的情況，其中綠色、黃色、紅色代表注視點重疊次數的增加，且相同顏色色度越深代表重疊次數越多，具體如圖6所示。

從正常與疲勞狀態下的注視熱點圖及注視軌跡圖的對比中可以看出，正常狀態下的注視點的重疊次數明顯比疲勞狀態下多，且正常狀態下的注視點幾乎覆蓋了損傷區域的主要檢查范圍，而疲勞狀態下的注視點主要在損傷區域的中上位置成橫條狀分布，且較正常狀態，疲勞狀態的注視點重疊數量明顯減少。

圖6 不同工作狀態下的注視熱點與注視軌跡Fig.6 Fixation hotspot and trajectory under different working conditions

3 基于SVM的疲勞檢測模型

3.1 SVM方法

SVM[22]具有優秀的泛化能力和小樣本學習分類能力使其成為目前最常用和效果最好的分類器之一。疲勞檢測模型的根本目標是能夠將實驗人員在疲勞狀態和正常狀態下的由眼動指標構成的特征向量之間的距離最大化，這與SVM方法的思想一致。本研究的特征向量數量為24，是小樣本，眼動指標與疲勞之間存在非線性關系，且眼動指標構成的特征向量維數較高，這類模式識別正是SVM方法特有的優勢，因此本文選用SVM來構建目視檢查疲勞檢測模型。SVM是一種有監督的統計學習方法，通過構建一個能將兩類數據正確分開，且兩類數據點距離分類面最遠的最優超平面來實現分類。對于線性不可分數據，通過核函數將數據映射到高維空間使其線性可分。根據目視檢查實驗中與疲勞相關的眼動指標分析，選取左眼瞳孔直徑、右眼瞳孔直徑、平均注視時間和掃視速度4個指標作為SVM方法的支持向量，建立疲勞狀態檢測模型。

對于該模型，i為樣本序號，工作狀態yi=1時，表示正常工作狀態，yi=-1時表示疲勞工作狀態，xi為與疲勞相關的眼動指標構成的特征向量。(xi,yi)構成訓練集Ⅰ、Ⅱ被超平面區分。疲勞狀態檢測模型的核心為確定訓練集的最優超平面，利用超平面自動確定工作狀態。訓練集的超平面和狀態判別函數分別為

(1)

(2)

式中:w為超平面的法向量;b為參數。

超平面能對訓練集所有樣本進行分類，需將判別函數歸一化，即

(3)

(4)

為求解最優超平面，引入Lagrange函數將該問題轉化為對偶問題求解。通過式(5)求解Lagrange乘子α，得到最優超平面的參數如式(6)和式(7)所示。

(5)

(6)

(7)

3.2 疲勞檢測模型構建

在分析目視檢查中與疲勞相關的眼動指標基礎上，構建了眼動指標特征向量，對該特征向量進行歸一化處理，將處理后的數據結合其狀態進行SVM的最優超平面求解，以最優超平面構建狀態判別函數，從而完成模型的構建，具體流程如下：

步驟1 構建由與疲勞相關的眼動指標組成的特征向量Xi=[LpiRpiMtiSvi]，工作狀態集Y={yi|yi∈{1,-1}}。其中，Lpi、Rpi分別表示第i個樣本的左、右眼瞳孔直徑(單位為mm)，Mti表示第i個樣本的平均注視時間，Mti=Mti/100(單位為ms)，Svi為第i個樣本的掃視速度(單位為像素/ms)；此方式下，眼動指標值不存在量級差異，利用式(8)進行歸一化處理，能有效保持眼動特征。處理后的每個特征向量Xi與yi一一對應。

(8)

步驟2 通過MATLAB2018b的fitcsvm函數實現Xi的線性分類。

步驟3 調用MATKAB2018b的predict函數計算分類的錯誤率，如果錯誤率太高，選擇核函數將特征向量映射到高維特征空間，重復步驟2和步驟3 直至錯誤率可接受，完成模型的構建。

應用該模型時，只需輸入待檢測工作狀態人員的眼動特征向量，模型利用式(2)計算該特征向量的工作狀態，實現疲勞狀態的自動檢測。

3.3 基于模型的檢測結果

以目視檢查實驗中獲取的12個實驗人員的眼動數據構建疲勞檢測模型的訓練集和測試集。其中，訓練集以12個實驗人員在正常和疲勞工作狀態下的前2/3實驗過程時間的眼動數據構建；測試集以12個實驗人員在正常和疲勞工作狀態下的后1/3實驗過程時間的眼動數據構建。訓練集和測試集的眼動特征向量樣本數均為24。測試集的眼動特征向量集如表4所示。

通過MATLAB工具包實現基于SVM的疲勞檢測模型，分別采用線性方法和核函數實現特征向量的二類劃分。其中，線性分類獲得的最優超平面的法向量為(0.442, 0.444, 0.669,0.331)，b=0.025。基于該模型的正常狀態檢測和疲勞檢測結果如表5和表6所示。表5和表6中的L、R、G、P分別表示線性SVM、核函數為徑向基函數、高斯函數和多項式函數的SVM。Score表示樣本與決策邊界的符號距離，正數表明樣本屬于該類，負數相反。基于4種不同內核的SVM疲勞檢測模型的正常和疲勞工作狀態整體識別結果的準確率分別為75%、91.7%、91.7%和79.2%。針對正常工作狀態和疲勞工作狀態的識別準確率分別如表5和表6所示。其中，基于徑向基函數和高斯函數的疲勞狀態識別準確率為100%，線性方法準確率最差；針對正常工作狀態識別，基于徑向基函數和高斯函數準確率高于線性方法和多項式方法。模型檢測結果表明，基于徑向基函數和高斯函數的SVM方法能有效檢測由眼動指標度量的目視檢查中維修人員的疲勞狀態。

表4 實驗產生的測試向量集Table 4 Feature vectors derived from experiment

表5 正常狀態檢測Table 5 Normal status detection

表6 疲勞狀態檢測Table 6 Fatigue status detection

4 結 論

1) 采用民機復合材料結構目視檢查實驗，對正常狀態和疲勞狀態下的眼動數據進行采集與分析，疲勞狀態下的任務持續時間、注視次數、注視總時間、眼跳次數和眼跳總時間數據均值都高于正常狀態，瞳孔直徑和掃視速度小于正常狀態。兩種狀態下的注視熱點與軌跡差異明顯。

2) 眼動指標的方差齊次性檢驗和ANOVA分析表明與工作狀態顯著相關的眼動指標為左右瞳孔直徑、平均注視時間和掃視速度。

3) 基于徑向基函數和高斯核函數的SVM方法建立的疲勞檢測模型較線性、多項式SVM方法等的效果更優，能支持機務維修人員疲勞的客觀監測。