空中交通管制員疲勞檢測與管理綜述

沈志遠(yuǎn) ，魏義濤 ，閆永剛 ，2，赫海園

（1.南京航空航天大學(xué)民航學(xué)院，南京211016）

（2.中國民用航空空中交通管理局空管部，北京100022）

（3.中國人民解放軍93864 部隊(duì)，昌吉831100）

0 引 言

2018 年國際航空運(yùn)輸協(xié)會(huì)（IATA）預(yù)測，根據(jù)國際和國內(nèi)旅客運(yùn)輸量的綜合計(jì)算，我國將在2025 年前后超越美國成為全球最大的航空市場，到2035 年前后我國民航市場客流量將達(dá)到13億。民航事業(yè)的發(fā)展離不開大型運(yùn)輸客機(jī)的自主研發(fā)和高效的空中交通管理體系兩大軟硬實(shí)力的支撐。

民航的快速發(fā)展給空中交通管理帶來了巨大挑戰(zhàn)，進(jìn)而對(duì)空中交通管制員的需求急劇增加。空中交通管制是一項(xiàng)擔(dān)負(fù)重要安全責(zé)任的職業(yè)，管制員發(fā)出的一條錯(cuò)誤指令可能會(huì)造成嚴(yán)重的航空安全事故，因此空中交通管制是世界上最具挑戰(zhàn)和困難的工作之一。管制員工作職能主要有三種，分別是塔臺(tái)管制、進(jìn)近管制以及區(qū)域管制。塔臺(tái)管制員負(fù)責(zé)管理機(jī)場區(qū)域的運(yùn)行，主要對(duì)飛行員下發(fā)起飛和落地指令；進(jìn)近管制員負(fù)責(zé)對(duì)終端區(qū)進(jìn)場和離場的飛機(jī)進(jìn)行排序指揮；區(qū)域管制員負(fù)責(zé)對(duì)航路上的飛機(jī)進(jìn)行管制。由于工作的重要性，管制員工作過程中需要保持精神和注意力的高度集中，加之其晝夜倒班的工作制度，急劇增加的航班量帶來的工作負(fù)荷使得管制員容易處于疲勞狀態(tài)。

疲勞通常體現(xiàn)在身體上或者精神上疲倦的狀態(tài)，研究表明疲勞狀態(tài)可以顯著降低人的警覺性、判斷力、反應(yīng)力等，被認(rèn)為是導(dǎo)致人為差錯(cuò)的重要潛在風(fēng)險(xiǎn)因素。歷史研究數(shù)據(jù)表明，航空安全事故中與管制員相關(guān)的事件大多由其疲勞引起的“錯(cuò)、忘、漏”相關(guān)，因此管制員疲勞檢測對(duì)于航空安全以及風(fēng)險(xiǎn)管控具有重要意義。

隨著未來國產(chǎn)ARJ21、C919 機(jī)型與波音和空客系列飛機(jī)共享天空，由于不同機(jī)型的飛行性能不同，會(huì)增加航班機(jī)動(dòng)指揮和空中交通調(diào)配復(fù)雜度，加上突發(fā)惡劣氣象條件等因素，使得管制員工作更易疲勞。

然而疲勞作為一個(gè)抽象的概念，盡管已經(jīng)有近一百年的研究歷史，學(xué)術(shù)界和工業(yè)界仍然沒有對(duì)其形成統(tǒng)一定義，管制員疲勞檢測亦是一項(xiàng)非常具有挑戰(zhàn)性的研究工作。

當(dāng)前疲勞檢測研究大體可以分為兩類，主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法。主觀方法主要是通過被測人員填寫疲勞量表的形式來進(jìn)行。依據(jù)疲勞量表的得分，判斷其是否處于疲勞狀態(tài)以及疲勞程度，例如，T. Chalder 等提出的多維疲勞量表。盡管這種方法操作簡單，但被測人員往往帶有主觀想法，檢測結(jié)果不夠準(zhǔn)確。客觀評(píng)價(jià)方法是指借助儀器、設(shè)備等輔助工具記錄人體生理、生化、行為或人因工程等方面某些指標(biāo)的變化以判斷疲勞狀態(tài)，常見的生理指標(biāo)有腦電、心電、皮膚電、心率等。這類檢測方法準(zhǔn)確度很高，但是實(shí)用性不足。一方面，用于檢測信號(hào)采集的設(shè)備成本高昂且不易操作；另一方面，檢測過程中需要與被測者產(chǎn)生接觸，會(huì)使得被測者承受額外的壓力而更容易出現(xiàn)疲勞。

由于主觀檢測方法和客觀接觸式檢測方法用于檢測管制員疲勞的局限性，非接觸式檢測方法開始受到研究人員的關(guān)注。依據(jù)判斷指標(biāo)的不同，可以將非接觸式檢測方法歸為四類，具體的，這四種指標(biāo)為：工作負(fù)荷、人因工程、面部特征、語音特征。特別是隨著近年來人工智能和深度學(xué)習(xí)的快速發(fā)展，人們開始利用面部特征和語音特征結(jié)合深度學(xué)習(xí)技術(shù)進(jìn)行研究，取得了較好的研究成果。但總體而言，管制員疲勞檢測的研究比較分散。

本文對(duì)近些年的管制員疲勞檢測進(jìn)展進(jìn)行綜述。首先從疲勞主觀評(píng)價(jià)和客觀檢測兩個(gè)方面詳細(xì)闡述管制員疲勞檢測的研究成果及其優(yōu)缺點(diǎn)；然后將基于管制陸空通話的語音疲勞檢測方法分成疲勞特征提取與表征、疲勞識(shí)別模型構(gòu)造兩個(gè)步驟進(jìn)行詳細(xì)介紹；順應(yīng)近些年人工智能技術(shù)的迅猛發(fā)展，對(duì)比分析傳統(tǒng)識(shí)別模型和基于深入學(xué)習(xí)疲勞識(shí)別模型的構(gòu)造方法；最后從空管自動(dòng)化系統(tǒng)的疲勞狀態(tài)實(shí)時(shí)監(jiān)測預(yù)警模塊和考慮疲勞因素的管制員智慧排班系統(tǒng)兩個(gè)方面對(duì)管制員疲勞檢測的應(yīng)用前景加以分析。

1 主觀評(píng)價(jià)方法

疲勞是一個(gè)抽象概念，但每個(gè)人確實(shí)有直觀的感受，因而主觀評(píng)價(jià)方法很早就被提出。主觀評(píng)價(jià)方法要求被觀測者根據(jù)主觀感受填寫自我疲勞量表或者疲勞問卷，從而判斷其疲勞狀態(tài)和疲勞程度。目前國內(nèi)外流行的疲勞自評(píng)量表如表1所示，主要分為單維和多維疲勞量表兩大類。由于考慮到影響疲勞的多個(gè)維度，多維疲勞量表的影響力更大，應(yīng)用也更加廣泛。

表1 國內(nèi)外流行的疲勞自評(píng)量表Table 1 The main fatigue self-assessment scales

盡管針對(duì)疲勞檢測的主觀評(píng)價(jià)方法一直受到研究人員的廣泛關(guān)注，但大多運(yùn)用在臨床醫(yī)學(xué)治療等領(lǐng)域，將其運(yùn)用到管制員疲勞檢測的研究相對(duì)較少。本節(jié)從基于工作負(fù)荷的問卷調(diào)查和自評(píng)量表兩方面介紹針對(duì)管制員的主觀疲勞檢測方法。

1.1 管制員工作負(fù)荷評(píng)定法

工作負(fù)荷是引起疲勞的重要因素，因此評(píng)定工作負(fù)荷便可間接判定疲勞程度。早在20 世紀(jì)60年代人們便開始了對(duì)管制員工作負(fù)荷的相關(guān)研究，主要的研究方法集中在主觀評(píng)價(jià)，當(dāng)前流行的兩種主觀疲勞評(píng)定方法如表2 所示。

表2 當(dāng)前流行的管制員工作負(fù)荷評(píng)定法Table 2 The main methods of air traffic workload assessment

1.2 管制員疲勞自評(píng)量表

相對(duì)于問卷調(diào)查的編寫自由，疲勞量表的編制則更加規(guī)范化和標(biāo)準(zhǔn)化，數(shù)據(jù)處理更加方便，并且量表涉及信度和效度的問題，因此疲勞自評(píng)量表對(duì)于主觀評(píng)定疲勞具有更好的科學(xué)性。國內(nèi)外研究了大量信效度及應(yīng)用性都很好的疲勞量表，但是很少有研究者制定管制員疲勞量表。最具代表性的是MFI-16 管制員疲勞量表，它是2016 年孫瑞山等在MFI-20 量表的基礎(chǔ)上結(jié)合國內(nèi)管制人員工作特點(diǎn)制定的。該量表在原先的MFI-16量表5 維度20 條目的基礎(chǔ)上進(jìn)行了刪減和增添，刪除了第二維度“活力下降”，在第三維度“腦力疲勞”增加了記憶力下降和記憶力很好這兩條，最終修訂后的量表共4 維度16 條目。通過在管制人員中進(jìn)行調(diào)查分析，該量表的內(nèi)部一致性信度達(dá)到0.803，證明了該量表的可信度和穩(wěn)定度，為管制人員疲勞狀況調(diào)查提供一個(gè)實(shí)際可行的參考方案。

2 客觀檢測方法

主觀評(píng)價(jià)方法具有操作簡單、成本低等優(yōu)點(diǎn)，已成為廣泛采用的測量方法。但是被測對(duì)象之間的主觀感受差別很大，評(píng)分標(biāo)準(zhǔn)無法統(tǒng)一，測量結(jié)果往往不具備客觀性。客觀評(píng)價(jià)方法則可以很好地規(guī)避上述缺點(diǎn)，其是借助于儀器、設(shè)備等輔助工具來檢測人體的各種生理與生化指標(biāo)，從而客觀地通過指標(biāo)變化來判斷人體的疲勞程度。客觀評(píng)價(jià)方法又可以分為接觸式檢測與非接觸式檢測兩種。

2.1 接觸式檢測方法

接觸式檢測是通過儀器接觸被測者而獲得生理生化指標(biāo)，常見的生理生化指標(biāo)包括腦電、心電、眼電、心率、血液等。研究人體生化反應(yīng)的文獻(xiàn)眾多，但主要集中在體育行業(yè)，民航相關(guān)的研究甚少，本節(jié)重點(diǎn)介紹生理指標(biāo)在管制員疲勞中的應(yīng)用研究。

2.1.1 腦電檢測

腦電圖（Electroencephalogram，簡稱 EEG）可以直接反映腦部活動(dòng)的變化，被認(rèn)為是檢測人體疲勞的最有效方法，也是國內(nèi)外研究管制員疲勞的熱點(diǎn)。早期的研究主要在于證明不同頻帶范圍的腦電波的能量變化與疲勞之間的關(guān)系，例如S.K.Lal 等和 H.J.Eoh 等通過統(tǒng)計(jì)分析的方法發(fā)現(xiàn)在疲勞狀態(tài)下

δ

波與

θ

波活動(dòng)會(huì)顯著增加，并且

β

和（

α

+

θ

）/

β

等比值具有顯著差異；P. Arico等基于在校管制學(xué)員做模擬機(jī)收集的EEG 信號(hào)，提出了管制員腦力疲勞系數(shù)，并建立了相關(guān)管制員工作負(fù)荷模型；D.Dasari 等通過模擬實(shí)驗(yàn)連續(xù)監(jiān)測管制員的EEG 信號(hào)，實(shí)驗(yàn)結(jié)果顯示，管制員在70 min 時(shí)開始出現(xiàn)疲勞狀態(tài)，判斷反應(yīng)能力也逐漸變差；王莉莉等采集了32 名在職管制員在大流量且有特情情況下進(jìn)行管制模擬機(jī)的EEG信號(hào)，采用反應(yīng)時(shí)長作為疲勞指標(biāo)，結(jié)果顯示管制員在夜間00∶00 之后的疲勞指標(biāo)值會(huì)陡然增加，存在極大疲勞隱患。

2.1.2 心電檢測

腦電圖雖然能夠非常準(zhǔn)確地檢測管制員疲勞狀態(tài)，但是檢測設(shè)備成本高昂，而且穿戴檢測設(shè)備也會(huì)給管制員帶來干擾，因此人們開始著力研究更易獲取的心電信號(hào)（Electrocardiograph，簡稱ECG）與管制員疲勞之間的關(guān)系。在心電疲勞檢測的研究中，主要包括處理心電數(shù)據(jù)，建立管制員疲勞與心電時(shí)頻域指標(biāo)的聯(lián)系，以及心電多融合指標(biāo)評(píng)價(jià)方法等，其中心率差異性（Heart Rate Variability，簡稱HRV）是公認(rèn)的反映疲勞程度的可靠指標(biāo)。趙曉華等分析了心電信號(hào)隨工作時(shí)間的變化規(guī)律，采用主成分分析法綜合各項(xiàng)指標(biāo)后得出，心電指標(biāo)中的RRmean，SDNN 兩個(gè)指標(biāo)可對(duì)疲勞狀態(tài)進(jìn)行評(píng)價(jià)；陳鳳蘭采用心電信號(hào)疲勞指標(biāo)討論了不同排班制度對(duì)管制員疲勞的影響，發(fā)現(xiàn)上2 小時(shí)休息2 小時(shí)的輪班方式顯示的心電值最低，疲勞程度最小；呂川將心電信號(hào)作為其中一項(xiàng)輸入量，借鑒人工智能算法，構(gòu)建疲勞預(yù)測模型，發(fā)現(xiàn)心電指標(biāo)隨疲勞度變化相關(guān)性較高。

2.1.3 皮膚電檢測

隨著各種生理測量儀器的發(fā)明應(yīng)用，研究人員可以快速獲得除傳統(tǒng)腦電、心電以外的其他生理指標(biāo)，比如皮膚電信號(hào)。皮膚電信號(hào)反映的是皮膚表層的汗腺活動(dòng)強(qiáng)度。相關(guān)研究表明，疲勞狀態(tài)下人體的交感神經(jīng)和中樞神經(jīng)處于相對(duì)抑制狀態(tài)，導(dǎo)致汗腺分泌液少，皮膚電均值較低；相反人體清醒狀態(tài)下中樞神經(jīng)和交感神經(jīng)處于活躍狀態(tài)，控制汗腺分泌液多，皮膚電均值增大。2020 年，陳鳳蘭等利用 Mangold-10 生理多導(dǎo)儀軟件從皮膚電信號(hào)中提取相關(guān)疲勞表征指標(biāo)，針對(duì)西南空管局管制員不同輪休方式下的疲勞狀態(tài)進(jìn)行了對(duì)比實(shí)驗(yàn)，結(jié)果表明，隨著工作時(shí)長累積，皮膚電指數(shù)顯示正相關(guān)增加。

2.2 非接觸式檢測方法

近年來，隨著人工智能與深度學(xué)習(xí)的飛速發(fā)展，計(jì)算機(jī)視覺識(shí)別以及語音識(shí)別技術(shù)在諸多領(lǐng)域展現(xiàn)了極好的應(yīng)用性。上述接觸性檢測技術(shù)盡管表現(xiàn)了很好的疲勞識(shí)別準(zhǔn)確性，但是往往需要讓管制員穿戴不同的生理檢測設(shè)備，實(shí)驗(yàn)操作復(fù)雜，智能性過低，難以很好地應(yīng)用到管制員疲勞檢測中。因此，近些年很多學(xué)者利用眼動(dòng)跟蹤、面部識(shí)別、語音識(shí)別等技術(shù)間接判定管制員疲勞狀態(tài)。

2.2.1 基于眼動(dòng)跟蹤技術(shù)

基于眼動(dòng)跟蹤技術(shù)的疲勞檢測方法是指利用被測人員眼部特征變化規(guī)律來判斷其疲勞水平，常用的眼動(dòng)特征包括：眼睛閉合時(shí)間占某一特定時(shí)間的百分率（Percentage of Eyelid Closure Over the Pupil Over Time，簡稱PERCLOS）、眨眼頻率、瞳孔變化、眼睛開合狀態(tài)等，其中PERCLOS 已經(jīng)成為公認(rèn)有效的疲勞評(píng)判標(biāo)準(zhǔn)。基于眼動(dòng)特征與疲勞水平的緊密關(guān)系，并且眼動(dòng)儀技術(shù)的不斷改進(jìn)，使得學(xué)者獲得眼動(dòng)數(shù)據(jù)更加容易，因此更多的研究開始將其與自動(dòng)向量機(jī)、神經(jīng)網(wǎng)絡(luò)等模型結(jié)合起來進(jìn)行疲勞預(yù)測，取得了很好的預(yù)測準(zhǔn)確率。例如，F(xiàn).Friedrichs 等在實(shí)際駕駛實(shí)驗(yàn)中采集眼睛開合速度、PECLOSE 和眨眼時(shí)間等數(shù)據(jù)，通過神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別，最終的疲勞準(zhǔn)確率達(dá)到82.5%。

鑒于眼動(dòng)檢測技術(shù)在地面疲勞駕駛領(lǐng)域的豐富成果，研究者逐漸將其引入到管制員疲勞檢測中。陳健首先研究眼動(dòng)數(shù)據(jù)、PERCLOS 與管制員疲勞之間的關(guān)系，研究發(fā)現(xiàn)基于PERCLOS 和眨眼頻率可以很好地?cái)M合管制員的疲勞狀態(tài)，當(dāng)閾值達(dá)到0.35 時(shí)可被判斷為疲勞狀態(tài)；N.M.Sarah等則模擬了低、中、高三種不同流量強(qiáng)度的管制場景，發(fā)現(xiàn)環(huán)形視線掃描是管制員的主要模式；靳慧斌等研究了管制員的視覺搜索特征，選擇注視持續(xù)時(shí)間、水平、垂直視角、掃視幅度和速度等作為表征特征，結(jié)果顯示被試的視覺搜索特征隨飛機(jī)的數(shù)目變化不大；董斌結(jié)合眼動(dòng)行為特征，提出了一種新的扇區(qū)交通運(yùn)行特征分析方法，對(duì)管制員眼動(dòng)行為與扇區(qū)交通運(yùn)行特征之間的關(guān)系進(jìn)行研究，結(jié)果表明，不同的眼動(dòng)指標(biāo)與交通運(yùn)行特征的相互關(guān)系不同；王艷軍等通過faceLAB眼動(dòng)儀采集了專家與新手的眼動(dòng)指標(biāo)，結(jié)果發(fā)現(xiàn)專家的平均注視時(shí)間更長，注視點(diǎn)更少，掃描幅度更小。綜上所述，眼動(dòng)跟蹤技術(shù)在管制員疲勞檢測上取得了一定的進(jìn)展，但是大多集中在淺層探究不同眼動(dòng)特征在不同管制場景下的變化關(guān)系，缺乏更深層次的理論分析。

2.2.2 基于面部特征識(shí)別技術(shù)

基于管制員面部特征的檢測方法是分析被測人員的面部特征，對(duì)比管制員在正常狀態(tài)和疲勞狀態(tài)下面部的不同表現(xiàn)，典型的面部疲勞特征有眨眼頻率、打哈欠檢測、頭部狀態(tài)等，這些從計(jì)算機(jī)視覺角度也都是易測可靠的特征。研究表明，眨眼頻率增加、打哈欠、頭部低下、眼睛閉合時(shí)間延長等現(xiàn)象表明被測人員開始出現(xiàn)疲勞狀態(tài)。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，簡稱CNN）可以自動(dòng)提取圖像的深層特征，避免人工提取特征導(dǎo)致的魯棒性差等問題，因此在圖像分類以及識(shí)別方面得到廣泛的使用。疲勞檢測方面，目前集中在利用CNN 進(jìn)行人眼和嘴部狀態(tài)的識(shí)別檢測。孫超考慮單一面部特征識(shí)別的局限性，提出了基于多模態(tài)融合學(xué)習(xí)的疲勞識(shí)別模型，利用算法分別提取眼部特征和嘴部特征，然后利用深度學(xué)習(xí)的棧式去噪自編碼機(jī)進(jìn)行特征提取并且抽象層融合，提高系統(tǒng)疲勞檢測的魯棒性。

目前基于面部識(shí)別技術(shù)在管制員疲勞識(shí)別領(lǐng)域的應(yīng)用不是特別深入，更多的研究還是圍繞面部中的眼部特征展開，并且很少融合當(dāng)前流行的深度學(xué)習(xí)方法。2012 年，汪磊等采用 OpenCV開發(fā)平臺(tái)，結(jié)合圖像二值化和模塊匹配技術(shù)，對(duì)管制員疲勞狀況進(jìn)行識(shí)別，取得了不錯(cuò)的檢測成果；2015 年，史增鵬首先采用 Adaboost 算法實(shí)現(xiàn)對(duì)人臉的快速定位，之后選用基于統(tǒng)計(jì)學(xué)習(xí)的人臉檢測算法，進(jìn)一步確定眼睛和嘴巴的矩形區(qū)域，最后進(jìn)行狀態(tài)識(shí)別和預(yù)測，疲勞識(shí)別成功率達(dá)到85%。除此以外，利用完備面部特征進(jìn)行疲勞檢測的研究很少。

2.2.3 基于語音特征識(shí)別技術(shù)

空中交通管制員的最主要工作是通過陸空通話與機(jī)組進(jìn)行交流，一方面這些通話記錄根據(jù)中國民航局的要求需要在語音記錄設(shè)備中保存一段時(shí)間，另一方面頻繁重復(fù)的通話語音中包含了豐富的人體生理與心理信息。具體到個(gè)人的海量語音數(shù)據(jù)為管制員疲勞檢測提供了可行性。相較主觀檢測方法和接觸性生理指標(biāo)檢測以及基于面部特征檢測，基于語音特征的疲勞檢測方法具有采集便利、操作簡單、全天候、環(huán)境適應(yīng)性高等優(yōu)點(diǎn)。因此，基于語音特征識(shí)別技術(shù)受到了業(yè)界的廣泛關(guān)注。

目前，在研究過程中將語音信號(hào)的產(chǎn)生用線性系統(tǒng)模型來近似。這一近似理論認(rèn)為當(dāng)分段足夠小時(shí)，線性系統(tǒng)可以近似表示非線性系統(tǒng)。這類方法（如線性預(yù)測、同態(tài)卷積等）簡單且易于實(shí)現(xiàn)，被廣泛應(yīng)用于基于語音特征的疲勞檢測之中。A.M.Laukkanen 等研究了疲勞癥狀與聲學(xué)變量之間的關(guān)系，研究發(fā)現(xiàn)，在大聲閱讀時(shí)，咽喉疲勞與平均基頻、聲音壓力值（Sound Pressure Level，簡稱 SPL）相關(guān)；J. Krajewski 等介紹了一種由基頻、共振峰、倒譜系數(shù)等語音線性特征構(gòu)成的疲勞特征向量并簡要討論了基于該特征的疲勞狀態(tài)檢測方法的有效性，檢測結(jié)果的平均準(zhǔn)確率為76.5%。

然而語音信號(hào)既不是確定性的線性過程，也不是完全的隨機(jī)過程，而是一個(gè)復(fù)雜的非線性過程，其中存在著產(chǎn)生混沌的機(jī)制。隨著混沌理論和分形理論的發(fā)展成熟，人們開始利用語音非線性技術(shù)進(jìn)行語音疲勞研究。K.Shiomo針對(duì)五大元音信號(hào)在相空間內(nèi)的混濁吸引子軌跡，定性地分析了在非線性動(dòng)力學(xué)模型下語音與人體腦活力（腦力疲勞）之間的關(guān)系。隨著人工智能技術(shù)的迅速發(fā)展，一些基于語音信號(hào)的智能疲勞識(shí)別系統(tǒng)被提出，例如 J.Krajewski 等提出了將語音非線性動(dòng)力學(xué)分析與機(jī)器學(xué)習(xí)分類算法相結(jié)合的語音信號(hào)疲勞模式識(shí)別框架。由此可見，提取具有高準(zhǔn)確率的語音疲勞特征是一項(xiàng)挑戰(zhàn)性工作，但是基于語音特征識(shí)別技術(shù)提供了進(jìn)行管制員疲勞檢測的可能性。

與此同時(shí)，為了能夠更加準(zhǔn)確地對(duì)比分析管制員疲勞研究進(jìn)展，管制員疲勞評(píng)價(jià)方法及相關(guān)文獻(xiàn)如表3 所示。

表3 管制員疲勞評(píng)價(jià)方法以及研究文獻(xiàn)歸納Table 3 The summary of fatigue detection methods and references of ATCs

3 基于陸空通話的語音疲勞檢測方法

通過對(duì)語音與疲勞狀態(tài)的相關(guān)性研究，人體疲勞對(duì)語音參數(shù)的影響主要體現(xiàn)在如下四個(gè)方面：（1）疲勞狀態(tài)下聲帶、聲道、面部肌肉及喉部的松弛，會(huì)引起共振峰和聲門參數(shù)等音質(zhì)特征的變化；（2）呼吸平緩、肺部氣壓降低會(huì)導(dǎo)致聲壓降低，從而影響語速和短時(shí)能量等韻律特征；（3）疲勞引起的體溫變化影響聲道的熱傳導(dǎo)、黏彈性以及聲道壁對(duì)氣流的摩擦，這些會(huì)引起語音分形參數(shù)等非線性特征參數(shù)的變化；（4）疲勞狀態(tài)自然導(dǎo)致反應(yīng)力降低，大腦遲鈍和發(fā)音的反應(yīng)時(shí)間變長，這些導(dǎo)致發(fā)音清晰度降低和語速變慢等現(xiàn)象。基于上述研究，分別對(duì)四種特征參數(shù)的提取進(jìn)行描述。

3.1 語音疲勞特征參數(shù)的提取

3.1.1 韻律特征

疲勞狀態(tài)下最容易感知的是語音的韻律變化，比如音調(diào)、音長、輕重等。韻律的存在使得在忽略字詞意義的基礎(chǔ)上可以獲得一些“超語言學(xué)特征”。當(dāng)前語音疲勞領(lǐng)域最常用的韻律特征包括基音頻率、短時(shí)平均能量和短時(shí)平均過零率。

根據(jù)聲帶震動(dòng)方式的不同將聲音分為濁音和清音，其中清音沒有明顯的周期性，而濁音需要聲帶的周期性變化，濁音所引起的聲帶振動(dòng)頻率稱為基音頻率。當(dāng)前對(duì)于基音頻率的提取方法主要包括短時(shí)自相關(guān)法、短時(shí)平均幅度差函數(shù)法、倒譜法的基音周期估計(jì)等。短時(shí)平均能量是指每一幀語音信號(hào)的平均能量，常用來描述相關(guān)聲壓幅度的變化。人體一般隨著疲勞感的增加而降低音量，因此在不同疲勞狀態(tài)下短時(shí)平均能量表現(xiàn)出差異。短時(shí)平均過零率是指每幀信號(hào)通過零值的次數(shù)，其可以用來反映清濁音的切換以及有聲和無聲的語音端點(diǎn)檢測。上述韻律特征參數(shù)的數(shù)學(xué)提取方法詳見文獻(xiàn)［64］，限于篇幅，不再贅述。

3.1.2 音質(zhì)特征

音質(zhì)是形容語音的一種主觀評(píng)價(jià)指標(biāo)，常用來闡述語音是否清晰或者純凈等。在語音疲勞檢測的研究中，共振峰頻率被認(rèn)為是最主要的音質(zhì)特征參數(shù)，其與說話人的疲勞狀態(tài)有著密切的聯(lián)系。

共振峰是指頻譜當(dāng)中能量相對(duì)集中的一些頻帶區(qū)域，可以反映聲道的物理特性，并且所包含的頻率的分布特性反映了語音的音色。把聲道比作一條非均勻的管道，當(dāng)聲音經(jīng)過聲道時(shí)會(huì)產(chǎn)生共振現(xiàn)象，進(jìn)而使得某些頻率能量得到增強(qiáng)，體現(xiàn)在頻譜上為該頻率的振幅提高，這些共振增強(qiáng)的頻率稱為共振頻率，也稱為共振峰。一條語音信號(hào)通常會(huì)存在4～5 個(gè)穩(wěn)定的共振峰，在語音疲勞的檢測中，一般采集前三個(gè)共振峰進(jìn)行研究。常用的共振峰提取方法有兩個(gè)：倒譜法和線性預(yù)測編碼法。

3.1.3 基于譜的特征

聲音的產(chǎn)生很大程度上受到聲道形狀的影響，研究表明可以用頻域很好地模擬聲道的特點(diǎn)。譜特征即被認(rèn)為是聲道形狀變化和發(fā)聲運(yùn)動(dòng)之間相關(guān)性的體現(xiàn)，已經(jīng)在語音說話人識(shí)別以及情感識(shí)別領(lǐng)域有著成功的運(yùn)用。當(dāng)前語音識(shí)別領(lǐng)域的譜特征如表4 所示。

表4 常見譜特征舉例Table 4 Common spectral features

MFCC 模擬的是人耳的聽覺系統(tǒng)的處理特點(diǎn)，因此語音識(shí)別領(lǐng)域具有良好的魯棒性和準(zhǔn)確性，得到業(yè)界的廣泛關(guān)注，也是目前語音疲勞識(shí)別的譜特征運(yùn)用的主用特征。

根據(jù)人耳聽覺系統(tǒng)的相關(guān)研究，人的聽覺系統(tǒng)是類似濾波器組的特殊非線性系統(tǒng)，對(duì)不同頻率的語音有著不同的靈敏反應(yīng)，而

mel

頻率恰好可以模擬這種特性。其中

mel

頻率與普通頻率的關(guān)系如下：

式中：

f

為語音信號(hào)的頻率。

MFCC 表示的是語音信號(hào)的短時(shí)功率譜，其提取過程如圖1 所示。

圖1 MFCC 參數(shù)提取過程Fig.1 The extracting progress of MFCC

3.1.4 非線性動(dòng)力學(xué)特征

隨著語音線性特征參數(shù)的研究漸漸難以突破，加上混沌理論和分形理論的逐漸興起，語音的一些非線性動(dòng)力學(xué)特征開始被人們關(guān)注，最大Lyapunov 指數(shù)、近似熵和分形維數(shù)等是最常用的特征參數(shù)，如表5 所示。

表5 常用非線性動(dòng)力學(xué)特征簡介Table 5 Brief introduction of common nonlinear dynamic characteristics

3.2 語音疲勞識(shí)別模型搭建

在獲得初始語音特征參數(shù)的基礎(chǔ)上，模式識(shí)別領(lǐng)域的很多算法都可以用于語音疲勞檢測的研究，分別從傳統(tǒng)識(shí)別模型和深度學(xué)習(xí)識(shí)別模型兩方面進(jìn)行介紹。

3.2.1 傳統(tǒng)識(shí)別模型

應(yīng)用最廣泛的傳統(tǒng)識(shí)別模型有隱馬爾可夫模型（Hidden Markov Model，簡稱HMM）、支持向量機(jī)（Support Vector Machines，簡稱 SVM）、高斯混合模型（Gaussian Mixture Model，簡稱GMM）和

k

-近 鄰 分 類 模 型（

k

-Nearest Neighbor，簡 稱KNN）等。

這些傳統(tǒng)識(shí)別模型在疲勞檢測領(lǐng)域有著廣泛的應(yīng)用，取得了很好的研究成果。例如，Shen Z Y等通過對(duì)管制員疲勞語音進(jìn)行小波轉(zhuǎn)換，隨后提取改進(jìn)的分形維數(shù)，將其作為疲勞特征并在自建管制員疲勞語音數(shù)據(jù)庫利用SVM 進(jìn)行識(shí)別，得到了良好的識(shí)別結(jié)果；劉亞威基于眼動(dòng)追蹤技術(shù)采集訓(xùn)練了多個(gè)眼動(dòng)指標(biāo)作為輸入，隨后使用SVM 進(jìn)行模型訓(xùn)練，對(duì)管制員的疲勞識(shí)別率達(dá)到了95.68%；傳統(tǒng)識(shí)別模型都具有良好的分類作用，但是一方面需要研究者前期訓(xùn)練提取語音疲勞參數(shù)作為模型輸入量，另一方面需要大量的有標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練。隨著深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的發(fā)展，加上語音數(shù)據(jù)集的便利采集，人們嘗試?yán)蒙疃葘W(xué)習(xí)來自動(dòng)提取更深層更準(zhǔn)確的語音疲勞特征以取代之前的人工訓(xùn)練，從而達(dá)到更好的訓(xùn)練識(shí)別結(jié)果。

3.2.2 深度學(xué)習(xí)識(shí)別模型

大多數(shù)的深度學(xué)習(xí)都是基于人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡稱ANN），因此也可稱為深度神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)一般只有2～3層，而深度學(xué)習(xí)網(wǎng)絡(luò)最多可以達(dá)到幾百層。近年來，深度學(xué)習(xí)在眾多領(lǐng)域的研究表現(xiàn)都超過了傳統(tǒng)的機(jī)器學(xué)習(xí)，各領(lǐng)域研究人員都把目光投向了深度學(xué)習(xí)，語音疲勞識(shí)別自然也不例外。深度學(xué)習(xí)在語音疲勞識(shí)別領(lǐng)域的優(yōu)勢在于，可以省略疲勞特征提取與特征選擇的步驟，從特征識(shí)別到訓(xùn)練分類的所有環(huán)節(jié)都可由深度學(xué)習(xí)算法自主完成。當(dāng)前在語音疲勞識(shí)別領(lǐng)域的深度學(xué)習(xí)模型主要有卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，簡稱CNN），循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，簡稱RNN），自動(dòng)編碼機(jī)（Autoencoders，簡稱AE），遷移學(xué)習(xí)（Transfer Learning）等。

CNN 處理的一般是類似圖片的網(wǎng)狀拓?fù)浣Y(jié)構(gòu)數(shù)據(jù)，一般由卷積層、池化層、全連接層組成。卷積層的作用是提取更深維度的特征，第一層卷積層可能只能提取一些低級(jí)的特征如邊緣、線條和角等層級(jí)，更多層的網(wǎng)路能從低級(jí)特征中迭代提取更復(fù)雜的特征。池化層是為了降低卷積層的數(shù)據(jù)維度從而減少計(jì)算復(fù)雜度。進(jìn)過多層卷積和池化后，最終被提取的深度特征展開成二維向量作為全連接層的輸入，如人工神經(jīng)網(wǎng)絡(luò)一樣進(jìn)行反饋訓(xùn)練。A.M.Badshah 等基于柏林語音情感數(shù)據(jù)庫使用語譜圖作為數(shù)據(jù)輸入，將AlexNet 模型預(yù)訓(xùn)練的參數(shù)遷移到自己構(gòu)造的卷積神經(jīng)網(wǎng)絡(luò)，提高了識(shí)別準(zhǔn)確率和訓(xùn)練效率。

RNN 專門用于處理時(shí)序數(shù)據(jù)，通過內(nèi)部記憶機(jī)制，可以保留先前的輸入數(shù)據(jù)，因此在對(duì)序列的非線性特征進(jìn)行學(xué)習(xí)時(shí)具有一定優(yōu)勢。其中雙向循環(huán)神經(jīng)網(wǎng)絡(luò)和長短期記憶神經(jīng)網(wǎng)絡(luò)（Long Short Term Memory，簡稱LSTM）是最常見循環(huán)神經(jīng)網(wǎng)絡(luò)，經(jīng)常也和卷積神經(jīng)網(wǎng)絡(luò)結(jié)合使用，在駕駛員疲勞檢測和語音情感識(shí)別等領(lǐng)域有很好的應(yīng)用，但是當(dāng)前在管制員疲勞檢測領(lǐng)域還是空白。

然而在實(shí)際的應(yīng)用過程中會(huì)遇到由于標(biāo)記成本或者場景不全等因素造成標(biāo)記的疲勞語音信號(hào)短缺的問題。為了保證良好的識(shí)別率，非監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)方法也引起廣泛的研究，其核心算法包括主動(dòng)學(xué)習(xí)、自編碼機(jī)以及遷移學(xué)習(xí)等。李響等便基于實(shí)際應(yīng)用過程中的標(biāo)記樣本稀缺與測試樣本數(shù)據(jù)分布偏移分布等問題，提出了一種基于遷移學(xué)習(xí)的半監(jiān)督疲勞檢測方法。首先他們通過遷移學(xué)習(xí)的特征空間轉(zhuǎn)換，解決源域的有標(biāo)簽樣本與目標(biāo)域的無標(biāo)簽樣本數(shù)據(jù)間的分布偏移和特征維度過高的問題；然后利用半監(jiān)督學(xué)習(xí)的方式對(duì)無標(biāo)簽數(shù)據(jù)進(jìn)行偽標(biāo)記；最后的平均疲勞識(shí)別率達(dá)到86.7%，展現(xiàn)了良好的實(shí)際應(yīng)用價(jià)值。

4 管制員疲勞檢測應(yīng)用前景展望

近些年航空需求保持著快速增長，基于空域有限的現(xiàn)實(shí)條件，一定空域內(nèi)的航班量必然增加，這給空中交通管制工作帶來了新挑戰(zhàn)。其中空中交通管制員的指揮能力即小時(shí)管制航班量是影響空域容量的重要指標(biāo)，當(dāng)前主要根據(jù)經(jīng)驗(yàn)進(jìn)行評(píng)估，然而管制員處于不同的身體疲勞狀態(tài)下，指揮能力與管制航空風(fēng)險(xiǎn)會(huì)有很大變化。與此同時(shí)，空中交通管制員的工作性質(zhì)需要24 h 不間斷的進(jìn)行管制服務(wù)，這決定了管制員必須實(shí)行倒班制，這與人體正常的生理節(jié)律很難達(dá)成穩(wěn)定，再加上工作強(qiáng)度以及壓力等因素，這些都致使管制員更易感到疲勞。主、客觀的疲勞檢測方法成果在此背景下有如下兩方面應(yīng)用方向。

4.1 融入空管自動(dòng)化系統(tǒng)的疲勞狀態(tài)實(shí)時(shí)監(jiān)測預(yù)警模塊

通過實(shí)時(shí)檢測管制員的疲勞狀態(tài)，可以提前規(guī)避人為因素導(dǎo)致的風(fēng)險(xiǎn)源，降低航空事故及事故征候發(fā)生的概率，提高航空安全管制水平。在一線單位使用的空管自動(dòng)化系統(tǒng)中嵌入疲勞檢測模塊，能夠依據(jù)實(shí)時(shí)陸空通話數(shù)據(jù)識(shí)別管制員的疲勞狀態(tài)，及時(shí)調(diào)整管制員執(zhí)勤安排，從而從人為因素上盡可能降低管制運(yùn)行的差錯(cuò)，提升民航的安全運(yùn)行水平。主要的研究內(nèi)容包括如下三個(gè)方面：

（1）管制員疲勞等級(jí)的細(xì)化分類：當(dāng)前的疲勞監(jiān)測研究都是簡單的二分類——疲勞與正常，并不能滿足實(shí)際疲勞監(jiān)測工作的要求。

（2）管制員語音疲勞大數(shù)據(jù)庫建立：完備的大數(shù)據(jù)庫對(duì)于訓(xùn)練高效準(zhǔn)確的管制員疲勞狀態(tài)監(jiān)測系統(tǒng)具有重要作用，可在 Shen Z Y 等創(chuàng)建的管制員語音疲勞數(shù)據(jù)庫基礎(chǔ)上，建立面向每個(gè)管制員的疲勞大數(shù)據(jù)庫。

（3）管制員實(shí)時(shí)疲勞監(jiān)測模型優(yōu)化：如果將疲勞預(yù)測種類從當(dāng)前的兩類進(jìn)一步擴(kuò)展，對(duì)于模型的訓(xùn)練邏輯以及算法選擇方面也需要進(jìn)行進(jìn)一步優(yōu)化，以達(dá)到實(shí)際應(yīng)用效果。

4.2 融合疲勞分析的管制員智能排班系統(tǒng)

空管一線單位的排班制度往往由帶班主任依據(jù)個(gè)人經(jīng)驗(yàn)，在考慮班組的搭配水平下隨機(jī)分配，并且手動(dòng)排班往往效率低、耗時(shí)長，而且很難綜合考慮各種影響因素，例如個(gè)人值班習(xí)慣、疲勞狀態(tài)、班組管制能力均衡等，因此只能得到可行解，很難達(dá)到最優(yōu)解。具體的當(dāng)前管制員手動(dòng)排班管理主要存在的問題有：（1）繁忙期工作負(fù)荷大；（2）常規(guī)三班倒工作模式導(dǎo)致休息時(shí)間不足；（3）勞逸分配不均以及崗位交接班頻繁。

以國外sabre 公司給航空公司研發(fā)的飛行機(jī)組智能排班系統(tǒng)為例，除了考慮傳統(tǒng)排班約束條件，例如飛行員執(zhí)勤期規(guī)定，機(jī)組資質(zhì)（包括高原機(jī)場、二類機(jī)場、特殊機(jī)場等），機(jī)組能力，飛機(jī)銜接，機(jī)組帶教等，新型系統(tǒng)加入了更多人為因素的約束變量，例如白夜班平衡、人體正常身體疲勞周期等，從而可以在保證勞動(dòng)力成本優(yōu)化，工作時(shí)間符合規(guī)章標(biāo)準(zhǔn)的同時(shí)，最大限度地平衡工作負(fù)荷，提高飛行安全水平。

當(dāng)前管制員自動(dòng)排班系統(tǒng)的理論研究，主要的優(yōu)化目標(biāo)是平衡工作負(fù)荷，然而具體如何從人為因素角度定量評(píng)估工作負(fù)荷，這方面的研究較少。管制員疲勞監(jiān)測對(duì)于工作負(fù)荷提供了一種人因評(píng)價(jià)指標(biāo)，可以通過監(jiān)測管制員工作過程的疲勞表現(xiàn)而間接進(jìn)行工作負(fù)荷評(píng)估，從而可以量化標(biāo)準(zhǔn)，這也為開發(fā)融合疲勞分析的管制員智能排班系統(tǒng)提供了可能。

通過實(shí)現(xiàn)上述應(yīng)用場景，可以在不降低航空安全的基礎(chǔ)上科學(xué)提高空域管制容量，滿足快速增長的航空需求，為民航的穩(wěn)定發(fā)展提供堅(jiān)實(shí)的管制基礎(chǔ)保障。

5 結(jié)束語

空中交通管制員作為支撐民航發(fā)展的重要組成，其疲勞狀態(tài)檢測與管理是影響航空安全的重要因素，已經(jīng)引起了企業(yè)界和學(xué)術(shù)界的廣泛關(guān)注，也被認(rèn)為是構(gòu)建智慧民航、智慧空管的重要環(huán)節(jié)。本文介紹了人工智能技術(shù)大背景下，面部疲勞識(shí)別技術(shù)和語音疲勞識(shí)別技術(shù)等前沿研究的最新進(jìn)展，概述了管制員疲勞檢測在空管自動(dòng)化系統(tǒng)的應(yīng)用前景，展現(xiàn)了管制員疲勞檢測研究的實(shí)際應(yīng)用價(jià)值及進(jìn)一步研究的潛力與必要性。