井下生產(chǎn)操作實踐中疲勞狀態(tài)感知

劉毅， 張緯韜， 張帆

(中國礦業(yè)大學(xué)(北京) 機電與信息工程學(xué)院， 北京 100083)

0 引言

在煤礦事故中人為因素引發(fā)的事故占比超過80%[1]，其中由疲勞和注意力不集中引發(fā)的誤操作是造成人為事故的重要因素[2]。我國煤炭生產(chǎn)以井工為主，煤礦井下是相對昏暗與密閉的環(huán)境，當(dāng)生產(chǎn)操作實踐人員在井下長時間作業(yè)后，會有疲勞、頭腦昏沉、注意力不集中、反應(yīng)遲鈍等癥狀，導(dǎo)致在操作中出現(xiàn)不安全行為，極易引發(fā)事故。為降低因疲勞發(fā)生事故的概率，需對井下生產(chǎn)操作實踐人員疲勞狀態(tài)進行檢測。

早期的疲勞檢測方法以生理信號檢測法為主，該方法需要接觸人體采集不同部位生理信號(心率、心電圖、呼吸、血氧等)特征[3]，實施較為復(fù)雜，不適合井下應(yīng)用。眼部檢測法是目前一般環(huán)境下非接觸式人員疲勞檢測的主要方法[4]，與生理信號檢測法相比更易于實施。該方法利用攝像機采集眼睛狀態(tài)的活動及變化(眨眼頻率的變化、眨眼的時間間隔、瞳孔直徑等)，通過對視頻圖像進行處理，采用PERCLOS判定準(zhǔn)則(單位時間內(nèi)眼睛閉合一定程度時所占時間比例)進行疲勞判斷[5-6]。然而，煤礦井下照度低、光照不均、礦燈干擾嚴(yán)重，直接影響攝像頭采集的視頻圖像質(zhì)量，且井下生產(chǎn)操作實踐人員需要佩戴安全帽，易遮擋攝像頭，所以單純通過眼部檢測法進行疲勞檢測的準(zhǔn)確率低、易漏報和誤報。

為解決上述問題，本文提出了一種基于頭部姿態(tài)監(jiān)測的井下人員疲勞狀態(tài)感知裝置，通過采集人員頭部姿態(tài)數(shù)據(jù)并進行融合處理，實現(xiàn)頭部姿態(tài)角解算，當(dāng)頭部姿態(tài)角偏轉(zhuǎn)程度在單位時間內(nèi)滿足疲勞狀態(tài)判定條件時，判斷人員處于疲勞狀態(tài)并發(fā)出預(yù)警，達(dá)到預(yù)防因疲勞工作導(dǎo)致人為生產(chǎn)事故發(fā)生的目的。

1 裝置原理

當(dāng)井下人員處于疲勞狀態(tài)時，會產(chǎn)生頭部下垂動作，大腦通過耳蝸感知到頭部失去平衡，為了恢復(fù)平衡和保持清醒，大腦會控制頸部進行恢復(fù)性抬頭動作，從而形成一個周期性點頭動作。基于頭部姿態(tài)監(jiān)測的井下人員疲勞狀態(tài)感知裝置的原理就是對單位時間內(nèi)點頭動作進行記錄與統(tǒng)計，當(dāng)單位時間內(nèi)點頭動作占比超出閾值，即可判斷為疲勞狀態(tài)并發(fā)出預(yù)警。

(1)

式中：fNod為單位時間內(nèi)點頭動作占比；NNod為單位時間內(nèi)被判定為有效點頭動作的次數(shù)；NT為傳感器在單位時間內(nèi)采集數(shù)據(jù)的次數(shù)。

有研究表明[7]，成年人頭部偏轉(zhuǎn)范圍是有限度的，一般頭部圍繞x軸旋轉(zhuǎn)角度(俯仰角θ)范圍為-60.4～69.6°，圍繞y軸旋轉(zhuǎn)角度(航向角φ)范圍為-79.8～75.37°，圍繞z軸旋轉(zhuǎn)角度(滾轉(zhuǎn)角γ)范圍為-40.9～36.3°。人在打瞌睡時，頭部動作包括點頭或傾斜，扭頭動作出現(xiàn)概率低，因此以頭部圍繞x，z軸的轉(zhuǎn)動偏移量(即俯仰角與滾轉(zhuǎn)角的變化量)作為點頭的主要依據(jù)。由于頭部姿態(tài)的疲勞判斷沒有統(tǒng)一標(biāo)準(zhǔn)，所以本文參考PERCLOS準(zhǔn)則的P80標(biāo)準(zhǔn)，設(shè)定頭部偏移程度大于可轉(zhuǎn)動范圍的20%時，即俯仰角變化量|Δθ|≥26.0°或滾轉(zhuǎn)角變化量|Δγ|≥15.4°時，判定頭部位置發(fā)生了偏移，從而進一步判定發(fā)生有效點頭動作。由于疲勞動作體現(xiàn)在俯仰角與滾轉(zhuǎn)角2個頭部姿態(tài)角的變化上，所以本文參考文獻(xiàn)[8]提供的實驗數(shù)據(jù)，設(shè)定疲勞狀態(tài)判定條件為單位時間內(nèi)點頭動作次數(shù)超過采樣次數(shù)的12.5%，即fNod≥12.5%[8]。

煤礦井下工作現(xiàn)場必須佩戴安全帽，所以對安全帽的直接監(jiān)測可實現(xiàn)對井下作業(yè)人員疲勞狀態(tài)的全面感知[9-11]。在礦工安全帽上安裝慣性測量單元采集角速度、加速度、磁場強度，通過對數(shù)據(jù)進行融合處理，得到頭部姿態(tài)角，從而獲得人員疲勞特征，進而判斷人員是否處于疲勞狀態(tài)。安全帽為慣性測量單元載體，載體坐標(biāo)系如圖1所示。

2 裝置組成

基于頭部姿態(tài)監(jiān)測的井下人員疲勞狀態(tài)感知裝置主要由數(shù)據(jù)處理單元、慣性測量單元、無線通信單元、聲光預(yù)警單元和電源組成，如圖2所示。

圖1 載體坐標(biāo)系Fig.1 Carrier coordinate system

圖2 基于頭部姿態(tài)監(jiān)測的井下人員疲勞狀態(tài)感知裝置組成Fig.2 Fatigue state perception device composition for underground personnel based on head posture monitoring

(1) 數(shù)據(jù)處理單元。安裝在安全帽上，用于處理慣性測量單元采集的數(shù)據(jù)，通過多數(shù)據(jù)融合計算出人員頭部姿態(tài)角(包括航向角φ、俯仰角θ和滾轉(zhuǎn)角γ)，當(dāng)頭部姿態(tài)角偏轉(zhuǎn)程度在單位時間內(nèi)滿足疲勞狀態(tài)判定條件時，判斷人員處于疲勞狀態(tài)，控制聲光預(yù)警單元發(fā)出聲光預(yù)警信號，并控制無線通信單元向地面監(jiān)控終端發(fā)送疲勞預(yù)警信號。數(shù)據(jù)處理單元選擇MSP430F147單片機，其具有5種低功耗工作模式，內(nèi)置2路UART接口，分別與無線通信單元、慣性測量單元通信。

(2) 慣性測量單元。安裝在安全帽上，核心芯片采用GY-BNO055九軸姿態(tài)傳感器模塊，其內(nèi)置12 bit三軸加速度計、16 bit三軸磁力計和三軸陀螺儀，支持I2C或UART通信，尺寸為12 mm×20 mm(長×寬)。慣性測量單元以固定采樣頻率采集九軸姿態(tài)傳感器數(shù)據(jù)，包括三軸加速度(ax,ay,az)、三軸角速度(ωx,ωy,ωz)、三軸磁場強度(mx,my,mz)。

(3) 無線通信單元。由井下人員隨身佩戴，不安裝在安全帽上，用于通過無線方式發(fā)送疲勞預(yù)警信號，可采用WiFi，ZigBee，WSN通信模塊或2G，3G，4G，5G移動通信模塊。

(4) 聲光預(yù)警單元。可安裝在安全帽上，也可由井下人員隨身佩戴，用于發(fā)出聲光預(yù)警信號。

3 裝置關(guān)鍵技術(shù)

常用頭部姿態(tài)描述方法包括四元數(shù)法、旋轉(zhuǎn)矩陣法和歐拉角法等。四元數(shù)法解決了萬向節(jié)鎖死的問題，通過球面插值獲得均勻的轉(zhuǎn)速，處理過程所需存儲空間較少，缺點是實現(xiàn)難度較高；旋轉(zhuǎn)矩陣法是最常用的計算方法，但處理過程中產(chǎn)生冗余信息，所需存儲空間大；歐拉角法得到的始終是正交矩陣，在實時運算中容易出現(xiàn)“奇點”，不適用于全姿態(tài)工作[12-13]。綜合考慮，本文采用四元數(shù)法進行頭部姿態(tài)數(shù)據(jù)處理，流程如圖3所示，達(dá)到頭部姿態(tài)角解算的目的。

圖3 頭部姿態(tài)數(shù)據(jù)處理流程Fig.3 Head posture data processing flow

(5) 對地磁向量進行坐標(biāo)轉(zhuǎn)換得到mgb，將mgb與mb進行向量積運算，得到誤差向量e2。

(6) 將誤差e1與e2疊加，得到融合誤差e。

(2)

(8) 通過前一時刻的QM對當(dāng)前數(shù)據(jù)進行修正，對加速度和磁場強度進行處理得到靜態(tài)四元數(shù)，對角速度積分得到動態(tài)四元數(shù)，再將動靜態(tài)四元數(shù)融合并轉(zhuǎn)換為歐拉角[14-16]。

(9) 對歐拉角進行分解再合成，消除靜態(tài)姿態(tài)誤差，得到x，y，z軸上的方向角四元數(shù)：

(3)

(10) 通過四元數(shù)乘法對方向角四元數(shù)進行合成，得到合成全姿態(tài)四元數(shù)Q*=qθ?qφ?qγ。

(11) 對合成全姿態(tài)四元數(shù)分解，求得當(dāng)前時刻頭部姿態(tài)角：

(4)

4 實驗驗證

為驗證基于頭部姿態(tài)監(jiān)測的井下人員疲勞狀態(tài)感知裝置的可行性，搭建實驗平臺，如圖4所示。利用安裝在安全帽上的GY-BNO055九軸姿態(tài)傳感器模塊采集數(shù)據(jù)；采用WiFi通信模塊ESP8266進行數(shù)據(jù)通信。考慮到裝置在井下環(huán)境的適用性與長時間工作的特性，將傳感器數(shù)據(jù)以30 s的時間間隔進行分段處理，采樣頻率設(shè)置為4 Hz，人員佩戴安全帽后將頭部向前后左右進行不同幅度擺動，模擬疲勞引起的點頭動作。

圖4 實驗平臺Fig.4 Experimental platform

采集的傳感器數(shù)據(jù)如圖5所示。分別通過加速度計、陀螺儀六軸姿態(tài)數(shù)據(jù)融合與加速度計、陀螺儀、磁力計九軸姿態(tài)數(shù)據(jù)融合得到的頭部姿態(tài)角如圖6和圖7所示。可看出六軸姿態(tài)數(shù)據(jù)融合下航向角一直處于零點(初始)位置附近，無法準(zhǔn)確判斷航向角，各角度都存在明顯的漂移現(xiàn)象，且具有噪聲；九軸姿態(tài)數(shù)據(jù)融合下通過磁力計對角度變化時間偏移進行了一定校正后再進行濾波，頭部姿態(tài)角曲線變化更加平滑，獲得的頭部姿態(tài)角更準(zhǔn)確。

(a) 三軸加速度

(b) 三軸角速度

(c) 三軸磁場強度

圖6 加速度計與陀螺儀數(shù)據(jù)融合Fig.6 Data fusion of accelerometer and gyroscope

圖7 加速度計、陀螺儀與磁力計數(shù)據(jù)融合Fig.7 Data fusion of accelerometer, gyroscope and magnetometer

在九軸姿態(tài)數(shù)據(jù)融合的基礎(chǔ)上，點頭動作捕捉結(jié)果如圖8所示。滿足俯仰角變化量|Δθ|≥26.0°或滾轉(zhuǎn)角變化量|Δγ|≥15.4°的區(qū)間判定為發(fā)生點頭動作的區(qū)間，該區(qū)間長度占采樣區(qū)間長度比例為0.41，即fNod=41%，滿足疲勞狀態(tài)判定條件fNod≥12.5%，因此判定人員處于疲勞狀態(tài)，與實際情況相符。

圖8 點頭動作捕捉結(jié)果Fig.8 Noding motion capture results

5 結(jié)語

為解決煤礦井下昏暗與密閉工作環(huán)境中作業(yè)人員易疲勞操作而引發(fā)人為事故的問題，提出了一種基于頭部姿態(tài)監(jiān)測的井下人員疲勞狀態(tài)感知裝置。通過在安全帽內(nèi)安裝九軸姿態(tài)傳感器采集井下人員頭部姿態(tài)數(shù)據(jù)，并對采集數(shù)據(jù)進行融合處理，采用四元數(shù)法實現(xiàn)頭部姿態(tài)角解算，并根據(jù)頭部姿態(tài)角是否超過閾值判斷是否發(fā)生點頭動作，再依據(jù)單位時間內(nèi)點頭動作是否超出閾值判斷人員是否處于疲勞狀態(tài)，若人員處于疲勞狀態(tài)便發(fā)出預(yù)警。實驗結(jié)果表明，該裝置能準(zhǔn)確獲取頭部姿態(tài)角，捕捉疲勞特征動作，并有效判斷井下人員是否處于疲勞狀態(tài)。該裝置具有體積小、質(zhì)量輕、功耗低、易于實施等特點。