鐵路機(jī)車智能音視頻系統(tǒng)的應(yīng)用研究

熊偉國

（上海鐵路機(jī)車車輛發(fā)展有限公司，上海 200000）

1 立項(xiàng)背景

目前，各機(jī)務(wù)段都配備了機(jī)車乘務(wù)員錄音筆、機(jī)車視頻監(jiān)控，以監(jiān)督乘務(wù)員落實(shí)日常作業(yè)標(biāo)準(zhǔn)。但由于視頻監(jiān)控、錄音筆裝置是不間斷記錄，每天產(chǎn)生海量的音視頻數(shù)據(jù)，使轉(zhuǎn)儲后地面分析人員工作量巨大，分析的數(shù)量相對占比較小，且是事后管理，發(fā)現(xiàn)問題時已構(gòu)成既成事實(shí)，造成事故時已無法挽回。經(jīng)對五個鐵路局集團(tuán)25個機(jī)務(wù)段不完全統(tǒng)計(jì)，僅2018年全年因乘務(wù)員未標(biāo)準(zhǔn)值乘作業(yè)而引發(fā)事故多達(dá)32起。因此有必要通過技術(shù)手段在線實(shí)時智能識別并規(guī)范乘務(wù)員標(biāo)準(zhǔn)化操作，提升視頻分析效率，并在發(fā)生問題時給予報警提示，防控風(fēng)險于前期。

2 存在難題

車內(nèi)環(huán)境照度變化大，還有司機(jī)姿勢的變化，如何實(shí)時獲得準(zhǔn)確、清晰的臉部、眼部、手勢圖像是技術(shù)難點(diǎn)之一；無需事先進(jìn)行圖像注冊的情況下，就準(zhǔn)確定位面部、眼睛、手勢，實(shí)時地提取各種動態(tài)參數(shù)并進(jìn)行正確圖像識別是技術(shù)難點(diǎn)之二；使用的實(shí)時性要求在快速算法下達(dá)到足夠的識別率是技術(shù)難點(diǎn)之三。

3 主要研究目標(biāo)

裝置需實(shí)現(xiàn)功能包括：能夠依據(jù)LKJ公里、信號機(jī)、車站坐標(biāo)，在線識別乘務(wù)員標(biāo)準(zhǔn)化作業(yè)執(zhí)行情況，當(dāng)乘務(wù)員簡化、違章作業(yè)時在線提醒乘務(wù)員，并生成數(shù)據(jù)記錄問題。具體如下：

（1）預(yù)設(shè)關(guān)鍵項(xiàng)點(diǎn)，實(shí)時對比乘務(wù)員值乘過程中手勢合規(guī)程度，在線提醒乘務(wù)員規(guī)范操作行為，并記錄不規(guī)范行為報警視頻。

（2）預(yù)設(shè)關(guān)鍵項(xiàng)點(diǎn)的乘務(wù)員“呼喚應(yīng)答”標(biāo)準(zhǔn)語句，實(shí)時對比乘務(wù)員值乘過程中語音呼喚應(yīng)答標(biāo)準(zhǔn)，在線提醒乘務(wù)員使用規(guī)范語音標(biāo)準(zhǔn)作業(yè)，并記錄不規(guī)范語音報警音頻。

（3）結(jié)合已開發(fā)成熟的“機(jī)車乘務(wù)員途中狀態(tài)預(yù)警提醒裝置”，實(shí)時監(jiān)測乘務(wù)員行車工作狀態(tài)，當(dāng)出現(xiàn)間斷瞭望行為時，立即語音提醒，并記錄報警視頻。

（4）通過體感手環(huán)，實(shí)現(xiàn)可穿戴式乘務(wù)員體征檢測設(shè)備，記錄機(jī)車乘務(wù)員在值乘前的睡眠時間，心率血壓體征等精神狀態(tài)指標(biāo)。

（5）智能地面分析軟件。通過智能地面分析軟件，快速生成報警報表，具備檢索回放以及統(tǒng)計(jì)分析功能，按月生成車隊(duì)、車間報表，以及重點(diǎn)區(qū)域、時段分析，方便管理者分析使用。

4 研究方法和技術(shù)路線

本項(xiàng)目主要研究的內(nèi)容是實(shí)現(xiàn)車載音視頻裝置采集機(jī)車乘務(wù)員值乘實(shí)時影音，并在線識別乘務(wù)員語音內(nèi)容與呼喚應(yīng)答標(biāo)準(zhǔn)用語進(jìn)行比較，在線識別乘務(wù)員動作行為與手指眼看標(biāo)準(zhǔn)行為比較，在線識別乘務(wù)員瞭望狀態(tài)間斷瞭望實(shí)時提醒三大主要功能。系統(tǒng)框圖如圖1所示：

4.1 手勢識別

4.1.1 攝像頭信息的采集和預(yù)處理

攝像頭信息的采集和預(yù)處理，要進(jìn)行手勢信息的獲取，首先需要擁有一定的硬件，如數(shù)據(jù)手套、攝像頭等。對于軟件方面則要安裝相應(yīng)的驅(qū)動程序和了解它們的API。OpenCV提供了一系列通用而且簡潔的外部接口以便于實(shí)現(xiàn)以上的工作，對攝像頭操作代碼流程如圖2所示：

圖1 系統(tǒng)框圖

圖2 攝像頭操作代碼流程

圖3 計(jì)算面積的步驟

4.1.2 身體軀干的區(qū)域的提取

（1）膚色種子的獲取。在單擊鼠標(biāo)時獲取鼠標(biāo)相對圖像位置的顏色，處理這個圖像所在控件的點(diǎn)擊事件。CStatic控件還需要首先將其Notify屬性設(shè)置成True，以指定這個控件在單擊和雙擊時對父級控件發(fā)出通知。獲取鼠標(biāo)相對于圖像的坐標(biāo)可以通過先獲取鼠標(biāo)的屏幕坐標(biāo)，再將該坐標(biāo)轉(zhuǎn)成相對于控件的坐標(biāo)來實(shí)現(xiàn)。

（2）基于軀干與背景在一定顏色模型上的區(qū)別的初步提取。根據(jù)不同顏色模型，對轉(zhuǎn)換以后的對軀干的范圍采用不同的提取方法。用原始的rgb顏色模型的圖片來提取，可以用r、g、b三種通道各自與膚色種子的色差的最大值來判定圖像上的某點(diǎn)是否在軀干上；如果用顏色模型為一個亮度通道+兩個顏色通道的圖片，則可以通過先遍歷整個圖像，把每一點(diǎn)的像素歸化到[0，255]的整數(shù)范圍中，再將兩個顏色通道移到統(tǒng)一的位置進(jìn)行統(tǒng)一的色差最大值判定。

（3）外部孤立點(diǎn)的消去。一些被選中的比較小的孤立區(qū)域，它們的顏色與軀干的顏色相近，但是其共同點(diǎn)是都在軀干的后面，而且所占的面積比軀干要小。為此可以通過獲取最大的連通區(qū)域的方法來去掉一些不合理的選取。當(dāng)一個點(diǎn)首次到達(dá)一個連通區(qū)域（未計(jì)算）時，即開始計(jì)算這個區(qū)域的面積，算完該面積后再進(jìn)去這個區(qū)域（已計(jì)算）將不會再重新算。計(jì)算面積的步驟如圖3所示：

4.1.3 身體軀干的關(guān)鍵點(diǎn)的提取

軀干的重心通過選取圖片（如memopic）中軀干的區(qū)域的內(nèi)的x和y坐標(biāo)的平均值來實(shí)現(xiàn)；軀干的面積可以反映軀干離攝像頭的距離。軀干的邊緣通過像素與其旁邊相差的大小來確定，但為了保持邊緣的寬度在1像素內(nèi)，僅需判斷這個像素點(diǎn)與其右方和下方的顏色是否相同即可。

4.1.4 基于AI深度學(xué)習(xí)識別身體軀干

自動編碼器的核心關(guān)鍵是將原始圖像（視頻）輸入信號進(jìn)行編碼，使用編碼后的信號來重建原始信號，使得兩者之間的重建誤差最小。通過將原始信號編碼成另一形式，能夠有效地提取信號中的主要信息，能夠簡潔地表達(dá)原始圖像（視頻）的特征。

4.2 麥克風(fēng)陣列

4.2.1 近場麥克風(fēng)陣列信號模型

在近場情況下，必須采用精確的球面波前模型，來代替遠(yuǎn)場的平面波前模型。聲波在傳播過程中要發(fā)生幅度衰減，其幅度衰減因子與傳播距離成正比。對于遠(yuǎn)場聲源，麥克風(fēng)陣元接收的信號之間幅度差別相對很小，可以忽略不計(jì)；但對于近場聲源，麥克風(fēng)陣元接收的信號之間幅度差別較大，必須予以考慮，其示意圖如圖4所示。

圖4 近場麥克風(fēng)陣列信號模型

圖5 譜抵消的具體做法

4.2.2 譜抵消去噪及語音檢測

為了簡單起見，假設(shè)噪聲為加性白高斯噪聲（AWGN），且在各個麥克風(fēng)之聞互不相關(guān)。但即便是這樣，在通常情況下，嗓聲的參數(shù)也是未知的。而且當(dāng)環(huán)境改變時，噪聲參數(shù)都會變化，因此必須根據(jù)噪聲的變化實(shí)時地去噪，面譜抵消就是這樣一種去噪方法。譜抵消的具體做法如如圖5所示：

4.3 軟件開發(fā)

軟件開發(fā)工作分為六個階段，可行性研究及開發(fā)計(jì)劃、需求分析、軟件設(shè)計(jì)、系統(tǒng)實(shí)現(xiàn)、測試與完善。

4.4 算法開發(fā)

算法由攝像頭輸入圖像開始，依次需要經(jīng)過圖像預(yù)處理，需要識別對象進(jìn)行特征提取，最后通過樣本數(shù)據(jù)庫進(jìn)行對比，識別算法獲得識別結(jié)果。

4.5 地面分析軟件

研發(fā)地面分析軟件，對值乘全過程的音視頻錄像進(jìn)行“摘要”化剪輯分析，實(shí)現(xiàn)數(shù)據(jù)檢索回放功能以及統(tǒng)計(jì)分析功能，方便各級管理者分析使用。

5 結(jié)束語

“乘務(wù)員值乘標(biāo)準(zhǔn)化智能分析裝置”基于技術(shù)成熟的高速DSP嵌入式處理系統(tǒng)和智能音視頻識別、智能視頻分析、機(jī)器視覺檢測技術(shù)，結(jié)合崗位作業(yè)標(biāo)準(zhǔn)化制度要求，及機(jī)車運(yùn)行環(huán)境，對值乘司機(jī)作業(yè)中行為動作進(jìn)行分析，發(fā)現(xiàn)行為異常或不符合機(jī)務(wù)值乘制度要求的行為時，系統(tǒng)及時發(fā)出語音報警提示，糾正司機(jī)作業(yè)行為，起到實(shí)時有效互控的目的，減少和防止因司機(jī)未落實(shí)崗位作業(yè)標(biāo)準(zhǔn)化，導(dǎo)致的行車事故的發(fā)生。不僅維護(hù)行車調(diào)度秩序，而且減少和避免對企業(yè)和個人造成經(jīng)濟(jì)損失，可產(chǎn)生良好的社會影響，為提高機(jī)務(wù)系統(tǒng)安全風(fēng)險管理水平和企業(yè)科技創(chuàng)新發(fā)展提供有力的技術(shù)手段。