基于視頻實時檢測的軌旁作業預警系統研究

周瑞鴻，黃凱峰，2，李 彥，竇禮同

(1.淮南師范學院 機械與電氣工程學院，安徽 淮南 232038；2.深部煤礦采動響應與災害防控國家重點實驗室，安徽 淮南 232001)

鐵路的正常運行需要鐵路現場施工和對運行設備的檢修維護作為保障，鐵路的提速對施工及維修時間有了更高的要求。研究軌旁作業安全防護技術能夠滿足作業施工的安全需求、彌補傳統防護及管理的缺失和保障軌旁作業人員的人身安全；研究視頻實時檢測可以改變傳統的人工瞭望和制度制約的局限性、彌補衛星導航系統復雜和投資巨大的劣勢，解決雷達檢測技術誤警率高的問題和提高防護系統的實時性及便攜性。我國鐵路現在使用的列車控制系統中，也具有列車接近預警策略，但是該系統的主要功能是保證列車的正常運行，并未對作業人員安全進行充分考慮，因此這些預警系統和方式難以滿足目前鐵路現場作業人員安全防護的需求。近年來國內外對鐵路作業安全預警[1]及防護展開了廣泛的研究，北京交通大學嚴博毅等人設計了鐵路作業預警裝置[2]，利用光纖傳感的原理實現作業現場防護，但難以實現軌旁作業防護對便攜性的需求。德國在新線路上采用MAS90預警系統，不僅可以監督線路設備的運作情況，而且能預測影響列車正常運行可能性或設備的故障隱患。該預警方法可以定位靠近防護區段的列車并實時測量該列車的行駛速度，及時進行報警提醒作業人員及時撤離。但是外界環境對此類信號的干擾較大，因此對整個系統的穩定性與可行性造成很大的影響。日本目前使用的列車預警系統[3]則利用GPS全球定位系統對運行列車進行實時監測。GPS對鐵路現場環境的要求比較高，因此該技術也有一定的限制因素。

本文針對鐵路現場維修環境及預警需求，提出一種基于差分與光流結合的列車接近預警方法，將現有的鐵路預警系統與視頻實時檢測運動物體相結合，利用對稱幀間差分快速提取運動區域，僅計算運動區域的光流場，實現對防護區段接近的列車進行快速準確的檢測并及時報警。從而滿足鐵路軌旁作業預警系統的實時性、便攜性和可靠性。

1 預警方法的數學模型

設備安裝的兩個攝像頭分別對上下行進行同時監測，防護區段原理圖如圖1所示。如圖1所示，作業人員在進行作業時，將設備放置在軌旁，攝像頭距離地面的高度H、水平方向的夾角α和β可依據現場具體情況進行調節，這樣提高了設備的靈活性和適應性。

圖1 防護區段原理圖

設備所防護區段的范圍分為左防護區h1和右邊防護區h2兩部分之和組成，其中攝像機距離地面的垂直距離為H，軌旁水平距離為H1，攝像頭的可監測距離分別為L1和L2，其在地面的投影距離分別為L′1和L′2，具體各個量之間的數學關系式如式(1)-式(6)所示。

(1)

(2)

(3)

(4)

(5)

(6)

由于右防護區段與左防護區段對稱，所以同理得式(7)：

(7)

其中：Δl為軌距，我國鐵路軌距一般情況下均為1.435米。

分別建立世界坐標系為Xw-Yw-Zw及攝像機坐標系Xc-Yc-Zc來表示三維空間；將圖像平面利用二維坐標系u-v表示，將圖像中心定義為坐標原點。對世界坐標系與相機坐標系間的坐標進行轉換，可得如式(8)、式(9)所示的關系式。

(8)

(9)

以透視變換為依據，建立圖像二維坐標與相機坐標之間的映射關系如式(10)所示。

(10)

2 差分與光流結合算法分析

算法的主要思想如圖2所示，是利用對稱差分法簡單快捷的優勢，對檢測場景首先進行運動區域提取，只需要利用光流法檢測提取出的運動區域檢測運動目標。算法的主體結構如圖2所示，分別計算第k-1幀和第k幀之間的絕對差分圖像g(k-1,k)以及第k幀與k+1幀之間的絕對差分圖像g(k,k+1)；分別對g(k-1,k)和g(k,k+1)轉換成二值圖像進行“與”運算得到圖像g(k-1,k+1)。

圖2 算法框架

通過區域識別、區域擴張及疊加處理，確定可能的目標區域[4-5]，并對應到第k-1幀和第k幀原始圖像上；對檢測出的區域進行光流場計算，準確檢測出列車；將檢測出的列車所在幀圖像作為第k幀圖像的目標進行標定，輸出目標的位置，并進行報警，算法架構圖如圖3所示。

圖3 算法的總體框架圖

2.1 幀間對稱差分提取運動區域

圖像序列的一般表達式如式(11)所示。

F={fk(x,y),x≤M,y≤N,k=1,2,…}

(11)

式中(x,y)表示灰度圖像(M×N)上的點，fk(x,y)對應關鍵圖像中該點的灰度值大小，k表示序列圖像幀的幀號。相鄰幀圖像fk-1(x,y)，fk(x,y)和fk+1(x,y)，式(12)和式(13)所示，取相鄰幀的差分絕對值：

gk-1,k(x,y)=|fk-1(x,y)-fk(x,y)|

(12)

gk,k+1(x,y)=|fk+1(x,y)-fk(x,y)|

(13)

選取適當閾值T(取T=M+kσ，式中M為圖像的灰度值，δ為其標準差，k為常數，一般取圖像信噪比)，進行二值化得到兩個絕對差二值圖像，如式(14)和式(15)所示。

(14)

(15)

將式(14)與式(15)的絕對差進行“與”運算，得到二值圖像Bk(x,y)，從而得到當前幀圖像中的對稱差分結果如式(16)所示。

Bk(x,y)=bk-1,k(x,y)·bk,k+1(x,y)

(16)

在二值圖像中標定所有內部連通的“斑點”，計算能夠包含每個“斑點”的最小矩形的位置和大小，記所有的小矩形為：{Pk(s,e,w,h)|0≤k≤m×n}，其中(m×n)為整幅圖像的像素值，(s,e)為小矩形左上角的位置坐標，(w,h)表示小矩形的寬度和高度。

(17)

式(18)和式(19)中w0和h0的取值為：

(18)

(19)

區域擴張后可能導致相鄰區域之間有疊加部分，為了避免后續圖像處理重復計算，將相互間有疊加的目標區域重構形成一個大的運動區域，如圖4所示，將存在重復區域的相鄰矩形A和B兩個矩形重構成一個矩形C，這樣防止對重疊區域的重復計算。

圖4 目標區域重疊處理

區域重疊處理的具體數學算法如下：

將矩形A、B和重構矩形C分別表示為：PA(sA,eA,wA,hA)、PB(sB,eB,wB,hB)、PC(sC,eC,wC,hC)，則有式(20)-式(23)：

(20)

(21)

wC=wA+wB-wA·wB

(22)

hC=hA+hB-hA·hB

(23)

2.2 對運動區域進行光流準確檢測運動物體

本文以基于梯度方法來實現關鍵連續幀光流的計算，原因在于該方法在計算量上較其他方法簡單并且可靠性較其他方法高，滿足本系統對算法實時性和準確性的需求。假定運動區域[9]上點(x,y)的在t時刻的灰度值為D(x,y,t)，在t+dt時刻，該點的像素為：(x+dx,y+dy)，其灰度值為：D′(x+dx,y+dy,t+dt)。

根據數學微分思想，當dt→0時，D=D′。

將(x+dx,y+dy,t+dt)=(x,y,t)進行泰勒級數展開如式(24)和式(25)所示。

(24)

(25)

又因為：D=D′得式(26)

D′(x+dx,y+dy,t+dt)-D(x,y,t)=0

(26)

進一步簡化可得如式(27)所示。

(27)

等式左右兩邊同時除以dt得式(28)，即：

(28)

Dxu+Dyv+Dt=0

(29)

式中Dx，Dy，Dt，分別表示像素點灰度隨著位置坐標和時間的變化率；u和v分別表示像素點在圖像二維坐標系中橫坐標和縱坐標的速度分量，將式(29)轉換成矢量的形式為式(30)：

ΔD·u+Dt=0

(30)

該算法主要針對鐵路現場作業防護進行視頻實時檢測，利用鐵路現場拍攝的視頻對該算法進行檢驗，在檢測到的視頻中，本文提出的算法可以準確快速的檢測到視頻中的運動物體，并且對捕捉到的運動物體進行區分[10]。

對稱差分檢測出運動區域后，計算該區域光流場，如果該區域內某個位置的光流變化很大，說明有運動物體。通過對比同一運動物體在不同位置的像素值、對比之前統計的行人、汽車和火車等其他對象在相同位置的像素值，判斷運動物體是否為鋼軌上行駛的列車，對運動區域的光流檢測如圖5所示。

圖5 光流法對運動區域的檢測流程圖

3 實驗結果

視頻檢測距離也是該預警策略必須考慮的因素，目前市場上比較主流的、成本較低的CCD攝像機的檢測距離遠遠不能滿足軌旁作業防護的需求，因此我們選用長焦距攝像頭對作業現場進行實時監測。測量檢測距離需首先對攝像頭的焦距進行計算，但由于圖像轉換為灰度圖像時分辨率會發生變化，因此在計算距離時也需要對焦距進行轉換。假設有一個寬度為W的目標，然后將這個目標放在距離相機為D的位置。用相機對其進行拍照并且測量物體的像素寬度P。這樣我們就得出了相機焦距的公式如式(31)和(32)所示。

F=(P×D)/W

(31)

D=(F×W)/P

(32)

當視頻序列幀圖像轉換為灰度圖處理時，幀圖像的分辨率發生了改變，所以在距離計算時，引入轉換公比k如式(33)所示。

(33)

式中：P為視頻原始幀圖像分辨率，P′為轉換后灰度圖像的分辨率。因為k的計算公式中只是簡單的比例計算，所以只取寬度像素值進行計算，簡化運算。因此像素轉換后的焦距如式(34)所示。

F′=F/k

(34)

圖像轉換后測量實際距離如式(35)所示。

D′=(F′×W)/P″

(25)

實驗選取白紙高：26.6cm；寬：8.8cm，拍攝原圖像像素為：4608×3456，轉換成灰度圖的像素為：320×240，如圖6所示。

(a)D=15.6m圖像

(b)D=20.4m圖像圖6 距離測量原圖像

圖6(a)中取水平距離為D=15.6m，利用已知距離及公式(30)和公式(32)測量長焦距攝像頭的焦距與轉換公比：

F=(P×D)/W

=(937×15.6)/0.088

≈166104.5

測得焦距與公比之后，將相同的白紙平移到距離D=20.4m的位置進行驗證實驗，如圖6(b)中所示，利用公式(33)與公式(31)計算轉換后的焦距與測量距離，并與已知水平距離對照：

F′=F/k=166104.5/14.4≈11535

D′=(F′×W)/P″

=(11535×0.088)/50

=20.3016m

實驗所得的距離D′與實際距離D非常接近，因此該實驗驗證了本文提出的測量視頻檢測距離的方法的可行性。在蘭州鐵路局管內某線路拍攝的實際檢測列車距離的圖像如圖7所示。

圖7 實際測量列車圖像

用已經測量好焦距的長焦距攝像頭檢測鋼軌上的列車，假設客車車廂的寬度為W=3.3m，原始視頻幀圖像的像素為：4608×3456，轉換后灰度圖像的像素為：320×240，灰度圖列車的像素為：21×36，所以：

F′=F/k=72800/14.4≈5055.6

D=(F′×W)/P″

=(5055.6×3.3)/21

=794.5m

由實驗結果可知，該檢測距離可以滿足視頻檢測及報警需要。由于利用對稱差分法進行目標區域提取時需要估算圖像的信噪比RSN，因此本文在實驗中限定目標圖像最小信噪比為3.0。圖8截取視頻序列幀灰度圖像做對稱差分進行目標區域提取后，進行光流計算并且檢測出鋼軌上的列車。

(a)對稱差分結果

(b)目標區域提取結果

(c)光流對比結果

(d)算法檢測結果

實驗以有效檢驗本文算法可行性為目的，選取一段有人巡檢員出現的作業現場拍攝視頻進行檢測，如圖9所示。圖9中(a)、(b)與(c)為視頻關鍵連續三幀灰度圖像，(d)為其對稱差分結果，(e)為運動目標區域提取結果，從(e)可以看出，二維視場中的工作人員(圖像右邊)以及其他噪聲引起運動區域誤檢區域被提取出來，(f)為圖像經過光流準確檢測后的結果，從圖像中可以看出，這些不屬于鋼軌上運動的列車運動物體，本算法均未將其誤檢為列車，從而有效的驗證了本文結合算法的可行性。

(a)第8幀

(b)第9幀

(c)第10幀

(d)對稱差分結果

(e)運動區域提取

(f)光流對比結果

本文選用鐵路現場拍攝的多段視頻對該算法進行驗證，在不同場景下以及不同角度拍攝下的運動物體進行檢測，檢測結果見表1。

表1 運動物體檢測實驗結果

本文共提取3200個不同的樣本，其中實驗檢測準確率達98.12%，而漏檢率和誤檢率僅有1.28%和1.06%。在多組實驗數據中，列車僅有19次漏檢。在這19次漏檢的情況下，其中11次漏檢的原因為目標剛進入攝像頭的防護區段，現場存在彎道導致目標在關鍵幀圖像中占比過小，但是在其相鄰關鍵幀圖像中準確的檢測且識別；8次為在列車與攝像機所在位置非常接近關鍵幀圖像中，雖然此時并沒有實現準確識別，但是該視頻的前面關鍵幀的圖像已經檢測出了鋼軌上的列車，這樣在實際現場已經實現了預警，這樣的情況對系統有列車進入防護區段進行提前報警可靠性沒有影響。

表2是本文算法與其它兩種主流算法在運行時間上做的比較，由表中數據可以看出，使用本文所提出的目標檢測算法，不僅可以提高檢測的準確度，還能減少算法的運行時間。

表2 各算法運行時間對比結果

對于整個預警算法而言，本文所設計的基于對稱差分與光流法相結合的算法，能夠增強人工防護的可靠性，還能避免雷達系統很高的誤警率，避免列車控制系統追求列車運行時追求整個列車控制系統“故障——安全”原則時，可能出現的預警錯誤或缺失現象，通過以上仿真結果及實驗分析可得，本文提出的算法有較高的現場實用價值。

4 結論

本文提出了基于對稱差分與光流法相結合的軌旁作業安全預警方法計算簡單，對環境的要求低、檢測準確性高，滿足軌旁作業預警的準確性需求。本文結合對稱差分與光流法各自的優點，首先利用對稱差分算法簡單、運算速度快的特點來對整個圖像提取運動區域，然后僅對運動區域進行光流法檢測，避免了對整幅圖像計算光流值的復雜運算，有效提高了整個算法的實時性需求。通過“斑點”識別、區域擴張和區域疊加處理等算法提取可能的目標運動區域，最后從提取的運動區域中應用光流法檢測運動目標，能夠更好的實現軌旁作業預警防護對實時性和準確性的需求。實驗及結果分析表明，應用基于對稱差分與光流法相結合的軌旁作業安全預警方法，可以在保證光流精度的前提下，大幅減少算法運算量，滿足鐵路軌旁作業安全預警的要求，但是在夜間進行防護時，由于列車車頭處燈光與周邊其它光源的相似度較高，檢測誤警率較高，減少夜間防護時的誤警率難度較大，這將是下一步研究的重要內容。