基于視頻事件的大型艦船艦面保障作業檢測①

郭雪昆,李小燕,秦遠輝,王宏安

1(中國船舶工業系統工程研究院,北京 100094)

2(海豐通航科技有限公司,北京 100070)

3(中國科學院軟件研究所,北京 100190)

大型艦船艦面保障作業指大型艦船攜帶的飛機從降落至艦面到起飛離艦的整個過程涉及的所有作業,包括飛機降落、卸載物資、檢查、維修、充電、補充燃料與滑油、加注特種氣體、換胎、加載物資、調運、起飛等數十個保障作業[1].基于艦面監控視頻檢測艦面保障作業利于分析并提高保障作業效率,對大型艦船作戰效能的發揮至關重要.然而,一架飛機的保障作業具有復雜的串并行關系,不同類型飛機的保障作業串并行關系不同.單個保障作業由數位操作員使用多種器械協作完成.大型艦船攜帶的機群的一次出動,往往需要數十架不同類型的飛機并行地進行艦面保障作業,涉及數以百計的操作員、器械與設施設備統籌協作.這導致同一艦面監控視頻場景內同時發生多個保障作業,不同保障作業的參與者(操作員、器械或設施設備等)位置交叉;如圖1所示,同一視頻場景內同時發生調運車調運(圖1(a)左下角3個參與者)與調運員調運飛機(圖1(a)右上角3個參與者)兩個保障作業,在視頻的中間時刻兩組保障作業參與者相遇(圖1(b)),從整個保障作業過程來看,兩組保障作業參與者位置交叉(圖1(c)).

圖1 同一視頻場景內同時發生的參與者位置交叉的保障作業示意圖

隨著監控設備的普及與發展,監控視頻中事件檢測受到越來越多的關注.現有的監控視頻事件檢測技術主要針對3類問題:第1類是個體姿態事件的檢測問題[2,3],例如,走路、跑步、指人、打電話、放東西等.這類事件有區別于其他事件的標志性姿態,通過檢測視頻內標志性姿態實現事件檢測;第2類是個體運動事件的檢測問題[4],例如,徘徊、逆行等,通過檢測目標個體的運動軌跡實現事件檢測;第3類是群體運動事件的檢測問題[5],比如,人群聚集、人群分離等,通過分析群體運動軌跡實現事件檢測.而艦面保障作業持續時間長(數分鐘至十幾分鐘不等)、參與者多(單個保障作業由數個操作員使用多種器械協作完成)、參與者動作多樣(操作員需做多個動作完成一個保障作業)、不同保障作業參與者的位置交叉重疊;單個關鍵幀、單個特征或個體的單個動作、軌跡無法刻畫整個保障作業.現有的監控視頻事件檢測技術不太適合大型艦船艦面保障作業檢測.

相對傳統的監控視頻中事件檢測技術,近年興起的復雜事件檢測技術關注持續時間較長(從數分鐘至數小時不等)、類內變化較大(涉及多個參與者的多個動作)、包含信息豐富復雜的事件[6].然而,現有的復雜事件檢測技術[7-9]從樣本視頻的關鍵幀內提取特征訓練模型,更適合場景內只發生一個復雜事件的情況.但在大型艦船艦面上,同一視頻場景中同時發生多個保障作業,而且各保障作業的參與者位置交叉.現有的復雜事件技術難以滿足大型艦船艦面保障作業檢測的需求.

本文提出了一種基于視頻事件的大型艦船艦面保障作業檢測技術,可檢測同一視頻場景中并發的參與者位置交叉的艦面保障作業.我們將艦面保障作業視為一系列小粒度事件按一定約束組合成的復雜事件;先采用基于軌跡層次聚類的保障作業結構提取算法,確定場景內保障作業的組合層次結構;再采用基于作業模型的保障作業識別算法,逐層識別保障作業類型,實現并發的參與者位置交叉的保障作業的檢測.

本文方法有兩個創新點:1)基于軌跡層次聚類的保障作業結構提取算法.該算法對場景內目標物軌跡自頂向下層次聚類,使參與同一保障作業的目標物軌跡于同一聚類內,從而獲得場景內保障作業的組合層次關系與各保障作業的參與者;2)基于作業模型的保障作業識別算法.我們將保障作業視為一系列小粒度事件按一定約束構成的復雜事件;先采用視頻事件描述語言(video event description language)定義保障作業模型,再依據保障作業模型,針對保障作業的組合層次結構,自底向上逐層識別保障作業.

1 本文方法概述

本文方法共分為兩個階段,視頻數據預處理與保障作業檢測(如圖2).本文的重點是保障作業檢測.在視頻數據預處理階段,跟蹤獲得場景內目標物(操作員、器械、設施設備)運動軌跡并對軌跡進行修剪,得到清晰、連貫的軌跡.在保障作業檢測階段,假設已獲取場景內目標物的運動軌跡.先采用基于軌跡層次聚類的保障作業結構提取算法,對場景內目標物軌跡自頂向下層次聚類,使參與同一保障作業的目標物軌跡于同一聚類內,從而得到場景內保障作業的層次組合關系及各保障作業的參與者(第2.1節);再采用基于作業模型的保障作業識別算法,針對保障作業的層次組合結構,依據保障作業模型,自底向上識別各保障作業(第2.2節).

圖2 本文方法流程圖

視頻數據預處理.在預處理階段,首先采用現有方法[10]跟蹤艦面監控視頻,再對跟蹤得到的軌跡做修剪,包括連接間斷軌跡、除掉過短軌跡及修剪噪聲軌跡,最終得到清晰、連貫的目標物運動軌跡.軌跡修剪方法如下:

第2步.角度突變的軌跡頂點視為噪音,進行平滑操作.令軌跡頂點pi的角度其中pi?1與pi+1為與pi相鄰的兩點.若Ai<θ(θ =30?),視為角度突變頂點.對角度突變頂點pi,令pi=(pi+pi?1+pi+1)/3,如此迭代,直至pi不再為角度突變頂點.

第3步.連接間斷軌跡.若兩軌跡目標物類型相同、距離相近且于彼此延長線上,視為間斷軌跡,聯接成一條軌跡.令軌跡T的正向延長線Tend為過T最后的M(M=4)個軌跡點的插值曲線,其反向延長線Tstart為過T最開始的M個軌跡點的插值曲線.若兩軌跡的正向延長線與反向延長線相交且延長線長度之和Lext<ω (ω =10),則視為間斷軌跡,將兩軌跡聯接.

2 保障作業檢測

2.1 基于軌跡層次聚類的保障作業結構提取

我們將保障作業視為由一系列小粒度事件按一定約束組合成的復雜事件.提取保障作業結構就是提取場景內保障作業的層次組合關系,并確定各保障作業的參與者.目標物運動軌跡反映出保障作業參與者位置的變化,是判斷其參與的保障作業的重要線索.基于此,我們將保障作業層次組合結構提取形式化成目標物軌跡層次聚類問題.為了解決該問題,我們先將場景中目標物軌跡組織到軌跡圖中,再通過軌跡圖的層次分割得到軌跡層次聚類(如圖3).一個軌跡聚類表示一個保障作業.聚類包含的軌跡為該保障作業的參與者.軌跡聚類的層次結構為保障作業的層次組合結構.

目標物軌跡圖.目標物軌跡圖的一個頂點表示一條軌跡,邊表示軌跡間相鄰關系,邊權重表示目標物軌跡參與同一保障作業的概率.我們依據3個原則計算邊權重:1)軌跡夾角.若兩目標物在整個作業過程中保持運動方向基本一致,它們極可能參與同一保障作業;2)軌跡間距.若兩目標物作業過程中始終保持在很小距離內,它們極可能參與同一保障作業;3)軌跡共現.參與同一保障作業的目標物必然同時出現于同一場景.軌跡圖邊權重W=aEangle+bEhdist+Ecooc.其中,a=1.0、b=2.0為權重.Eangle衡量軌跡夾角的一致性,Eangle=1+cosθ,θ為兩目標物位移夾角.Ehdist衡量軌跡間距大小,Ehdist=1?h/max(H),h為兩軌跡的豪斯道夫距離,H為場景內任意兩軌跡間豪斯道夫距離的集合.Ecooc為軌跡共現項,為兩軌跡共現于場景的時長,ti與tj分別為兩軌跡的時長.

軌跡圖層次分割.給定軌跡圖,我們迭代地對其進行二分割,直至各子圖只包含一個頂點.如此,得到軌跡的層次聚類結構(如圖3).對軌跡圖的每一次二分割,都通過求解如下目標函數[11]實現:

其中,A、B為分割得到的子圖,V=A∪B.cut(A,B)為連接A、B兩子圖的所有邊的權重之和,tcon(A,V)為連接A、V兩圖的邊數.

圖3 軌跡層次聚類示意圖

2.2 基于作業模型的保障作業識別

給定場景內保障作業的層次組合結構,需要識別各保障作業的類型.為此,定義保障作業模型(第2.2.1節);再依據作業模型,針對保障作業層次組合結構,自底向上逐層識別各保障作業(第2.2.2節).

2.2.1 保障作業模型

采用視頻事件描述語言定義保障作業模型,將其描述成由一系列小粒度事件按一定約束組合成的復雜事件.保障作業模型 E=(O,S,F,C)[12].O是一組實體,E的參與者的集合,包括操作員(機務員、調運員、物資轉運員等)、車輛(物資裝載車、調運車、叉車等)等.S是構成 E的子事件的集合.子事件是比 E粒度更小更簡單的事件.F是禁止事件集合,不可與E同時發生.C是S內子事件間約束的集合[13].如此逐層向下定義,保障作業逐步分解為一系列粒度更小更簡單的事件.

事件按復雜度分為狀態與事件兩類[12].狀態指在某一時刻或某一段時間內保持穩定不變的情況.最小粒度的狀態稱為基本狀態.基本狀態不可再分.圖4(a)為基本狀態的一個例子.該基本狀態的參與者只有飛機一個實體.飛機的移動速度有兩條約束:大于0,小于閾值由若干基本狀態組合成的狀態為組合狀態,比如,調運車調運飛機(圖4(b)).該組合狀態有調運車與飛機兩個作業參與者,由調運車移動與飛機移動兩個基本狀態組成,對兩基本狀態的約束是飛機跟隨調運車.

圖4 狀態的例子

事件指實體在兩個連續時刻的狀態發生了改變.事件按復雜度分為基本事件與組合事件.基本事件是只涉及基本狀態改變的事件;基本事件的一個例子見圖5(a).該基本事件的參與者只有飛機一個實體,由飛機的兩個基本狀態,飛機移動與飛機滑動組合而成.該基本事件的約束是飛機由移動狀態轉變為滑動狀態.復雜事件是由一系列狀態與事件組合成的事件;復雜事件的一個例子見圖5(b).該復雜事件有兩位操作員和一架飛機3個參與者.構成它的子事件包括:w0、w1兩位操作員靜止,飛機靜止,飛機移動,飛機加速滑行.對子事件的約束是:兩位操作員一直保持靜止;飛機由靜止狀態轉變為移動狀態,再轉變為加速狀態.

本文共定義了13個基本狀態(飛機滑動、飛機移動、調運車移動、操作員移動、物資轉運車移動、物資掛載車移動、物資于物資轉運車上、物資不在物資轉運車上、物資于物資掛載車上、物資不在物資掛載車上、叉車移動、飛機靜止、操作員靜止)、4個組合狀態(調運車調運飛機、操作員調運飛機、操作員指揮調運車調運飛機、物資轉運)、3個基本事件(飛機加速、物資轉運車卸載、物資掛載)和1個組合事件(飛機起飛).保障作業模型就是某個狀態或某個事件.本文總共定義了13個保障作業模型,包括:飛機移動、調運車轉運、調運員移動、物資轉運車調運、物資掛載車調運、叉車調運、調運車調運飛機、調運員調運飛機、調運員指揮調運車調運飛機、物資轉運、物資轉運車卸載、物資掛載和飛機起飛.

圖5 事件的例子

2.2.2 保障作業識別

我們依據保障作業模型,沿著場景內保障作業層次組合結構,自底向上識別保障作業.對只包含一個軌跡的聚類,我們檢測其符合的基本狀態,再依次檢查組合狀態、基本事件與組合事件[14].為了檢查基本狀態,我們查詢聚類內各目標物是否符合基本狀態的約束;若符合約束,則判斷發生了對應的基本狀態.在檢測組合狀態時,首先,找到包含發生的基本狀態的組合狀態;然后,檢查這些組合狀態的其他參與者是否被發現.若已被發現,則檢查其約束是否得到滿足.一旦約束得到滿足,則判斷發生了對應的組合狀態.基本事件與組合事件采用類似方法檢查.若軌跡聚類不滿足任何一個狀態或事件的約束,則視它的兩個子事件為并發事件.如此,沿著保障作業層次組合結構逐層向上檢測,直至頂層.整個過程中,檢測到哪些保障作業模型就表示場景內發生了哪些保障作業.

3 實驗驗證與分析

采用HP Z840 圖形工作站(Intel Xeon 6136 3.0 GHZ,NVIDIA TITAN XP GPU)實現本文方法.為了驗證并分析本文方法,制作了大型艦船艦面保障作業視頻數據集,包括28個視頻,視頻幀速率25幀/s,分辨率1280×720,涉及13種艦面保障作業:飛機移動(PM)、調運車轉運(TM)、調運員移動(WM)、物資轉運車調運(MTM)、物資掛載車調運(MMM)、叉車調運(FM)、調運車調運飛機(TMP)、調運員調運飛機(WMP)、調運員指揮調運車調運飛機(WTMP)、物資轉運(MT)、物資轉運車卸載(MTU)、物資掛載(MM)和飛機起飛(PL);各保障作業的數量統計見圖6(a),并發保障作業數量統計見圖6(b).

保障作業識別算法機制分析.保障作業識別算法可視為保障作業模型定義的逆過程.作業模型對保障作業自頂向下地形式化定義.而保障作業識別算法從保障作業模型樹形結構的葉子結點開始,先識別最基本、最簡單的保障作業(基本狀態或基本事件),再向上逐層識別涉及更多目標物、更加復雜的保障作業(組合狀態或組合事件),直至達到保障作業模型的根結點,即識別整個場景內所有保障作業.保障作業識別算法的優勢有兩點:1)沿著軌跡層次結構,依據保障作業模型,自底向上,從最簡單、最基本的狀態或事件開始,逐步檢測到更加復雜的作業,避免組合爆炸,計算量更小;2)各聚類內保障作業獨立對待,實現同一場景并發保障作業的檢測.為了評估本文保障作業識別算法的性能,對比了如下3種作業識別算法:

1)Ours:本文提出的保障作業識別算法.

2)TopDown:沿著場景內軌跡層次聚類結構,自頂向下識別保障作業,即從軌跡層次結構的根結點開始,先得到包含根結點內目標物的所有保障作業模型,再依次對這些作業模型及其組合逐層向下檢測,得到場景內保障作業.

3)Bruteforce:針對場景內所有軌跡,遍歷所有保障作業模型及其組合,檢測場景內保障作業.

圖6 保障作業視頻數據集數量統計

3種作業識別算法的mAP 見圖7.觀察可知,3種算法的mAP 基本相同.3種作業識別算法的運行時間見圖8.觀察圖8,TopDown與Bruteforce所用時間遠超本文算法.因為TopDown與Bruteforce 需遍歷所有相關保障作業模型及其組合,面臨組合爆炸問題.而本文算法,種,避免了組合爆炸,所用時間極大縮短.

軌跡圖邊權重對保障作業檢測效果影響分析.圖9展示了軌跡圖邊權重計算式內軌跡夾角權重a不同取值對保障作業檢測mean Average Precision(mAP)的影響.圖10展示了軌跡圖邊權重計算式內軌跡距離權重b不同取值對保障作業檢測mAP的影響.

圖7 保障作業識別算法mAP 對比

圖8 保障作業識別算法運行時間對比

圖9 不同a 下的mAP 曲線

圖10 不同b 下的mAP 曲線

保障作業結構提取算法對保障作業檢測效果影響分析.為了評估本文提出的基于軌跡層次聚類的保障作業結構提取算法對保障作業檢測效果的影響,對比了3種聚類方法及無聚類方法的保障作業檢測結果:1)本文方法(Ours);2)非層次聚類的方法:采用k-means算法[15]對場景內軌跡進行聚類,然后采用本文提出的保障作業識別算法檢測保障作業(NoHieCluster);3)無聚類過程的方法:直接用本文保障作業識別算法檢測保障作業(NoCluster);4)凝聚層次聚類的方法:采用凝聚層次聚類算法[16],然后采用本文提出的保障作業識別算法檢測保障作業(AggCluster).4種方法的保障作業檢測結果mAP 如圖11所示,accuracy 如圖12所示.

圖11 使用不同聚類算法的事件檢測的mAP對比結果

圖12 使用不同聚類算法的事件檢測的accuracy對比結果

艦面保障作業檢測效果分析.為了評估本文技術對艦面保障作業檢測的效果,計算了各艦面保障作業的Average Precision (AP)如圖13所示.AP 反映了檢測器對事件的檢測能力.AP值越大,檢測器對該事件的檢測能力越強.觀察圖13可知,調運車轉運(TM)事件的檢測效果最好,而調運員指揮調運車調運飛機(WTMP)的檢測效果最差.因為調運車轉運屬于基本狀態,僅有調運車一個參與者,相對容易檢測.而調運員指揮調運車調運飛機為組合狀態,涉及調運員、調運車與飛機3個參與者,且參與者間必須滿足一定約束,是相對復雜的事件,所以檢測效果較差.本文技術針對各艦面保障作業的accuracy 如圖14所示.,其中TP為判斷正確的正樣本數,為判斷正確的負樣本數,為樣本總數量.accuracy=(TP+TN)/N

TNNAccuracy是衡量事件檢測正確率的指標,值越大表明針對該事件的檢測性能越好.觀察圖14可知,檢測效果較好的保障作業,如飛機移動(PM)、調運車轉運(TM)、物資轉運車調運(MTM),都是相對簡單的保障作業,只涉及一個目標物.而參與者較多且參與者間相對位置關系、移動規律較復雜的保障作業(如,調運員指揮調運車調運飛機(WTMP)),相對檢測效果較差.本文技術的averaged precision-recall 曲線如圖15所示.

圖13 艦面保障作業檢測的AP

圖14 艦面保障作業檢測的accuracy

圖15 保障作業檢測技術的averaged precsion-recall 曲線

軌跡層次聚類精確性及保障作業結構提取算法性能分析.為了分析軌跡層次的聚類精確性,計算了聚類算法對各保障作業的聚類精確率.保障作業的聚類精確率p=TP/(TP+FP)(TP指該保障作業的聚類簇內正確分類的軌跡個數,FP指該保障作業的聚類族內軌跡個數).聚類精確率取值范圍 [0,1],值越大表明精確性越高.為了計算各保障作業的聚類精確率,在大型艦船艦面保障作業視頻數據集上運行軌跡層次聚類算法100次,取平均值;見圖16.觀察圖16,保障作業的參與者越少(軌跡數少),聚類精確率越高;反之則聚類精確率越低.比如,飛機移動等只包含一個目標物的保障作業的聚類精確性達100%;而調運員指揮調運車調運飛機等包含多個目標物的保障作業,聚類精確性相對較低.為了評估保障作業結構提取算法的性能,在大型艦船艦面保障作業視頻數據集上運行保障作業結構提取算法100次,計算了結構提取算法對各保障作業的正確率R=n/N(n指提取保障作業結構正確的次數,N指保障作業出現的次數);見圖17.觀察圖17,保障作業的參與者越少、保障作業越簡單(包含的子保障作業少、約束少),結構提取的正確率越高,如調動員移動(WM)、物資掛載車調運(MMM)等只包含一個目標物的保障作業,只有一個參與者,結構提取的正確率達100%;而保障作業參與者越多、保障作業包含的子保障作業越多、約束越多,結構提取的正確率越低,如物資轉運車卸載(WTU)、調運員指揮調運車調運飛機(WTMP)等保障作業由多個目標物參與,通過多個子保障作業構成,結構分層較多,導致正確率較低.

圖16 軌跡層次聚類算法針對各保障作業的聚類精確率

保障作業檢測技術對比.為了評估本文方法(Ours)檢測保障作業的效果,與其他3種復雜事件檢測技術做了對比:1)Timeception,利用基于多尺度時間卷積核檢測復雜事件[17];2)EODL (Event Oriented Dictionary Learning)[8],首先從圖像數據庫內學習語義概念,然后與多任務字典學習框架結合,得到各事件的字典表示形式;3)Unsupervised,在子事件的視頻特征描述與子事件的時間結構間迭代,檢測由若干子事件構成的復雜事件[18].4種方法的mAP對比結果如圖18所示,accuracy對比結果如圖19所示.

圖17 保障作業結構提取算法針對各保障作業的正確率

圖18 mAP對比結果

圖19 Accuracy對比結果

4 結論與展望

為了解決大型艦船艦面保障作業檢測問題,本文提出基于視頻事件的保障作業檢測技術,實現了同一視頻場景內并發的參與者位置交叉的艦面保障作業的檢測.在預處理階段,獲取艦面監控視頻內目標物運動軌跡.在保障作業檢測階段,將艦面保障作業視為更小粒度保障作業按一定約束組合成的復雜事件,先采用基于軌跡層次聚類的保障作業結構提取算法,確定場景內保障作業的組合層次結構;再采用基于作業模型的保障作業識別算法,逐層識別保障作業類型.實驗結果表明,本文方法具有良好的艦面保障作業檢測效果,并可檢測同一視頻場景內同時發生的且參與者位置交叉的艦面保障作業.

局限與未來的工作.當前軌跡修剪方法不夠魯棒,軌跡多且高度重疊的情況下無法得到清晰連貫的軌跡,未來打算開發更加高效的軌跡跟蹤算法與軌跡修剪方法.本文方法基于軌跡推斷保障作業,所以無法檢測參與者無明顯移動的保障作業(比如,飛機檢查、機械師站在飛機尾部區域檢測飛機).為此,打算進一步完善保障作業檢測技術,增加動作檢測或姿態檢測,使可檢測參與者無明顯移動的保障作業.目前定義的保障作業模型種類有限,而保障作業種類繁多,無法檢測未定義作業模型的保障作業,將來進一步完善、擴充保障作業模型,使其涵蓋更多的保障作業類.