基于MEBN的大型艦船艦面保障作業檢測

郭雪昆，秦遠輝，杜 亮，羅永亮，王宏安

1.中國船舶工業系統工程研究院，北京100094

2.中國科學院 軟件研究所，北京100080

大型艦船艦面保障作業指駐扎于大型艦船的飛機的一次出動過程中，發生于艦面的針對飛機的出動回收準備活動，包括飛機降落、機械檢查、補充燃料、加注特種液體和氣體、充電、飛機調運、物資轉運、物資掛載、飛機滑跑起飛等數十種作業[1-2]。基于艦面監控視頻檢測艦面保障作業，利于分析并提高保障作業效率。然而，大型艦船艦面往往停放數十架飛機；在機群出動過程中，艦面上所有飛機同時進行保障作業。單個保障作業往往涉及十幾位操作員、數種特種車輛及器械。整個機群的艦面保障作業需數以百計的操作員、高級器械及設施設備的協作。這導致艦面監控視頻的同一視頻場景內同時發生多個保障作業，而且不同保障作業參與者位置交叉、重疊。圖1示意了某大型艦船某艦面監控視頻場景內同時發生的三個保障作業：調運車調運（圖1（a）下方）、調運員調運飛機（圖1（a）右上角）、調運員調運飛機（圖1（b）右上角）。調運員調運飛機的兩個保障作業的各參與者軌跡交叉、重疊，同時調運員調運飛機保障作業又與調運車調運保障作業參與者的軌跡交叉。

最近幾十年，研究人員對監控視頻中事件檢測技術進行了大量研究，取得了很大進展。現有的監控視頻中事件檢測技術大多適用于檢測單目標物的某個關鍵姿態[3-4]、關鍵動作[5]或運動軌跡[6]。然而，大型艦船艦面保障作業涉及多個參與者（十幾位操作員、數種車輛及高級器械）的多個動作。現有的監控視頻中事件檢測技術很難處理大型艦船艦面保障作業檢測問題。相對監控視頻中事件檢測，復雜事件檢測關注持續時間更長、參與者數量更多、信息更加豐富復雜的事件[7]。現有的復雜事件檢測技術，或通過融合多種底層特征檢測復雜事件[8-9]，或基于高層語義概念實現復雜事件檢測[10-11]，基本都針對場景內只發生一個復雜事件的情況設計。然而，在大型艦船艦面保障作業檢測問題中，往往同一視頻場景內同時發生多個保障作業，不同保障作業參與者的軌跡交叉、重疊，這給現有的復雜事件檢測技術帶來很大挑戰。

本文提出了一種基于MEBN（Multi-entity Bayesian Network，多實體貝葉斯網絡）的大型艦船艦面保障作業檢測技術。在視頻預處理階段，獲取視頻場景內目標物運動軌跡。在保障作業檢測階段，首先，采用帶約束的軌跡自動聚類算法，自動計算保障作業個數并將參與同一保障作業的軌跡聚至同一類；然后，采用基于MEBN的保障作業識別算法，推斷各聚類的保障作業類型。

本文的貢獻有兩個：（1）帶約束的軌跡自動聚類技術，先將軌跡由三維空間曲線投影為多維空間的點，再采用基于LCVQE[12]的遺傳算法，搜索得到最佳聚類個數及最佳分割方式，將參與同一保障作業的軌跡聚至同一類；（2）基于MEBN的艦面保障作業識別算法，針對各軌跡聚類，得到各時刻的保障作業，通過對保障作業序列的聯合分析，得到聚類的保障作業。

圖1 同一視頻場景內同時發生三個保障作業時各保障作業參與者位置交叉

1 相關工作

1.1 多實體貝葉斯網絡

多實體貝葉斯網絡由Laskey[13]于2008年提出，因其描述不確定性問題的優勢及建模領域知識的能力，在各領域得到廣泛用。徐江科等人[14]將多實體貝葉斯網絡用于評估信息系統用戶行為的可信程度。文獻[15]介紹了基于多實體貝葉斯網絡的戰場態勢估計方法。Laskey等人[16]提出一種基于多實體貝葉斯網絡的Cross Country Mobility（CCM）分析方法，克服了現有地理信息系統在處理不確定性數據方面的缺點。為了解決語義網問題中的不確定性因素，文獻[17]將多實體貝葉斯網絡與語義網本體語言（Web Ontology Language）結合，提出一種新的基于概率的語義網本體論。與這些技術不同，將多實體貝葉斯網絡應用于大型艦船艦面保障作業檢測，定義了針對艦面保障作業的多實體貝葉斯理論。

文獻[18]提出一種基于多實體貝葉斯網絡的籃球比賽視頻分析技術，該技術可檢測運動員執球、投球、接球、傳球等事件，并提取事件發生的關鍵幀。與該技術不同，本文技術要檢測的事件往往并發于同一視頻場景內，且事件參與者位置交叉、重疊。為此，本文提出了帶約束的軌跡自動聚類技術，依據保障作業的約束，自動將場景內所有軌跡按不同保障作業聚類，使得參與同一保障作業的目標物聚在同一類。

1.2 復雜事件檢測

在計算機視覺中，復雜事件檢測技術與本文密切相關。傳統的復雜事件檢測技術大多采用多種特征融合的思路[7-9，19]。近年來，基于語義概念進行復雜事件檢測的技術逐漸引起關注[10]。Yan等人[11]提出一種基于語義概念的字典學習框架，將描述相關語義概念的圖像數據與多任務字典學習框架融合，訓練出單個事件的字典表示形式，用于復雜事件檢測。Ma等人[20]更進一步，結合了視頻中的語義概念，通過整合多種特征實現復雜事件檢測。文獻[21]提出一種新的多實例學習方法（multiinstance learning），為各事件分別學習一個SVM線性分類器及二值指示器。

與現有的復雜事件檢測技術不同，采用帶約束的軌跡自動聚類方法，將同一視頻場景內并發的保障作業參與者聚至同一類；再采用基于多實體貝葉斯網絡的保障作業檢測算法識別各聚類發生的保障作業。

1.3 自動聚類與帶約束的聚類

自動聚類方法不需輸入目標聚類個數，算法自動確定最佳聚類個數及數據分割方式。Zelnik-Manor等人[22]對Ng-Jordan-Weiss 譜聚類算法進行改進，提出局部尺度分析與特征向量旋轉技術，實現對數據的自動聚類。He等人[23]提出一種兩階段遺傳算法的自動聚類方法，第一階段在解空間內搜索最佳聚類個數，第二階段在最佳聚類個數基礎上進一步進化聚類中心。GenClust 對AGCUK 技術[24-25]的染色體操作方式，避免了搜索陷入局部最優。Zhou 等人[26]于2018 年提出SeedClust 方法，采用基于密度分析的方法生成初始群體，并采用改進的k-means++方法生成聚類的初始中心。

帶約束的聚類問題來自將期望的數據分割方式融合至聚類過程的需求[27]。常見的約束包括限制某些數據對象必須于同一類或不可于同一類。Constrianed Vector Quantization Error，CVQE）算法[28]是最典型的一種方法。該方法為k-means 聚類目標函數添加衡量受約束對象與聚類原型（prototypes）間距的能量項，懲罰違反約束的聚類，以獲得符合約束的聚類結果。針對CVQE對約束對象順序敏感、計算量過大等缺點，Pelleg等人[12]提出LCVQE 方法，通過數據對象與聚類原型間距衡量聚類結果保持聚類約束的程度。Bilenko 等人[29]提出MPCK-Means方法，通過學得最符合約束的距離函數，最大化符合的的約束的數量。

與自動聚類及帶約束的聚類方法不同，本文針對艦面保障作業檢測問題，提出一種帶約束的自動聚類方法。該方法基于遺傳算法框架，先自動搜索最適合的聚類個數，再采用帶約束的k-means算法尋找符合艦面保障約束的最佳聚類。

圖2 本文方法流程圖

2 方法概述

本文方法流程如圖2所示，分為視頻數據預處理與保障作業檢測兩個階段。本文方法的重點是保障作業檢測。在視頻數據預處理階段，輸入艦面監控視頻，提取視頻內各目標物的運動軌跡、連接中斷軌跡及修復重合軌跡。在保障作業檢測階段，輸入視頻內目標物運動軌跡，先基于帶約束的軌跡自動聚類技術，將參與同一保障作業的目標物聚至同一類（第3章）；再在各軌跡聚類內，采用基于MEBN的保障作業識別技術識別作業類型（第4章）。

視頻數據預處理：該階段的輸入是艦面監控視頻，輸出目標物運動軌跡。本文采用張等提出的方法跟蹤目標物并對軌跡進行修剪。

令軌跡為S個點的有序集合，其中一點mi=(xi,yi,ti)為目標物在ti時刻的位置(xi,yi)。兩軌跡點mi、mj間距定義為Ti、Tj距離為終點的延長線為過與三個軌跡點的插值曲線，其沿起點的延長線為過與三個軌跡點的插值曲線。跡軌跡修剪步驟如下：

（1）軌跡下采樣。以間隔α(α=3)采樣軌跡點，以過濾噪音。

（2）過濾短軌跡。令ms、me分別為軌跡的起點與終點，若‖ ‖msme≤β(β=10) ，則認為該軌跡為噪聲軌跡，過濾掉。

（3）連接中斷軌跡。若兩軌跡Ti、Tj的目標物類型相同，‖TiTj‖＜δ(δ=7)且與相交于，則視Ti與Tj屬于同一軌跡，采用過兩端點及的曲線將兩軌跡連接為一條軌跡。

3 帶約束的軌跡自動聚類

大型艦船艦面保障作業檢測問題中，將視頻場景內參與同一保障作業的軌跡聚至同一類面臨兩個難點：

（1）聚類個數未知，不同視頻場景內發生的保障作業個數不同。

（2）聚類需滿足一定的約束，大型艦船艦面保障作業過程中，不會出現多架飛機參與同一保障作業的情況，不會出現多輛同類車輛參與同一保障作業的情況。

為了解決如上難題，本文提出一種帶約束的軌跡自動聚類方法。該方法首先將場景內軌跡由三維空間中曲線投影為多維空間中的點（3.1 節）；然后采用帶約束的自動聚類算法，先在解空間內搜索最佳聚類個數，再搜索符合約束的最佳聚類，最終實現視頻場景內軌跡聚類（3.2節）。

3.1 軌跡投影

為了便于軌跡聚類，先采用多維尺度分析（Multidimensional Scale，MDS）[30]將軌跡投影為多維空間中的點。為了投影，首先計算任意兩軌跡間距。軌跡間距需反映軌跡參與同一保障作業的可能性，本文基于兩方面計算軌跡間距：（1）內部距離。在艦面保障作業過程中，同一保障作業的各參與者移動方向基本相同，始終保持很近距離，且基本于同一視頻場景內，所以若兩軌跡方向相近、空間距離較近且重疊時間較長，則兩軌跡距離較近。（2）外部距離。若兩軌跡與其他軌跡的距離相近，則兩軌跡距離較近。基于此，兩軌跡Ti、Tj的間距定義為D(Ti,Tj)=Din(Ti,Tj)+Dout(Ti,Tj)。

Din(Ti,Tj)衡量Ti與Tj的內部距離，定義如下：

ω、λ和γ是權重。Ddist(Ti,Tj)衡量軌跡的空間距離，定義為Ti與Tj的豪斯道夫距離。Dcocur(Ti,Tj)衡量軌跡的時間距離，定義為兩軌跡同時出現的時間。Ddir(Ti,Tj)=∠ABCD衡量兩軌跡的方向距離，定義為Ti與Tj位移方向的夾角。其中AB、CD分別為由Ti、Tj的起點指向終點的向量衡量Ti與Tj的外部距離，定義為兩軌跡與其他軌跡內部距離之和的差。

基于軌跡間距公式，得到場景內任一對軌跡(Ti,Tj)的間距αij：

基于場景內軌跡距離矩陣M(Mij=αij)，采用MDS方法將軌跡Ti投影為點pi。

3.2 帶約束的自動聚類

已將場景內軌跡投影為多維空間中的點，接下來需在滿足保障作業約束的前提下，自動聚類點集。保障作業的約束包括：（1）最多只有一架飛機參與同一保障作業；（2）同一類型車輛最多只有一輛參與同一保障作業。為了解決該帶約束的自動聚類問題，本文提出一種基于遺傳算法的k-means聚類技術，該技術采用遺傳算法框架[23]搜索最佳聚類個數與最佳分割方式，基于LCVQE[12]算法尋找最佳聚類；算法見算法1。

算法1 基于遺傳算法的k-means聚類技術

輸入：點集（含個N頂點）及其CL約束（兩個點不可于同一聚類內稱為Cannot-Link，簡稱CL約束）集合B=L個約束），當前迭代的次數iter，最大迭代次數Nmax，交叉概率Pc，變異概率Pm，群體數量NG，直接進入下一代的個體數量Nbkg，當前群體集合Gcur，下一代群體集合Gnext

1.Gnext←?，iter←0

2. 由P生成初始群體Gcur（包含NG個個體）

3. whileiter ＜Gmax：

4. foreacheinGcur：

5.Gnext←Gnext?mutation(e)

6. end foreach

7. foreach(ei,ej)inGcur：

8.Gnext←Gnext?crossover(ei,ej)

9. end foreach

10.Gnext←selection(Gcur,Nbkg)

11.Gcur←selection(Gnext,NG)

12. iter++

帶約束的k-mean 聚類：大型艦船艦面保障作業的約束全為CL 約束[12]。因此，與LCVQE[12]不同，本文的LCVQE 算法目標函數內只包含CL 約束項（LCVEQ 算法見參考文獻[12]）。

遺傳算法：本文采用基于聚類中心的聚類表示方法，一個個體表示一種聚類方式的所有聚類中心。注意，進化過程中，個體表示的聚類方式的聚類個數不同，則個體長度不同。初始群體通過隨機采樣法生成。適應函數基于聚類自身的聚合程度與聚類間分離程度定義（詳情見文獻[23]）。選擇操作分成兩個階段，先搜索最佳聚類個數，再搜索符合約束的最佳聚類[23]。在交叉操作中，只有在聚類個數相同的情況下交換聚類中心才有意義，所以限定交叉操作僅限于聚類個數相同的個體間進行[23]。變異操作分成兩個階段[23]，第一階段專注于產生新的聚類個數；第二階段，群體中個體表示的聚類個數趨于一致，變異操作專注于產生新的聚類中心。

4 基于MEBN的保障作業識別

已聚類視頻場景內目標物軌跡，接下來需識別各聚類內保障作業的類型。保障作業識別面臨如下難點：

（1）參與者行為具有不確定性。比如，某視頻場景內某時刻有一架飛機正在移動，若飛機一直保持該速度且前方有調運員指揮則可能是飛機調運，若飛機速度越來越快且旁邊有放飛員則可能是滑跑起飛。因此，需通過對參與者的整個移動過程及相關目標物行為做聯合分析推斷保障作業類型。

（2）參與者行為/狀態具時序性。同樣的行為/狀態按不同時序發生是不同保障作業，比如，上一時刻物資在物資轉運車上，下一時刻物資不在物資轉運車上，發生物資卸載保障作業；上一時刻物資不在物資轉運車上，下一時刻物資在物資轉運車上，發生物資裝載保障作業。因此，需結合前面時刻與當前時刻的行為/狀態推斷保障作業類型。

（3）同一保障作業的各參與者不同時進入視頻場景。以調運員指揮調運車調運飛機為例，調運員需在調運車前面一段距離引路，調運車在飛機前面一段距離通過牽引桿牽引飛機。調運員、調運車與飛機先后先進入視頻場景。因此，需基于聚類內所有目標物的行為推斷保障作業類型。

為了解決這些難點，本文提出一種基于MEBN的保障作業識別算法。首先，將保障作業視為由一系列子事件按層級組合成的復雜事件，自底向上逐層定義各子事件，直至復雜事件；然后，對各聚類，按時間采樣，推斷得到各時刻的保障作業，得到該聚類的保障作業序列，再對保障作業序列進行聯合分析得到該聚類的保障作業類型。

MEBN 是傳統貝葉斯網絡與一階邏輯謂詞（firstorder logic）的結合，兼具傳統貝葉斯網絡處理不確定性的能力與一階邏輯謂詞的表達能力[13]。MEBN 將現實世界中對象抽象為實體，采用隨機變量表示實體屬性，用隨機變量構成的有向無環圖表示實體間因果關系，用聯合概率分布描述因果變量間的條件概率，使用多實體片斷（MEBN Fragment，MFrag）描述領域知識。在實例化階段，取得一組MFrag，構造得到相關對象的貝葉斯網絡（Situation-Specific Bayesian Network，SSBN），通過貝葉斯推斷得到目標節點的后驗概率。

4.1 保障作業多實體片斷

根據概率本體建模流程（Probabilistic Ontology Modeling）[31]定義了保障作業相關的MFrag。本節僅給出與最典型的保障作業相關的MFrag，全部MFrag見附件。MFrag的條件概率表在訓練階段生成，本處省略。

4.1.1 調運車調運飛機保障作業相關的MFrag

描述調運車調運飛機的相關MFrag 如圖3 所示。調運車通過索引桿與飛機聯接，拖動飛機移動。在調運過程中，調運車、牽引桿與飛機的運動方向與速率基本相同，三者為相伴移動。

圖3（a）與（b）分別為飛機移動與調運車移動的MFrag。該MFrag基于物體的速度大小（SpeedMeasure）、位置變化（PosMeasure）與速度方向（DirMeasure）推斷物體是否移動。令物體O在ti-1與ti時刻的位置分別為(xi-1,yi-1)與(xi,yi)，ti時刻的位置變化PosMeasurei=(xi-xi-1,yi-yi-1)，速度大小SpeedMeasurei=PosMeasurei/‖ti-ti-1‖，速度方向DirMeasurei=PosMeasurei/‖posi‖。

調運車與飛機相伴移動的MFrag 如圖3（c）所示。描述飛機移動、調運車移動、飛機與調運車運動方向距離、飛機與調運車速度大小距離、飛機與調運車位置距離的變量為輸入變量；輸出變量為飛機與調運車相伴移動的概率。類似圖3（c），圖3（d）為描述牽引桿與飛機相伴移動的MFrag。令物體Oi與Oj在某時刻的速度方向分別為diri與dirj，速度大小分別為vi與vj，位置分別為pi與pj，則運動方向距離，速度大小距離SpeedCov(Oi,Oj)=，位置距離

圖3（e）為調運車調運飛機的MFrag，輸入變量描述了牽引桿與飛機相伴移動、調運車與飛機相伴移動；輸出變量描述了調運車調運飛機的概率。

圖3 調運車調運飛機保障作業相關的MFrag

4.1.2 物資轉運車卸載物資保障作業相關的MFrag

如圖4 為物資轉運車卸載物資的相關MFrag。圖4（a）所示MFrag 判斷物資與物資轉運車之間的幾何位置關系。圖4（b）所示MFrag 通過物資與物資轉運車之間的位置關系判斷物資是否于物資轉運車上。圖4（c）所示MFrag 的輸入變量為物資包圍盒與物資轉運車包圍盒間位置關系，輸出變量為物資不在物資轉運車上的概率。圖4（d）所示MFrag，通過前后兩時刻物資與物資轉運車的位置關系，推斷物資轉運車是否在卸載物資。

圖4 物資轉運車卸載物資相關的MFrag

圖5 調運員指揮調運車調運飛機的相關軌跡

圖6 調運員指揮調運車調運飛機相關軌跡的時間軸

4.2 保障作業識別

對各軌跡聚類，先以時間間隔t采樣該聚類內軌跡的狀態，再得到得到各采樣點上的SSBN，并通過貝葉斯推斷[32]得到作業類型及其概率。至此，得到保障作業序列，序列中的一個元素表示對應采樣時刻以對應概率發生了某保障作業。最后，依據如下兩點聯合分析保障作業序列得到聚類的保障作業類型：

（1）一旦發生具時序性的事件，則判斷發生了對應的保障作業。例如，在事件序列中，前一時刻的事件是物資不在物資轉運車，后一時刻的事件是物資在物資轉運車，則判斷發生了物資裝載保障作業；兩事件出現順序相反，則判斷發生了物資卸載保障作業。

（2）參與者最多的事件為該聚類的保障作業。以調運員指揮調運車調運飛機為例（相關軌跡如圖5；各軌跡沿時間軸排布如圖6），各參與者先后進入視頻場景，t0,t1,…為各采樣時刻，t0時刻檢測出人移動事件，t1時刻檢測出人指揮調運車事件，t2時刻無任何對應事件，t3時刻檢測出人指揮調運車調運飛機事件（t3時刻生成的SSBN 如圖7 所示）。只有t3及其之后的時刻的SSBN 包含的目標物最多，則判斷該聚類的保障作業是人指揮調運車調運飛機。

圖7 調運員指揮調運車調運飛機的SSBN

5 實驗與分析

采用C++、Python3.5與Matlab2016b實現系統原型，基于HP Z8G4服務器（Intel Xeon Gold 6136 CPU @3.00 GHZ 3.00 GHZ，128 GB RAM，NVDIA TITAN XP 12 GB RAM）完成對比與實驗。

5.1 大型艦船艦面監控視頻數據集

本文使用的大型艦船艦面監控視頻數據集（簡稱數據集）共包括48 個監控視頻片斷，速率25 幀/s，分辨率1 280×720，涉及物資轉移至物資掛載車（MTMM）、物資裝載（ML）、操作員調運（OM）、飛機起飛（PF）、調運車調運（TM）、矮梯調運（LM）、物資掛載車調運（MMM）、物資掛載車轉運物資（MMT）、調運車調運飛機（TTP）、調運員指揮調運車調運飛機（OTTP）、叉車調運（FM）、調運員調運飛機（OP）、物資調運（MT）、擋板調運（DBM）、直升機起飛（HF）、物資轉運車調運（MTVM）共16 個艦面保障作業。數據集內各保障作業出現次數統計如圖8所示；保障作業并發情況出現次數統計如圖9 所示；本文技術針對各艦面保障作業的AP（Average Precision）如圖10所示。

圖8 數據集內各保障作業次數統計

圖9 數據集內保障作業并發情況出現次數統計

5.2 參數與時間

本文算法模型涉及一系列參數，影響算法的效率與效果。為了選取最佳參數配置，先固定其他參數，再使當前參數在一定范圍內按一定步長變化，取使保障作業檢測mAP最佳的值。軌跡投影步驟中，ω=0.2，λ=0.5，γ=0.3，采用MDS 將軌跡投影至三維空間。遺傳算法中，每代內包含的個體數量GN=50 ，最大迭代次數Gmax=150 ，交叉操作概率Pc=0.7 ，變異操作概率Pm=0.07。保障作業識別過程中，取時間間隔t=0.25秒。本文共定義38個MFrag，涉及飛機、物資轉運車、物資掛載車、調運車、調運員、物資、直升機等13 類實體（所有MFrag 見附件）。在各類保障作業中隨機選擇80%用于學習MFrag 概率分布，另外20%用于測試。MFrag的訓練過程用時74.86 s，帶約束的軌跡自動聚類平均用時9 s，保障作業識別平均用時9.66 s。

圖10 數據集內保障作業檢測的AP

5.3 時間間隔取值評估

為了評估時間間隔t對保障作業檢測效果與效率的影響，對比了t由0.04 s變化至5 s過程中保障作業檢測的mAP（圖11）及保障作業識別步驟的執行時間（圖12）。由圖11可知，在小于0.25或大于3.1的情況下，時間間隔的變化對mAP幾乎無影響；而介于0.25與3.1之間時，mAP 會隨時間間隔的增大而下降。觀察圖12 可知，隨時間間隔增大，保障作業識別所需時間不斷降低，這是因為時間間隔越大大，截取的時間點越少，構造的SSBN個數及其推斷次數更少。

圖11 不同時間間隔下艦面保障作業檢測mAP

5.4 基于MEBN的保障作業識別算法性能分析

為了分析基于MEBN的保障作業識別算法的性能，基于大型艦船艦面監控視頻數據集，計算了保障作業類型識別的準確率（圖13）與Averaged Precision-Reacll 曲線（圖14）。準確率Accuracy=(TP+TN)N，其中TP、TN分別為判定預測正確的正樣本數與判定正確的負樣本數，N為樣本總數。Accuracy是衡量作業類型識別準確性的指標，值越大表明針對該類作業的識別性能越好。觀察圖13可知，對于較簡單的保障作業，如操作員調運（OM），保障作業識別的準確率很高。對較復雜的保障作業，如調運員指揮調運車調運飛機（OTTP），保障作業參與者多，聚類內軌跡條數較多，保障作業類型更加復雜，檢測的準確率較低。

圖12 不同時間間隔下保障作業識別步驟運行時間

圖13 保障作業識別算法的Accruacy

圖14 保障作業識別算法的Averaged Precsion-Recall曲線

5.5 LCVEQ算法性能分析

LCVEQ 算法的目標函數是傳統k-means 算法的目標函數增加懲罰違反約束（ML約束與CL約束）的項，違反ML約束的能量耗費為（ML約束中）未歸入當前聚類的點與當前聚類中心間距，違反CL 約束的能量耗費為（CL 約束中）遠離其聚類中心的點與當前聚類中心間距。在該目標函數的指導下，當前聚類中心的更新方法為：若當前聚類違反了ML約束（ML約束中僅一個點歸入當前聚類），則將聚類中心移向未歸入當前聚類的點（使得下次迭代時，將ML 約束的兩個點歸入同一聚類）；若當前聚類違反了CL約束（CL約束的兩點歸入同一聚類且遠離該聚類中心的點距離最近的聚類是當前聚類），則將當前聚類中心移向遠離其聚類中心的點（使得下次迭代時，將該點歸入當前聚類，以使CL約束的兩點歸入不同聚類）。LCVQE 的優勢有兩方面：（1）約束對稱，即聚類中心基于構成約束的兩個點做調整（而不是僅針對約束中一點）；（2）時間復雜度較低（針對聚類個數的線性時間）。為了評估LCVQE 尋找最佳聚類的準確性，與傳統k-means，CVQE做了對比（見圖15）。準確性指標[43]為聚類個數，ni為第i個聚類中被正確聚類的樣本個數，N為樣本總數。觀察圖15 可知，相對傳統的k-means 聚類，LCVEQ 考慮到了CL約束，取得了更高的準確率。如圖16的場景下，兩飛機的軌跡幾乎相同且間隔較短，k-means將兩飛機聚至同一類，但LCVQE 考慮到“兩飛機不可于同一聚類”的約束，從而得到正確的聚類。CVQE 也考慮到了約束，但其僅通過懲罰聚類中心來實現CL 約束，而未考慮到CL約束的對稱性，相對LCVQE獲得較低的準確率。

圖15 不同聚類算法的聚類結果準確率

圖16 某艦面保障作業場景的軌跡示意圖

5.6 遺傳算法框架有效性分析

本文采用的遺傳算法框架，根據進化群體聚類個數的一致性（具相同聚類個數的個體在群體中的占比）分成兩個階段：在第一階段，一致性較低，側重于比較不同聚類個數的優劣，以搜索最佳聚類個數；在第二階段，一致性較高，聚焦于比較不同聚類方式的優劣，以尋找最佳分割方式。相應地，在兩個階段，采用不同的選擇、交叉與變異操作。對選擇操作，在第一階段，視具有相同聚類個數的個體為同一類，具有相同的選擇概率，隨著一致性上升，個數最多的同類個體選擇概率上升，在一致性達到極值時，個數最多的同類個體選擇概率會逐漸下降，使群體內個體保持多樣性，避免過早收斂；在第二階段，具有更高適應度的個體具更高選擇概率。交叉操作的第一階段用于搜索最佳聚類個數，所以只在具有相同聚類個數的個體間進行；第二階段，重在尋找最佳聚類方式，隨機取兩個體以固定概率進行單點交叉操作。對變異操作，在第一階段，只變異聚類個數，各個體的變異概率相同且變異概率隨一致性升高而降低；在第二階段，變異操作用于產生新的聚類中心，變異概率與個體適應度呈反比。為了分析本文遺傳算法框架搜索最佳聚類個數與最佳分割方式的有效性，對比了四種聚類算法的聚類個數正確率與分割方式準確性：（1）本文聚類算法（Ours）；（2）經典遺傳算法和LCVQE混合聚類算法（GAL）；（3）粒子群和LCVQE 混合聚類算法（PSOL）；（4）人工蜂群和LCVQE 混合聚類算法（ABCL）。除了本文聚類算法，其他三類算法都是同步進化聚類個數與分割方式。聚類個數正確率RCN=NcorrectNtotal（Ncorrect為聚類個數正確的次數，Ntotal為算法運行總次數）。分割方式準確性指標為Rand Index（RI）[33]。RI值代表兩聚類結果的相似性，RI值為1 表明兩聚類結果完全相同，RI值為0 表明兩聚類結果完全不同。各算法在大型艦船艦面保障作業數據集上運行100次，取各次均值為RI 值。四種算法的聚類個數正確率如圖17，分割方式準確性如圖18。

圖17 不同聚類算法聚類個數正確率

圖18 不同聚類算法聚類結果準確率

5.7 與現有聚類算法對比

本文方法中，帶約束的軌跡自動聚類的結果直接影響保障作業檢測的效果。為此，將本文聚類算法（Ours）與如下四種聚類算法做對比。

（1）其他帶約束的自動聚類算法：本文的遺傳算法框架結合Constrained Vector Quantization Error（GACVQE）聚類算法[28]。

（2）不帶約束的自動聚類算法：TGCA聚類算法[23]。

（3）帶約束的非自動聚類算法：Constrained Vector Quantization Error（CVQE）[28]。

（4）不帶約束的非自動聚類算法：k-means聚類算法。

非自動聚類算法（CVQE與k-means）的聚類個數在區間[1,n]（n為視頻場景內軌跡個數）內隨機選擇。采用RI衡量聚類結果的準確性（圖19），RCN衡量聚類結果的正確率（圖20）。在視頻數據集上運行算法100次，取各次RI的平均值。Ours與GACVQE聚類過程中考慮到了保障作業約束，取得了更高的RI值。相對GACVQE，Ours采用的LCVQE克服了約束對象間順序等對聚類影響的問題，取得最高RI值。四種聚類算法的事件檢測mAP如圖21所示。

圖19 不同聚類算法聚類結果的準確率

圖20 不同聚類算法聚類個數的正確率

圖21 不同聚類算法的mAP

5.8 與現有事件檢測技術對比

為了評估本文事件檢測技術的性能，基于大型艦船艦面監控視頻數據集，對比了如下五種事件檢測技術：

（1）本文提出的事件檢測技術（Ours）。

（2）基于多尺度時間卷積核，利用Timeception卷積層，檢測復雜事件[34]（Timeception）。

（3）提出一種迭代方法，在子事件的視頻特征描述與子事件的時間結構間迭代。檢測由若干子事件構成的復雜事件[35]（Unsupervised）。

（4）基于一種分層的時間卷積過濾器，分別定義了針對長時長（Encoder-Decoder TCN）與短時長（Dilated TCN）的事件檢測器[36]（TCN）。

（5）訓練一個skip-gram語言模型，得到概念（例如，與過生日事件最相關的概念包括蠟燭、唱歌、很多人等）與各目標事件的相關度。在事件檢測過程中，將在視頻中找到的概念及其相關度一起，采用譜元學習器（Spectral Meta-Learner）用于目標事件檢測[37]（SES）。

各方法的mAP 如圖22 所示，Accuracy 對比結果如圖23所示。本文方法取得了最高mAP與Accuracy。艦面監控視頻內往往存在同一視頻場景內保障作業并發且參與者位置交叉的情況，Ours 先對場景軌跡做聚類，然后識別各聚類內的保障作業；而另外四種方法假設整個場景只發生一個保障作業，影響了檢測結果的mAP與Accuracy。

圖22 事件檢測技術的mAP對比結果

圖23 事件檢測技術的Accuracy對比結果

6 結束語

針對大型艦船艦面保障作業檢測問題中同一視頻場景內保障作業并發且參與者位置交叉、重疊的難點，本文提出一種基于多實體貝葉斯網絡的大型艦船艦面保障作業檢測技術。在視頻數據預處理階段，輸入艦面監控視頻，采用多目標跟蹤算法提取目標物軌跡并人工后處理，獲得清晰連貫的軌跡。在保障作業檢測階段，輸入目標物運動軌跡，先基于帶約束的軌跡自動聚類算法，將場景內參與同一保障作業的軌跡聚至同一類；再采用基于多實體貝葉斯網絡的保障作業識別算法，識別各聚類內保障作業類型，最終檢測得到整個視頻場景內保障作業。

6.1 應用

本文方法可用于檢測保障作業規范性，保障作業規范性指保障作業的實際操作與規定操作的符合程度。例如，按規定，飛機滑跑時，任何操作員、車輛、飛機不得位于該飛機前部區域。本文方法檢測到飛機滑跑時，則按滑跑方向檢測飛機前部區域是否存在操作員、車輛及飛機，若存在，則提出警告。

6.2 局限及未來的工作

本文的軌跡修剪技術不夠魯棒，在軌跡較多且密集的情況下得不到滿意的結果，開發更魯棒的軌跡修剪技術是下一步的研究工作。本文的MEBN 僅針對十幾種保障作業設計，大型艦船艦面保障作業上百種，需進一步完善使可檢測更多保障作業。本文的參數選擇方法比較初步，今后打算研究更完善的參數選擇方法。初始種群的質量會影響遺傳算法的收斂速度與解質量。初始種群隨機采樣法的原理是生成均勻分布于解空間的種子點，從而覆蓋到全局最優解所在區域[38]。然而本文方法初始種群數量有限，涵蓋到最優解所在區域的概率會相應降低，實際運行中會以一定概率收斂至局部最優。混沌映射確保了隨機性與遍歷性，可更好地對解空間采樣，下一步打算采用混沌映射手段[39]或自動確定聚類中心及數目技術[40-41]替代隨機采樣，以提高收斂速度與聚類質量。此外，基于宋飛豹等[42]提出的精英遺傳k-medoids聚類技術解決大型艦船艦面保障作業檢測問題，也是未來的工作之一。