ForegroundNet：一種基于語義與動態特征的前景檢測算法

賴少川，王佳欣，馬翠霞

ForegroundNet：一種基于語義與動態特征的前景檢測算法

賴少川1，王佳欣2,3，馬翠霞2

(1. 中國石化銷售股份有限公司華南分公司，廣東 廣州 510000；2. 中國科學院軟件研究所，北京 100190；3. 中國科學院大學計算機科學與技術學院，北京 101408)

針對以往的前景檢測方法對場景信息依賴較多的問題，提出了一種實時的無需迭代更新背景模型的前景檢測深度學習模型ForegroundNet。ForegroundNet首先通過骨干網絡從當前圖像和輔助圖像中提取語義特征，輔助圖像為相鄰的圖像幀或者是自動生成的視頻背景圖像；然后將提取得到的特征輸入到包含短連接的反卷積網絡中，使得最終特征圖在與輸入圖像具有相同的大小，并且包含不同尺度的語義及動態特征；最后使用softmax層進行二值分類，得到最終檢測結果。在CDNet數據集上進行的實驗結果表明，相比于當前值為0.82的次優方法，ForegroundNet能夠獲得0.94的值，具有更高的檢測精度；同時ForegroundNet檢測速度達到123 fps，具有良好的實時性。

前景檢測；深度學習；計算機視覺；卷積神經網絡；運動分割

前景檢測是一種在攝像機可見區域中分割變化或移動區域的技術[1]，是視頻監控、人機交互和機器人等計算機視覺任務中的一個基本問題。以往的前景檢測方法通常假設光照和背景穩定不變，并采用多種基于人工設計特征的背景建模技術，如高斯混合模型GMM[2]和SuBSENSE[3]。這些方法需要同時初始化和維護正確的背景模型，并使用背景模型和預先定義的閾值計算每個輸入幀的前景掩碼。由于此類方法預測的前景與真實情況存在差異，并隨時間增加誤差不斷累積，難以應對背景劇烈變化的場景。

隨著硬件技術與機器學習的發展，基于卷積神經網絡(convolutional neural network，CNN)的方法在計算機視覺領域取得了眾多突破?；诖髷祿c神經網絡所學習到的特征，在一定程度上提高了前景檢測的精度。然而基于CNN的方法需要提前獲得目標的場景信息，如使用一個背景圖像和多個輸入幀作為輸入[4-5]，或要求對每個測試集取其中少量帶標注的視頻幀進行預訓練[6]。但在實際應用中這些要求難以滿足，因為真實環境可能頻繁變化，難以獲得一個與實際情況始終保持一致的背景模型，同時應對大量全新的視頻場景，既不便獲得帶標注的對應視頻幀，也難以針對不同視頻場景訓練不同的網絡模型權重。因此，為了應對陌生的視頻場景及頻繁變化的真實環境，需要擺脫對場景信息的依賴。

結合背景模型與CNN的方法如CNN-SFC[7]，利用3種前景檢測方法SuBSENSE、FTSG[8]以及CwisarDH[9]，將其輸出結果輸入到以VGG[10]為骨架編碼器的UNet[11]網絡中，最終得到修正的前景預測結果。類似的還有結合背景模型與CNN的方法[12]，利用Triplet網絡進行背景的深度特征提取，再通過維護基于樣本的背景模型，輸出相應場景下的前景檢測結果。這些方法雖然不直接依賴于目標視頻的場景信息，但由于缺乏對前景及背景的語義建模，或缺乏對動態特征的建模，雖不需要背景圖像或場景中的視頻幀作為訓練時的輸入，但在全新的視頻場景，很難對前景做出準確的預測，在一定程度上，對新場景的預測結果，依舊依賴訓練視頻的場景信息。

本文的主要研究成果為：①提出一個基于語義與動態特征的深度學習模型ForegroundNet。如圖1所示，以VGG或MobileNet[13]為骨干網絡，通過遷移學習，利用骨干網絡從已訓練好的ImageNet[14]權重中獲取2幅輸入圖像的語義特征，并通過 5個反卷積層及跳躍連接構建一個雙流編碼器融合-解碼器網絡，從而提取所需的多尺度動態特征。由于CDNet2014[15]中的視頻鏡頭基本固定，因而ForegroundNet可以通過來自2幅圖像的特征合并與卷積操作，學習優于幀差法及高斯混合模型的特征，如前景的動態特征與外形特征，最終區分像素是否屬于運動目標。②本文方法在CDNet2014數據集上獲得更好的結果(值達到0.92)，并具有良好的實時性(123 fps)，ForegroundNet不需要預先提供目標場景的信息，減少了對場景信息的依賴。同時，本文通過實驗驗證了模型超參數的設置，如骨干網絡、合并方式、Drop out參數和幀差。

圖1 ForegroundNet概要圖

1 相關工作

1.1 傳統的前景檢測算法

傳統前景檢測算法通常不采用深度神經網絡自動學習特征，而是采用人工設計特征與背景建模技術，并以遍歷像素的方式計算輸入幀的前景掩碼概率。主要使用參數模型(如高斯混合模型GMM)或非參數模型(如SuBSENSE，VIBE[16])建立背景模型。由于內存和計算復雜度上的限制，無法使用超過3個高斯模型對背景像素進行建模，而實際場景下使用少數高斯分布進行聯合的參數模型不能處理視頻中的突然變化(對于非高斯分布，少數高斯分布的聯合分布通常難以進行準確的擬合與逼近)。對于非參數模型，通過記錄各個位置輸入像素的歷史，以預測當前位置輸入的像素是否為背景。盡管類似VIBE的方法在效率和精度上都優于大多數參數模型，但其難以處理頻繁的背景變化與復雜的視頻場景。

1.2 基于卷積神經網絡的前景檢測算法

基于CNN的前景檢測算法應用CNN和深度學習技術，通常使用一個背景圖像和多個視頻圖像幀作為輸入[4-5]，或者需要對每個測試集，利用其中一些具有標注圖像的幀進行訓練[4]。文獻[5]利用SuBSENSE和FTSG生成背景圖像，并用背景圖像和標注圖像訓練針對特定視頻類別的模型，因此所提出方法需要對每個類別重新訓練。文獻[6]從標注圖像生成背景圖像，然后利用背景圖像和前半序列的標注圖像訓練LeNet-5[17]網絡的變種，最終獲得了接近于傳統方法的前景檢測精度，如SuBSENSE，IUTIS[18]。另提出了一種半自動級聯卷積神經網絡方法來精確地生成前景掩碼，該方法需要利用每個場景的幾幀圖像對網絡進行微調，從而達到與人工標注相近的結果。

基于單個視頻幀及CNN的前景檢測算法，容易對訓練視頻過度擬合。為了避免過擬合和對不同視頻的重新訓練，并保證前景檢測的實時性，使用輕量級網絡如MobileNet或VGG作為骨干網絡，其包含來自ImageNet的語義信息。經過實驗驗證，僅利用在ImageNet上預訓練的權重，同時在不進行過度調參的情況下，ForegroundNet可以采用單一模型處理所有數據集中的視頻，其效果超越了目前最優的傳統前景檢測方法SuBSENSE。

1.3 基于編解碼網絡的前景檢測算法

此類方法使用自動編碼器網絡生成背景圖像，然后使用閾值獲得前景掩碼[19-20]，或者使用自動編碼器網絡直接生成前景掩碼[21-22]。文獻[19-20]使用自動編碼器網絡生成背景圖像，然后使用背景與輸入幀像素值的像素差和給定的閾值生成前景掩碼。然而，如果前景對象與背景顏色相似，即使有一個最理想的背景圖像，該方法也很難得到一個準確的前景掩碼。ZHANG等[23]提出了一種基于層疊的降噪自解碼器網絡的圖像特征生成方法，利用散列方法對圖像特征表示進行二值化，以減少內存占用，提高檢測效率，然后利用背景模型與輸入特征之間的漢明距離生成前景掩碼。該方法與傳統方法一樣，仍然嚴重依賴于背景模型的初始化和更新。

文獻[21]以當前幀、前一幀和背景圖像為輸入，在每個視頻類別上訓練編解碼網絡產生分割圖。分割圖將用于生成前景掩碼和更新背景模型。文 獻[22]采用編碼器-解碼器網絡提取像素級語義特征，利用長短期記憶網絡建模，且隨時間變化的像素級變化，結合空間變換網絡和條件隨機場層降低對攝像機運動的敏感度，平滑前景邊界。更詳細的相關工作可以參考文獻[1,24-25]。

本文提出的ForegroundNet使用一個主圖像幀和一個輔助圖像作為輸入來產生前景掩碼，可利用超過100層的網絡(卷積和反卷積)對圖像特征進行編碼和解碼，結合成鏡像的短連接以增強多尺度特征重用。在采用單個模型權重的情況下，無需采用級連學習、集成學習或條件隨機場后處理，即可獲得在CDNet2014數據集上單模型更高的結果。

2 ForegroundNet

2.1 ForegourndNet結構

通過輸入當前圖像與輔助圖像訓練一個端到端的全卷積網絡來預測前景圖像掩碼。將輸入圖像對的大小縮放為224×224，保持與在ImageNet上預訓練的MobileNet、VGG等骨干網絡的輸入尺寸一致，避免因尺度變化而帶來的性能下降，從而提高語義特征的遷移學習效率。ForegroundNet網絡由基于骨干網絡的融合編碼器和一個帶反卷積網絡的解碼器構成(表1)。通過添加編碼器和解碼器之間的短連接，使得解碼器中含有融合后的較高維特征、來自2幅輸入圖像的較低維特征，以便于ForegroundNet學習輸入視頻中的語義及動態特征。本文通過每個像素的標簽?{0,1}來指明每個像素中是否包含前景：=0為背景，=1為前景。解碼器產生224×224×2的輸出，然后送入softmax層進行分類。網絡的損耗函數是像素級softmax損失的總和，即

表1 ForegroundNet的解碼器網絡結構

其中，softmax為softmax損失；y為真實標簽；p為在坐標點(,)對2個標簽的預測概率，即背景和前景。見表1基于拼接合并類型的ForegroundNet，對應著圖2中的反卷積網絡，具有6個合并(拼接)層，5個反卷積(conv2d_transpose)層和9個卷積(conv2d)層。其中，Concatenate_i，conv2d_j，conv2d_transpose_k是在ForegroundNet的反卷積網絡中的第，，個卷積和反卷積層。為了簡化說明，沒有顯示歸一化層和drop out層。而對于每個卷積層，其后依次是歸一化層和drop out層。對于不同的合并類型，網絡結構對于合并層可能具有不同的輸出形狀。每層的輸出形狀均以(batchsize×height×width×channel)表示。此處忽略批量大小(batch size)，對于concatenate_1，7×7×2048表示輸出的特征高度為7，寬度為7，通道數為2 048。表1中的反卷積層，，，，對應于圖2中的相應結構。

2.2 算法實現

本文在CDNet2014數據集上進行實驗，簡稱為CDNet數據集。對于所有實驗，可根據以下基準配置來修改參數：使用MobileNet作為骨干網絡，在一定程序上通過減小模型參數來避免過擬合，并通過減小模型大小來提高實時性；使用當前圖像幀和自動生成的背景圖像作為輸入(輸入類型)；設置Drop out參數值為0，避免因Drop out導致批量歸一化層不穩定；網絡層合并類型為拼接，雖然拼接增加了少量網絡參數，但可以保存所有的輸入圖像特征，提高模型精度；對于ForegroundNet的反卷積網絡中的卷積層(圖2)，使用3×3的卷積核而不是更大的卷積核來達到減少參數的目的，并且用1×1的卷積步長和零填充策略保持特征圖的大小不變；使用整流線性單位(ReLU)作為激活函數，并在圖2的反卷積網絡中的每個卷積和反卷積層之后插入批處理歸一化和Drop out層。

圖2 ForegroundNet框架

對于來自雙幀的特征，在6個不同的圖像尺度上(1，1/2，1/4，1/8，1/16，1/32)分別通過短連接和特征合并，獲取不同尺度的語義及動態特征。針對每個尺度的處理模塊包含3類，分別是合并模塊：用來將輸入特征融合；卷積模塊：對特征進行轉換；反卷積模塊：對特征尺度進行變換。由于處理模塊中包含一個卷積模塊與反卷積模塊，與VGG網絡結構類似，可以通過堆疊卷積網絡層處理相同尺度的特征以達到更好的特征提取能力。實驗中固定骨干網絡的權重，在一定程度上避免ForegroundNet對CDNet2014數據集的過擬合。

3 實 驗

3.1 訓練數據

CDNet數據集包含多種類別的視頻，這些類別涵蓋了許多監控環境中遇到的挑戰。研究者們已經提出了多種前景和變化檢測算法，其在某些特定類型的視頻中表現良好，但是大多數算法對突然的光照變化、惡劣的環境條件(夜晚，下雨，下雪，空氣湍流)、背景/攝像機運動、陰影以及偽裝效果(物體和背景的顏色相似)效果不穩定。CDNet數據集中的每張標注幀都有像素級別的標注，包括靜止(Static)、陰影(Shadow)、未標注(Non-ROI)、未知(Unknown)和運動(Moving)。

在訓練階段，首先將輸入圖像中的Non-ROI像素替換為隨機常量值(標簽圖像中的Non-ROI和Unknown像素將被視為地面真實圖像中的背景，因為其未標注為背景或運動對象，所有也不更改對應未知像素標注的輸入圖像區域)，然后將輸入圖像的RGB值標準化為[–1,1]。記={main,auxilary}為一對輸入圖像。本文通過像素標簽?{0,1}來顯示每個像素是屬于前景還是背景。背景類別(=0)是包括靜態背景、無意義的變化和動態背景變化，而前景類別是指人們感興趣的變化。如果使用2個圖像幀作為輸入，可隨機選擇2個具有幀差的圖像(幀索引差)作為輸入圖像幀，并使用人工標注結果作為標簽。如果使用背景圖像作為輔助輸入，本文采用LaBGen[26]的默認設置為每個視頻序列生成相應的背景圖像。

3.2 訓練過程

本網絡包含圖2中的2個主要組件：特征網絡(骨干網絡)和分割網絡(反卷積網絡)。2個輸入分支通過基本連接和短連接進行交互。為了訓練模型，首先使用ImageNet上預訓練的模型初始化特征網絡，然后僅在固定骨干網絡權重的CDNet數據集上微調分割網絡。實驗訓練中，發現針對單個視頻可以用更簡單的CNN網絡結構進行背景建模，但其性能隨著視頻種類的增加而迅速下降。因此，在整個數據集采用相同的網絡權重。

本文在CDNet 2014數據集上使用Adam優化器訓練了30個。批次大小為32，為0.9，衰減率為0.001。為了避免過擬合，本文應用了數據擴充。數據擴充包括亮度更改、中值模糊和等操作。在實驗中采用數據集Tiny CDNet用于更快的參數優化和更好的欠擬合/過擬合檢查(在官方測試中ForegroundNet的值為0.94，而在Tiny CDNet上只達到0.89)。Tiny CDNet數據集使用完整CDNet數據集的5%，且幀差等于20?？蓪iny CDNet數據集隨機分為互斥的訓練和測試數據集。在訓練階段，將每個訓練周期的訓練數據集順序隨機打亂，以使輸入樣本在種類和時序上多樣化。Tiny CDNet數據集在實驗中的效果與Full CDNet數據集相似，因為大多數圖像序列的幀速率均超過30 fps，幀數間隔為20，意味著當前圖像和輔助圖像均在1 s內被捕獲。由于1 s內圖像的內容基本相似，因此采用Tiny CDNet進行訓練包含的樣本多樣性近似于Full CDNet，但Tiny CDNet可以加快實驗速度，同時避免數據集劃分上的重疊問題。

3.3 評估方法

為將本文方法與CDNet 2014數據集競賽中提交結果的方法進行比較，對比了本文與其他方法在7種不同評價指標上的結果。設置為正確預測的正例數(檢測為前景的前景像素)，為正確預測的負例數(檢測為背景的背景像素)，為錯誤預測的正例數(檢測為背景的前景像素)，為錯誤預測的負例數(檢測為前景的背景像素)。推薦的評估指標是檢測到的前景像素的精度，檢測到的前景像素的召回率和檢測到的前景像素的值，即

大多數情況下高召回率意味著低精度，而高精度意味著低召回率。為了比較不同的方法，值是同時考慮召回率和精度的良好指標。CDNet基準中定義了其他評估指標，如，，，等。

3.4 在完整CDNet 2014數據集上的性能

表2顯示了在值方面與CDNet官網[15,29]上幾種最新方法的定量比較。本文方法的評估指標均有良好的表現。表3展示了算法針對CDNet不同類別視頻的詳細結果信息。ForegroundNet達到了更高的值，=0.94，相比于次優方法的0.82提升了12%。圖3顯示了CDNet 2014數據集各種序列的典型分割結果，其中，從左到右依次是“當前幀”，GMM[2]，KDE[30]，BMOG[31]，SubSense[3]，FTSG[8]，ITUIS-5[18]，DeepBS[5]，本文的結果(ours)和標注結果(GT)；從上到下，分別為CDNet數據集中不同的視頻種類。NV: night video, SD:shadow, CJ:camera jitter, TB:turbulence, DB:dynamic background, BL:baseline, LF:low frame rate, IOM:intermittent object motion, BW:bad weather, PTZ:PTZ, TM:thermal。本文方法獲得的結果優于其他方法，特別是在IOM，PTZ，TM類別上。IOM更依賴動態特征對前景進行區分，PTZ的鏡頭存在一定縮放變化，而TM則缺乏相應的語義信息。這在一定程度上證實ForegroundNet不僅在靜態鏡頭下具備良好的語義特征學習能力，在鏡頭變化不大的情況下也具備一定的動態特征學習能力。

表2 CDNet 2014數據集比較

表3 在CDNet 2014數據集上的ForegroundNet的結果

圖3 在CDNet 2014 數據集上的分割結果

3.5 Tiny CDNet 2014數據集的消融實驗

3.5.1 骨干網絡的效果

表4通過比較3種骨干網絡(VGG16[10]，VGG19[10]，MobileNet)的效果，顯示了其值比較的結果。使用VGG16的網絡獲得了更高的值，而使用MobileNet則在效率和值之間取得了更好的平衡。使用MobileNet的網絡提升了近50%，而平均值僅減少了2%。

表4 Tiny CDNet 2014數據集上骨干網絡的對比實驗

3.5.2 網絡層合并類型的影響

表5為具有不同網絡層合并類型(例如拼接、相乘或相加)的結果，其中相加的值最好。這是由于拼接策略使得通道數翻倍，增加了參數量，導致了過擬合現象。而相乘策略則丟失了大量運動信息。

表5 Tiny CDNet 2014數據集上的圖層合并類型實驗

3.5.3 Drop out的影響

表6顯示了在0.0~0.5之間時ForegroundNet的值?？梢詼p輕模型的過度擬合，但也給模型訓練帶來不穩定性。實驗結果表明，其為0.1時結果最優。

表6 Tiny CDNet 2014數據集的Drop Out實驗

3.6 使用相鄰幀作為輔助輸入

3.6.1 輸入幀類型

基于基準配置，本文使用圖像幀作為當前輸入，并使用相鄰輸入幀(簡稱為當前幀+相鄰幀)或自動生成的背景圖像(簡稱為當前幀+背景圖像)作為輔助輸入。表7為Tiny CDNet數據集不同輸入類型的比較。網絡遵循對稱性準則，使用2個輸入幀，分別為在時間的當前輸入幀和在時間-7的相鄰輸入幀(本實驗設置幀差為7)。表7顯示使用當前幀+相鄰幀的結果與使用當前幀+背景圖像的結果相近。因此，在無法獲得背景圖像情況下，網絡可以在沒有背景圖像作為輔助輸入的情況下，以2個圖像幀作為輸入來獲得相近的值，保證檢測網絡的穩定運行。

表7 在Tiny CDNet 2014數據集上的輸入類型實驗。

3.6.2 輸入幀之間的幀差選擇

為了驗證在當前幀+相鄰幀輸入模式下具有不同幀差的基準網絡性能，表8顯示了不同幀差(范圍從1~9)的值結果。最佳幀差會隨視頻的每秒幀數(fps)和前景圖像的運動速度而變化。對于CDNet2014數據集而言，一般幀差為7既可以使2個輸入幀之間有較大差異，也可以保持背景相對穩定，從而取得最優的值。

表8 在Tiny CDNet 2014數據集上的幀差選擇實驗

4 結 論

本文提出了一種基于語義與動態特征的雙流編碼器融合-解碼器前景檢測分割網絡ForegroundNet。與之前需要維護背景模型及依賴背景信息的CNN方法不同，本方法可僅使用2幅圖像作為輸入，利用學習到的語義和動態特征完成前景檢測。給出了采用相鄰幀或背景幀作為輔助輸入圖像的對比實驗，結果表明ForegroundNet可以采用相鄰幀作為輸入并獲得與采用背景幀相近的前景檢測精度，減少對場景信息的依賴。通過設計實驗在CDNet 2014數據集上進行相關驗證，結果表明本方法在輸入 2幅幀圖像的情況下可獲得更高的值，而且具備良好的實時性。

[1] SOBRAL A, VACAVANT A. A comprehensive review of background subtraction algorithms evaluated with synthetic and real videos[J]. Computer Vision and Image Understanding, 2014, 122: 4-21.

[2] ZIVKOVIC Z. Improved adaptive Gaussian mixture model for background subtraction[C]//Proceedings of the 17th International Conference on Pattern Recognition, 2004. ICPR 2004. New York: IEEE Press, 2004: 28-31.

[3] ST-CHARLES P-L, BILODEAU G A, BERGEVIN R. SuBSENSE: a universal change detection method with local adaptive sensitivity[J]. IEEE Transactions on Image Processing, 2015, 24(1): 359-373.

[4] BRAHAM M, VAN DROOGENBROECK M. Deep background subtraction with scene-specific convolutional neural networks[C]//2016 International Conference on Systems, Signals and Image Processing (IWSSIP). New York: IEEE Press, 2016: 1-4.

[5] BABAEE M, DINH D T, RIGOLL G. A deep convolutional neural network for video sequence background subtraction[J]. Pattern Recognition, 2018, 76: 635-649.

[6]WANG Y, LUO Z M, JODOIN P M. Interactive deep learning method for segmenting moving objects[J]. Pattern Recognition Letters, 2017, 96: 66-75.

[7] ZENG D D, ZHU M, KUIJPER A. Combining background subtraction algorithms with convolutional neural network[J]. Journal of Electronic Imaging, 2019, 28(1): 013011.

[8] WANG R, BUNYAK F, SEETHARAMAN G, et al. Static and moving object detection using flux tensor with split Gaussian models[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. New York: IEEE Press, 2014: 414-418.

[9] DE GREGORIO M, GIORDANO M. CwisarDH $$^+$$: Background detection in RGBD videos by learning of weightless neural networks[C]//International Conference on Image Analysis and Processing. Heidelberg: Springer, 2017: 242-253.

[10] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2019-11-27]. http://arxiv.org/abs/1409.1556.

[11] RONNEBERGER O, FISCHER P, BROX T. U-net: convolutional networks for biomedical image segmentation[C]//Lecture Notes in Computer Science. Heidelberg: Springer, 2015: 234-241.

[12] NGUYEN T P, PHAM C C, HA S V-U, et al. Change detection by training a triplet network for motion feature extraction[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2019, 29(2): 433-446.

[13] HOWARD A G, ZHU M, CHEN B, et al. MobileNets: efficient convolutional neural networks for mobile vision applications[EB/OL]. [2019-11-27]. http://arxiv.org/abs/1704.04861.

[14] RUSSAKOVSKY O, DENG J, SU H, et al. ImageNet large scale visual recognition challenge[J]. International Journal of Computer Vision, 2015, 115(3): 211-252.

[15] WANG Y, JODOIN P M, PORIKLI F, et al. CDnet 2014: an expanded change detection benchmark dataset[C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. New York: IEEE Press, 2014: 387-394.

[16] BARNICH O, VAN DROOGENBROECK M. ViBe: a universal background subtraction algorithm for video sequences[J]. IEEE Transactions on Image Processing, 2011, 20(6): 1709-1724.

[17] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[18] BIANCO S, CIOCCA G, SCHETTINI R. Combination of video change detection algorithms by genetic programming[J]. IEEE Transactions on Evolutionary Computation, 2017, 21(6): 914-928.

[19] XU P, YE M, LI X, et al. Dynamic background learning through deep auto-encoder networks[C]//Proceedings of the ACM International Conference on Multimedia-MM’14. New York: ACM Press, 2014: 107-116.

[20] XU P, YE M, LIU Q, et al. Motion detection via a couple of auto-encoder networks[C]//2014 IEEE International Conference on Multimedia and Expo (ICME). New York: IEEE Press, 2014: 1-6.

[21] LIM K, JANG W D, KIM C S. Background subtraction using encoder-decoder structured convolutional neural network[C]//2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). New York: IEEE Press, 2017: 1-6.

[22] CHEN Y Y, WANG J Q, ZHU B K, et al. Pixel-wise deep sequence learning for moving object detection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017(99): 1.

[23] ZHANG Y Q, LI X, ZHANG Z F, et al. Deep learning driven blockwise moving object detection with binary scene modeling[J]. Neurocomputing, 2015, 168: 454-463.

[24] BOUWMANS T. Traditional and recent approaches in background modeling for foreground detection: an overview[J]. Computer Science Review, 2014, 11-12: 31-66.

[25] BOUWMANS T, JAVED S, SULTANA M, et al. Deep neural network concepts for background subtraction: a systematic review and comparative evaluation[J]. Neural Networks, 2019, 117: 8-66.

[26] LAUGRAUD B, PIéRARD S, VAN DROOGENBROECK M. LaBGen: a method based on motion detection for generating the background of a scene[J]. Pattern Recognition Letters, 2017, 96: 12-21.

[27] YINGYING CHEN, JINQIAO WANG, HANQING LU. Learning sharable models for robust background subtraction[C]//2015 IEEE International Conference on Multimedia and Expo (ICME). New York: IEEE Press, 2015: 1-6.

[28] JIANG S, LU X. WeSamBE: a weight-sample-based method for background subtraction[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2018, 28(9): 2105-2115.

[29] GOYETTE N, JODOIN P M, PORIKLI F, et al. Changedetection.net: a new change detection benchmark dataset[C]//2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. New York: IEEE Press, 2012: 1-8.

[30] ELGAMMAL A, HARWOOD D, DAVIS L. Non-parametric model for background subtraction[C]// European Conference on Computer Vision. Heidelberg: Springer, 2000: 751-767.

[31] MARTINS I, CARVALHO P, CORTE-REAL L, et al. BMOG: boosted Gaussian mixture model with controlled complexity[J]. Pattern Analysis and Applications. 2018, 21(3): 641-654.

ForegroundNet: a semantic and motional feature based foreground detection algorithm

LAI Shao-chuan1, WANG Jia-xin2,3, MA Cui-xia2

(1. South China branch of Sinopec Sales Co., Ltd, Guangdong Province, Guangzhou Guangdong 510000, China; 2. Institute of Software, Chinese Academy of Sciences, Beijing 100190, China; 3. School of Computer Science and Technology, University of Chinese Academy of Sciences, Beijing 101408, China)

Aiming at the problem that the previous foreground detection methods depend more heavily on scene information, a real-time foreground detection deep learning model ForegroundNet without iteratively updating the background model is proposed. ForegroundNet extracts semantic features from current and auxiliary images with backbone networks firstly, the auxiliary images which can be either an adjacent image frame or an automatically generated background image. These features are further fed into deconvolution network with short connections, which make the final feature maps have the same size as input images and contain semantic and motional features in different scales, finally we use softmax layer to perform a binary classification. The results on CDNet dataset show that ForegroundNet achieves better F-Measure of 0.94 compare to the 0.82 of suboptimal method. More over ForegroundNet has good real-time performance that its speed reaches 123 fps.

foreground detection; deep learning; computer vision; convolution neural network; motion segmentation

TP 391

10.11996/JG.j.2095-302X.2020030409

A

2095-302X(2020)03-0409-08

2019-11-19；

2020-03-29

國家自然科學基金項目(61872346)；國家重點研發計劃項目(2018YFC0809303)

賴少川(1968-)，男，廣東揭陽人，高級工程師，學士。主要研究方向為管道管理、無人機圖像處理。E-mail：laisc.xshn@sinopec.com