基于貝葉斯生成對(duì)抗網(wǎng)絡(luò)的背景消減算法

鄭文博 王坤峰 王飛躍,4

背景消減是底層計(jì)算視覺和模式識(shí)別領(lǐng)域的關(guān)鍵技術(shù)之一,廣泛應(yīng)用于視頻監(jiān)控、智能交通[1?2]、體育視頻、工業(yè)視覺等領(lǐng)域中.背景消減的作用是將背景部分從視頻中減去[3],以提取運(yùn)動(dòng)前景.其核心問題是如何建立一個(gè)自適應(yīng)的背景模型,以準(zhǔn)確描述背景信息.一個(gè)性能良好的背景模型要能夠有效描述各種條件下背景在空域和時(shí)域所發(fā)生的變化.但這是非常困難的,因?yàn)閷?shí)際的背景環(huán)境變化是非常復(fù)雜的,有光線的變化,如亮度的漸變、光照的突變、陰影等;也有運(yùn)動(dòng)背景的影響,如被風(fēng)吹動(dòng)的樹葉、水紋、變化的顯示屏幕等.

過去,人們提出了很多種統(tǒng)計(jì)背景建模方法.Stauffer等[4?5]首次提出了基于混合高斯模型(Gaussian mixture models,GMM)的背景建模方法,該方法較好地解決了復(fù)雜背景條件下的背景建模,能夠適應(yīng)光照的緩慢變化,但它無法對(duì)快速變化的背景進(jìn)行建模[6].Fan等[7]提出的是基于灰度圖像或者彩色圖像的碼書模型的背景建模方法,該方法對(duì)光照變化魯棒性強(qiáng),但是不能對(duì)光照長時(shí)間緩慢變化的場景進(jìn)行建模,而且,在訓(xùn)練期的初始幀時(shí)限制了運(yùn)動(dòng)目標(biāo)的出現(xiàn).Yan等[8]結(jié)合局部融合信息的策略提出了一種基于變分貝葉斯的背景減法(Variational Bayesian learning for background subtraction based on local fusion feature,LFVBGM)算法,雖然考慮了像素的空間性,使得背景建模更加可靠,適應(yīng)了大多的動(dòng)態(tài)場景,但是固定的背景更新率仍然限制了一些特殊場景下的目標(biāo)檢測.MBS(Multimode background subtraction)方法[9]嘗試提取每個(gè)位置像素變化的主分量和梯度信息描述背景模型,并提出顏色共生矩陣用來表示相鄰幀的背景變化,但總的來說,它仍然算是單模式的,所以處理動(dòng)態(tài)背景的性能不好;BMOG(Boosted Gaussian mixture model with controlled complexity)[10]方法集成了傳統(tǒng)的GMM方法與MBS方法,但沒有解決動(dòng)態(tài)背景的缺陷;SSOBS(Simpli fied self-organized background subtraction)方法[11]只考慮圖像空間的一致性,對(duì)于圖像之間本身的時(shí)間性忽略,導(dǎo)致動(dòng)態(tài)背景效果較差;ShareModel(Learning sharable models for robust background subtraction)[12]方法將GMM與像素的相關(guān)性、視頻幀的時(shí)間性相結(jié)合,雖然大部分?jǐn)?shù)據(jù)庫取得較好的結(jié)果,但是對(duì)于突然出現(xiàn)的目標(biāo)或者突然擺動(dòng)的背景的情形,效果欠佳;FTSG(Flux tensor with split Gaussian models)方法[9]分別對(duì)像素變化特性、混合高斯模型控制參數(shù)進(jìn)行了分析,將背景學(xué)習(xí)分為兩個(gè)大的階段,引入反饋控制機(jī)制進(jìn)行背景建模,提出了一種自適應(yīng)學(xué)習(xí)速率的混合高斯模型算法,但是僅根據(jù)圖像背景信息感知,當(dāng)圖像背景突然變化,因此,其感知精度難以保證;WeSamBE(A weight-sample-based method for background subtraction)[13]方法借助于背景重建算法設(shè)計(jì)基于空間分割的分類器,雖然在一定程度上避免了傳統(tǒng)方法的單一性,但其實(shí)質(zhì)仍然是針對(duì)特定分類的分類器,對(duì)于其他特定分類,未必有好的效果.基于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的算法,例如DeepBS(A deep convolutional neural network for video sequence background subtraction)[14],需要設(shè)計(jì)遵循任何種類的因式分解的模型,只能針對(duì)特定的分離器有用,因此實(shí)用性較差.

Saatchi等于2017年提出的貝葉斯生成對(duì)抗網(wǎng)絡(luò)[15]具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能[16?17],并具有自動(dòng)學(xué)習(xí)的能力[18?19].與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法相比,不需要設(shè)計(jì)遵循任何種類的因式分解的模型,對(duì)任何生成器網(wǎng)絡(luò)和任何分類器都會(huì)有用.因此,也無需反復(fù)采樣[20?21],無需在學(xué)習(xí)過程中進(jìn)行推斷,回避了近似計(jì)算概率的難題[22?23].

針對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法的弊端及現(xiàn)有多數(shù)算法不能完全解決光照漸變和突變、非靜止背景以及鬼影的問題,本文提出了一種在靜態(tài)攝像機(jī)條件下有效地從背景中提取前景目標(biāo)輪廓的背景減法,即基于貝葉斯生成對(duì)抗網(wǎng)絡(luò)的背景減除算法(Background subtraction algorithm based on Bayesian generative adversarial networks,BSGAN).BSGAN算法對(duì)t幀圖像中每一個(gè)像素的時(shí)間序列進(jìn)行背景建模,利用中值算法來分離和描述可靠的背景.綜合考慮到噪聲和光照對(duì)像素的影響,利用貝葉斯生成對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練,從而有效地對(duì)每個(gè)像素進(jìn)行分類以應(yīng)對(duì)漸進(jìn)和突然的光照變化以及非靜止背景和鬼影的出現(xiàn)等干擾.

本文的主要貢獻(xiàn)在于:1)將貝葉斯生成對(duì)抗網(wǎng)絡(luò)思想應(yīng)用于背景消減,具有魯棒性高、對(duì)場景變化適應(yīng)能力強(qiáng)等優(yōu)點(diǎn);2)利用卷積生成對(duì)抗網(wǎng)絡(luò)(Deep convolutional generative adversarial network,DCGAN)來建立貝葉斯生成對(duì)抗網(wǎng)絡(luò)的背景消減模型,建立了基于卷積神經(jīng)網(wǎng)絡(luò)的貝葉斯生成對(duì)抗網(wǎng)絡(luò),并通過訓(xùn)練生成對(duì)抗網(wǎng)絡(luò),獲得魯棒的結(jié)果;3)將BSGAN算法提交到CDnet2014數(shù)據(jù)集平臺(tái)上進(jìn)行測試,獲得了較好的性能指標(biāo),超過了許多現(xiàn)有方法.

本文接下來從4個(gè)方面介紹本文算法,首先,在第1節(jié)介紹貝葉斯生成對(duì)抗網(wǎng)絡(luò)的興起與原理;在第2節(jié),詳細(xì)說明了基于貝葉斯生成對(duì)抗網(wǎng)絡(luò)的背景消減;并在第3節(jié)進(jìn)行該算法的對(duì)比實(shí)驗(yàn)以及實(shí)驗(yàn)結(jié)果分析;最后,在第4節(jié)進(jìn)行總結(jié).

1 貝葉斯生成對(duì)抗網(wǎng)絡(luò)簡介

深度學(xué)習(xí)對(duì)海量標(biāo)簽數(shù)據(jù)的依賴是顯而易見的,這也成為抑制深度學(xué)習(xí)發(fā)展的潛在要素之一.長久以來,科學(xué)家們都在探索使用盡量少的標(biāo)簽數(shù)據(jù)的學(xué)習(xí)方法,希望實(shí)現(xiàn)從監(jiān)督式學(xué)習(xí)到半監(jiān)督式學(xué)習(xí)再到最后的無監(jiān)督式學(xué)習(xí)的轉(zhuǎn)化.在大多數(shù)情況下,我們是沒有帶標(biāo)簽的數(shù)據(jù)的,帶標(biāo)簽的數(shù)據(jù)往往是以高成本通過人力勞動(dòng)或通過昂貴的儀器(如用于自主駕駛的激光雷達(dá))來實(shí)現(xiàn)的.因此,半監(jiān)督式學(xué)習(xí)已經(jīng)成為最新的研究熱點(diǎn).特別自2015年出現(xiàn)了將生成對(duì)抗網(wǎng)絡(luò)(Generative adversarial network,GAN)用于半監(jiān)督問題[19]以來,現(xiàn)有的許多GAN工作也都表明通過加入少量類別標(biāo)簽,引入有標(biāo)簽數(shù)據(jù)的類別損失度量,不僅在功能上實(shí)現(xiàn)了半監(jiān)督學(xué)習(xí),同時(shí)也有助于GAN的穩(wěn)定訓(xùn)練.

Saatchi等最近發(fā)布了一項(xiàng)對(duì)無監(jiān)督和半監(jiān)督式學(xué)習(xí)的研究,名為貝葉斯生成對(duì)抗網(wǎng)絡(luò)(Bayesian GAN)[15].貝葉斯生成對(duì)抗網(wǎng)絡(luò)的原理,簡單來說,給定一個(gè)變量為x(i)～pdata(x(i))的數(shù)據(jù)集,估計(jì)數(shù)據(jù)集的分布pdata(x(i)).我們利用參數(shù)θg控制的生成器G(z;θg)將白噪聲z～p(z)轉(zhuǎn)化為與樣本數(shù)據(jù)分布近似的候選樣本(生成樣本).我們用另一個(gè)由參數(shù)θd表示的判別器D(x,θd)來判定任何來自數(shù)據(jù)分布的x的可靠性(類別).這種簡單理解顯然是對(duì)于一般的D和G而言的,但是在實(shí)踐中,G和D通常是具有權(quán)重向量θg和θd的神經(jīng)網(wǎng)絡(luò).假定樣本分布是能夠置于θg和θd之間的,我們在生成器和判別器的無窮大空間中引入一個(gè)分布,并對(duì)應(yīng)于這些權(quán)重向量的進(jìn)行每個(gè)可能的設(shè)置,使得生成器生成的候選樣本(生成樣本)可以與樣本數(shù)據(jù)是同一分布.從數(shù)據(jù)實(shí)例的先驗(yàn)分布中抽樣,如下:1)樣本θg～p(θg);2) 樣本z(1),···,z(n)～p(z);3)?x(j)=G(z(j);θg)～pgenerator(x).對(duì)于之后的推理,采用無監(jiān)督和半監(jiān)督兩種形式.

1.1 貝葉斯生成對(duì)抗網(wǎng)絡(luò)的無監(jiān)督學(xué)習(xí)

為了推斷出后面的θg和θd,可以迭代地抽樣:

其中,p(θg|αg) 和p(θd|αd) 是生成器和判別器參數(shù)的先驗(yàn),分別具有超參數(shù)αg和αd.nd和ng分別是生成器和判別器樣本的數(shù)量.

從數(shù)據(jù)樣本的生成過程開始,可以直觀地了解這一公式.從先驗(yàn)的p(θg|αg)中采樣權(quán)重,再計(jì)算由采樣后的權(quán)重計(jì)算該樣本的權(quán)重,以形成特定的生成網(wǎng)絡(luò).然后本文從采樣來自p(z)的白噪聲z,并通過網(wǎng)絡(luò)G(z;θg)轉(zhuǎn)換該噪聲,以產(chǎn)生候選數(shù)據(jù)樣本(生成樣本).判別器根據(jù)其權(quán)重θd進(jìn)行調(diào)整,推算出這些來自數(shù)據(jù)分布是候選樣本(生成樣本)的概率.在式(1)中,如果判別器輸出概率較高,則后驗(yàn)概率p(θg|z,θd)將在θg的采樣設(shè)置的附近增加(其他設(shè)置減小).對(duì)于判別器權(quán)重θd的后驗(yàn),式(1)形成判別分類似然函數(shù),將實(shí)際數(shù)據(jù)的樣本與生成器對(duì)比標(biāo)記分類類別.

1.2 貝葉斯生成對(duì)抗網(wǎng)絡(luò)的半監(jiān)督學(xué)習(xí)

將概率的GAN形式體系擴(kuò)展到半監(jiān)督學(xué)習(xí).在K級(jí)分類的半監(jiān)督設(shè)置中,假定訓(xùn)練樣本為一組n個(gè)幾乎不帶標(biāo)簽集的{x(i)},以及一組(通常樣本數(shù)目小得多)的ns觀察值集合其中該網(wǎng)絡(luò)目標(biāo)是如果只能使用已分類的訓(xùn)練輸入,那么該網(wǎng)絡(luò)將從未標(biāo)記和標(biāo)記的示例中共同學(xué)習(xí)統(tǒng)計(jì)結(jié)構(gòu),以便對(duì)新測試樣本X類標(biāo)簽進(jìn)行更好的預(yù)測.

在這種情況下,重新定義判別器,使得D(x(i)=y(i);θd)給出樣本x(i)屬于類y(i)的概率.保留類標(biāo)簽0以表示數(shù)據(jù)樣本是生成器的輸出.然后推斷出后驗(yàn)概率如下:

在每次迭代中,使用來自ng個(gè)生成器的樣本,nd個(gè)未標(biāo)記的樣本和ns個(gè)所有標(biāo)記的樣本,其中通常為ns?n.該網(wǎng)絡(luò)可以使用簡單的蒙特卡洛取樣法以近似邊緣化z.借鑒無監(jiān)督學(xué)習(xí)思想,本文可以邊緣化后面的θg和θd,并且求得其平均值,用于計(jì)算測試樣本的分類情況.在T次迭代中,為了計(jì)算測試輸入x?時(shí)標(biāo)記分類y?的分布,使用所有關(guān)于后面的收集樣本θd的模型平均值:

并且這種模式平均值對(duì)于提升半監(jiān)督學(xué)習(xí)能力是有效的.

2 基于貝葉斯生成對(duì)抗網(wǎng)絡(luò)的背景消減

背景減法是利用當(dāng)前圖像與只含有當(dāng)前背景的圖像的差分來提取圖像背景的一種技術(shù).本文背景減法的第一步就是實(shí)現(xiàn)背景數(shù)據(jù)獲取,因?yàn)榛叶葓D像的簡單中值濾波法已廣泛應(yīng)用于魯棒的復(fù)雜場景背景數(shù)據(jù)的獲取,快速簡單,而且能適應(yīng)背景的變化[24],所以本文利用基于灰度圖像的簡單中值濾波法[25]獲取背景數(shù)據(jù);第二步是生成一個(gè)學(xué)習(xí)網(wǎng)絡(luò)的場景數(shù)據(jù)集,不僅可以規(guī)范化每幀的數(shù)據(jù),同時(shí)也為第三步的網(wǎng)絡(luò)訓(xùn)練提供訓(xùn)練樣本;本文第三步的網(wǎng)絡(luò)訓(xùn)練采用神經(jīng)網(wǎng)絡(luò),對(duì)場景數(shù)據(jù)集進(jìn)行訓(xùn)練;最后,輸出為提取的前景目標(biāo).本文算法流程圖如圖1所示.

圖1 本文算法流程圖Fig.1 The flow chart of our algorithm

2.1 背景數(shù)據(jù)獲取

我們的算法通過使用從幾個(gè)視頻幀中提取出來的單個(gè)灰度圖像來模擬背景(我們觀察到使用三個(gè)顏色通道僅僅會(huì)使我們的方案有一些邊際改進(jìn)).故此使用以下公式,將輸入圖像從RGB域轉(zhuǎn)換為灰度級(jí)(以下稱為Y):

本文以簡單的場景為例,我們通過在短時(shí)間內(nèi)觀察場景并計(jì)算每個(gè)像素的時(shí)間中值Y值來提取灰度背景圖像.需要特別指出的是,當(dāng)背景中的每個(gè)像素至少有50%的時(shí)間是可見的時(shí)候,該方法是合適的.對(duì)于混亂的場景,需要更復(fù)雜的背景估計(jì)方法,例如文獻(xiàn)[25]的復(fù)雜背景估計(jì)方法.

2.2 場景數(shù)據(jù)集的生成

本文流程的第二步是生成一個(gè)學(xué)習(xí)網(wǎng)絡(luò)的場景數(shù)據(jù)集.首先通過T表示以每個(gè)像素為中心的塊(Patch)的大小,用于減法運(yùn)算.再定義一個(gè)T×T的2通道圖像塊(提取于中值圖像且用于背景塊的一個(gè)通道和用于輸入塊的一個(gè)通道)為訓(xùn)練樣本x.相應(yīng)的目標(biāo)值由下式給出:

其中,pc表示圖像塊的中心像素.要注意的是,本文將T設(shè)置為27,并將所有Y值標(biāo)準(zhǔn)化使其間隔于[0,1].也就是說,在假定圖像被零填充以避免邊界效應(yīng)的情況下,一系列N個(gè)完全標(biāo)記的輸入圖像的序列與訓(xùn)練樣本的集合等值.

2.3 貝葉斯生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練原理

假定真實(shí)數(shù)據(jù)集S={(x1,y1),···,(xn,yn)}和偽數(shù)據(jù)集其中真實(shí)樣本數(shù)據(jù)真實(shí)樣本的標(biāo)簽集yi∈{1,···,K}.這種設(shè)置似乎只適用于監(jiān)督學(xué)習(xí),但它實(shí)際上適用于GAN的半監(jiān)督和無監(jiān)督學(xué)習(xí)問題.在監(jiān)督學(xué)習(xí)設(shè)置中,K是所有數(shù)據(jù)的類別數(shù).在我們有一些未標(biāo)記數(shù)據(jù)的半監(jiān)督設(shè)置中,我們可以通過分配標(biāo)簽y=K+1的未標(biāo)記數(shù)據(jù)來增加實(shí)際集合S.在無監(jiān)督(即我們所有的都是未標(biāo)記的數(shù)據(jù))的學(xué)習(xí)設(shè)置中,真實(shí)的集合標(biāo)記為y=1,偽的是y=0.

我們將生成器模型看作是隨機(jī)函數(shù)fG,fG的作用是將輸入的y0轉(zhuǎn)化為其分布類似于實(shí)際數(shù)據(jù)分布的樣本x.邏輯結(jié)構(gòu)如圖2所示.由本文假定,可得由于式(2)以及貝葉斯公式,我們可以得到判別器中生成的一組樣本的分布為

其中,ω是生成網(wǎng)絡(luò)的權(quán)重,fD是判別器函數(shù).

同理可得,對(duì)于生成器而言:

其中,θ是判別器網(wǎng)絡(luò)的權(quán)重.

對(duì)于式p(fD|S,θ)∝p(fD|θ)p(S|fD),應(yīng)用貝葉斯公式與最大后驗(yàn)估計(jì)法,可得p(fD)∝p(fD|S,θ).

使用貝葉斯方法推斷參數(shù)的優(yōu)點(diǎn)是我們在我們的方法中包含模型不確定性,這意味著有能力應(yīng)對(duì)GAN的收斂問題[15].這是因?yàn)槭褂煤篁?yàn)分布的權(quán)重和概率分布函數(shù)的優(yōu)勢,因此可以避免在復(fù)雜的參數(shù)空間中諸多參數(shù)的調(diào)優(yōu)問題,而且,可以對(duì)GAN中由于生成器和判別器交替優(yōu)化而無法達(dá)到鞍點(diǎn)的問題有幫助.

圖2 基于DCGAN的貝葉斯生成對(duì)抗網(wǎng)絡(luò)Fig.2 Bayesian generative adversarial networks based on the DCGAN

為了實(shí)現(xiàn)僅利用概率函數(shù)和判別器的不確定性進(jìn)行生成樣本然后進(jìn)行網(wǎng)絡(luò)更新的目的,根據(jù)生成對(duì)抗網(wǎng)絡(luò)的原理[20],我們對(duì)生成器和判別器的推斷函數(shù)進(jìn)行定義,并盡可能地最小化網(wǎng)絡(luò)的損失,也就是說,本文方法策略與在順序決策中使用的湯姆森抽樣相當(dāng),貪心地將每次迭代中都以最小化貝葉斯框架內(nèi)的預(yù)期損失為目的.

根據(jù)生成對(duì)抗網(wǎng)絡(luò)的原理[20],我們知道判別器的推斷函數(shù)為

其中,D(·)和G(·)分別為判別器函數(shù)和生成器函數(shù).

根據(jù)式(6)和(8),并使用最大后驗(yàn)估計(jì),假定函數(shù)是基于當(dāng)前觀察(來自偽數(shù)據(jù)和實(shí)際數(shù)據(jù)的樣本)的一次迭代得到,最后可以得到判別器推斷函數(shù):

同理可以得到生成器推斷函數(shù):

其中,lG和lD分別是為生成器和判別器的損失函數(shù),是真實(shí)樣本與偽樣本的衡量函數(shù).

采用蒙特卡洛法,在真實(shí)樣本中選擇n個(gè)真實(shí)樣本,對(duì)應(yīng)的標(biāo)簽集的樣本數(shù)量為m,在偽樣本中選擇n0個(gè)偽樣本,偽樣本對(duì)應(yīng)的標(biāo)簽集的樣本數(shù)量為m0.將函數(shù)離散化可得:

判別器推斷函數(shù):

生成器推斷函數(shù):

考慮到生成器可能生成一些高質(zhì)量的偽樣本,在這種情況下,真實(shí)樣本與偽樣本之間的差異很難測量[26],因此,本文采用最大均值差異(Maximum mean discrepancy,MMD)[27]的方法進(jìn)行評(píng)定.因此可得

2.4 貝葉斯生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練過程

圖3 本文算法工作示意圖Fig.3 The flow chart of our algorithm works

本文算法利用基于貝葉斯的生成對(duì)抗網(wǎng)絡(luò)進(jìn)行背景消減,工作流程圖如圖3所示.背景消減問題,可以看作是圖像像素的分類問題,即考慮前景、背景2種類型,因此可以看作是k=2的分類問題,我們的目標(biāo)是盡可能接近Ground-truth的結(jié)果.因此,我們首先對(duì)于每個(gè)數(shù)據(jù)庫隨機(jī)選擇100幀當(dāng)前圖像進(jìn)行讀入,再者利用當(dāng)前圖像標(biāo)準(zhǔn)化后的圖像與高斯噪聲產(chǎn)生的標(biāo)簽集,作為生成器的輸入,生成器生成背景圖像并給判別器裁定;將當(dāng)前圖像標(biāo)準(zhǔn)化后的圖像與生成器生成的背景圖像作為判別器的輸入,判別器根據(jù)與Ground-truth的誤差結(jié)果進(jìn)行判定,并反饋給生成器,生成器與判別器網(wǎng)絡(luò)進(jìn)行權(quán)重的更新.具體來說,在批量讀入原圖后,以一幅圖像為例進(jìn)行說明,輸入一幅圖像后,首先將圖像的所有像素值標(biāo)準(zhǔn)化使其間隔于[0,1],然后與高斯噪聲一同作為生成器的輸入,經(jīng)過生成器網(wǎng)絡(luò)的運(yùn)算生成一幅背景減除的圖像,生成器將這幅生成的圖像交給判別器,等待裁定.判別器網(wǎng)絡(luò)根據(jù)標(biāo)準(zhǔn)化后的原圖和原圖的Ground-truth圖像,與生成圖像的誤差進(jìn)行判定.若判定為真,則記錄這幅生成圖像的標(biāo)簽為1;否則為0.

我們采用貝葉斯的卷積生成對(duì)抗網(wǎng)絡(luò)(DCGAN)進(jìn)行訓(xùn)練,其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示,算法如下所示:

圖4 貝葉斯卷積生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 The structure of Bayesian convolutional generative adversarial network

初始化:學(xué)習(xí)率η,生成器和判別器的權(quán)重ω,θ

本文生成器和判別器都采用基于DCGAN的神經(jīng)網(wǎng)絡(luò),具體來說,本文生成器采用先下采樣,后上采樣的結(jié)構(gòu)方式,如圖 4(a)所示,即網(wǎng)絡(luò)前半段為卷積層,后半段為反卷積層,最后輸出背景圖像.其中由噪聲生成的過程為上采樣過程.對(duì)于噪聲的生成網(wǎng)絡(luò),每層網(wǎng)絡(luò)大小依次變化為4×4×1024→8×8×512→16×16×256→32×32×128→64×64×3.生成器網(wǎng)絡(luò)的每一層的濾波器尺寸為5×5.由圖像生成的生成網(wǎng)絡(luò)每層網(wǎng)絡(luò)依次變化為64×64×3→32×32×128→16×16×256→32×32×128→64×64×3,前三層為卷積層,后兩層為反卷積層.判別器網(wǎng)絡(luò)采用最后一層為全連接層的6層卷積神經(jīng)網(wǎng)絡(luò),如圖4(b)所示,每一層卷積層的卷積核的大小變化為64×64×3→32×32×128→16×16×256→8×8×512→4×4×1024.判別器網(wǎng)絡(luò)的每一層卷積濾波器尺寸為5×5.對(duì)于噪聲生成網(wǎng)絡(luò)中第一層卷積核的大小的含義是將把1024的一維向量轉(zhuǎn)化(Reshape)成1024個(gè)通道的4×4的特征圖(Feature map),本文生成對(duì)抗網(wǎng)絡(luò)的其他各層的卷積核的含義與第一層理同.也就是說,本文生成對(duì)抗網(wǎng)絡(luò)的卷積層的特征圖大小是上一層的2倍,本文生成對(duì)抗網(wǎng)絡(luò)的反卷積層的特征圖的大小是上一層的一半.

根據(jù)He等[28]提出的計(jì)算卷積神經(jīng)網(wǎng)絡(luò)時(shí)間復(fù)雜度的方法可知,

其中,d為網(wǎng)絡(luò)卷積層的總層數(shù),nl為本層卷積濾波器個(gè)數(shù),也就是大家所說的卷積濾波器的寬度;nl?1為上一層卷積濾波器個(gè)數(shù),也可以稱作nl層的輸入通道數(shù);Sl為濾波器的尺寸;ml為輸出特征圖的尺寸.

例如,一個(gè)輸入輸出通道數(shù)都為256的卷積神經(jīng)網(wǎng)絡(luò),卷積濾波器的尺寸為3×3,可以得到該層的時(shí)間復(fù)雜度是O(589824×ml2).相似地,可以算出本文的生成對(duì)抗網(wǎng)絡(luò)的時(shí)間復(fù)雜度約為可見這個(gè)時(shí)間復(fù)雜度與傳統(tǒng)機(jī)器學(xué)習(xí)算法[4?5]相比是非常大的.

我們在實(shí)驗(yàn)的生成器訓(xùn)練中,可以采取根據(jù)每個(gè)數(shù)據(jù)庫的難易程度進(jìn)行隨機(jī)選擇的100幀當(dāng)前圖像的增量讀入的方式.當(dāng)?shù)谝淮巫x入第一個(gè)數(shù)據(jù)庫(相對(duì)來說簡單的數(shù)據(jù)庫,例如CDnet中Baseline的數(shù)據(jù)庫)隨機(jī)選擇的100幀圖像,然后輸入當(dāng)前圖像標(biāo)準(zhǔn)化后的圖像與高斯噪聲產(chǎn)生的標(biāo)簽集.當(dāng)?shù)诙巫x入第二個(gè)數(shù)據(jù)庫隨機(jī)選擇的100幀圖像時(shí),保留第一次訓(xùn)練數(shù)據(jù),以此類推,形成增量式訓(xùn)練.

我們在實(shí)驗(yàn)中發(fā)現(xiàn),改變生成器的高斯噪聲為混合高斯噪聲,并在生成器生成后再次進(jìn)行中值濾波后,作為判別器的輸入,效果是比原先要好.如果隨機(jī)化不足,確定性輸入噪聲可能導(dǎo)致整個(gè)生成器網(wǎng)絡(luò)的崩潰,因此,我們在網(wǎng)絡(luò)的每一層之間增加了高斯噪聲.對(duì)于所有實(shí)驗(yàn),我們將隨機(jī)梯度下降的批量大小設(shè)置為100.我們隨機(jī)選擇標(biāo)記示例的一個(gè)子集,并將其余部分用作未標(biāo)記的數(shù)據(jù)進(jìn)行訓(xùn)練.我們執(zhí)行這些實(shí)驗(yàn)5次,并記錄平均值和標(biāo)準(zhǔn)誤差,我們使用的恒定學(xué)習(xí)率,在本文實(shí)驗(yàn)中,設(shè)置為0.001.

具體的說,我們使用生成器網(wǎng)絡(luò)生成樣本,在層與層之間,使用方差為0.9,均值為0.1的高斯噪聲進(jìn)行增強(qiáng);除了輸出層外,其余每一層之后進(jìn)行批量標(biāo)準(zhǔn)化操作;對(duì)于判別器網(wǎng)絡(luò)來說,判別器網(wǎng)絡(luò)中的卷積層采用conv+batchNorm+leakyReLU的方案[29?30].我們使用最后一層為全連接層的6層卷積的網(wǎng)絡(luò),相似地,在層與層之間,使用方差為0.9,均值為0.05的高斯噪聲進(jìn)行增強(qiáng);在最后一層,進(jìn)行權(quán)重的標(biāo)準(zhǔn)化操作.

3 實(shí)驗(yàn)與結(jié)果分析

為驗(yàn)證本文所提出的方法,在Ubuntu 16平臺(tái)下,使用Python 3.X、TensorFlow環(huán)境,利用公開數(shù)據(jù)集CDnet2014的視頻序列進(jìn)行了實(shí)驗(yàn),并與其他的檢測方法 GMM-Stau fier[4]、GMMZivkovic[5]、LBSP(Background subtraction using local binary similarity patterns)[6]、IUTIS(In unity there Is strength)[7]、MBS[9]、FTSG[9]、LF-GMM[8]、 LFVBGM[8]、 ArunVarghese[31]、BMOG[10]、DeepBS[11]、ShareModel[12]、SSOBS[13]、WeSamBE[14]、Cascade CNN[32]進(jìn)行比較.

ChangeDetection.net(CDnet)數(shù)據(jù)集有2012和2014兩個(gè)版本,其中2014版本包含2012版本中所有的視頻數(shù)據(jù),本文的實(shí)驗(yàn)都是基于CDnet2014數(shù)據(jù)集.CDnet2014數(shù)據(jù)集具有11類挑戰(zhàn)性的場景,大約16萬幀視頻幀圖像,更重要的是它還給出了所有的視頻圖像中運(yùn)動(dòng)目標(biāo)區(qū)域精確分割的Ground-truth標(biāo)注.這非常便于我們將自己方法的檢測結(jié)果與Ground-truth進(jìn)行比較,從而定量地分析算法是否優(yōu)越.本文從精確率(Pr)和召回率(Re)以及F-measures三個(gè)評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行對(duì)本文算法與其他算法評(píng)價(jià).其中精確率(Pr)是針對(duì)預(yù)測結(jié)果而言的,它表示的是預(yù)測為正的樣本中有多少是真正的正樣本.召回率(Re)是針對(duì)原來的樣本而言的,它表示的是樣本中的正例有多少被預(yù)測正確了.TP表示將正類預(yù)測為正類數(shù)的數(shù)量,FN代表將正類預(yù)測為負(fù)類數(shù)的數(shù)量,FP代表將負(fù)類預(yù)測為正類數(shù)的數(shù)量,TN代表將負(fù)類預(yù)測為負(fù)類數(shù)的數(shù)量.F-measure指標(biāo)被定義為精確率和召回率的諧波平均值.精確率Pr、召回率Re以及F-measure的表達(dá)式分別為:

本文的算法是在每一個(gè)數(shù)據(jù)集中隨機(jī)選擇100幀作為訓(xùn)練集,其余作為測試集.訓(xùn)練參數(shù)學(xué)習(xí)率設(shè)置為η=0.001,訓(xùn)練輪數(shù)設(shè)置為epoch=300進(jìn)行實(shí)驗(yàn),動(dòng)量(參數(shù)移動(dòng)平均數(shù))設(shè)置為0.5,圖像批大小設(shè)置為batchsize=64.將訓(xùn)練集的圖像全部批處理為320×240,也就是把輸出圖像的高度設(shè)置為240,寬度設(shè)置為320.以CDnet中的office數(shù)據(jù)集為例,訓(xùn)練時(shí)的網(wǎng)絡(luò)損失函數(shù)如圖5所示.從圖5中可以看出來,最終的判別器總體loss在1左右波動(dòng),而判別器的真實(shí)樣本的損失函數(shù)(Discriminator real loss)和判別器的生成樣本的損失函數(shù)(Discriminator fake loss)幾乎在一條水平線上波動(dòng),這說明判別器最終對(duì)于真?zhèn)螆D像已經(jīng)沒有判別能力,而是進(jìn)行隨機(jī)判斷.

在測試階段,將經(jīng)過標(biāo)準(zhǔn)化的測試圖像作為生成網(wǎng)絡(luò)的輸入,生成網(wǎng)絡(luò)生成該圖像的背景減除結(jié)果并輸出.具體來說,以一幅圖像為例進(jìn)行說明,輸入一幅圖像后,將圖像的所有像素值標(biāo)準(zhǔn)化使其間隔于[0,1],作為生成器的輸入,經(jīng)過生成器網(wǎng)絡(luò)的運(yùn)算生成一幅背景減除的圖像.為了進(jìn)行快速的測試,我們將測試集的圖像全部批處理為320×240,然后作為訓(xùn)練好的網(wǎng)絡(luò)的輸入,進(jìn)行測試.最后得到提取出的前景目標(biāo)效果如圖6所示,測試時(shí)間大約為5幀/秒,基本滿足實(shí)時(shí)性測試的要求.

從圖6中,我們發(fā)現(xiàn)highway、badminton、boulevard、sidewalk、traffic、park、blizzard、street、fall等數(shù)據(jù)集的整體背景重建和背景減除效果較好,而busyBoulvard等數(shù)據(jù)集的某段視頻的背景重建和背景減除結(jié)果卻有較大的誤差.追根溯源,這是由于本文算法的背景減除結(jié)果質(zhì)量實(shí)質(zhì)上是由第一步的結(jié)果—背景重建決定的,生成對(duì)抗網(wǎng)絡(luò)受背景重建結(jié)果的影響.busyBoulvard數(shù)據(jù)集是夜晚燈光較暗時(shí)的情景,而在某段視頻中,由于采用的背景重建算法對(duì)這種情形缺乏敏感性,背景無法精確得到,所以處于黑暗中的物體容易被網(wǎng)絡(luò)認(rèn)為是動(dòng)態(tài)的目標(biāo).bridgeEntry數(shù)據(jù)集是在夜晚中大橋下車來車往的情景,路燈和車輛的車燈的燈光相互交叉,在某段視頻中,背景重建算法并不能分清楚哪些是路燈(真實(shí)背景),哪些是車的燈光(目標(biāo)),所以網(wǎng)絡(luò)把很多路燈的燈光錯(cuò)認(rèn)為目標(biāo).在abandonedBox和tramstop的某段視頻中,目標(biāo)分別為緩慢行駛中的電車和駐足在馬路的行人,因?yàn)橹亟ㄋ惴ㄕJ(rèn)為攝像頭是靜止的,所以網(wǎng)絡(luò)也認(rèn)為攝像頭是靜止的.因此,網(wǎng)絡(luò)分別作出電車和電車所在的道路、行人和行人所在的道路都是動(dòng)態(tài)目標(biāo)的結(jié)果.可見,本文這種采用生成對(duì)抗網(wǎng)絡(luò)的算法無法突破訓(xùn)練圖像的限制,而本文背景訓(xùn)練圖像的來源是背景重建算法的結(jié)果,所以本文生成對(duì)抗網(wǎng)絡(luò)無法擺脫重建算法的影響.

圖5 以office訓(xùn)練時(shí)的貝葉斯生成對(duì)抗網(wǎng)絡(luò)損失函數(shù)圖Fig.5 The loss function of the Bayesian generative adversarial networks trained base on the office datasets

圖6 背景重建與背景減除結(jié)果圖Fig.6 The results of the background reconstruction and background subtraction

圖7中highway為在高速路上的車流,大多數(shù)算法都能準(zhǔn)確進(jìn)行背景減除;圖7中badminton為人們在網(wǎng)球場練習(xí)網(wǎng)球,多數(shù)算法對(duì)于前景中最近的人做不到準(zhǔn)確判斷,而本算法明顯優(yōu)于其他算法,這說明,本文算法具有較強(qiáng)的場景適應(yīng)的能力;圖7中boulevard為林蔭大道中有車流和人流的情形,可以看出本算法和WeSamBE對(duì)于這種復(fù)雜情形干擾較少,因此可以準(zhǔn)確進(jìn)行背景減除.圖7中sidewalk是夕陽西下時(shí)人行道的情況,光線較暖,車輛經(jīng)過時(shí),反光不強(qiáng)烈,從結(jié)果可以看出本算法與LFVBGM優(yōu)于其他算法,這說明,本文算法具有較強(qiáng)的場景適應(yīng)的能力.圖7中street為光照發(fā)生突變的情況.在夜景中車輛由黑暗處駛來,此時(shí)由圖7中結(jié)果可以看出,其他方法將大部分場景尤其是汽車前燈區(qū)域誤檢測為背景,而文中方法檢測結(jié)果基本正確,效果明顯好于其他方法結(jié)果,這說明,本文算法整體具有魯棒性好,有著較強(qiáng)的場景適應(yīng)的能力;圖7中fall為非靜止背景的情況,樹葉、樹枝一直在搖晃,當(dāng)運(yùn)動(dòng)目標(biāo)出現(xiàn)在視頻中時(shí),由圖7結(jié)果可以看出,其他方法檢測結(jié)果中都存在將搖曳的樹枝誤檢測為前景點(diǎn),而本文方法檢測結(jié)果雖然沒有區(qū)分得足夠清晰,但是基本沒有受到非靜止背景的干擾,整體效果優(yōu)于其他方法.這說明,整體上本文算法具有魯棒性好,有著較強(qiáng)的場景適應(yīng)的能力;圖7中traffic為偶然抖動(dòng)的相機(jī)拍攝運(yùn)動(dòng)目標(biāo)的情況,其他方法檢測結(jié)果中明顯將背景顯露區(qū)誤判為前景出現(xiàn)了鬼影,LFVBGM 方法雖然判別出了因抖動(dòng)出現(xiàn)的的情況但是依然沒有徹底消除,而本文方法檢測結(jié)果稍微有一些拖影,但是將背景誤認(rèn)做目標(biāo)的情況,整體效果好于其他方法,這說明,本文算法具有較強(qiáng)的場景適應(yīng)的能力.因此,從測試結(jié)果和對(duì)比結(jié)果整體來看,算法具有魯棒性高、對(duì)場景變化適應(yīng)能力強(qiáng)的優(yōu)點(diǎn).

從召回率對(duì)比來看,根據(jù)表1可知,本文的檢測算法相比其他檢測方案在不同場景下,在baseline系列數(shù)據(jù)集中,本文算法比Cascade CNN算法低0.8%,排在第二位;在Shadow系列數(shù)據(jù)集中,本文算法比Cascade CNN算法低5.2%,排在第二位;在Low frame-rate系列數(shù)據(jù)集,Bad weather系列數(shù)據(jù)集,Air turbulence數(shù)據(jù)集中都不同程度地略小于Cascade CNN算法,排第二位;從Average可以看出,本文的檢測方案所對(duì)應(yīng)的召回率排在第二位,在不同檢測方法僅次于Cascade CNN算法,略遜于0.2%.總體而言,本文提出的檢測方法在眾多檢測算法中整體效果表現(xiàn)優(yōu)秀.另外,本文算法在Shadow、Inter.ob.motion、Dynamic background數(shù)據(jù)庫上的召回率的平均值是所有算法中最高的,這說明本文算法在解決光照漸變和突變、非靜止背景以及鬼影等問題是優(yōu)秀的.

圖7 背景減法算法結(jié)果對(duì)比圖Fig.7 Background subtraction algorithm results in comparison

從精準(zhǔn)率對(duì)比來看,根據(jù)表2可知,本文的檢測算法相比其他檢測方案在不同場景下,在Inter.ob.motion系列數(shù)據(jù)集中,本文算法比Cascade CNN算法算法低4.0%,排在第二位;在Low frame-rate系列數(shù)據(jù)集中,本文算法比We-SamBE算法低7.5%,差距較大,排在第二位;在其他的系列數(shù)據(jù)集中,本文算法優(yōu)于其他算法;從Average可以看出,本文的檢測方案所對(duì)應(yīng)的精確率排在第一位,在不同檢測方法中是最優(yōu)的,OURS相比排在第二位Cascade CNN算法,精確率提升了2.1%.總體而言,本文提出的檢測方法在眾多檢測算法中整體效果為優(yōu).另外,本文算法在 Shadow、Inter.ob.motion、Dynamic background數(shù)據(jù)庫上的精準(zhǔn)率的平均值是所有算法中最高的,這說明本文算法在解決光照漸變和突變、非靜止背景以及鬼影等問題是優(yōu)秀的.

從F-measure來看,根據(jù)表3可知,本文的檢測算法相比其他檢測方案在不同場景下,在Thermal系列數(shù)據(jù)集中,本文算法比Cascade CNN算法低0.1%,排在第二位;在Air turbulence系列數(shù)據(jù)集中,本文算法比Cascade CNN算法低0.1%,排在第二位;從Average看,OURS的F-measure在所有檢測方案中是數(shù)值最高的,比排在第二的Cascade CNN算法升高了2.2%,檢測性能略提升.另外,在 Shadow、Inter.ob.motion、Dynamic background數(shù)據(jù)庫上,比第二位的Cascade CNN算法分別高12.5%、1.5%和1.1%.這表明本文算法在解決光照漸變和突變、非靜止背景以及鬼影等問題是優(yōu)秀的.因此總體來說,本文提出的算法具有魯棒性高、對(duì)場景變化適應(yīng)能力強(qiáng)的優(yōu)點(diǎn),并且在解決光照漸變和突變、非靜止背景以及鬼影等問題有較好的背景減除作用.

表1 不同檢測算法的召回率對(duì)比Table 1 The recall rate of different detection algorithms are compared

表2 不同檢測算法的精確率對(duì)比Table 2 The precision rate of different detection algorithms are compared

表3 不同檢測算法的F-measureTable 3 F-measure of different detection algorithms

4 結(jié)論

本文提出了一種基于貝葉斯生成對(duì)抗網(wǎng)絡(luò)的背景消減算法.實(shí)驗(yàn)結(jié)果表明本文的算法在絕大多數(shù)情景下,算法效果好于其他算法.可見,本文算法具有魯棒性高、對(duì)場景變化適應(yīng)能力強(qiáng)等優(yōu)點(diǎn).但算法由于依賴于現(xiàn)有背景重建算法的結(jié)果,所以本文算法有著無法突破背景重建算法提供的背景圖像的局限性.另外,算法也不能夠滿足實(shí)時(shí)增量訓(xùn)練的需求.在未來的研究中,我們一方面考慮與基于貝葉斯理論的背景重建算法相結(jié)合,擺脫對(duì)現(xiàn)有算法重建結(jié)果的依賴,另一方面將要研究如何在并行化平臺(tái)[33]下進(jìn)行算法重構(gòu).

1 Wang K F,Liu Y Q,Gou C,Wang F Y.A multi-view learning approach to foreground detection for traffic surveillance applications.IEEE Transactions on Vehicular Technology,2016,65(6):4144?4158

2 Liu Y Q,Wang K F,Shen D Y.Visual tracking based on dynamic coupled conditional random field model.IEEE Transactions on Intelligent Transportation Systems,2016,17(3):822?833

3 Zhang Hui,Wang Kun-Feng,Wang Fei-Yue.Advances and perspectives on applications of deep learning in visual object detection.Acta Automatica Sinica,2017,43(8):1289?1305(張慧,王坤峰,王飛躍.深度學(xué)習(xí)在目標(biāo)視覺檢測中的應(yīng)用進(jìn)展與展望.自動(dòng)化學(xué)報(bào),2017,43(8):1289?1305)

4 Stauffer C,Grimson W E L.Adaptive background mixture models for real-time tracking.In:Proceedings of the 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR).Fort Collins,CO,USA:IEEE,1999.252

5 Zivkovic Z.Improved adaptive Gaussian mixture model for background subtraction.In:Proceedings of the 17th International Conference on Pattern Recognition(ICPR).Cambridge,UK:IEEE,2004.28?31

6 St-Charles P L,Bilodeau G A.Improving background subtraction using local binary similarity patterns.In:Proceedings of the 2014 IEEE Winter Conference on Applications of Computer Vision(WACV).Steamboat Springs,CO,USA:IEEE,2014.509?515

7 Fan J J,Xin Y Z,Dai F L,Hu B,Zhang J Q,Lu Q Y,et al.Distributed multi-camera object tracking with Bayesian Inference.In:Proceedings of the 2011 IEEE International Symposium on Circuits and Systems(ISCAS).Rio de Janeiro,Brazil:IEEE,2011.357?360

8 Yan J H,Wang S F,Xie T X,Yang Y,Wang J Y.Variational Bayesian learning for background subtraction based on local fusion feature.IET Computer Vision,2016,10(8):884?893

9 Wang Y,Jodoin P M,Porikli F,Konrad J,Benezeth Y,Ishwar P.CDnet 2014:an expanded change detection benchmark dataset.In:Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops(CVPRW).Columbus,OH,USA:IEEE,2014.393?400

10 Martins I,Carvalho P,Corte-Real L,Alba-Castro J L.BMOG:boosted Gaussian mixture model with controlled complexity.In:Pattern Recognition and Image Analysis.Faro,Portugal:Springer,2017.50?57

11 Sehairi K,Chouireb F,Meunier J.Comparative study of motion detection methods for video surveillance systems.Journal of Electronic Imaging,2017,26(2):023025

12 Chen Y Y,Wang J Q,Lu H Q.Learning sharable models for robust background subtraction.In:Proceedings of the 2015 IEEE International Conference on Multimedia and Expo(ICME).Turin,Italy:IEEE,2015.1?6

13 JiangS Q,Lu X B.WeSamBE:aweight-samplebased method for background subtraction.IEEE Transactions on Circuits and Systems for Video Technology,https://ieeexplore.ieee.org/document/7938679/

14 Babaee M,Dinh D T,Rigoll G.A deep convolutional neural network for video sequence background subtraction.Pattern Recognition,2018,76:635?649

15 Saatchi Y,Wilson A G.Bayesian GAN.arXiv:1705.09558,2017

16 Li Li,Lin Yi-Lun,Cao Dong-Pu,Zheng Nan-Ning,Wang Fei-Yue.Parallel learning—a new framework for machine learning.Acta Automatica Sinica,2017,43(1):1?8(李力,林懿倫,曹東璞,鄭南寧,王飛躍.平行學(xué)習(xí)—機(jī)器學(xué)習(xí)的一個(gè)新型理論框架.自動(dòng)化學(xué)報(bào),2017,43(1):1?8)

17 Wang F Y,Wang X,Li L X,Li L.Steps toward parallel intelligence.IEEE/CAA Journal of Automatica Sinica,2016,3(4):345?348

18 Wang Kun-Feng,Gou Chao,Duan Yan-Jie,Lin Yi-Lun,Zheng Xin-Hu,Wang Fei-Yue.Generative adversarial networks:the state of the art and beyond.Acta Automatica Sinica,2017,43(3):321?332(王坤峰,茍超,段艷杰,林懿倫,鄭心湖,王飛躍.生成式對(duì)抗網(wǎng)絡(luò)GAN的研究進(jìn)展與展望.自動(dòng)化學(xué)報(bào),2017,43(3):321?332)

19 Wang K F,Gou C,Duan Y J,Lin Y L,Zheng X H,Wang F Y.Generative adversarial networks:introduction and outlook.IEEE/CAA Journal of Automatica Sinica,2017,4(4):588?598

20 Goodfellow I J,Pouget-Abadie J,Mirza M,Xu B,Warde-Farley D,Ozair S,et al.Generative adversarial networks.arXiv:1406.2661,2014

21 Wang Kun-Feng,Lu Yue,Wang Yu-Tong,Xiong Zi-Wei,Wang Fei-Yue.Parallel imaging:a new theoretical framework for image generation.Pattern Recognition and Arti ficial Intelligence,2017,30(7):577?587(王坤峰,魯越,王雨桐,熊子威,王飛躍.平行圖像:圖像生成的一個(gè)新型理論框架.模式識(shí)別與人工智能,2017,30(7):577?587)

22 Wang Kun-Feng,Gou Chao,Wang Fei-Yue.Parallel vision:an ACP-based approach to intelligent vision computing.Acta Automatica Sinica,2016,42(10):1490?1500(王坤峰,茍超,王飛躍.平行視覺:基于ACP的智能視覺計(jì)算方法.自動(dòng)化學(xué)報(bào),2016,42(10):1490?1500)

23 Wang K F,Gou C,Zheng N N,Rehg J M,Wang F Y.Parallel vision for perception and understanding of complex scenes:methods,framework,and perspectives.Arti ficial Intelligence Review,2017,48(3):299?329

24 Laugraud B,Piérard S,Braham M,Van Droogenbroeck M.Simple median-based method for stationary background generation using background subtraction algorithms.In:New Trends in Image Analysis and Processing.Italy:Springer,2015.477?484

25 Braham M,van Droogenbroeck M.Deep background subtraction with scene-speci fic convolutional neural networks.In:Proceedings of the 2016 International Conference on Systems,Signals and Image Processing.Bratislava,Slovakia:IEEE,2016.1?4

26 Zhao J,Meng D Y.FastMMD:ensemble of circular discrepancy for efficient two-sample test.Neural Computation,2015,27(6):1345?1372

27 Gangeh M J,Sadeghi-Naini A,Diu M,Tadayyon H,Kamel M S,Czarnota G J.Categorizing extent of tumor cell death response to cancer therapy using quantitative ultrasound spectroscopy and maximum mean discrepancy.IEEE Transactions on Medical Imaging,2014,33(6):1390?1400

28 He K M,Sun J.Convolutional neural networks at constrained time cost.In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Boston,MA,USA:IEEE,2015.5353?5360

29 Salimans T,Goodfellow I,Zaremba W,Cheung V,Radford A,Chen X.Improved techniques for training GANs.arXiv:1606.03498,2016

30 GulrajaniI,Ahmed F,Arjovsky M,Dumoulin V,Courville A.Improved training of Wasserstein GANs.arXiv:1704.00028,2017

31 Varghese A,Sreelekha G.Sample-based integrated background subtraction and shadow detection.IPSJ Transactions on Computer Vision and Applications,2017,9:25

32 Wang Y,Luo Z M,Jodoin P M.Interactive deep learning method for segmenting moving objects.Pattern Recognition Letters,2017,96:66?75

33 Bai Tian-Xiang,Wang Shuai,Shen Zhen,Cao Dong-Pu,Zheng Nan-Ning,Wang Fei-Yue.Parallel robotics and parallel unmanned systems:framework,structure,process,platform and applications.Acta Automatica Sinica,2017,43(2):161?175(白天翔,王帥,沈震,曹東璞,鄭南寧,王飛躍.平行機(jī)器人與平行無人系統(tǒng):框架、結(jié)構(gòu)、過程、平臺(tái)及其應(yīng)用.自動(dòng)化學(xué)報(bào),2017,43(2):161?175)