基于時空顯著性檢測的3D視頻生成方法

蔡 凱，李新福，田學(xué)東

(河北大學(xué)網(wǎng)絡(luò)空間安全與計(jì)算機(jī)學(xué)院，保定 071000)

近年來，得益于計(jì)算機(jī)和影視科技的蓬勃發(fā)展，3D技術(shù)已經(jīng)應(yīng)用到人類日常生活中，如醫(yī)療[1]、電影[2]和無人駕駛[3]等領(lǐng)域。

目前，有兩種主流的3D內(nèi)容生成方法：一是研究人員使用電腦成像工具和同步相機(jī)生成3D圖像或視頻，但這種方法不僅費(fèi)時，而且價格昂貴；二是通過使用深度圖(depth map)生成3D內(nèi)容，這種方法可以分為人工法、半自動法和全自動法。人工法是通過人工手動為圖像/視頻分配深度值，使用這種方法所生成的3D內(nèi)容質(zhì)量最高，但是所耗費(fèi)的精力和財(cái)力都遠(yuǎn)超其他方法[4]。半自動法是通過人工干預(yù)計(jì)算機(jī)進(jìn)行2D-3D轉(zhuǎn)換，這種方法比人工法更具效率，但是同樣需要額外的人工和時間開銷[5]。全自動法需要少量或完全不需要人工干預(yù)就能生成3D內(nèi)容，全程由計(jì)算機(jī)負(fù)責(zé)，這樣不僅提高了速度，而且可以節(jié)省很多資源[6]。

為了更好地將2D-3D轉(zhuǎn)換技術(shù)應(yīng)用到日常生活當(dāng)中，研究人員在基于深度圖的全自動轉(zhuǎn)換方法上投入了大量的精力，但是，最重要的深度圖獲取問題依然沒有解決，因?yàn)樵谀承﹫鼍爸蝎@取深度線索非常困難，甚至是不可能的。例如，在復(fù)雜場景中，由于圖像中夾雜著大量的合成部分和文本信息，這些信息相較于自然場景更難以獲得深度，因此為極其復(fù)雜的圖像分配深度值是十分困難的。

近年來，隨著深度學(xué)習(xí)的興起，研究人員使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)生成深度圖[7-9]。周武杰等[7]為了利用不同尺度的深度信息，使用殘差網(wǎng)絡(luò)進(jìn)行深度圖估計(jì)；Im等[8]使用融合了幾何變換的殘差光流計(jì)算深度圖，以解決在低亮度條件下深度圖像獲取不準(zhǔn)確的問題；Zhou等[9]提出一種使用三維幾何約束的無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)，擺脫了對真實(shí)深度值和相對運(yùn)動變化的依賴；文獻(xiàn)[10]并沒有使用深度圖生成3D內(nèi)容，而是在輸入一張圖像并將其作為左眼圖像后，通過CNN直接學(xué)習(xí)和預(yù)測另一幅圖作為右眼圖像。雖然在引入深度學(xué)習(xí)方法后預(yù)測精度相較于此前有所提高，但是沒有充分利用光流場等信息的方法依然無法生成高質(zhì)量的深度圖，而在模型中融合了光流信息的方法對硬件要求較高，并且十分耗時。

為了避開在生成3D內(nèi)容時深度圖獲取困難的問題，使用顯著性檢測進(jìn)行2D-3D轉(zhuǎn)換。顯著性檢測的任務(wù)是在一副圖像中檢測出最引人注意的目標(biāo)/區(qū)域，這種機(jī)制可以為基于視覺信息的處理任務(wù)提供很大幫助。因此，可以利用顯著性檢測的性質(zhì)與特點(diǎn)，將顯著圖作為另一種深度圖進(jìn)行2D-3D轉(zhuǎn)換，使顯著性高的物體更靠近觀察者，令人不感興趣的物體遠(yuǎn)離觀察者。雖然已有研究者[11]嘗試過將視覺注意力模型應(yīng)用到2D-3D轉(zhuǎn)換當(dāng)中，但是研究人員只說明了這種方法的可行性，并沒有更進(jìn)一步完善研究方法。為此，使用深度學(xué)習(xí)方法進(jìn)行顯著性檢測來提高性能，并在模型中融入時間信息，使本文方法更適用于動態(tài)3D內(nèi)容生成。在預(yù)測顯著圖的過程中，模型為每一幀使用多尺度空洞卷積進(jìn)行空間特征提取，并且在對時間序列分析時使用了改進(jìn)的雙向ConvLSTM(refine bidirectional convolutional long short-term memory，RB-ConvLSTM)，該模塊并沒有包含費(fèi)時的光流檢測等模塊，因此在運(yùn)行效率上也可以得到保證。

1 基本原理

使用顯著性檢測進(jìn)行2D-3D轉(zhuǎn)換的基本流程如圖1所示。主要側(cè)重點(diǎn)在于生成有利于進(jìn)行3D視頻生成的顯著圖，因此視差計(jì)算和3D圖像繪制的具體實(shí)現(xiàn)可以參考文獻(xiàn)[11-13]。

圖1 2D-3D轉(zhuǎn)換流程

1.1 顯著性檢測

1.1.1 結(jié)構(gòu)總覽

使用一種空洞卷積和卷積長短期記憶單元相結(jié)合的方法進(jìn)行顯著性目標(biāo)檢測(圖2)。整體模型主要分為兩部分；第一部分通過空洞卷積在多尺度下進(jìn)行空間特征提取，其作用是在不易丟失細(xì)節(jié)的情況下融合全局和局部特征；第二部分為改進(jìn)的雙向ConvLSTM模塊，ConvLSTM作為基本LSTM的增強(qiáng)變體，可以在視頻幀中同時提取時空信息，在ConvLSTM的基礎(chǔ)上融入了正序和倒序兩個方向的信息以進(jìn)一步提高模型的特征抽象能力。

圖2 網(wǎng)絡(luò)框架總覽

1.1.2 空間特征提取

在典型的卷積神經(jīng)網(wǎng)絡(luò)中，模型是由一組帶有非線性激活函數(shù)的卷積層和池化層構(gòu)成。雖然池化層可以有效地增大感受野，但是對像素級預(yù)測任務(wù)來說，使用池化層進(jìn)行下采樣會造成細(xì)節(jié)信息丟失，甚至?xí)?dǎo)致目標(biāo)較小的物體無法重建。最近，研究人員通過使用空洞卷積[14-15]作為替代品進(jìn)行特征提取，這種方法在任何尺度下計(jì)算特征時都不易造成細(xì)節(jié)丟失，原因是使用空洞卷積進(jìn)行計(jì)算時不需要池化層便能增大感受野，讓每個卷積輸出都包含較大范圍的信息。

多尺度特征提取方法是CNN中常用的提高模型精度的手段。由文獻(xiàn)[16-17]可知，多尺度自然信息對顯著性檢測至關(guān)重要。因此，決定使用一種金字塔空洞卷積結(jié)構(gòu)對視頻幀進(jìn)行空間特征提取。這種結(jié)構(gòu)通過使用不同空洞率的空洞卷積核提取不同尺度的空間特征，然后將這些特征圖連接起來并輸出最終的空間特征圖。

Fl=Cl?T

(1)

式(1)中：?表示空洞卷積操作。

由式(1)可以看出，在T保持不變的情況下，輸出特征圖只與空洞卷積核的尺寸和空洞率有關(guān)。雖然每一幅輸出特征圖的大小都是相同的，但是由于空洞率的不同，感受野的大小也各不相同，甚至有時感受野的大小會超過輸入圖像，這就像在不同的距離觀察圖像一樣，距離過遠(yuǎn)或過近都不會看到物體的全部信息，只有從合適的距離和背景下才能得到有效的顯著性物體/區(qū)域。

P=[F1,F2,…,Fl]

(2)

式(2)中：[,]代表連接操作；P為進(jìn)行連接操作后得到的特征圖。

文獻(xiàn)[18]研究發(fā)現(xiàn)深度網(wǎng)絡(luò)中存在一種退化問題，并通過深度殘差框架來解決了這一問題。深度殘差框架也同樣適用于本文模型，因此也將源輸入特征圖T加入到了連接操作當(dāng)中，即

P=[T,F1,F2,…,Fl]

(3)

1.1.3 時空特征提取

ConvLSTM對比傳統(tǒng)的LSTM[20]，在計(jì)算過程中添加了卷積操作，使得網(wǎng)絡(luò)模型在提取空間特征的同時又保存了時間信息，因此ConvLSTM在許多需要利用時空信息的任務(wù)中扮演著重要的角色[21-22]。ConvLSTM主要由四部分組成：記憶細(xì)胞ct、輸入門it、輸出門ot和遺忘門ft。ct是一種狀態(tài)累加器，由其他三部分it、ot和ft控制。當(dāng)輸入門處于打開狀態(tài)時，輸入的新數(shù)據(jù)就會累加入ct。同理，當(dāng)遺忘門被激活時，過去的細(xì)胞狀態(tài)ct-1就會被丟棄。最終的隱層狀態(tài)Ht-1是否會被當(dāng)前細(xì)胞狀態(tài)影響取決于輸出門ot。由上所述，ConvLSTM可以表示為

(4)

式(4)中：⊙表示卷積操作；*表示矩陣哈達(dá)馬乘積；σ(·)表示sigmoid激活函數(shù)。

(5)

式(5)中：Hf和Hb表示前向和后向ConvLSTM的隱層狀態(tài)；Yt表示在融合了雙向的時空信息之后所輸出的最終顯著圖；tanh(·)表示tanh激活函數(shù)。

為了提取出更為有效的時空信息，RB-ConvLSTM采用空洞卷積代替?zhèn)鹘y(tǒng)的卷積操作進(jìn)行多尺度特征提取，這樣時空特征提取模塊的名稱就可以叫做改進(jìn)的雙向ConvLSTM(RB-ConvLSTM)。采用兩組RB-ConvLSTM模塊用于在不同尺度下進(jìn)行特征提取。在RB-ConvLSTM中，使用?替換在式(4)中所使用的⊙運(yùn)算符以表示空洞卷積操作，并且在不同的RB-ConvLSTM模塊中使用不同的空洞率，以便模型在不同大小的感受野下提取最適合任務(wù)的特征。時空特征提取模塊結(jié)構(gòu)圖如圖3所示。

P表示由空間特征提取模塊輸出的特征圖；Y表示經(jīng)過雙向ConvLSTM單元后連接而成的輸出圖

1.2 使用顯著圖進(jìn)行2D-3D轉(zhuǎn)換

在使用顯著圖進(jìn)行2D-3D轉(zhuǎn)換時，視差計(jì)算和基于顯著圖的圖像繪制與基于深度圖的方法的計(jì)算步驟基本相同，這是因?yàn)殡m然顯著性檢測和深度圖預(yù)測是兩個不同的領(lǐng)域，但是由這兩種方法所生成的預(yù)測圖(顯著圖和深度圖)在圖像屬性上是相同的，即亮度為0～255的灰度圖像，并且在文獻(xiàn)[11]中已經(jīng)證明了顯著圖用于2D-3D轉(zhuǎn)換的可行性。需要說明的是，基于深度圖的2D-3D轉(zhuǎn)換方法是根據(jù)物體/區(qū)域距離攝像鏡頭的遠(yuǎn)近生成3D內(nèi)容，而基于顯著圖的方法則是根據(jù)人眼對目標(biāo)/區(qū)域感興趣與否進(jìn)行2D-3D轉(zhuǎn)換。

在進(jìn)行視差計(jì)算時，本文方法與傳統(tǒng)方法差別不大。令圖中像素點(diǎn)在(x,y)處的視差值為R(x,y)，則：

(6)

2 實(shí)驗(yàn)

2.1 網(wǎng)絡(luò)實(shí)現(xiàn)及訓(xùn)練細(xì)節(jié)

2.1.1 實(shí)現(xiàn)細(xì)節(jié)

在實(shí)驗(yàn)中，模型使用文獻(xiàn)[23]中的前5個卷積層作為基礎(chǔ)網(wǎng)絡(luò)，并在訓(xùn)練過程中對其進(jìn)行微調(diào)以適應(yīng)本次任務(wù)。每輸入一張尺寸為473×473的視頻幀S，基礎(chǔ)網(wǎng)絡(luò)就會輸出一張?zhí)卣鲌DT?R60×60×2 048，隨后將T輸送至下一模塊進(jìn)行空間特征提取。

RB-ConvLSTM的任務(wù)是從P中提取時空信息。兩組并聯(lián)的RB-ConvLSTM在兩個尺度下對P進(jìn)行特征提取，兩組的空洞率分別為1和2。值得注意的是，空洞率為1的卷積核沒有“洞”，可將其視為普通的卷積核。每一幀經(jīng)過兩組并聯(lián)的RB-ConvLSTM的計(jì)算后連接得到尺寸為60×60×64的特征圖，之后由一個1×1×1的卷積操作和sigmod函數(shù)激活后得到最終的顯著圖，最后通過上采樣將顯著圖恢復(fù)至與原視頻幀相同的尺寸。

2.1.2 訓(xùn)練細(xì)節(jié)

在本次實(shí)驗(yàn)中，網(wǎng)絡(luò)訓(xùn)練被分為三步。首先，使用一個靜態(tài)圖像顯著性檢測數(shù)據(jù)集MSRA10K[24]和一個視頻顯著性數(shù)據(jù)集DAVIS[25]訓(xùn)練空間特征部分，通過隨機(jī)梯度下降(stochastic gradient descent，SGD)算法優(yōu)化網(wǎng)絡(luò)，學(xué)習(xí)率設(shè)為1×10-8。隨后將時空特征部分的學(xué)習(xí)率設(shè)置為1×10-6，再次利用上述兩個數(shù)據(jù)集訓(xùn)練整個模型。最后，固定空間特征部分的參數(shù)值使其保持不變，然后利用DAVIS對時空特征部分進(jìn)行微調(diào)，學(xué)習(xí)率為1×10-6。實(shí)驗(yàn)所用的編程語言為Python，深度學(xué)習(xí)框架為Caffe toolbox。訓(xùn)練中動量和權(quán)重衰減率分別為0.9和5×10-4，視頻幀批量大小為5。

2.2 數(shù)據(jù)集及評價方法

2.2.1 數(shù)據(jù)集

對比實(shí)驗(yàn)采用的數(shù)據(jù)集為DAVIS和FBMS[26]，DAVIS中包含了50個高質(zhì)量、具有挑戰(zhàn)性的視頻序列，這些視頻序列總共由3 455個視頻幀組成，并且每一個視頻幀都有一張與之相對應(yīng)的真值圖G。使用其中的30個視頻、共計(jì)2 079個視頻幀作為訓(xùn)練集，其余的20個視頻作為測試集。FBMS數(shù)據(jù)集由59個正常拍攝的視頻組成，使用其中29組視頻序列訓(xùn)練模型，將另外30組用于測試。

2.2.2 評價方法

在評價顯著性檢測模型的表現(xiàn)時，有三種應(yīng)用廣泛的度量標(biāo)準(zhǔn)，即精度-召回率曲線、F度量(F-measure)和平均絕對誤差(mean absolute error，MAE)。在精度-召回率曲線中，精度表示預(yù)測正確的顯著性像素所占的百分比，召回率表示真值圖中顯著性像素被正確預(yù)測的比例。F度量被用于衡量模型的總體表現(xiàn)，模型的F度量值越高，性能越好。

(7)

式(7)中：ωβ為以β為權(quán)重參數(shù)的F度量值；Aprecision和Arecall分別表示精度和召回率。根據(jù)文獻(xiàn)[27]將β值設(shè)置為0.3，原因是人們認(rèn)為精度比召回率更重要。MAE表示預(yù)測圖與真值圖絕對誤差，系統(tǒng)的MAE值越低，表現(xiàn)越優(yōu)。

(8)

2.3 實(shí)驗(yàn)結(jié)果比較與分析

使用DSS[28]和FCNS[29]作為實(shí)驗(yàn)對比對象。DSS是一種靜態(tài)圖像顯著性檢測網(wǎng)絡(luò)模型，該模型中使用嵌套邊緣檢測器(holistically-nested edge detector，HED)提取物體/區(qū)域邊緣，并在HED中加入了短連接以便提取多尺度特征。FCNS采取了一種聯(lián)立兩個全卷積網(wǎng)絡(luò)(fully convolutional neural network，F(xiàn)CN)的策略進(jìn)行視頻顯著性檢測，其中一個FCN用于空間特征提取，相應(yīng)的，時間特征提取的任務(wù)便由另外一個FCN承擔(dān)。在表1、圖4中給出了對比實(shí)驗(yàn)的數(shù)據(jù)結(jié)果。

表1 不同算法在兩種數(shù)據(jù)集上的量化分析

從表1可以看出，無論在DAVIS還是FBMS中，本文方法在F度量和MAE上都領(lǐng)先于其他兩種模型。通過觀察圖4可以發(fā)現(xiàn)，本文方法的曲線在大部分情況下都位于另外兩條曲線的上方，由此也可以說明本文方法有更好的預(yù)測能力。值得一提的是，DSS作為靜態(tài)圖顯著性模型，在FBMS數(shù)據(jù)集上的定量評價要優(yōu)于FCNS。

圖4 不同算法在DAVIS和FBMS上的精度-召回率曲線

圖5列出了在測試集中本文方法、FCNS、DSS這3種方法的部分視覺效果對比圖。從圖5可以發(fā)現(xiàn)，由本文方法生成的顯著圖擁有更好的視覺效果，這種效果在進(jìn)行2D-3D轉(zhuǎn)換時是至關(guān)重要的，并且從效果圖中也可以看出本文方法在處理低對比度和多細(xì)節(jié)場景時具有很好的表現(xiàn)力。

圖5 不同算法生成的顯著圖的視覺效果對比

圖6展示了由本文方法在DAVIS數(shù)據(jù)集上生成的3D視覺效果圖。從圖6可以看出，在顯著性較高的區(qū)域/物體上有良好的3D視覺效果，說明本文方法在生成3D視頻時具有可行性。

圖6 紅-藍(lán)3D內(nèi)容

3 結(jié)論

(1)本算法在生成3D視頻時，使用顯著圖代替深度圖進(jìn)行視差計(jì)算和3D圖像繪制，從而避開了在傳統(tǒng)轉(zhuǎn)換方法中深度圖生成難的問題。

(2)在顯著性檢測模型中運(yùn)用了深度學(xué)習(xí)的方法，這種方法可以從圖像中自動提取特征，此能力是傳統(tǒng)顯著性檢測方法所不具備的。在模型的空間特征提取模塊中應(yīng)用了多尺度空洞卷積，這對增強(qiáng)網(wǎng)絡(luò)模型的細(xì)節(jié)保存能力起到了重要的作用。在模型中還融合了時間信息提取模塊，這樣做可以使生成的3D視頻擁有更流暢的視覺效果。實(shí)驗(yàn)表明本文算法在低對比度和多細(xì)節(jié)場景中表現(xiàn)良好，并且在兩個數(shù)據(jù)集的定量分析中優(yōu)于另外兩個知名算法，所產(chǎn)生的3D內(nèi)容也具有令人舒適的視覺效果，論證了將視頻顯著性檢測應(yīng)用于3D視頻生成的可行性。

(3)由于模型比較復(fù)雜，在低配置設(shè)備上進(jìn)行訓(xùn)練和測試相對困難，因此在以后的工作中將致力于在精簡模型的同時保證性能，以提高應(yīng)用的廣泛性。