基于上下文感知跨層特征融合的光場圖像顯著性檢測

鄧慧萍 曹召洋 向 森 吳 謹

(武漢科技大學信息科學與工程學院 武漢 430081)(武漢科技大學冶金自動化與檢測技術教育部工程研究中心 武漢 430081)

1 引言

顯著性目標檢測是一項旨在分割最吸引人注意力目標的任務[1]。它在學習人類視覺機制和各種計算機視覺應用中起重要作用，準確有效的顯著性檢測可以為視覺跟蹤[2]、目標檢測與識別[3]等任務提供可靠的先驗信息。顯著對象與圖像結構、上下文信息和對象語義含義等方面相關，準確檢測出顯著對象具有挑戰性。早期顯著性檢測方法主要依靠顏色、紋理和對比度等先驗知識來獲取顯著對象的局部和全局信息。然而，這些基于啟發式的方法在前/背景相似的挑戰性場景中捕獲對象的高級上下文信息的能力有限，難以獲取完整和邊界清晰的特征圖。

隨著光場相機的發展以及LFSD[4], HFUT[5],DUTMV[6], DUT-LF[7]等各種光場基準數據集引入，光場數據除了提供上下文信息的全聚焦圖像外，還提供焦點堆棧、多視圖圖像和深度圖。光場顯著性檢測將全聚焦圖像和焦點堆棧作為輸入，不增加網絡的復雜性，借助聚焦區域線索，為顯著性檢測提供了顏色、紋理、空間布局以及聚焦度信息，從而在前/背景相似的復雜場景中能更完整地檢測出顯著目標。此外，隨著深度學習卷積神經網絡(CNN)的發展，在一定程度上提升了光場顯著性檢測的精度。

盡管基于深度學習的光場圖像顯著性檢測方法有著特殊優勢，但目前仍面臨巨大挑戰。首先，由于不同卷積層的感受野不同，高低層特征具有不同的特征分布，導致不同的卷積層產生的特征之間存在著較大的差異。常見的直接添加或拼接等特征融合策略[7,8]，僅利用了特征映射的線性組合，忽略了特征間的差異，往往會導致有用特征被淹沒或丟失，傳播背景噪聲進而降低檢測性能。Dai等人[9]提出一種基于注意力特征融合方案，解決了融合不同尺度特征時出現的問題。通過分析發現，除空間注意力外，通道注意力也可以通過改變空間池化大小而具有多尺度特性。考慮以尺度感知的方式動態和自適應地融合接收到的特征，本文設計了一個多尺度通道卷積注意力機制模塊(Multi-scale Channel Convolution Attention, MCCA)，利用卷積注意力模塊加強重要特征，沿通道維度聚合多尺度上下文信息，同時強調全局分布的大對象和突出局部分布的小對象，便于網絡識別和檢測極端尺度變化下的對象。基于MCCA，本文提出了跨層特征融合模塊(Cross-level Feature Fusion Module, CFFM)，利用多尺度通道卷積注意力機制引導特征融合，有效地解決特征差異問題。通過進一步的分析發現，現有顯著性檢測方法直接組合融合后的特征生成顯著圖，未對模型中的特征信息流進行精細控制，會導致特征丟失以及高層上下文特征信息被稀釋。即信息從頂層流向較低層時，高層特征比低層包含更多的上下文語義信息會大量減少，其完整性無法保持，所以無法充分利用豐富的上下文信息準確定位顯著區域，不同顯著區域的關聯也會降低。因此，為了避免特征丟失以及高層上下文特征被稀釋，本文基于CFFM構建了并行級聯反饋解碼器(Parallel Cascaded Feedback Decoder, PCFD)，采用多級反饋機制重復迭代細化特征。

前/背景相似場景中檢測也是顯著性檢測的一個巨大挑戰，充分利用全局上下文信息是解決問題的一個重要策略。為了應對復雜場景，王安志等人[10]提出一種多模態多級特征聚合方法。馮潔等人[11]提出了結合相機陣列的選擇性光場重聚焦方法，重聚焦多目標場景中的某一深度層，模糊其他層來檢測顯著目標。Piao等人[12]開發了一種非對稱雙通道網絡，雖提升了計算效率，但沒有充分利用上下文信息，在復雜場景中檢測不準確。Zhang等人[13]提出了一種光場融合網絡，學習焦切片之間的空間相關性來預測顯著圖，但沒有充分挖掘出豐富的上下文信息，因此在復雜場景中也未達到滿意的結果。Zhang等人[14]為了有效挖掘利用上下文信息，提出了一種面向記憶的光場顯著性解碼器，一定程度上提高了檢測的準確性，但是集成到的上下文信息有限，不能很好地指導低層空間細節的選擇，同時網絡復雜度高計算量較大。本文提出了一個全局上下文模塊(Global Context Module, GCM)，充分利用融合特征中豐富的上下文信息。

(1)設計了多尺度通道卷積注意模塊MCCA，并在此基礎上提出了跨層特征融合模塊CFFM，融合頂層到較低層的相鄰層的多層特征。該模塊將特征與MCCA組件相結合，從多層特征中計算注意力系數來細化特征，然后將得到的特征進行融合。該模塊不僅能有效解決特征差異問題，并且可以良好替代傳統特征融合方式，同時也探索了特征的跨層次連續性。

(2)針對前/背景相似的問題，豐富的上下文信息能夠獲取不同顯著區域之間的關聯并減輕高級特征的稀釋，增強特征表示以提高顯著性檢測的準確性。為此，本文提出了一個全局上下文模塊GCM，充分利用融合特征中豐富的上下文信息。GCM將輸入特征轉化為具有兩個并行分支的多尺度特征，使用多尺度通道卷積注意力組件MCCA計算注意力系數，并通過考慮注意力系數來整合特征。

(3)為防止多層特征信息丟失失真以及產生冗余部分，本文基于CFFM提出了并行級聯反饋解碼器PCFD，將得到的高分辨率特征反饋給以前的特征，作為下一個CFFM的共同輸入，以此來糾正和細化特征。PCFD有效防止多層特征細節丟失，確保其完整性，避免高級上下文信息在傳導過程中被稀釋淡化。

2 基于上下文感知跨層特征融合的光場圖像顯著性檢測

2.1 整體架構

本文網絡的整體架構如圖1所示。首先將所有輸入的全聚焦圖像I0和相應的焦點切片Ii(i=1,2,...,12)調整為256×256×3的尺寸，然后利用常用的VGG19作為編碼器提取原始的RGB特征和具有豐富高級語義信息的光場特征，其空間分辨率是原始圖像的1/4并且包含64個通道，表示為{,j=2,3,4,5}，當i=0 時，表示全聚焦圖像生成的特征，當i=1,2,...,12 時，表示從焦點切片生成的特征。為了避免計算冗余復雜度，本文在Block2-Block5上執行解碼器。

在解碼器之前，首先將編碼器的每層特征輸入有效通道注意力機制[15](Efficient Channel Attention, ECA)，以輕量級的方式獲取跨通道交互信息，降低模型復雜度并保持一定的性能增益。不同層矛盾響應會引起預測的顯著對象存在一些洞，為此本文利用卷積操作以及乘法和加法運算作為特征細化機制(FeatureRefinement, FR)，進一步細化和增強特征圖。得到細化特征后輸入解碼器PCFD, PCFD中的CFFM避免引入冗余信息，抑制模糊噪聲，銳化跳頻邊界，PCFD充分利用其特性，將最后一個卷積層的特征傳回先前特征，以校正和細化它們。然后將解碼器每層輸出特征和全局上下文模塊GCM級聯，以挖掘特征中的全局上下文信息，最后整合GCM輸出的結果作為最終的顯著圖，整體網絡架構如圖1所示。

2.2 跨層特征融合模塊

由于感受野的限制，低層特征保留了豐富的細節和背景噪聲，具有清晰的邊界。相反，經過多次下采樣，高層特征在邊界上是粗糙的，丟失了太多的細節信息，但具有一致的語義信息和清晰的背景，這兩種特征之間存在很大的特征差異。常見的特征融合策略往往會忽略這種差異，有效的融合策略對于從前/背景相似的挑戰性場景中檢測出完整準確的顯著對象至關重要。

特發性鼻出血組來源于我院計算機系統病案數據庫，選取2011年1月～2015年1月以特發性鼻出血為主要診斷，并具有血型報告的住院患者作為研究對象。

為了應對這些挑戰，本文提出了跨層特征融合模塊CFFM，使高層特征Fh ∈RH×W×C和低層特征Fl ∈RH×W×C相互補充，得到全面的特征表達。與現有研究中直接相加或拼接方法相比，CFFM避免引入Fh和Fl中的冗余信息，以免“污染”原始特征，同時能有效抑制模糊噪聲，銳化跳頻邊界。CFFM首先通過多尺度通道卷積注意力機制MCCA利用多尺度信息來緩解尺度變換，適應不同尺度目標。其中MCCA由一個雙分支結構組成，在兩個分支沿通道維度壓縮和恢復特征，下分支使用全局平均池化獲取全局上下文信息，強調全局分布的大對象，上分支通過卷積注意力獲取通道關注，保持原始特征大小以獲得局部上下文信息，避免忽略小對象，如圖2所示。之后將MCCA得到的特征Fs輸入到3×3卷積層，進行批量歸一化和激活函數得到融合特征Fc，具體來說，跨層融合過程可描述為

圖2 多尺度通道卷積注意力的網絡結構

其中，M表示多尺度通道卷積注意力機制MCCA，⊕代表Fh和Fl的初始融合，即逐元素相加。M(Fh⊕Fl)表示由MCCA生成的注意力權重，由0～1之間的實數組成，1 -M(Fh ⊕Fl)也 是如此，1-M(Fh⊕Fl) 和圖3中虛線部分相對應，M(Fh ⊕Fl)?Fl和(1-M(Fh ⊕Fl))?Fh是基于完全上下文感知和選擇性的融合策略利用得到的注意力權重系數分別對特征Fl和Fh進行細化，使網絡能夠在Fl和Fh之間進行加權平均化，以此使網絡達到更好的性能。CFFM詳細結構如圖3所示。

圖3 跨層特征融合模塊的網絡結構

2.3 全局上下文模塊

對于前/背景相似、背景雜亂、多個顯著目標等復雜的顯著性檢測環境，由于顯著目標的不同元素或多個顯著目標之間的全局語義關聯極小，僅利用跨層特征融合策略不充分考慮全局上下文信息，不足以發現所有顯著部分，難以檢測出完整準確的顯著圖。此外，自頂向較低層傳導的信息流建立在自底向上的基線層上，高層上下文信息從頂層傳向較低層時可能會被稀釋。因此，本文提出了一個全局上下文模塊GCM充分利用融合特征中豐富的全局上下文信息，GCM級聯在解碼器PCFD后，將輸入特征轉化為具有兩個并行分支的多尺度特征。同時可以增強融合特征，使得在訓練模型時自適應地從特定層提取多尺度信息。

具體來說，C F F M 輸出的融合特征Fc ∈RH×W×C首先通過CBAM機制增強重要信息的同時抑制冗余信息，得到輸出特征Fatt，然后將Fatt進行卷積和平均池化后輸入到兩個子分支，得到對應的Fv ∈RH×W×C和Fa ∈RH2×W2×C兩個子特征。為了學習基于注意力的多尺度特征表示，首先將子特征Fv和Fa輸入到MCCA，將MCCA的輸出 M(Fv)和M(Fa)和 兩個子特征Fv和Fa分別采用逐元素乘法得到對應的融合特征Fvm∈RH×W×C和Fam∈RH2×W2×C，然后將Fam經過上采樣后直接用加法運算和Fvm融合得到特征Fcvm。最后為了融合Fc和Fcvm，采用殘差結構得到最終融合特征Fg。上述過程可以描述為

其中，CBAM, Conv, A, M和U分別表示卷積通道注意機制CBAM，卷積，平均池化，MCCA和上采樣操作。GCM詳細結構如圖4所示。

圖4 全局上下文模塊的網絡結構

2.4 并行級聯反饋解碼器

經過CFFM得到融合特征后，大多數顯著性檢測方法會直接組合融合特征以生成最終的顯著圖。直接組合特征，高層特征由于下采樣會遭受信息丟失并產生冗余，無法利用語義信息更好地指導顯著對象的位置。此外，信息流從高層流向較低層時，會逐漸淡化自上而下過程中的高級上下文信息。本文基于CFFM構建了并行級聯反饋解碼器PCFD，充分利用CFFM特性，將最后一個CFFM輸出的特征傳回前一層作為輸入特征，同時將每層CFFM級聯，進一步糾正細化輸入特征，使多層特征能夠迭代的生成顯著圖。

如圖1所示，PCFD有自上而下和自下而上兩個過程。自下而上過程中，多層特征通過CFFM從高層逐漸向低層融合，然后對融合的特征進行監督并產生一個初始預測Pi，自上而下的過程中，將初始預測Pi添加到前幾層CFFM輸出的融合特征，細化多層融合特征并作為級聯CFFM的共同輸入，然后進行相同的自下而上的融合操作。在PCFD內部，兩個過程一一相連形成一個網格結構。最后將解碼器P C F D 每層輸出的特征輸入到級聯的GCM中，這樣使得多層融合特征在網絡中流動和細化，利用豐富的全局上下文信息完整地生成更精細的顯著圖。最后，將每個支路GCM模塊輸出的特征進行整合作為網絡的最終輸出。

2.5 損失函數

并行級聯反饋解碼器PCFD中第1個自下而上過程會生成一個初始預測圖P，第2個自下而上過程中每個CFFM和解碼器級聯的GCM也會生成對應的預測圖，分別表示為Ci和Gi,i ∈{2,3,4,5}。在Ci和Gi添加了幾個中間監督，以促進網絡收斂。交叉熵損失BCE和交并比損失IoU用于每個CFAM和GCM以及網絡最終輸出的顯著圖，初始預測圖P僅使用交叉熵BCE損失。總損失函數可以為

其中，LBCE和LIoU表示為

其中，(i,j) 表示像素大小，G(i,j)和S(i,j)分別表示像素 (i,j)的標簽值和預測值。

3 實驗

3.1 實驗設置

本文實驗是在兩個公共光場基準數據集上進行的：LFSD, DUT-LF。其中DUT-LF是最大的數據集之一，包含了1 462張光場圖像，分別為1 000張訓練圖像和462張測試圖像。LFSD相對較小，只包含了100個樣本。每個樣本包含一個全聚焦圖像、對應的12張焦點切片和對應的真值圖。

本文方法在Pytorch框架上實現，使用GeForce RTX 2 080-Ti GPU進行訓練。在訓練階段，使用Adam優化器并將動量和權重衰減分別設置為0.99和0.000 5，將學習率設置為3e-4，Batch size設為2，最大迭代次數設置為400 000。網絡采用端到端的訓練方式，使用隨機梯度下降SGD優化。訓練和測試圖像統一調整為256×256，為了防止過擬合，本文通過隨機翻轉、裁剪和旋轉來使訓練數據增加到原來的11倍。本文模型總共訓練了74個epoch，大約需要兩天時間。評估指標分別有精確召回率(Prediction Recall, PR)曲線、F-measure、平均絕對誤差(Mean Absolute Error, MAE)、S-measure和E-measure。具體來說F-measure是平均精度和平均召回率的調和平均值，MAE在像素級別上定量地計算預測值與真值之間的平均差異，S-measure是一種結構化度量，可以同時評估區域感知和目標感知之間的結構相似性，E-measure可以聯合捕獲局部像素匹配信息和圖像級統計。

3.2 與最先進方法的比較

本文模型與13種先進的模型進行比較，包括基于深度學習和非深度學習的方法。包括兩種2D顯著性檢測方法：EGNet[16], DSS[17]，兩種3D顯著性檢測方法：S2MA[18], ATSA[19]，9種光場顯著性檢測方法： PANet[8], ERNet[12], LFNet[13], MAC[20],MoLF[14], DLFS[6], FPM[21], DILF[22]和RDFD[23]。為了公平起見，本文使用已有方法提供的顯著圖或設置的默認參數運行可行的代碼，在現有實驗設備和條件下，對部分對比實驗的默認參數進行調優，以正常運行代碼并訓練數據。

3.2.1 定量評估

根據表1所示的定量結果可以看出，本文的方法在DUT-LF數據集中3個指標獲得了最高值，另外一個指標也獲得了接近最高值的結果。同時，LFSD數據集中的兩個指標分別達到了次高：Sα和Fβ。本文方法的指標優于大部分所對比的先進方法指標，表中下劃線和加粗字體表示最優，僅加粗的字體表示次優。同時，本文還根據PR曲線比較了這些方法，從圖5可以看出，本文方法的PR曲線在DUT-LF和LFSD數據集上都優于所對比的方法。由于LFSD數據集圖像的分辨率為360×360，而本文網絡輸入圖像的分辨率為256×256，圖像下采樣后分辨率減小，包含的特征信息也會減少，因此測試時，評估指標沒有全部達到最優或次優。但本文方法在數據集中包含前/背景相似的挑戰性場景中得到了比其他方法更完整準確的顯著圖，同時本文所提出的跨層特征融合可以良好替代傳統特征融合方式。

表1 不同算法在DUT-LF數據集和LFSD數據集中的指標結果對比

圖5 不同算法在 DUT-LF和LFSD數據集的 PR曲線結果對比

3.2.2 定性評估

圖6展示了本文以及現有方法可視化的結果。可以看出，在前/背景相似等場景中，本文方法可以預測比其他方法更準確完整的顯著圖。具體而言，諸如PANet, ERNet, MoLF和LFNet利用光場信息能夠精確定位顯著對象，但忽略了上下文信息無法預測出完整準確的顯著對象。當提供高質量的深度圖時，諸如S2MA的3D顯著性檢測方法能準確地檢測顯著對象，但容易受到低質量深度圖的影響。2D顯著性檢測方法如EGNet, PoolNet，由于缺少空間信息而無法檢測到準確的顯著對象。實驗結果表明，本文方法能準確整合定位聚焦的顯著區域，突出顯著區域抑制非顯著區域。本文網絡具有更少的假陽性和假陰性，給出了最接近真值圖的預測，在前/背景相似的挑戰性場景下可以實現比其他先進網絡更完整和準確的預測。

圖6 不同算法在DUT-LF的定性比較

4 消融實驗

為了驗證每個關鍵模塊的有效性，本文設計了7項消融實驗。采用VGG19作為主干，在實驗a中，保留主干和ECA共同作為Baseline網絡，然后通過求和操作簡單融合特征。在實驗b中，保留了Baseline和FR模塊，同樣采用求和操作融合FR細化后的特征。

為了驗證MCCA機制的作用，實驗c和實驗e都去除了MCCA機制。實驗c在實驗b基礎上加入并行級聯反饋解碼器PCFD，去除了PCFD中CFFM模塊內部的MCCA機制，并用一個卷積塊來代替。實驗d在實驗c的基礎上，把MCCA機制重新加入CFFM模塊中，以驗證MCCA機制在跨層特征融合過程中的作用。實驗e在實驗d的基礎上將GCM與PCFD進行級聯，加入的GCM內部也去除了MCCA機制。實驗f在實驗e的基礎上，再次把MCCA機制加入到GCM模塊內部，驗證MCCA對GCM模塊的有效性。實驗g加入損失函數是本文網絡的完整模型，與圖1的結構一致。

定量結果和視覺對比結果分別如表2和圖7所示。結果表明，當使用FR機制(實驗b)時，特征圖被有效細化和增強，加入PCFD (實驗d) 時有效減少了特征之間的差異并且能有效融合特征，避免引入過多冗余信息的同時銳化了跳頻邊界；加入GCM(實驗f)時，更多豐富的上下文信息被利用，引導網絡更多地關注顯著區域，很好地抑制了背景增強了復雜區域的特征提取能力。

表2 不同模塊在DUT-LF和LFSD數據集的消融研究

圖7 消融實驗視覺對比結果

表3定量結果驗證了設計的MCCA機制的有效性，實驗c中用卷積來代替PCFD中CFFM模塊內部的MCCA機制，實驗e中，直接去除了MCCA機制和雙分支的殘差結構，只用兩個分支的卷積和平均池化進行特征處理。從圖7可以看出，實驗c和實驗e檢測結果要么部分缺失不完整，要么受到冗余信息的干擾，實驗d和實驗f加入MCCA機制后，表3可以看出，Fβ和MAE分別有了顯著提升和下降，從圖7可以看出，加入MCCA機制后不僅得到了完整的顯著圖，同時保留了相對精確的輪廓表示。實驗g加入損失函數并融合所有模塊得出了最好的性能指標，也可以從圖6看出本文的方法得到了效果最好的顯著圖。

表3 MCCA在DUT-LF和LFSD數據集的消融研究

5 復雜度評估

表4比較了幾種先進方法的模型大小和每秒傳輸幀數(Frame Per Second, FPS)，所對比方法的源代碼和預訓練模型是公開的。本文方法達到了29幀/s的實時速度，略優于所對比方法，模型尺寸卻不如PANet和ERNet的60 MB和93 MB，但本文方法在DUT-LF和LFSD數據集上的Sα分別達到了90.0%和85.3%，優于PANet的89.9%和84.2%、ERNet的89.9%和83.4%。與基于RGB圖像以及RGB圖像和深度圖兩種模態的方法相比，例如S2MA和EGNet，本文在推理速度和性能方面都有所提升。與4種基于深度學習的光場方法相比，本文方法提高了執行速度。總體而言，表4的結果表明，本文模型在平均計算負載水平上實現了優于所對比方法的性能。

表4 本文方法和其他方法復雜度比較

6 結束語

針對光場顯著性檢測在前景與背景顏色、紋理相似或者背景雜亂的場景中存在檢測對象不完整以及背景難抑制的問題，本文提出了一種基于上下文感知跨層特征融合的光場顯著性檢測網絡，將跨層特征融合和目標檢測任務自然地結合起來相互促進。提出了跨層特征融合模塊，融合主干提取的特征，解決了不同卷積層產生不同差異的問題，避免特征不準確整合。其次，提出了全局上下文模塊，將融合特征轉化為多尺度特征以充分利用豐富的全局上下文信息，有效地從前/背景相似場景檢測出更完整和清晰的顯著對象。最后提出了一個由跨層特征融合模塊構成的并行級聯反饋解碼器，代替直接組合多層特征的方式，更有效地處理多層特征。本文進行了大量實體消融研究以驗證每個模塊的有效性，實驗結果驗證了本文所提出每個模塊的有效性，本文網絡從前/背景相似等復雜的場景中檢測出的顯著圖也都優于其他先進的方法，與現有的算法相比，本文的方法在顯著圖完整度方面有明顯的改善，同時也表現出較高的準確性和泛化能力。