結合相機陣列選擇性光場重聚焦的顯著性檢測

馮 潔，王世剛，韋 健，趙 巖

（吉林大學 通信工程學院，吉林 長春 130012）

1 引 言

顯著性區域檢測研究的目的是從圖像中標記出最容易引起人注意的目標或最能表達圖像的內容，常應用于圖像檢索[1]、圖像壓縮[2]、目標識別與跟蹤[3]、圖像融合[4]以及圖像分割[5]等領域。

根據人類視覺選擇注意機制，目前的顯著性檢測方法大致可分為自底向上和自頂向下兩類。自底向上的顯著性檢測模型是由數據驅動的，利用圖像的亮度、紋理、顏色和空間位置等特征，判斷目標區塊與周圍的差異，進而計算出顯著性。自頂向下的顯著性檢測模型[6-8]是由具體檢測任務驅動的，需要通過類標簽進行監督學習。Yan等人[9]提出了綜合這兩種機制的顯著目標檢測方法，由感知格式塔法則指導自底向上的模型，自頂向下模型則是使用計算模型描述注意力的背景連通性并生成優先級圖。該方法的有效性雖優于無監督技術，但檢測結果與基于監督的深度學習方法仍有一些差距[10]。與自頂向下的顯著性檢測模型相比，自底向上的顯著性檢測模型通常執行速度快并且易于適應各種情況，因此已得到廣泛應用。Achanta等人[11]提出了一種頻率調諧方法，從整個圖像的色差得出顯著圖。Cheng等人[12]提出基于直方圖的對比度和基于區域的對比度，其考慮了空間距離，克服了色彩對比度的局限性。Goferman等人[13]提出上下文感知方法，增強了顯著目標附近的其他顯著點。Fu等人[14]提出了結合顏色對比度和顏色空間分布的顯著性檢測算法的流程以及抑制噪聲和偽影的細化過程。Sun等人[15]提出了融合高低層多特征的顯著性檢測算法，結合高層先驗知識和低層的4種顯著性特征，利用類間差異最大閾值對高低層特征進行線性和非線性融合，最終得到高質量的顯著圖。

近年來，基于圖的顯著目標檢測方法[16-19]因其簡單、高效等特點而備受關注。這些算法將圖像表示為以超像素為節點的圖，圖的邊為節點與給定種子或查詢節點的相關性，通過傳播模型將標簽在圖中擴散。傳播模型一般基于聚類假設和平滑度假設，聚類假設認為同一集群中的節點應該具有相同的標簽，平滑度假設則認為相同流行結構上的節點應該具有相同的標簽。雖然這些方法的性能優于大多數自底向上的顯著性檢測方法，但是仍存在一些缺陷。例如，Yang等人[16]提出的基于圖的流行排序算法中，用作背景查詢的4個邊界，可能會存在與前景相鄰的情況，在背景估計中使用這樣有問題的查詢可能導致結果不理想或不完整。另外，采用標準平滑約束可能會遺漏區域局部信息。Wu等人[17]針對背景查詢可能不可靠的問題，提出了邊界顯著性度量以去除邊界種子中的顯著性區域，獲得可靠的背景查詢，提高檢測精度。Li等人[18]引入正則化隨機游走排序來計算像素級的顯著圖，結果能反映出輸入圖像的更多細節。Wu等人[19]在標簽傳播模型中使用變形平滑度約束，考慮節點及其相鄰節點平滑度，防止與背景對比度低的節點的錯誤標簽傳播。

但針對包含多個顯著性目標和顯著性目標的某些區域與背景區域對比不明顯的場景，上述方法所得顯著圖不夠精細，甚至會丟失某些顯著性區域。故本文提出一種結合相機陣列選擇性光場重聚焦的顯著性檢測，采集同一場景的多幅視點圖像，利用場景的深度、聚焦等信息結合基于圖的顯著性檢測方法，同時采用結合全局和局部平滑度約束的傳播模型來解決上述問題。本文的主要貢獻在于：第一，利用場景的多幅視點圖像進行顯著性檢測，對中心視點圖像進行結合bokeh渲染和超分辨的重聚焦，使得本文方法能夠結合場景的深度和聚焦信息進行顯著性檢測。第二，在基于圖的顯著性檢測方法的基礎上提出了一種結合全局和局部平滑度約束的傳播模型來防止錯誤標簽的傳播。另外，在包含多個顯著目標的場景中，通過選擇對場景的某一深度層進行重聚焦，同時對其他深度層產生不同程度的模糊，可以更精確、細致地檢測出位于該深度層上的顯著目標，一定程度上實現了可選擇的顯著性檢測。

2 本文方法實踐過程

本文提出的方法分為兩個主要步驟，如圖1所示。第一步，首先利用同一場景的多幅視點圖像進行視差估計，所得視差圖用于指導中心視點圖像的重聚焦渲染[20]。重聚焦渲染過程結合了bokeh渲染和超分辨率重建，利用基于深度的各向異性濾波器對指定的聚焦深度層進行渲染，模糊其他深度層中的非必要元素，然后通過超分辨率重建生成重聚焦后的圖像。第二步，首先對重建的結果進行超像素處理，然后以超像素為節點建立圖模型，通過結合了全局和局部平滑度約束的傳播模型得到顯著性粗圖。最后，利用目標圖進行細化，得到最終顯著性檢測的結果。

圖 1 結合相機陣列選擇性光場重聚焦的顯著性檢測算法的框架圖Fig. 1 Framework diagram of the saliency detection algorithm combined with selective light field refocusing of camera array

2.1 結合bokeh渲染和超分辨進行重聚焦

將bokeh渲染和超分辨率重建集成到一個方案中，可在提高bokeh渲染性能的同時提高重聚焦后圖像的分辨率[21]。首先采用RGDP (Reliability Guided Disparity Propagation)算法[22]對視點圖像進行視差估計，用以指導bokeh渲染。考慮到在實際圖像采集過程中，存在傳感器排列密度受限，光學畸變，景物與采集設備之間存在相對位移等諸多降質因素，建立攝像機陣列的退化模型：

其中，gk表示第k個相機捕獲的視點圖像，F表示高分辨率圖像，nk表示空間域附加噪聲，D、B和Md,k分別表示下采樣、光學模糊和位移（取決于深度d和視點k）。超分辨率重建的主要任務就是估計F以適應退化模型，求解以下方程：

其中，第一項為對觀測到的低分辨率圖像與理想高分辨率圖像的一致性度量， ωb是基于深度和空間變化的權重向量，⊙代表哈達瑪乘積(Hadamard product)，也稱逐元素乘積，Jb(F)為bokeh正則化項，JBTV(F)為 雙邊總變異BTV正則化項[23]，λb和 λBTV為正則化系數，Jb(F)可以表示為：

其中，Fb為由bokeh渲染生成的圖像。采用梯度下降法逼近公式(2)的最優解，步長和迭代次數均可設置。

生成bokeh圖像的過程為：利用基于深度的各向異性濾波器對中心視點圖像進行渲染，通過調節其參數可實現對場景中某一深度層的聚焦，而對其他深度層產生不同程度的模糊。下面對具體過程進行解釋：假設圖像中的某點p沒有被聚焦，其在圖像中對應的混疊圓[24]半徑為：

其中，lf和lp分別表示焦距深度和p點深度，f為焦距，F為透鏡F數，深度l可表示為l=fb/d，其中b為基線長度，d為視差。那么公式(4)可表示為：

在bokeh渲染過程中，f,F,b和df是固定不變的，那么p點對應的混疊圓半徑與p點和焦點之間的絕對視差成正比。K=f/2F(b?df)表示整體的模糊程度，同時反映場景深度，K越大表示模糊程度越強，景深越小。

假設q點周圍存在多個以pi為中心的混疊圓，由于混疊圓中強度是均勻分布的，計算pi對q的貢獻可 通 過Ipiq=Ipi/πr2pi，rpiq≤rpi表 示，其中Ipi為pi點渲染前的強度，rpi為 以pi為中心的混疊圓的半徑，rpiq為pi與q之間的距離。那么q點強度可表示為：

其中，Sq={pi|rpiq≤rmax}表 示q點周圍點的集合，rmax是圖像中混疊圓半徑的最大值。由于Sq中的某些點可能對q點沒有作用，所以將權重λpi定義為：

各向異性濾波器基于公式(6)和公式(7)，采用雙三次插值渲染中心視點圖像生成Fb。

另外還需要對公式(2)和公式(3)中的 ωb進行計算， ωb是基于深度和空間變化的權重向量，未聚焦的區域應具有較大的權重。一幅圖像的模糊程度由混疊圓半徑決定，通過γp=(rp?rmin)/(rmax?rmin)將 半徑歸一化至[0, 1],rmin為圖像中混疊圓半徑的最小值。使用sigmoid函數將 γp轉化為ωp，ωp=1/{1+exp[?α(γp?β)]}， 其中 α為衰減因子，β為閾值。遍歷所有像素點，得到權值向量ωb。

2.2 通過基于圖的顯著性檢測生成顯著圖

上述步驟中通過設置參數能夠對場景中某一深度層進行聚焦，而對其他部分產生不同程度的模糊，在此基礎上進行如下基于圖的顯著性檢測。首先，對重聚焦后的圖像進行超像素處理，采用SLIC (Simple Linear Iterative Clustering)算法[25]將圖像分割為n個超像素，該算法計算速度快，能生成緊湊且近似均勻的超像素。然后，構建圖結構G=(V,E)， 其 中V={v1,···,vn}為 超 像 素 點 集，E為邊集，E=E1∪E2∪E3∪E4由V中任意兩節點之間通過邊權值矩陣W=[wij]n×n量化的連接構成。通過以下4條規則對其進行定義：

接著分兩個階段生成并細化顯著圖，第一階段采用結合全局和局部平滑度約束的傳播模型進行標簽傳播，計算一個關于表示向量y=[y1,···,yn]T的排序向量。 表示向量y定義為：如果vi是 種子節 點，則yi=1， 否則yi=0。排序向 量f用以表示節點與背景種子節點的相關性，可通過求解下式獲得排序向量f：

其中， λ1=1/(1+μ1)， λ2=μ2/(1+μ1)。分別將上、下、左、右4個邊界所含超像素節點作為種子，得到排序向量，分別歸一化后計算其互補值得到前景目標相關性，然后將對應元素相乘生成顯著性粗圖

在顯著性區域與背景具有明顯對比度的情況下，Mc會是良好的顯著性檢測結果，但是通過背景查詢并不能表示全部的顯著性目標信息，特別是對于顯著性目標具有復雜結構或與背景相似的情況，結果受背景噪聲影響較大。第二階段，對上一階段得到的顯著性粗圖進行細化。首先，采用邊界盒[27]生成包含目標區域、排除背景區域的目標圖

其中，Aj為 邊界框 ?j的 分數，δ為指示函數，表示節點vi是 否在邊框內，L用于對要檢測的邊界盒生成的邊框數量進行限制。結合Mc和Mo細化模型，細化結果f?計算公式如下：

式(14)中，第一項仍為平滑約束，用以保證顯著性值連續，第二項為標簽適應度約束，用以保證細化的結果與粗圖Mc相差不大，第三項是通過Mo構建的正則化約束，抑制不屬于目標的背景區域，增強可能屬于目標的區域。令式(14)導數為0得最優解

3 實 驗

3.1 參數設置

在4D光場數據集[28]上進行實驗，該數據集對于每個場景提供9×9×512×512×3光場。選擇每個場景3×3的子視點圖像序列作為輸入，輸出對該場景進行顯著性檢測的顯著圖。另外，實驗對數據集中每一場景都進行了人為的顯著性標注，使每一場景都帶有顯著性檢測的真值圖，用于對檢測結果進行定量分析。算法中的參數設置如下：重聚焦過程中，兩項正則化系數分別設為λb=5， λBTV=0.2；bokeh渲染過程中，衰減因子α=15； 閾值 β=0.3；bokeh強度K= 3（可根據對模糊程度及景深的需要進行調節）；顯著性檢測過程中，每個超像素包含的像素數量設置為600；控制約束 σ2=0.1； λ1=0.99； λ2=0.5；要檢測的邊框數量L=104。

3.2 重聚焦結果

實驗中，將場景深度量化為30個層次，通過設置索引i指定要聚焦的深度層，生成在該深度層聚焦，其他深度層散焦的重聚焦圖像，如圖2所示。圖2(a)為場景Herbs的中心視點圖像；圖2(b)為聚焦于第29個深度層的重聚焦圖像，圖中場景最前側花盆得以清晰顯示；圖2(c)為聚焦于第19個深度層的重聚焦圖像，場景較前側花盆得以清晰顯示；圖2(d)為聚焦于第9個深度層的重聚焦圖像，圖中場景較后側花盆得以清晰顯示；圖2(e)為聚焦于第2個深度層的重聚焦圖像，圖中場景最后側花盆得以清晰顯示。實驗結果表明，對于輸入的多幅視點圖像，通過選擇對場景的某一深度層進行重聚焦，能夠使位于該深度層上的物體清晰顯示，對位于其他深度層上的物體產生不同程度的模糊。實驗中將中心視點圖像作為真值圖，使用PSNR定量評估聚焦區域（方框框出）的清晰度。

圖 2 聚焦于場景不同深度層上的重聚焦結果Fig. 2 Refocusing results focusing on different depth layers of the scene

3.3 顯著性檢測結果

將本文方法所得的最終檢測結果與4種不同類型的顯著性檢測算法以及1種最新的基于深度學習的顯著性目標檢測算法進行了比較，如圖3（彩圖見期刊電子版）所示。其中文獻[19]、文獻[18]為基于圖的顯著性檢測方法，文獻[9]為綜合自底向上和自頂向下兩種機制的顯著目標檢測方法，文獻[13]為上下文感知的顯著性檢測方法。由圖3可知，本文方法顯著性檢測的結果最為完整、細致，圖中對用紅色和藍色方框標注出的部分細節進行放大展示以做視覺對比。對于第一行所展示的包含多個顯著性目標的場景Table，本文方法能檢測出更多的顯著性目標，例如，左側的盆栽、筆筒、前方的臺燈等，另外本文方法得到的顯著圖中主要顯著性目標也更為細致，例如，收納盒和打開的書。對于第二行所展示的顯著性區域與背景對比度不大的場景Boxes，本文方法檢測出的顯著性目標最為精細，例如，收納箱的右上邊緣和收納袋。

圖 3 5種算法對場景Table和Boxes進行顯著性檢測所得結果比較Fig. 3 Comparison of the saliency detection results obtained by five algorithms for the scene Table and Boxes

采用平均絕對值誤差(Mean Absolute Error,MAE)來評價檢測出的顯著圖與人工標注的真值圖之間的差異，由下面的公式進行計算：

其中，W和H分別代表圖像的寬度和高度，S為顯著圖，G為真值圖，MAE越小說明檢測結果與真值圖之間的差異越小，算法的性能越好。針對Table和Boxes這兩種特殊場景，本文提出算法的MAE值均小于其他4種算法，檢測結果能體現出更豐富的顯著性目標信息。對整個數據集中的全部場景進行顯著性檢測，計算MAE值，見表1。結果表明本文算法較其他4種算法，平均MAE值均有所降低，所得顯著圖與真值圖之間的差距有所縮小，檢測結果更為精細。

表1 5種算法的平均MAE值Tab. 1 Average MAE values of 5 different kinds of algorithms

對本文算法所得顯著性檢測結果進行閾值處理，用二值化的結果與文獻[10]中提出的基于深度學習的顯著性目標檢測算法所得結果進行比較，如圖4所示。可以看出雖然對于包含多個顯著性目標的復雜場景，本文結果也存在部分顯著性目標丟失的不足，但是所包含的顯著性目標的信息更多，對細節處理得更好，與真值圖之間的差異更小，且無需預先通過大量數據來訓練網絡，也無需在測試時下載預訓練模型。故與基于深度學習的顯著性目標檢測算法相比，本文方法更簡單、有效。

圖 4 本文算法所得結果與最新的基于深度學習的顯著性目標檢測算法所得結果的比較Fig. 4 The comparison between the results of our algorithm and the latest salient object detection algorithm based on deep learning

另外，由于本文方法結合了光場重聚焦，可通過選擇聚焦于不同的深度層，將該深度層上的顯著性目標更精確、細致地檢出。圖5展示的是聚焦于場景兩個不同深度層（索引i分別設置為29和9）所得顯著圖。第一行從左至右分別為中心視點圖像、聚焦到果盤所在深度層后所得的顯著圖以及聚焦到較后側花盆所在深度層后所得的顯著圖；第二行將兩幅顯著圖中果盤部分進行放大展示。可以看出，當設置聚焦于果盤所在深度層（i= 29）時，場景中前側的果盤能夠被更精細的檢測出；當設置聚焦于場景較后側花盆所在深度層（i= 9）時，后側花盆能夠被更精細地檢測出，一定程度上實現了可選擇的顯著性檢測。

圖 5 聚焦于場景不同深度層所得顯著圖比較Fig. 5 Comparison of saliency maps obtained by focusing on different depth layers of the scene

4 結 論

本文提出了一種結合相機陣列選擇性光場重聚焦的顯著性檢測方法。通過同一場景的多幅視點圖像，結合場景的深度、聚焦等信息，利用基于圖的顯著性檢測方法，提出結合全局和局部平滑度約束的傳播模型來防止錯誤標簽傳播，得到的顯著性粗圖經過目標圖的細化最終輸出精細的結果圖。此外，通過參數設置對場景的某一深度層進行重聚焦，而對其他深度層產生不同程度的模糊，使得對包含多個顯著目標的場景中位于該深度層的顯著目標得以更精確、細致地被檢測出，一定程度上實現了可選擇的顯著性檢測。在4D光場數據集上進行的實驗表明本文所提出的算法效果良好，所得的顯著圖與人為標注的真值圖之間的平均絕對誤差的均值為0.2128，較其他方法有所降低，檢測出的顯著圖最為精細，改善了現有顯著性檢測方法針對包含多個顯著目標以及顯著目標的某些區域與背景區域對比不明顯的場景所得的顯著圖不夠精細，甚至會丟失某些顯著性區域的不足。