基于融合顯著圖和高效子窗口搜索的紅外目標分割

劉松濤 劉振興 姜寧

紅外圖像目標的快速和精確分割是自動目標識別的關鍵技術之一.傳統的目標分割方法主要有兩類:1)首先進行圖像分割,然后濾除干擾和雜波區域,實現目標分割[1];2)首先進行目標檢測,然后在檢測包圍盒內進行目標分割[2].本文將目標檢測和分割融合在一起,首先利用超像素獲取圖像分割結果,然后融合局部和全局的區域顯著性得到圖像顯著圖,最后應用目標檢測的包圍盒濾除干擾和雜波區域,實現紅外目標的快速和精確分割.

大部分紅外圖像目標本身就是顯著的,但是由于成像條件和周圍環境的影響,導致某些紅外圖像目標區域顯著性差異明顯,邊緣模糊,或周圍背景也比較顯著.因此,在目標檢測之前,需要對紅外圖像目標進行顯著性增強.顯著性體現了圖像區域的獨特性、稀少性和奇異性,吸引了眾多學者的關注.顯著性計算模型主要包括自底向上和自頂向下兩類.最經典的自底向上顯著性模型是Itti模型.該模型通過提取顏色、亮度和方向特征,以特征整合理論為根據,利用中心–周圍算子和高斯金字塔做差運算,得到顏色、亮度和方向特征的關注圖,并融合得到圖像顯著圖[3].之后許多基于局部對比度的顯著性模型被提出,例如,Ma等[4]提出利用當前像素和周圍鄰域像素的差異計算像素的顯著性.由于局部對比度方法忽略了全局顯著性,該類方法通常邊緣部分顯著,而不是均勻的突出整個目標.因此,出現了考慮全局對比度的顯著性計算方法.Hou等[5]提出一種基于傅里葉變換的顯著圖生成算法,主要對幅度譜進行分析處理.Guo等[6]提出了剩余譜方法,僅利用傅里葉變換的相位信息.然而,這些方法忽略了目標的空間一致性.于是,文獻[7]提出聯合頻域方法,利用局部譜特征實現結構信息的提取.關于空間一致性,也可以從空域考慮.顯著性目標應該是空間緊湊的,而背景顏色應該分布在整個圖像.計算空間一致性的方法包括:空間位置的方差[8]、二維熵[9]、相似度分布[10]和局部密度[11]等.鑒于局部顯著性和全局顯著性各有優勢,文獻[12]提出結合全局特征和局部特征的顯著圖模型,利用頻域平滑來抑制非顯著區域,同時采用基于Ica的局部濾波器來增強目標區域.上述顯著圖結果要么邊緣顯著,要么中心顯著,都不是整個目標顯著.基于區域的顯著性可以解決這個問題.Cheng等[13]在超像素分割的基礎上,利用當前區域和其他區域的對比度以及區域間空間關系來定義區域顯著性.類似地,Perazzi等[14]提出顯著濾波器方法,利用超像素的一致性和空間分布形成對比度特征,構建顯著性測度.自頂向下的顯著性計算方法主要是將顯著目標檢測作為學習問題.Liu等[15]利用Crf框架來學習局部特征、全局特征和區域特征的權重,然后用訓練的Crf來檢測圖像目標的顯著性.為了進一步提高顯著性檢測效果,Yang等[16]利用Sift特征的稀疏編碼作為隱變量,聯合學習Crf和字典,主要不足是對相似目標的分辨效果較差.Kocak等[17]通過考慮顏色的一階和二階統計、邊緣方向和像素位置,同時用目標度代替Sift特征,改善了顯著圖檢測效果.文獻[18]將顯著目標檢測看作回歸問題,學習一個回歸器,直接將區域特征向量映射為顯著性大小.另外,也可以采用建模的方法引入自頂向下信息,Zhang等[19]提出用貝葉斯框架來檢測顯著目標,其中已知目標的信息被建模為似然函數.大多數自頂向下的顯著圖方法需要目標標記圖像進行全監督訓練.然而,文獻[20]提出弱監督顯著圖生成方法,僅需標記圖像中是否有目標,而無須知道目標的具體位置.最近的發展趨勢是將自底向上線索和自頂向下先驗信息結合來實現顯著性檢測.文獻[21]集成基于結構矩陣分解的顯著性檢測和高級先驗(例如,位置、顏色和背景等)信息,提升了顯著性檢測性能.

在顯著性檢測的基礎上,如何檢測和分割出顯著目標是學者們進一步關注的研究熱點.1)目標檢測方面,基于滑動窗口的檢測方法可以直接生成包圍盒,能夠和顯著性檢測結果有效融合.但是傳統的基于滑動窗口的檢測方法需要進行分類器訓練,耗時較長.高效子窗口搜索(Efficient subwindow search,Ess)可以實現圖像中任意目標的全局定位,以線性時間收斂于全局最優解,定位效果等同于滑動窗口窮盡搜索[22].文獻[23]將高效子窗口搜索和顯著圖結合,將目標檢測提煉為最大顯著密度的定位問題,避免了分類器訓練.上述目標檢測方法生成的包圍盒可能沒有完美地套住感興趣目標,為此,文獻[24]提出了包圍盒優化方法,基于卷積神經網絡架構改善了目標定位結果.2)目標分割方面,通常采用自適應閾值分割來獲取目標模板[21,25].為了得到更加精確的分割結果,Liu等[26]將目標分割變為兩步,第一步在顯著圖上進行初始分割,第二步用自適應種子點調整和參數優化的迭代圖割來實現最終分割.

文獻[27]基于區域協方差特征構建了不同尺度空間的顯著圖生成方法,較好地體現了圖像目標的局部顯著性.本文將該方法用于紅外圖像顯著性檢測,發現主要不足是目標區域非一致顯著,邊緣模糊,耗時較長.為了克服這些不足,本文首先用Slic(Simple linear iterative clustering)方法獲取超像素,接著提取每個區域增強的Sigma特征,并考慮鄰域對比度、背景對比度、空間距離和區域大小的影響,改進了局部顯著圖生成方法,然后提取每個區域的全局核密度估計,構建全局顯著圖,最后提出指數加權方式融合局部和全局顯著圖,較好實現了紅外圖像的顯著性檢測.在融合顯著圖上,本文又提出將超像素信息和高效子窗口搜索方法結合,巧妙地實現紅外目標分割.實驗表明,新方法是一種快速且精確的紅外圖像目標分割方法.

1 基于融合顯著圖的圖像顯著性檢測

1.1 獲取圖像的超像素區域

由于基于區域的顯著性檢測方法可以讓整個目標顯著,因此,本文針對紅外圖像目標的顯著性檢測,首先用超像素方法將圖像分割成許多視覺上一致的區域塊.考慮到Slic方法能生成緊湊、近似均勻的超像素,在運算速度、物體輪廓保持和超像素形狀方面具有較高的綜合評價[28],本文用Slic方法獲取圖像的超像素區域.

1.2 基于區域協方差的圖像局部顯著性檢測

由于區域協方差可以自然地融合多個相關的特征,協方差計算本身具有濾波能力且效率高[29],因此,本文利用區域協方差特征進行圖像局部顯著性檢測.

1.2.1 區域協方差特征

對每個圖像像素提取如下5個特征:圖像灰度、x和y方向一階和二階梯度的范數.這樣,每個像素映射為d=5維的特征向量.

其中,I是圖像灰度,圖像梯度通過濾波器[?1 0 1]T和[?1 2?1]T來計算[30].

根據上述特征向量,區域R的協方差矩陣計算如下:

其中,μ是區域特征向量的均值,n是區域像素數.

為了讓區域協方差更好地體現圖像區域特性和便于計算相似度,Hong等[31]利用Cholesky分解將協方差矩陣轉換到歐氏空間,設計了Sigma特征,并引入一階統計均值得到增強的Sigma特征.令C是d×d維的協方差矩陣,Sigma特征的計算公式為

其中,Li是矩陣L的第i列,C=LLT,α是系數.引入d維特征向量的均值,則增強的Sigma特征向量為

1.2.2 圖像局部顯著性

區域Ri的局部顯著性定義為區域Ri與其鄰近區域的增強Sigma特征的空間距離加權平均,具體為

其中,Rj屬于區域Ri的鄰域,m是鄰域中區域個數,K是歸一化因子,保證空間距離加權系數的和為1,是兩個區域中心之間的歐氏距離,σ1控制著區域間距離對局部顯著性的影響,σ1越大,遠距離的區域塊對當前區域塊的顯著性影響越大;否則,影響越小.ψRi表示區域Ri的增強Sigma特征,D(ψRi,ψRj)是ψRi和ψRj之間的歐氏距離.

理論上,在比較鄰近的兩個區域時,面積大的區域應該對當前區域的顯著性影響更大.同時,一個顯著目標區域不僅局部對比度高,而且與背景區域差異明顯.通常情況下,圖像邊緣的區域塊不大可能是目標區域,可認為是背景區域.應該說,圖像中背景區域的界定是困難的,但是與中心位置加權的顯著性相比,適應性能更好些[27].因此,引入區域大小和背景對比度的影響對式(5)進行修正,結果為

其中,N(Rj)是區域Rj的像素數,N(I)是整個圖像的像素數,Rj屬于當前區域的鄰域和圖像的邊界區域.通過上述加權修正局部顯著性,可以讓目標和背景的顯著性差異變大,凸顯目標的顯著性.

1.3 圖像全局顯著性檢測

每個區域灰度值出現的概率可以表示該區域的全局顯著性,出現概率低的目標區域意味著更加顯著,反之,則可能是背景區域.因此,利用整個圖像區域特征的核密度估計來計算全局顯著性,具體為

其中,κ是高斯核密度函數,表示區域的平均灰度,M是圖像區域的個數.

1.4 融合顯著圖

為了更好地凸顯復雜環境的紅外目標特征,本文將局部顯著性和全局顯著性結合,實現最終的紅外圖像顯著性檢測.區域Sigma特征的鄰域對比度可以較好地體現圖像局部顯著性.然而,由于紅外圖像背景雜波通常比較嚴重,顯著目標的同時也會顯著背景雜波.因此,為了更好地抑制背景雜波,并考慮區域間距離和區域大小對圖像顯著性的影響,在計算圖像局部顯著性時,引入了背景區域對比度、空間距離加權和區域大小加權,讓局部顯著性結果更加優化.另外,由于局部顯著性不能體現出目標區域在整個圖像中的顯著程度,最終可能還會有少量背景雜波.而紅外圖像目標通常全局稀少,又引入全局顯著性來凸顯紅外目標和抑制背景雜波.考慮到局部顯著性通常優于全局顯著性,而指數函數可以增加局部顯著性的重要程度,局部和全局顯著圖的結合公式設計為

其中,σ3控制著局部顯著圖的重要性.融合顯著圖可以保證目標區域既局部顯著,又全局顯著,有利于后續目標檢測和分割時減少背景雜波的影響.

2 基于高效子窗口搜索的圖像目標分割

2.1 基于顯著密度最大化的目標搜索方法

1)顯著密度最大化

分析顯著圖后發現,顯著目標區域的平均密度比顯著圖中任何區域的密度都要大很多.為了描述這個特征,可以從顯著圖中尋找最大顯著密度的區域[32].因此,目標搜索的函數f(W)設計如下:

其中,W是搜索窗口,C是正的常數,Area(W)用來平衡窗口面積的影響.第1項主要用于讓W包含更多的顯著像素,第2項主要保證讓檢測的區域具有高的顯著密度.通過最大化f(W),平衡了目標大小和目標包含顯著性之間的關系.

2)顯著密度最大化的高效子窗口搜索實現

從圖像中窮盡搜索W?非常耗時,可采用高效子窗口搜索方法來加速[32].令W={W1,···,Wi}表示區域集合,其中Wi?I.假定存在兩個區域Wmin(Wmin∈W)和Wmax(Wmax∈W),使得對任何Wi∈W,Wmin?Wi?Wmax.令(W)表示從W中找到的最優解的上界估計,即(W)≥f(Wi),則

最后,基于顯著密度最大化的Ess方法概括總結為

算法1.基于顯著密度最大化的Ess方法

從P中檢索目標函數定界分數最高的矩形窗口參數作為W

UntilW僅包含一個窗口,即Wmax=Wmin.

返回W?=Wmin.

2.2 目標區域篩選

高效子窗口搜索的結果是套住目標的包圍盒.因此,利用目標檢測的位置信息可以對超像素的結果進行區域篩選.具體思路是通過判斷某個分割區域在目標檢測包圍盒內部的像素占該分割區域所有像素的比例Ratio來判斷該分割區域是否為真正的目標,從而可以濾掉雜波和干擾區域,實現紅外目標的精確分割.

2.3 目標分割算法

通過前面的分析,將紅外目標分割算法概括為三步:1)超像素劃分;2)融合顯著圖生成;3)目標檢測和篩選.整個紅外目標分割算法流程如圖1所示.新方法的主要特點是:1)基于增強的Sigma特征,同時考慮鄰域對比度、背景對比度、空間距離和區域大小進行局部顯著性檢測,能夠更好地體現圖像的局部特征;2)融合局部顯著圖和全局顯著圖,使得顯著性檢測方法的適應性和雜波抑制效果更好;3)應用高效子窗口搜索方法檢測和篩選目標,可以與區域顯著圖生成無縫結合,實現紅外目標分割.總之,新方法可以實現紅外目標的快速和精確分割.

圖1 紅外目標分割算法流程圖Fig.1 Flow chart of infrared target segmentation algorithm

3 實驗結果分析

首先通過算法性能分析說明顯著圖生成方法中每一個模塊的作用,然后從主觀分析和客觀評價兩個角度,比較新方法對當前流行顯著圖生成方法的優越性,最后結合高效子窗口搜索方法進行目標分割,并比較分析不同分割方法的分割精度和計算耗時.新算法的參數主要有七個:numSuperpixels,Compactness,σ1,σ2,σ3,C和Ratio.其中,num-Superpixels和Compactness是Slic方法的參數,numSuperpixels是超像素個數,該值越小,超像素塊越大;Compactness表示超像素的形狀,該值越小,超像素塊和區域塊邊界的吻合度越高.實驗中,numSuperpixels和Compactness需要根據不同圖像進行調整,σ1=3,σ2=10,σ3=6,C=2000,Ratio>0.5.

3.1 顯著圖算法性能分析

圖2是考慮不同影響因子的顯著圖效果.圖2(a)是海空背景的艦船目標紅外圖像,海天線附近存在亮帶干擾.圖2(b)是Slic方法的超像素結果,視場近處三個艦船目標區域的一致性較好.僅利用增強Sigma特征的鄰域對比度對圖2(b)進行顯著性檢測,結果為圖2(c),很明顯,目標區域內部顯著性一致,但背景雜波明顯.考慮圖像背景對比度后的顯著性檢測結果見圖2(d),目標附近雜波得到抑制,但天空區域雜波更明顯,說明天空區域和圖像周邊的背景區域有差別.空間距離進一步加權的顯著圖結果見圖2(e),圖像中雜波變少.區域大小進一步加權的顯著圖結果見圖2(f),雜波變化不大,但目標顯著性增強.全局顯著圖結果為圖2(g),三個艦船目標的特征明顯且鄰域無雜波,但是天空背景雜波干擾也比較嚴重.圖2(h)是局部顯著圖和全局顯著圖的融合結果,紅外目標的顯著性突出,背景雜波得到較好抑制.因此,新方法對紅外圖像目標的顯著性檢測是有效的.

圖3是灰度鄰域對比度和增強Sigma特征鄰域對比度的顯著圖,目標區域都比較顯著,但圖3(c)中雜波更少,說明增強Sigma特征更能體現圖像的局部特征.圖4是兩幅圖像的局部顯著圖、全局顯著圖和融合顯著圖.第1行圖像局部顯著圖優于全局顯著圖,第2行圖像全局顯著圖優于局部顯著圖,因此,融合顯著圖時引入了參數σ3,可以控制局部顯著圖的重要性.

3.2 顯著圖算法對比分析

為了更廣泛地評價本文顯著圖方法的優越性,對比分析了14種顯著圖生成方法(Frequency[25],Gbvs[33],Spatialcoherence[11],Hft[34],Itti[3],Mss[35],Saliency measure[36],Signature[37],Sim[38],Spectral[5],Covarince[27],SuperpixelCheng[13],SuperpixelHe[8],SuperpixelReiGlo(本文方法))對不同紅外圖像的顯著圖結果.圖5是14種方法的顯著

圖2 考慮不同影響因子的顯著圖效果Fig.2 Saliency maps considering different impact factors

圖3 增強Sigma特征和灰度特征的顯著圖Fig.3 Saliency map of enhanced Sigma feature and gray feature

圖4 局部和全局顯著圖的重要性Fig.4 The importance of local and global saliency map

圖5 14種方法的顯著圖Fig.5 Saliency maps of fourteen saliency detection methods

圖結果,左側標注為原始圖像、基準圖像和不同方法的顯著圖.Frequency,Mss和Spectral方法的顯著圖效果類似,可顯著高亮點和邊緣,其中Mss方法的顯著效果最好(圖5(e)的顯著圖);Gbvs,Hft,Itti,Signature和Sim方法的顯著圖效果類似,可顯著目標區域,其中Sim和Signature方法雜波干擾嚴重,Itti方法目標形狀比較好,但個別圖像干擾比較大(圖5(b)和5(d)的顯著圖),Hft和Gbvs方法目標定位最準確,但Hft方法目標形狀信息欠缺,Gbvs方法個別圖像干擾明顯(圖5(d)的顯著圖);Spatial coherence和Saliency measure方法的顯著圖效果類似,目標細節保留較好,但沒有顯著整個目標;Covariance可顯著目標區域,且目標形狀完好,但雜波干擾嚴重,邊緣模糊.SuperpixelCheng和SuperpixelHe方法都是基于區域的顯著性檢測方法,與本文方法一樣,采用Slic方法獲取圖像區域.SuperpixelCheng方法考慮了空間距離和區域大小對區域顯著性的影響,目標細節保留較好,但是云層干擾嚴重(圖5(d)的原始圖像)或圖像非常模糊(圖5(e)的原始圖像)時,顯著圖效果較差.SuperpixelHe方法進一步考慮了相同灰度的超像素的空間分布對顯著性檢測的影響,比SuperpixelCheng方法的顯著圖效果有所改善,但是圖5(d)的顯著圖反而變得更差,這是由于和飛機目標相同或接近灰度的超像素塊有許多是云層背景,從而降低了飛機目標的顯著性.本文方法的顯著圖結果使得紅外目標的顯著性更加突出,目標區域一致性好,邊緣清晰,同時背景雜波也幾乎都被抑制,非常有利于后續的目標檢測和分割.

為進一步客觀評價本文方法的優越性,采用Pr(Precision and recall)和Roc曲線對比不同方法的顯著圖效果.圖6(a)是14種方法的Pr曲線.顯然,本文方法整體上最優,但是當檢全率(Recall)較高時,檢準率(Precision)并不是最優.圖6(b)是14種方法的Roc曲線.當虛警率低時,本文方法的檢測率最高,但是隨著虛警率提高,本文方法的檢測率并不是最優,其他方法(例如,Gbvs方法)雖說目標區域模糊,但是由于覆蓋了整個目標,檢測率提升明顯.導致本文方法不是全面最優的原因有兩個:1)人工標記圖像的細節不夠清晰;2)圖像模糊程度較高時,目標形狀不夠完整.這啟發我們需要進一步研究如何有效地凸顯嚴重模糊紅外圖像的整個目標區域.

圖6 14種方法的Pr和Roc曲線Fig.6 Pr and Roc curves of fourteen saliency detection methods

3.3 目標檢測和篩選結果

針對本文方法的顯著圖結果,應用顯著密度最大化的高效子窗口搜索方法進行目標檢測,結果見圖7的第1行,目標區域檢測準確.利用目標檢測的包圍盒對超像素分割的結果(圖7的第2行)進行篩選,很容易得到目標分割結果,見圖7的第3行,干擾區域得到抑制,目標區域形狀得到改善.

為了評價本文分割方法的優越性,對比分析了五種分割方法,其中文獻[11]是紅外圖像分割方法;文獻[23]和文獻[32]的檢測結果是套住目標的包圍盒.為了能夠對比分割效果,本文在原圖上的包圍盒區域進行自適應最大Renyi熵分割;文獻[21]和文獻[25]是顯著目標分割方法.圖7的第4～8行分別對應文獻[11],[23],[32],[21]和[25]的分割結果.文獻[11],[21]和[25]是對整個圖像的顯著圖進行分割,雜波較多,目標區域也不完整,其中圖7(b),圖7(d)和7(e)中第7行的顯著圖效果異常,主要原因是這三幅原始圖像中艦船目標和周圍環境的對比度偏低,說明文獻[21]方法對紅外圖像復雜程度的適應性不好.文獻[23]和文獻[32]是對包圍盒內圖像進行分割,雜波較少,目標區域分割比較完整,但前提是必須利用高效子窗口搜索方法的多目標檢測功能濾除干擾區域.需要說明,當前流行的顯著性檢測和分割方法的實驗對象主要是自然界的彩色圖像,如果實驗對象更換為紅外圖像,由于丟失了顏色信息,可到會導致顯著圖和分割效果不好.在主觀分析的基礎上,采用F值進行分割效果的客觀平價[39],同時比較了不同分割方法的計算耗時,結果見表1.很明顯,在上述六種分割方法中,本文方法不僅分割效果最優,而且計算耗時也較少.仿真實驗時筆記本電腦的硬件性能為2.3GHz CPU,8GB內存;操作系統為win7 32位,開發軟件為MATLAB7.6,代碼未優化,圖像大小為400像素×240像素.

圖7 不同分割方法的分割結果Fig.7 The segmentation results of different segmentation methods

表1 不同分割方法的分割精度和計算耗時Table 1 Segmentation precision and computational time of different segmentation methods

4 結束語

本文將融合顯著圖和高效子窗口搜索結合,提出一種新的紅外圖像目標分割方法.在利用Slic方法獲取圖像超像素的基礎上,提取每個區域增強的Sigma特征,并計算鄰域對比度、背景對比度、空間距離加權和區域大小加權,構建局部顯著圖,同時利用全局核密度估計生成全局顯著圖,最后融合局部和全局顯著圖實現顯著性檢測.在融合顯著圖上,應用顯著密度最大化的高效子窗口搜索方法進行目標檢測和篩選,實現紅外目標分割.實驗結果表明,新方法的顯著圖結果目標區域一致顯著,邊緣清晰,背景雜波抑制明顯.無論主觀評價,還是客觀指標,新方法都優于當前流行的圖像顯著性檢測方法.同時,與高效子窗口搜索結合的目標檢測結果有效抑制了干擾,增強了目標形狀信息.整個算法的計算量較小,實用價值高,主要不足是針對嚴重模糊的紅外圖像,顯著圖中目標區域的形狀信息會有殘缺,導致分割結果的精度降低.