面向圖像的有效目標區域提取方法

崔云博,杜友田,王航

(西安交通大學智能網絡與網絡安全教育部重點實驗室,710049,西安)

隨著計算機視覺技術及深度學習的迅速發展,面向圖像的目標檢測任務重新成為了備受關注的研究問題。目標檢測是將圖像中的有效目標從背景中分離出來并進行識別,為圖像內容的進一步分析提供基礎,對于圖像分類[1]、圖像標注[2]、圖像標題與描述生成[3]、圖像搜索[4]等應用具有重要意義。

Freund等于1995年提出了基于Adaboost和矩形Harr特征相結合的人臉檢測方法[5]。2005年,Dalal等提出利用方向梯度直方圖(HOG)[6]來進行目標的特征表示。近年來,基于深度學習的目標檢測研究也被廣泛關注。2014年,Girshick等提出了R-CNN算法,并將其應用于目標檢測任務中[7],在此基礎上,2015年提出一種改進的Fast R-CNN算法,提高了算法的效率[8]。2015年,Ren等提出了Faster R-CNN算法,通過引入自主設計的候選區域網絡RPN(region proposal networks),提高了目標檢測速度[9]。2017年,He等提出了Mask R-CNN算法,用于目標語義識別并取得了良好的識別效果[10]。一般地,目標檢測算法包括兩步:首先是對目標進行定位,即找出目標的候選區域;然后在此基礎上進行目標識別或分類。提取目標候選區域的效果在很大程度上影響了后續的目標識別或分類結果,傳統的目標候選區域產生方法是將矩形窗口在不同尺度的圖像上進行滑動,其缺點是計算量巨大、計算速度慢。此后,研究者提出了Bing、EdgeBoxes等算法[11-12]來挑選目標候選區域,在保證召回率的基礎上提高了計算速度,但是在實際應用中,該類方法仍然會存在大量冗余的區域建議。

為了解決以往算法的圖像中前景目標位置不準確、精確度不高等問題,本文提出一種高效的有效目標區域提取方法,主要包括基于選擇性搜索[13]的候選目標區域(object proposal)生成、目標區域特征增強、基于深度網絡的分類、區域篩選與融合4個步驟。實驗結果表明,在保證較高召回率的基礎上,本文方法得到了更加準確的有效目標區域提取結果。

圖1 有效目標區域提取框架

1 有效目標區域提取框架

由于在很多情況下難以獲取到大量具有目標類別標注的樣本,而且在一些應用中也不需要進行端對端的目標類別識別。因此,本文忽略了目標類別信息,提出一種提取圖像中有效目標區域的方法,將目標區域提取過程看作一個二分類問題:目標區域和背景區域,實現了對圖片中前景目標和背景的區分,最終獲取到有效目標的區域位置。整體方案框架如圖1所示,主要包括4個環節:①基于選擇性搜索算法對圖像進行搜索和計算,生成一定數量的候選目標區域;②對候選區域進行目標特征增強處理,增強不同目標之間的共性視覺特征,使不同類別目標的顏色特征聚合更為緊湊;③構建基于深度學習的分類網絡,并利用該分類網絡對圖像中的目標區域和背景區域進行分類,判斷其是否屬于目標區域;④將被識別為有效目標的候選區域進行區域篩選和融合,最終實現有效目標區域的提取過程。

2 有效目標區域提取算法

2.1 選擇性搜索

在生成候選目標區域時,傳統方法利用不同尺度的滑動窗口對圖像進行掃描,其缺點是會產生大量冗余的候選區域,增加不必要的計算量。因此,本文基于選擇性搜索算法[13]進行候選目標區域的生成。選擇性搜索算法是將圖像作為輸入,首先產生大量的初始候選區域,然后根據相鄰區域之間的相似度,計算出相似區域的層次分組,并不斷進行區域融合,最終輸出一定數量的候選區域。相鄰區域之間的相似度計算基于顏色、紋理、尺寸和空間交疊這4種屬性進行。對于通過選擇性搜索算法所生成的目標區域建議,本文去掉了一些面積過小的候選區域(實驗中設定像素點數小于2 000)。

2.2 目標區域特征增強

本文忽略了目標的類別信息,沒有對圖像中的目標進行類別區分,而是將提取目標的所在區域作為算法的核心內容,該過程也可以看作是將不同類別的目標作為同一類別進行提取。由于多種類別的目標之間有較大區別,使得目標在特征空間中的位置較為分散,增大了目標區域提取的難度,因此本文提出采用目標區域增強的方法來增大目標區域樣本與背景區域樣本之間的區別。

目標區域內容具有較為連續的視覺感受、明顯的邊緣區域、較為復雜的細節結構等共性特點,而對于不同的目標,通常具有不同的顏色、紋理、亮度等。因此,目標區域特征增強的目的是突出目標區域的共性特點,增強過程可以看作將目標區域差值化,即

(1)

在實際的圖像中,目標區域特征增強前后的對比結果如圖2所示。由圖2可知,對目標區域進行特征增強之后,使得目標之間的差異程度更小,同時該操作依舊保留了目標的形狀信息,有利于區分生成的有效目標區域和其他區域。

(a)特征增強前 (b)特征增強后圖2 目標區域特征增強前后比較

2.3 基于深度網絡的目標區域檢測

本文采用的網絡結構基于VGG-16深度網絡[7],保留了該網絡的前13層結構作為提取圖片特征的部分,在此基礎上添加了3個全連接層作為分類網絡,最終輸出一個2維向量,以此判斷輸入圖像區域是有效目標區域還是背景區域(非有效目標)。其中對輸入到網絡中的圖像區域(imagepatch)要首先進行縮放處理,調整至224×224大小,其目的是對于不同輸入都可以保證在進入到全連接層之前,網絡所產生的向量長度是一致的。另外,在具體的網絡結構中,卷積層所使用的激活函數是ReLU函數;池化層所采用的池化方式為最大池化;3個全連接層的神經元個數則分別設置為1 024、256和2;為了消除過擬合現象,層與層之間會隨機丟掉一些連接權重;最后,使用softmax函數作為激活函數,保證輸出向量的元素值大小屬于區間[0,1]。

在訓練網絡時,首先需要構建訓練樣本集,包括正樣本和負樣本兩部分。本文將圖像集提供的真實目標邊界框所標記的圖像區域作為正樣本;在選擇負樣本時,則是基于2.1節選擇性搜索算法得到的目標候選區域,并選擇與真實目標區域交疊度小于一定閾值的圖像區域作為負樣本。本文采用交并比U來度量圖像區域之間的交疊度,定義為

(2)

式中:S+、S分別為正樣本x+代表的圖像區域和其他任意圖像區域;A(·)為圖像區域的面積。在挑選負樣本時將交疊度閾值ξ1設為0.3,即若U<0.3,則將S對應的圖像區域定義為負樣本x-。對于樣本標簽,定義向量y=(1,0)T為正樣本標簽,向量y=(0,1)T為負樣本標簽。

2.4 基于目標響應的區域選擇與融合

(3)

3 實驗結果與分析

3.1 實驗數據集

本文選擇MSCOCO2014數據集作為實驗數據來源,該數據集分成訓練集、驗證集和測試集3個部分,包含了圖像文件以及其對應的目標區域標注結果,其中圖像內容共包含80類目標概念,標注結果提供了圖像中目標的類別及位置。在實驗過程中,本文隨機選擇了訓練集中的3萬張圖像來訓練網絡,其中涵蓋了所有的80類目標概念,為了保證訓練樣本平衡性與學習性能,本文基于這些圖像共生成10萬個正樣本和10萬個負樣本用于訓練深度網絡。由于本工作不涉及不同目標類別的判別,因此在使用標注結果時,利用了圖像中目標的位置信息而忽略了其類別信息。在測試過程中,為了評估本文方法,采用了具有標注結果的驗證集。從驗證集中選取涵蓋所有的80類目標概念的1 000張圖像來評估最終的實驗結果。

3.2 目標區域特征增強的結果

圖3展示了進行特征增強前后,目標區域中所有像素值在特征空間中的分布變化,本文隨機選取了20個目標區域并對其增強前后像素值的分布在RGB空間進行了展示,圖3中x、y、z分別表示R、G、B空間。由圖3可知:在特征增強前,目標區域的多樣性導致了像素值分布非常分散;對目標區域進行特征增強之后,目標區域在特征空間中的分布更加集中,且分布在原點附近的較小范圍內,這對于提高目標區域分類的性能有很大幫助。

(a)特征增強前 (b)特征增強后圖3 特征增強前后區域像素值在空間中的分布

3.3 目標區域的融合結果

針對深度網絡輸出的候選目標區域,基于目標響應方法,將提取結果進行進一步融合,得到最終的目標區域,目標區域的融合過程如圖4所示。由圖4可知,通過基于目標響應的區域融合過程,最終得到的目標區域不僅保留了網絡輸出結果中置信度高的區域,保證了有效目標可以達到較高的召回率,同時也過濾掉了大量對應于同一目標的重疊區域,在一定程度上提高了目標檢測的準確率。

(a)原始圖像上的候選目標區域

(b)目標區域響應

(c)區域融合后的目標區域圖4 目標區域的選擇

3.4 目標區域提取召回率比較

本文工作的目的是提取出目標候選區域,為圖像分類、目標識別等應用提供幫助。召回率是判斷方法有效性的一個重要指標,召回率低意味著檢測結果會漏掉一些目標區域,影響后續研究任務的性能,以往工作多采用召回率作為性能評估指標[14]。

對相關算法以及不同的深度網絡模型與本文方法在MSCOCO數據集上進行了性能比較,結果如圖5所示。平均召回率是指對不同U閾值情況下的召回率取平均值,在本實驗中,U閾值取0.5～1,步長為0.1。本文選取的3種對比算法都是目前候選目標區域提取任務中性能較好的算法,為了分析不同網絡結構對本文方法性能的影響,將AlexNet[15]作為深度網絡模型進行對比。由圖5可知,相比于其他算法,本文方法在較少候選區域的條件下就可以達到更高的召回率,同時本文方法選取的VGG-16網絡也較AlexNet表現出更好的性能。

圖5 平均召回率比較(U∈[0.5,1])

為了進一步分析本文方法在特定類別的目標區域提取中的性能差別,統計了不同類別目標的目標區域提取結果,并選取了MSCOCO數據集中部分類別的結果,如表1所示,其中δ=0.7,即把與正樣本的交疊度大于0.7的目標區域作為正例進行統計,同時在實驗中比較了選擇性搜索算法和本文方法的性能。為了保證算法比較的公平性,考慮到算法之間存在差異性,對于選擇性搜索算法,每張原始圖像的候選區域數量平均選擇了100個左右,而對于本文方法則平均選取了40個左右的目標區域。

表1 不同類別目標的召回率對比

由表1可知,相比于選擇性搜索算法,本文方法在目標區域更少的條件下,對有效目標得到了更高的召回率,表現出了更好的性能,對不同類別的目標,本文方法在性能上表現出了一定的差異性。對truck、bowl這2類目標,最終的召回率統計結果有比較大的差別,這可能因為對于圖像面積較大的某些類目標(如truck),其圖像內容也會變得更加復雜,這就在一定程度上對分類結果的準確性造成了影響,并且在利用選擇性搜索策略進行候選區域生成時,面積較大、內容較復雜的區域也無法完整找到,相比于面積較小、內容較單一的某些類目標(如bowl),最終性能上存在一定的差異。

圖6展示了有效目標區域提取的部分樣例。由圖6可知,本文方法對于圖像中大部分的有效目標區域實現了較好提取,并且最終的提取結果在保證較高召回率的基礎上,有較高的準確性。

圖6 本文方法在MSCOCO驗證集上的部分結果

4 結 論

本文提出了一種提取圖像中有效目標區域的方法以解決目標檢測等任務中有效目標定位不準確的問題。以選擇性搜索策略為基礎,通過目標區域特征增強、深度網絡分類、目標區域融合等環節,完成了對區域中是否存在有效目標的準確判別,并實現了對目標區域的提取。本文的目標區域提取結果是獨立于目標類別的,不需要目標類別標注,該方案復雜度較低,具有較好的性能。實驗結果表明:本文方法對選擇性搜索算法在性能上有較大的提高;相較于其他的目標候選區域提取算法,本文方法也可以使對有效目標的提取達到更高的召回率。