一種用于圖像檢索的冪歸一化深度卷積特征加權聚合方法

張 琴，伍世虔，徐望明,4

(1.武漢科技大學機械自動化學院，湖北 武漢，430081；2.武漢科技大學機器人與智能系統研究院，湖北 武漢，430081；3.武漢科技大學信息科學與工程學院，湖北 武漢，430081；4.武漢科技大學冶金自動化與檢測技術教育部工程研究中心，湖北 武漢，430081)

基于內容的圖像檢索(content-based image retrieval，CBIR)[1-5]一直是計算機視覺研究領域中的熱門課題。它通過特征提取算法將圖像表示為向量，并利用近鄰搜索方法找到與給定的查詢圖像內容相似的圖像，其中，特征提取算法對圖像檢索性能起著關鍵作用。為了提取出具有判別能力的圖像特征，形成有效的圖像表示，人們針對特征提取算法進行了大量研究，近十幾年來其經歷了從基于SIFT[6]、SURF[7]等算法并結合BOW[8-9]、FV[10]、VLAD[11]等嵌入編碼方法提取圖像淺層特征到基于深度卷積神經網絡[12]提取圖像深層特征的發展過程。

最近研究表明，在圖像檢索任務中，采用在大規模數據庫ImageNet[13]上預訓練好的卷積神經網絡提取的深度特征比傳統的淺層特征取得了更加好的檢索效果[14-19]，而且深度網絡中卷積層[17-22]輸出的特征可看作圖像的局部表示，能體現出更多的圖像細節信息，比全連接層[14-15]輸出的特征取得了更高的檢索精度。因此，目前的主流算法是將卷積層輸出的特征進行聚合形成圖像的全局表示。卷積層的特征聚合又分為兩種：一種是編碼聚合[16-18]，這種方法將卷積層的列特征看作類似于SIFT的局部特征，進行VLAD、FV或BOW等嵌入編碼，最后聚合成圖像的全局表示；另一種是直接聚合[19-22]，將卷積層的特征圖直接求和聚合或加權后求和聚合，形成圖像的全局表示。

深度卷積特征比經典手工局部特征具有更強的判別能力，而且適用于經典SIFT特征的嵌入編碼方式不宜簡單移植到深度卷積特征上，直接對深度卷積特征進行求和聚合，可取得比常用編碼聚合方法更好的性能[19]，因此本文著重研究深度卷積特征的直接聚合方法。對于典型的聚合方法——基于部位的加權聚合(part-based weighting aggregation，PWA)方法[22]，筆者發現，聚合后的特征在大部分維度上的響應比較小，而在一小部分維度上的響應卻明顯較大，這隱含著類似于基于SIFT的淺層編碼特征出現的視覺突發(visual burstiness)問題[23]，即圖像特征中某些元素信息多倍于其它元素信息重復出現，這些重復的視覺特征在進行圖像相似性度量時會起主導作用，使得圖像檢索精度降低。為了有效調節這種視覺突發效應，改善圖像檢索效果，本文運用冪歸一化方法改進PWA特征聚合方法，并在4個標準的圖像數據庫上進行圖像檢索實驗，以驗證改進方法的有效性。

1PWA特征聚合方法及其存在的問題

一般而言，深度卷積特征的聚合方法是將卷積神經網絡的卷積層輸出的特征圖作為聚合算法的輸入，可用3維張量表示為X∈RK×W×H，這里W×H表示空間分辨率，K表示特征圖數量或通道數量，其中一個通道對應的特征圖為二維矩陣Xk∈R(W×H)(k=1,2，…，K)，該特征圖中的一個元素表示為Xk(i,j)∈R(i=1,2,…,W；j=1,2,…,H)。

深度卷積特征聚合方法的典型代表是基于部位的加權聚合(PWA)。文獻[24]中指出：深度卷積神經網絡卷積層中特定通道對特定語義有較強的響應，一些具有區分性的通道可用來作為目標的部位檢測器(part detector)。受此啟發，文獻[22]提出PWA框架，先從深度卷積神經網絡卷積層輸出的所有通道中選出一部分有代表性的具有區分性的通道作為包含特定語義的部位檢測器，用作空間權重，再對該層輸出的所有卷積特征圖(通道)進行加權聚合，形成具有特定語義的區域聚合特征，然后將這些區域特征連接起來即可形成最終的圖像全局表示。

PWA方法中具有區分性的通道是根據待檢索圖像數據庫中所有圖像樣本的通道特征圖的聚合值的方差來選擇的，方差越大則該通道特征圖的區分性越強，該過程可以離線完成。第m幅圖像在卷積層輸出的第k個通道特征圖的求和聚合值為：

(1)

設圖像數據庫一共有M幅圖像，則第k個通道特征圖的均值為：

(2)

那么第k個通道特征圖的方差為：

(3)

對所有方差dk(k=1,2,…,K)排序，選擇其中最大的N個方差所對應的通道作為部位檢測器。

將選取的N個通道特征圖表示為X(n)∈RW×H(n=1,2，…，N)，則空間權重Sn(i,j)的產生方式可表示為：

Sn(i,j)=

(4)

式中：a和b均為冪變換參數。用該空間權重對第k個通道特征圖加權求和：

(5)

這樣，利用K個通道的加權求和特征值可構成特征向量

Fn=[fn,1,fn,2,…,fn,K]

(6)

形成區域聚合特征，然后將N個區域特征連接起來，即形成PWA圖像全局特征表示：

Fpwa=[F1,F2,…,FN]

(7)

(8)

式中：D為最終特征的維度；P為PCA降維矩陣；σ1,σ2,…,σD為與P相關的D個奇異值。

由于PWA特征包含了語義信息，故在圖像檢索任務中取得了現階段較好的效果。然而如前所言，這種PWA特征可能出現視覺突發現象，影響圖像檢索精度。

以圖1為例，圖1(a)是Oxford5k圖像數據庫[25]中的一幅查詢圖像(圖中黃色框內的建筑物窗戶)，圖1(b)和圖1(c)是該庫中的兩幅參考圖像，其中圖1(b)不包含查詢區域，圖1(c)包含查詢區域。圖1(d)～(f)分別表示圖1(a)～(c)的PWA聚合特征響應。從圖1(d)～(f)中不難發現，原PWA聚合特征的響應值在少數特征維度上取值特別大，而大部分特征維度上的響應值卻相對很小；同時也容易觀察到圖1(d)與圖1(e)中響應取較大值的位置十分相似，而圖1(d)與圖1(f)卻有明顯區別。實驗發現，通過歐氏距離進行特征相似性度量，圖1(a)和圖1(b)的相似性大于圖1(a)和圖1(c)的相似性，表明這些少數很大的響應主導了圖像的相似性度量，導致圖像檢索精度降低。

(a)查詢圖像(框中區域) (b)參考圖像1(c)參考圖像2

(d)查詢圖像的PWA特征響應

(e)參考圖像1的PWA特征響應

(f)參考圖像2的PWA特征響應

2 利用冪歸一化改進的PWA方法

冪變換可用在很多需要拉伸數據對比度的場合。在數字圖像處理領域，冪變換是圖像增強算法中經常用到的基本概念，它是一種非線性點運算，選擇合適的變換參數可實現圖像較亮或較暗區域的對比度增強。針對上述PWA深度聚合特征中的視覺突發現象，本文也采用合適的冪變換函數進行歸一化處理，改進特征加權聚合方法，以提高圖像檢索的精度。

實際上，在原PWA方法中，對部位檢測器產生空間權重時，對于選擇的通道采用了如式(4)所示的歸一化和尺度拉伸的冪變換處理，在一定程度上也是為了減輕不同通道聚合響應之間的巨大差異，但它不能保證最終聚合而成的圖像全局特征響應中不再出現突發現象，而圖像全局特征表示才是進行圖像相似性度量的關鍵；另一方面，式(4)中有兩個冪變換參數即a和b，為了使最終的圖像檢索結果最優，這兩個參數的組合情況很復雜且很難確定。

因此，在本文提出的基于冪歸一化改進的PWA方法(power-normalized PWA，PPWA)中，為了達到在最終形成的全局特征基礎上抑制突發度的目的，同時為了減少不必要的計算量及減小參數選擇的難度，先直接使用選定的通道特征圖作為空間權重矩陣，即將式(4)改為：

Sn(i,j)=X(n)(i,j)

(9)

再將冪歸一化方法用到原PWA聚合后的特征中，直接對式(6)中每個特征維進行參數為θ(0<θ<1)的冪變換：

p(z)=sgn(z)|z|θ

(10)

式中：p(·)為冪變換函數；sgn(·)為符號函數；|·|表示求絕對值；z為任一特征維上的取值。

記冪歸一化后的區域聚合特征為：

Fnθ=p(Fn)=[p(fn,1),p(fn,2),…,p(fn,K)]

(11)

則圖像全局特征變為：

Fppwa=[F1θ,F2θ,…,FNθ]

(12)

后處理步驟中只需要進行PCA降維及白化操作，就得到最終更緊湊的D維全局特征表示，即式(8)相應地變為：

Ffinal_ppwa=diag(σ1,σ2,…,σD)-1PFppwa

(13)

選取合適的參數θ，將最終的全局特征用于圖像相似性度量，可以比原PWA方法取得更好的圖像檢索效果。相比于式(4)要選取兩個變換參數，這里只需要選取1個，這也便于通過實驗進行確定。

PPWA方法的作用效果可以由圖2來說明。圖2(a)和圖2(b)分別顯示了將圖1(a)作為查詢圖像、使用PWA和PPWA在Oxford5k數據庫上進行檢索后返回的Top-16結果 (即前16幅最相似圖像，按相似性大小從左到右、從上到下排列)。在PWA方法的檢索結果(圖2(a))中，圖1(b)排在了第10位，而圖1(c)卻不在這前16幅圖像中；在PPWA方法的檢索結果(圖2(b))中，圖1(c)排在了第10位，而圖1(b)已經排除在這前16幅圖像之外了，這也是圖像檢索希望看到的結果。同時也不難發現，從所有檢索出的圖像來看，PPWA方法優于PWA方法。

(a)PWA方法 (b)PPWA方法

圖2 采用PWA和PPWA方法對圖1(a)中查詢圖像的Top-16檢索結果

Fig.2 Top-16 retrieval results of query image in Fig.1(a) by PWA and PPWA methods

進一步地，如圖3所示，從上到下依次顯示了圖1中3幅圖像最終采用PPWA方法聚合后的特征響應。可見，經過冪歸一化后的圖像響應分布相比改進前較為均衡，特別大的響應得以抑制，降低了其對于相似性度量的影響，而原來較小的一些響應被拉伸，其對比度和區分性得以提升，在相似性度量中的作用也會隨之提高，這也是在圖2(b)所示的檢索結果中圖1(c)排在了第10位而圖1(b)被排除在Top-16之外的原因。

(a)查詢圖像的PPWA特征響應

(b)參考圖像1的PPWA特征響應

(c)參考圖像2的PPWA特征響應

3 實驗與結果分析

3.1 圖像數據庫及實驗設置

為了進一步驗證本文方法的有效性，在公共圖像數據庫上開展了圖像檢索實驗。Oxford5k數據庫[25]包含11個牛津大學標志性建筑物的5062幅圖像，Paris6k數據庫[26]包含11個巴黎建筑物的6412幅圖像，這些圖像的拍攝視角和光照條件各不相同，除了需要檢索的目標建筑物圖像，還包含大量內容各異的其它相關圖像。這兩個數據庫都有55幅查詢圖像，每個建筑物各有5幅，對要查詢的感興趣區域都進行了標注。每個數據庫圖像均被分配了“Good”(目標清晰)、“OK”(目標25%以上可見)、“Junk”(目標25%以下可見或目標被嚴重遮擋或變形)或“Bad”(目標不存在)4個標簽之一。評價檢索結果時，將標記為“OK”和“Good”的作為正確結果，標記為“Bad”的作為錯誤結果，標記為“Junk”的則忽略(不影響評價結果)。另外，為了測試檢索算法在大規模數據庫中的性能，還用含有99 782幅圖像的Flickr100k數據庫[25]進行擴充，分別組成Oxford105k數據庫和Paris106k數據庫。

實驗中采用裁剪出的感興趣區域作為查詢圖像，使用歐氏距離計算每幅圖像的相似性得分，并按照從高到低的順序排列，最后采用平均查準率的均值(mean average precision, mAP)評價性能。卷積層特征是用Caffe包[27]從預訓練好的VGG16[28]深度神經網絡上獲取的，提取的是池化層第5層的特征圖，特征圖總數即通道數K=512。PWA方法中空間權重的變換參數取a=2和b=2(為方便比較，使用了文獻[22]中的默認值)。當對Oxford5k進行測試時，使用在Paris6k上學習的PCA降維方式，反之亦然。PCA降維維數分別設置為4096、2048、1024、512、256、128。實驗中也比較了使用查詢拓展(query expansion, QE)策略進行圖像檢索的結果，利用前10個搜索出的圖像進行查詢拓展[29]，表示為QE_10。

3.2 參數選擇

3.2.1 部位檢測器個數

PWA方法中的一個重要參數是所要選取的部位檢測器數量，即通道數N(N

(a)Oxford5k和Paris6k上的結果(QE表示拓展查詢)

(b)Oxford105k和Paris106k上的結果(QE表示拓展查詢)

從圖4中可以看出，在兩個規模較小的數據庫Oxford5k和Paris6k上，選擇較小值N=18時結果最好，而在兩個規模較大的數據庫Oxford105k和 Paris106k上，選擇較大值N=30要比N=25時結果好很多，因此最后確定在Oxford5k和Paris6k上使用N=18，在Oxford105k和Paris106k上使用N=30。

3.2.2 冪歸一化參數

對本文提出的PPWA方法中的參數θ在兩個小數據庫上進行了測試，結果如圖5所示。由圖5可見，在參數θ=0.5時能獲得相對較好的結果，因此后續實驗選擇θ=0.5作為PPWA方法的冪歸一化參數。

3.3 實驗結果分析

根據所選擇的參數，在上述4個數據庫上進行圖像檢索實驗，對比分析原PWA方法和本文改進后的PPWA方法，實驗結果如圖6所示。從圖6中可以看出，在兩個規模較小的數據庫Oxford5k和Paris6k上，與原PWA方法(N=25)相比，選擇更適合的部位檢測器個數(N=18)可以獲得更高的精度，同時，使用本文改進方法即PPWA又進一步提高了檢索精度。對于兩個規模較大的數據庫也有相同的實驗結果。

將本文方法與其它幾個深度特征聚合方法的性能對比結果列于表1和表2中，可以看出，采用本文方法的圖像檢索平均正確率均高于對比方法，驗證了PPWA方法的有效性。

從表1和表2中也可以看到，在不同維度和不同數據庫上， PPWA 都要優于原PWA方法。未使用拓展查詢策略時(表1)，PPWA相比于PWA在兩個小數據庫上的mAP值提高了1.2%～8.3%, 在兩個大數據庫上的mAP值提高了5.6%～13.3%；在使用拓展查詢策略QE_10時(表2)，PPWA相比于PWA在兩個小數據庫上的mAP值提高了1.5% ～ 9.9%，在兩個大數據庫上的mAP值提高了4.8% ～ 18.2%，這也表明PPWA方法返回的前10個圖像與查詢圖像更相似，這正是圖像檢索希望看到的結果。特別地，在低維度(比如128和256維)時，PPWA方法在小規模數據庫上獲得的mAP值相對于PWA方法有5%以上的提升，在大規模數據庫上的精度提升更達到了10%以上，這驗證了PPWA方法在低維特征情形下的魯棒性，也表明其更適用于在大規模圖像檢索中為了提高效率而選用低維特征的情況。

(a)未使用拓展查詢時在4個數據庫上的性能表現

(b)使用拓展查詢時在4個數據庫上的性能表現

表1 PPWA與其它方法的檢索性能對比

Table 1 Comparison of retrieval performance between PPWA and other methods

方法維度不同數據庫上的mAP/%Oxford5kParis6kOxford105kParis106kCroW[21]12864.174.659.664.8PWA[22]12863.976.853.060.3PPWA12867.283.258.868.2R-MAC[20]25656.172.947.060.1CroW[21]25668.476.564.070.1PWA[22]25668.580.058.864.8PPWA25673.284.864.973.4R-MAC[20]51266.983.061.675.7CroW[21]51270.879.767.174.9PWA[22]51272.082.464.371.5PPWA51277.886. 869.777.5PWA[22]102475.484.467.674.9PPWA102480.187.473.980.2PWA[22]204878.385.471.276.7PPWA204881.588.176.782.1PWA[22]409678.986.173.678.6PPWA409681.387.178.583.0

表2 加入拓展查詢(QE_10)后PPWA與其它方法的檢索性能對比

4 結 語

本文采用冪歸一化方法來調節深度特征聚合中的視覺突發現象，對典型的深度卷積特征聚合方法PWA進行了改進。冪歸一化可以抑制少數通道的巨大響應，提高多數較小的通道響應在相似性度量中的重要程度。去除冗余的空間權重變換方法以及選取合適的冪歸一化參數，使得改進的PWA方法即PPWA在沒有增加計算開銷的情況下大大改善檢索精度。在多個數據庫上的圖像檢索實驗中，使用不同的特征維度以及拓展查詢策略都證實了本文方法能有效提高基于深度聚合特征的圖像檢索準確率。