目標再確認中的優化擴散距離相似性度量

曹偉，韓華，王裕明，孫憲坤

跨攝像頭目標再確認是目前多攝像機智能監控領域的一個重點研究方向[1]，如何在不同的光照條件、不同的行人姿態以及不同尺度甚至遮擋等復雜環境下實現不同監控攝像頭下的同一目標的再確認，是現在智能監控領域研究的熱點。能否在復雜的環境中快速地匹配到同一目標的關鍵點在于能否找到目標在時間、空間上的不變特性以及選擇合適的匹配算法。

目前最先進的算法對VIPeR(viewpoint invariant pedestrian recognition)數據庫的視頻目標進行再確認的正確率為40%，處于比較低的水平[2]。根據上文所述，目標再確認主要的研究方法分為兩類：目標外觀特征類和度量算法類。而目標外觀特征類的研究又可以歸納為3類：1)依據目標本身的整體特征進行描述，如文獻[3-9]通過建立整體相關特征顏色直方圖進行目標再確認；2)基于目標本身的局部特征進行目標匹配，如文獻[10-13]通過訓練大量樣本得出的數據作為匹配函數，依據目標本身的顏色特征、紋理特征進行目標的再確認；3)通過整體和局部多特征融合來匹配目標，如文獻[14-18]通過人體本身的局部LBP(local binary patterns)特征、SIFT(scale-invariant feature transform)特征以及整體的顏色特征進行描述，來完成目標再確認。度量算法類的研究方向相對特征類方法而言，對目標外觀特征的要求較低，更多地依賴選擇和訓練優秀的度量函數。比如，ERSVM方法[19]采用基于相對距離排序的SVM分類器集成多個特征向量權重；文獻[20]采用多核SVM學習的方法融合顏色和視覺單詞直方圖；文獻[21]采用直方圖交叉核；文獻[22]采用夾角余弦法等相似度量函數進行目標匹配。

以上兩類方法在目標再確認過程中，度量算法類對特征的選擇要求較低，通常能取得更好的再確認效果。但其訓練的時間和空間復雜度較高，且場景和圖庫變化時需要重新訓練。目標外觀特征類方法則需要人為地尋找和設計較好的特征，該方法的性能依賴于特征的優劣程度。本文受兩類方法優點的啟發，在特征類方法的思路下設計和構造優秀的特征；同時在度量算法類方法的思路下，引入物理學科中的熱擴散原理作為度量函數[23]，并最終建立基于優化的擴散距離的度量函數完成目標再確認。

基于上文所述，引入度量算法的基礎來源于擴散距離。擴散距離是物理學中用于描述熱力場中存在的一種擴散現象的，國外學者Ling等[23]曾提出了一種非線性基于擴散現象和距離判斷方式二者結合的擴散距離，它是模擬熱擴散和記錄隨機擴散遍歷的時間計算兩點之間的距離。這使得擴散距離具有可以很好地描述目標間相似性的特性，同時，傳統度量算法存在諸多缺點，比如：對圖像形變比較敏感；缺少考慮像素間的空間關系；較小的形變就能使距離計算變化較大，從而產生誤匹配等，而擴散距離的引入克服了以上不足?；跀U散距離的眾多優點，因此本文引入擴散距離，并對其進行優化，構造出優秀的相似性度量函數，以完成對行人目標的再確認。

1 多特征描述

目標再確認過程中，描述每個目標的外觀相當于從目標身上找到可辨識性的特征。在描述目標特征時，直方圖是目前應用最廣泛的的外觀描述器。但是，大部分基于直方圖的方法，其不足之處是缺少特征分布的空間信息。比如，基于直方圖的方法不能分辨出一個穿著白色襯衫和黑色褲子的行人與另一個穿著黑色襯衫和白色褲子的行人是否是不同的。

因此，文中提出了一個新穎而簡單的方法：基于兩級區域的直方圖提取方法。首先，提出的第一級區域為：行人整個身體區域(Hglobal)顏色直方圖；提出的二級區域為：行人的上半身區域(Htor)和腿部區域(Hleg)如圖1所示。圖中(a)、(d)為一級區域身體直方圖，圖(b)、(e)為二級區域身軀直方圖，圖(c)、(f)為二級區域腿部直方圖。

圖1 兩級區域直方圖Fig. 1 Two levels of area histogram

圖1 (a)、(d) 一級所提取的Hglobal直方圖，(d)直方圖中的3個峰值在(a)直方圖中可以找到相似的對應，因此單純靠全局直方圖很難發現目標是兩個不同的人；通過對圖1中的兩個原始圖像分別提取身軀段和腿部段的Htor和Hleg直方圖，對應于二級，如圖1左圖中的(b)、(c)和圖1右圖中的(e)、(f)所示，對比圖1(b)和圖1(e)，可發現兩者身軀直方圖明顯不同，同時對比圖1(c)和圖1(f)也能發現兩者的腿部直方圖也是明顯不同的，可以通過局部直方圖的差異，發現兩目標并不是同一個人。通過上述方法可以有效地提取顏色的空間信息，并區分出圖1兩個行人的不同。

人體目標本身具有很多穩定不變的特征，這些不變特征在應對因光照變化或細微的肢體動作變化時具有很好的魯棒性。因此，為了更好利用這些優勢特征來克服由于光照變化或其他因素所帶來的干擾，本文在下文中會從整體特征和局部特征兩方面來介紹本文所提取的這些優勢多特征，實驗表明，使用這些多特征中的任何一類進行匹配時，識別率都不太理想，但結合下文中的多特征進行目標再確認時，可以很大程度上提高目標的識別率。

1.1 整體特征

整體特征使用基于一級區域(圖1中Level 1)的RGB顏色直方圖進行粗識別。在提取RGB顏色直方圖時，本文將R、G、B 這3個通道分別進行量化。而量化過程中存在兩個極端問題：粗量化會造成大量的可辯別性信息被放棄，細量化會生成稀疏直方圖。本文在3個通道使用相同的量化級數32bins。通過大量實驗驗證了本文所使用的32bins具有較好的可辨別性和準確性。通過圖1可以很清楚地體現出來。

1.2 局部特征

局部特征相對整體特征而言更加注重局部小范圍特征的不變性，采用更細膩的特征描述子或者具有較強魯棒性的特征來進行匹配。觀察大部分行人目標的Htor和Hleg特征發現：最顯著的局部差異特征仍是顏色特征，實驗過程中發現使用顏色特征應對攝像機鏡頭旋轉變化所造成的差異具有很好的辨別性。所以在下文中的局部特征表述過程中，基于上文中二級區域Htor和Hleg的基礎上，為了使人體目標取得更佳的匹配效果使用GrabCut[24]背景去除法，將干擾背景(頭部也當作背景)進行去除，同時將RGB顏色通道模型和加權HSV顏色通道模型作為主要的局部特征；而另一方面考慮到局部人體目標的表象和形狀能夠被梯度或邊緣的方向密度分布很好地描述，方向梯度直方圖(histogram of oriented gradient，HOG)特征可以通過計算和統計圖像局部區域的梯度方向直方圖來構成特征，并且能夠對圖像的幾何和光學形變都能保持很好的不變性，所以，將結構性HOG描述子作為次要的局部特征。

1.2.1 局部RGB顏色特征

觀察數據庫中行人目標發現：去除頭部的影響后，由于目標行人上身所穿的衣服和下身所穿的褲子在顏色上往往會表現出明顯的差異，所以本文在二級區域Htor和Hleg基礎上使用局部RGB顏色直方圖匹配。通過觀察圖2(b)：掩膜背景圖(圖中干擾背景和頭部已經去除)和測試樣本庫里的圖片(國際通用標準庫VIPeR中的樣本圖片大?。?8×128)分析得到：頭部和身軀段的平均分界線在第20行，身軀段和腿部段的平均分界線在62行。為了減少背景對匹配結果的干擾，如圖2(c)所示，將身軀段去除左右邊界各4列，即使用整張圖像的第20～60行，第6～44列作為身軀段窗口；同時，在腿部段部分去除最下面的8行，以及左右各14列，使用整張圖像的第66～122行，第14～36列，作為腿部段窗口。在量化過程中，同整體特征量化數相同，提取每個通道對其量化后的直方圖統計如圖2。

圖2中，分段處理和圖1中的兩級區域一致，將圖像中的人物按照不對稱原則分為頭部、身軀和腿部3個水平段，并將圖像中的人物的身軀和腿部按照對稱原則分為兩個垂直段，并且去掉權重比較小的頭部像素點，得到的實際效果如圖2(c)所示。圖2(d)代表實驗過程中所繪制的圖2(b)被去除頭部和背景干擾之后，身軀和腿部的R、G、B分量直方圖。其中，圖2(d)中的橫軸，0～31代表身軀段和腿部段上的R顏色通道統計直方圖(其中0～15代表身軀段，16～31代表腿部段)；32～63代表身軀段和腿部段上的G顏色通道統計直方圖；64～95代表身軀段和腿部段上的B顏色通道統計直方圖。

圖2 局部RGB顏色直方圖Fig. 2 Local RGB color histogram

局部RGB顏色直方圖充分利用了空間分布信息，可以有效區分出上文所提到的上身下身穿衣顏色的不同。在局部特征描述方面的應用中，可以較好地實現應對圖像旋轉和平移的改變所帶來的影響，并且還可借助歸一化技術，來達到不受圖像尺度的改變所帶來的影響，充分利用了局部顏色特征的優勢。

1.2.2 加權HSV特征

根據人眼視覺特性, 顏色信息中HSV特征相比較RGB特征，在應對光照變化方面，可以很大程度上忽略圖像亮度變化所帶來的影響；在二級區域中對HSV模型使用高斯分布的加權處理，可以在提取空間信息基礎上更好地對特征權重化處理，所以本文選擇HSV顏色模型作為局部特征之一來使用。

考慮到由于人體目標特征分布比例的差異性，有些顯著特征在人體身上的某些部位所占比例很重，而有些特征則在人體身上的某些部位所占比例很小。通過觀察圖3(b)發現：身軀和腿部中間部分的顏色特征比較明顯，對圖像匹配時的影響會比較重，所以相應地給予較大的權重分配，越遠離垂直坐標的顏色特征對匹配性能的提高影響較小，甚至會降低匹配性能，所以相應地給予遠離垂直坐標的點以較小的權重分配。根據人體不同部位所對應的分段坐標對HSV直方圖進行高斯分布的加權[16]處理。

圖3 人體加權HSV處理圖Fig. 3 Body weighted HSV processing figure

如圖3所示，為了更形象地表現人體身上特征權重的分布，文中提取人體不同位置對應的高斯分布圖譜3(b)和三維空間中的核能量圖譜3(c)。考慮到光照的影響會對匹配精度造成很大的影響，因而為了抑制光照變化，將HSV中的亮度值(V)分配較小區間段。文中的H、S、V通道分別分成16、16、4段，進而得到一個加權的108段(其中0～31段為頭部段，已被忽略計算；32～71段為身軀段；72～107為腿部段)HSV直方圖，其相應的實驗效果如圖3(d)。

1.2.3 HOG特征

HOG是目標檢測常用的特征描述子。目標局部的表象和形狀能夠被梯度或邊緣的方向的密度分布很好地描述[24]。具體的實現方法是：首先將圖像分成小的連通區域，我們把它叫細胞單元[25]。然后采集細胞單元中各像素點梯度或邊緣的方向直方圖。最后把這些直方圖組合起來就可以構成特征描述器。為了提高性能，還可以把這些局部直方圖在圖像的更大的范圍內(也可稱為區間或block)進行對比度歸一化，所采用的方法是：先計算各直方圖在這個區間(block)中的密度，然后根據這個密度對區間中的各個細胞單元做歸一化。本文在實際操作中使用的參數為：窗口大小統一為48×128，block塊大小為16×16，每個block劃分為4個cell，并且block每次滑動8個像素(即一個cell的寬)，以及梯度方向劃分為9個區間，最后在0～360o范圍內統計，將cell的梯度方向360o分成9個方向塊，也就是每360o/9=40o分到一個方向，方向大小按像素邊緣強度加權，對cell內每個像素用梯度方向在直方圖中進行加權投影(映射到固定的角度范圍)，其相應的實驗效果如圖4(c)所示。實驗過程中，根據上文相應參數對圖4(a)進行HOG特征提取，提取過程中的實驗效果如圖4所示。

從圖中可以清晰的看出：本文將cell的梯度方向以40o為一個單位，分成一個方向；圖4(d)代表實驗過程中提取的歸一化后HOG 3維特征曲面圖。由于HOG方法是在圖像的局部細胞單元上操作的，所以它對圖像幾何和光學的形變能夠保持很好的不變性，歸一化后能對光照變化和陰影獲得更好的效果。它的優點不僅包括對圖像幾何和光學形變方面能保持良好的不變性，還包括歸一化后允許行人有細微的肢體動作，且不影響檢測效果，多特征融合HOG特征描述可以很好地提高匹配率。

圖4 HOG特征描述子實驗效果圖Fig. 4 HOG feature descriptor experimental result

2 相似性度量函數

在相似性度量函數的建立方面，傳統度量算法大多基于歐氏距離或者余弦距離等進行優化。然而，歐式距離和余弦距離本身存在諸多缺點，比如：歐式距離不能從高維特征向量恢復到具有低維的幾何機構，對圖像的形變比較敏感和缺少像素間的空間關系；余弦距離存在位置判定上差異性太大以及對數值的不敏感導致結果的眾多誤差等缺點。考慮到傳統相似性度量算法的不足，本文引進物理學溫度場擴散距離[26]的概念來建立相似性度量函數。擴散距離的本質來源于物理學中的溫度場，它不同于歐式距離中的距離長短決定相似度大小的標準。擴散距離中的相似度取決于溫度擴散路徑的多少以及熱擴散的快慢。本文所使用的基于優化擴散距離相似性度量函數用于衡量個體在空間上存在的距離，距離越遠，說明個體間的差異越大，反之，差異越小。優化擴散距離在一定程度上彌補了歐式和余弦距離的不足的同時，在匹配性能上顯示了較優的表現[26]。其原理如下：

由于一維擴散距離的應用沒有多大實際意義，所以推廣到高維且引入高斯金字塔對擴散距離進行優化，進一步提高了相似性度量函數的計算效率。

從式(6)可以看出，dl中的向下采樣操作在運算量上呈指數減少，同時使用采樣值的2/3，又能夠最大限度保留樣本值的信息；其次，高斯濾波卷積操作是線性運算，在計算效率上明顯有優勢。但是，優化后的擴散距離雖然在計算效率上提高不少，但是由式(4)和(5)可以知道，優化擴散距離在表示空間向量直方圖和之間的累積差時，缺少對內部單個元素之間差異的表示。雖然使用式(8)可以直接應用到相似距離度量中，但其忽略了空間向量對應元素之間的相似性的影響，因而其精確度會存在誤差。由于不同中的每個元素代表不同的特征屬性，比如wHSV(weighted HSV, 加權HSV)直方圖中的第z個元素代表第z個區域內的像素點的總個數或者代表圖像中的顏色值為z。所以，進行相似性距離度量時，既要考慮累積差異的影響，也要考慮對應元素間相似性的影響。假設：降采樣，相應的，無法區分哪兩個直方圖更相似。通過觀察、和發現，相比擁有更多相同或者相近的元素個數。從直觀上，只能定性的認為與應該比與更相似。

通過以上分析，在計算空間向量直方圖之間距離時，不應該將內部元素歸置一樣的權值，而應該對那些元素值間對應相同或者相近的給予更大的權值。所以，本文在優化擴散距離基礎上進行二次優化，提出加權式擴散距離，相應表達式為

首先，將式(5)改寫成

式中：1i和2i分別代表直方圖1中第i個元素和直方圖2中第i個元素，；式(5)和(9)代表類似的含義，即兩個直方圖差異的距離等同于兩個直方圖中每一個對應元素差異的累積。那么計算時使用的公式即為式(9)。

其次，將式(9)改寫成

圖5顯示了不同時間段擴散距離的狀態。圖5(a)中顯示同一個人在不同視角下的直方圖差異的擴散過程；圖5(b)中顯示不同的人在不同視角下的直方圖差異的擴散過程。通過兩幅圖的對比我們可以看到，(a)圖相比(b)圖衰減更快，即同類人直方圖的擴散距離小于不同類人的。

圖5 擴散距離匹配過程Fig. 5 Diffusion distance matching process

3 目標再確認

3.1 歸一化處理

單獨使用上述3種特征描述中任何一種所建立的相似性度量函數都不能達到較好的匹配效果，所以本文使用多特征融合進而建立起的相似性度量函數進行目標再確認，對上述3種特征提取相應特征直方圖，然后分別計算相應的優化擴散距離，為防止由于不同特征算出的擴散距離有較大差異而影響目標再確認結果，對每類特征描述計算所得到的擴散距離都做歸一化處理。

3.2 總體相似性度量函數的建立

目標再確認中，通常會有兩組圖像數據：待識別目標IA和候選目標IB。本文利用兩組圖像數據庫，對上述3類特征得到的擴散距離都做相應的歸一化處理之后，使用式(8)結合式(10)來計算不同圖像庫IA和IB中的圖像之間的匹配距離。

式中：g代表一級區域；lca代表二級區域；α、β、λ、μ分別代表不同特征直方圖的權重，。本文對于粗識別過程中的整體RGB特征直方圖分配經驗值為α=0.2影響因素較大的局部RGB直方圖給予較大的權值，選擇目前最佳的經驗值β=0.4；對于影響因素較弱的加權HSV直方圖給予目前最佳的經驗值λ=0.3；對于影響因素最小的局部HOG直方圖給予相對較弱的經驗值μ=0.1。總的評價準則函數即總的相似性度量函數為式(11) 。

4 實驗驗證

上文所述理論相比傳統再確認算法在特征選擇和度量算法上都進行了優化，同時，本文進行多組實驗驗證了本文所提出優化算法的可行性，下文會分別從實驗運行效果和實驗數據統計來闡述本文的有效性。

4.1 實驗運行效果

從實驗運行結果來看應用本文原理編程實現的匹配成功率較為理想，能夠很好地實現目標再確認的功能，如圖6(a)、圖7所示。下面顯示的效果圖中圖6(a)和圖7是目標再確認中顯示正確的效果圖，圖6(a)圖顯示了實驗過程中成功再確認的案列，而圖7是實驗完成后所有再確認成功的部分匯總。盡管本文算法可以很好地實現目標再確認，但是，仍存在少數失敗的案列，比如圖6(b)所示。

圖6 匹配效果圖Fig. 6 Matching figures

圖7 目標再確認成功對顯示圖Fig. 7 Target to reconfirm success of figure

圖6 (a)是實驗中匹配正確的效果圖，從圖中可以看出兩個攝像頭中所呈現的目標的顏色特征有很大相似性，在圖6(a)中行人身上的局部顏色特征，如上身身軀和下身身軀的顏色差異性很明顯，其他特征的干擾比較小，因而在特征表達更具體，更有辨別性。所以在算法中可以比較容易地將目標進行再確認。相比之下，圖6(b)中兩個行人在進行軀體分割，特征提取等過程后，由于用于提取特征而分割出來的部分特征較為接近(左右兩圖上身衣服和下身褲子的顏色分別比較接近)，因而導致出現了錯誤的再確認結果。

本文通過隨機選取圖片庫中45對圖片進行目標再確認實驗，將部分匹配成功對在MATLAB畫布中顯示在一起(圖7)，可以更加直觀地看出本文的算法達到了良好的再確認效果。具體性能指標可以通過下文中實驗數據統計評估結果進行說明。

4.2 實驗數據統計評估

評價目標再確認的性能是否優良并沒有統一的標準，但目前在評估行人再確認性能方面主要采用的是累積匹配特性曲線CMC[27](cumulative match characteristic)。CMC曲線反映的是在目標圖庫前n個最相似候選目標內找到正確匹配圖片的概率[27]。實驗中隨機抽取50對行人目標進行測試，實驗的總次數是5次。最后給出平均CMC曲線(橫坐標為排名，縱坐標為識別率)。假設曲線上有一點(m,n)，代表排名前m個的匹配目標中能夠命中的概論是n，當然其中的m可以理解成所有匹配數目中具有最大相似度的前m個目標，n自然是這m個目標中包含正確匹配結果的比率)[27]，實驗運行第1次和5次實驗運行之后生成CMC平均曲線效果圖如圖8中的(a)和(b)圖所示。

圖8(a)圖中顯示的是第1次實驗完成后生成的CMC性能曲線，其中圖中的橫軸代表排名等級，豎軸是識別率，從曲線上可以看出第1次實驗至少前20位匹配的效率才能達到100%，此處的識別率也代表：達到最高效率所需要匹配的數量越少，說明該算法越好。圖8(b)圖中顯示的5次實驗完成后生成的平均CMC性能曲線，從曲線上可以看出5次實驗完成后求平均值生成的CMC曲線圖中顯示，至少前19位匹配的效率才能達到100%，當然這里達到最高效率所需要匹配數量越少，也說明該算法越好。圖中第一次實驗獲得了44%的匹配率，5次平均實驗后獲得的匹配率為46%，相比現有提出的參考算法，本文算法的匹配率是比較理想的。

圖8 基于VIPeR數據集的CMC性能曲線Fig. 8 CMC performance curve based on the data set of VIPeR

4.3 不同數據集實驗對比分析

4.3.1 基于VIPeR數據庫實驗結果

本文在實現基于優化擴散距離算法的基礎上使用多特征融合的方式進行目標再確認，實驗過程中，本文為了突出多特征組合的優勢，相應的做了多組實驗：單一特征和多特征在同樣距離度量算法的軟硬件環境下進行了識別率對比，其相應實驗效果如圖9(a)所示；同時將本文算法和傳統的目標再確認的其他優秀算法(夾角余弦度量算法和直方圖交叉核度量算法)進行了性能方面上的對比，其相應實驗效果圖如圖9(b)所示。如圖9(a)所示，通過CMC曲線圖可以看出，使用本文中的多特征來識別時匹配率更高。從圖中統計出Rank=1, 3, 6, 8,10排名時所對應單一特征和多特征組合的識別率，可以從數據中觀察出，本文中使用多特征組合所得識別率為46.2%；僅使用RGB特征所得識別率為28.2%；僅使用HSV特征所得識別率為27.5%；僅使用HOG特征所得識別率為4.5%；無論在哪個排名階段，總體上，本文使用的多特征組合相對使用單一特征來進行識別時，多特征組合的識別率更高，更有優勢。

圖9 VIPeR圖庫性能對比圖Fig. 9 The performance contrast figure based on the VIPeR

如圖9(b)所示，通過3種算法的CMC曲線對比圖可以很明確地看出，本文算法在相同條件下識別率更高。從圖中統計出Rank=1, 3, 6, 8, 10排名時所對應不同算法的識別率，可以從數據中觀察出，本文的識別率已經達到了50.5%，而其他優秀算法中的直方圖交叉核和夾角余弦算法的識別率分別為47.3%和22.5%；無論在哪個排名階段，總體上，優化擴散距離算法相比其他兩種優秀算法在識別率方面都比較高。

為了體現本文算法在識別率上的優勢，實驗中，同時進行了不同優秀算法和本文算法的性能對比，對應性能表如下表1所示。

表1 本文算法與其他特征類算法的性能比較Table 1 Comparison between the proposed algorithm and other feature-class algorithms

通過表1特征類算法的對比：SDALF (symmetry-driven accumulation of local features)方法在提取前景后分割人體目標為頭部、軀干和腿部3部分的基礎上進行wHSV、最大穩定顏色區域和重復紋理塊組合識別，最后使用歐式距離進行測距，實驗中的匹配率達到了19.77%，這個應用廣泛的算法的優勢在于較好特征的建立，但是在距離度量上還是使用傳統的歐式距離，相比而言，本文在距離度量上的優勢是顯而易見的；CPS(custom pictorial structures)方法的優勢在于能夠根據人體結構檢測出人體的各個部位進行識別，能夠更好地提取前景特征，匹配率達到了20.32%；eLDFV(encoded local descriptors fisher vectors)方法結合SDALF使用Fisher向量編碼圖像的亮度和梯度信息，匹配率達到了21.42%，但是對于度量算法仍然需要改進；SCEFA(structural constraints enhanced feature accumulation)方法雖然使用基于Gabor紋理模式的關鍵點檢測和雙向匹配顏色區域特征的方法，匹配率達到了25.36%，其多特征的構建是最大的優點；eSDC(effectiveness salience and dense correspondence)方法也是結合SDALF以及非監督的學習方式去尋找個體更好的特征，匹配率達到了很高的26.77%，但是欠缺考慮距離度量算法的改進；特征類中的HSCD(hybrid spatiogram and covariance descriptor)方法結合了空間直方圖和區域協方差兩種優秀的統計描述，并且從多個層次的統計區域提取多類互補性較好的統計向量，這個方法和同類相比是最好的，得到了29.32%的識別率。通過表2所展現的度量算法來看：ELF(ensemble of localized features)方法雖然AdaBoost分類器選取顏色和紋理特征，這種方法充分利用了分類器的選優特性，識別率僅僅為11.36%；ERSVM(Ensemble RankSVM)方法和PRDC(relative distance comparison)相類似，利用相對距離排序的SVM分類器集成多個特征向量權重，此方法在度量算法方面優勢很明顯，但是在特征方面仍需要改進；LMNN-R(large margin nearest neighbor with rejection)方法也使用相對距離比較的PRDC方法，使用了大邊近鄰分類器，在特征設計方面同樣需要改進。

度量算法類中，性能表現最好的是HI(histogram intersection)，直方圖交叉核，該算法是一種基于隱式對應關系的內核函數，解決了無序、可變長度的矢量集合的判別分類的問題，而且是正定的，由于該算法的優勢，應用到目標再確認領域，匹配率高達47.38%，因此，通過上文所述，同等條件下，度量算法類相比特征類在匹配率方面具有一定的優勢。而查看表格，本文算法無論在特征類還是距離度量類對比中，其50.5%的匹配率仍然具有一定的優勢。通過以上優秀算法和本文算法在數據上對比可以看出，本文在基于VIPeR圖像庫的基礎上，識別率方面性能相對比較好，這是因為本文特征設計上的優勢和優秀度量算法引入的原因。

表2 本文算法與其他距離度量類算法的性能比較Table 2 Comparison between the proposed algorithm and other distance metric-class algorithms

4.3.2 基于ETHZ數據庫實驗結果

ETHZ數據庫是從運動的攝像機中獲取的圖像，ETHZ1包含83個目標的4 857幅圖像；ETHZ2包含35個目標的1 936幅圖像；ETHZ3包含28個行人的1 762幅圖像。本文使用這類數據庫作為測試樣本庫，用來驗證本文算法和余弦、直方圖正交算法的性能對比。在數據庫中，光照的改變和行人的遮擋相對嚴重，人體姿態方面變化比較小。根據獲得的目標的幀數，可以將目標再確認分為以下3類：

1) 單幀對單幀(single vs single, SvsS)

2) 多幀對單幀(multiple vs single, MvsS)

3) 多幀對多幀(multiple vs multiple, MvsM)

本文分別測試了SvsS、MvsS、MvsM模式下的不同算法的目標再確認的性能，相應的CMC曲線圖如圖10所示。

在圖10中，(a)、(d)分別代表ETHZ1數據集下MvsS和MvsM的性能表現；(b)、(e)分別代表ETHZ2數據集下MvsS和MvsM的性能表現；(c)、(f)分別代表ETHZ3數據集下MvsS和MvsM的性能表現。通過測試ETHZ數據庫中的實驗圖像可以發現，在不同ETHZ集下，本文算法在匹配精度方面，一直保持領先。ETHZ1中，在MvsS和MvsM幀下，本文算法在Rank=1時都達到了87%左右；ETHZ2中，在MvsS和MvsM幀下，本文算法在Rank=1時分別達到了87.5%和93%左右；ETHZ3中，在MvsS和MvsM幀下，本文算法在Rank=1時分別達到了94%和96%左右。相比余弦算法和直方圖正交算法，本文算法能夠得到更好的表現，其原因在于：由于多特征的使用，可以應對攝像機鏡頭的不同、遮擋所造成的差異；更重要的是在距離匹配過程中所應用的優化擴散距離，可以有效應對光亮、陰影等造成的差異，并且利用直方圖的空間信息更加精確其對應距離，從而準確的進行目標再確認。這也是本文適合更多場景且無需監督的原因，通過在ETHZ數據集上的表現，可以看出本文算法的性能還是不錯的，觀察匹配出的效果圖發現，本文所提出算法在應對姿態、視角、和光照變化等方面具有較好的魯棒性。

圖10 基于ETHZ數據集下的多幀實驗Fig. 10 The performance contrast figure based on the ETHZ

5 結束語

通過上文中的理論分析和實驗驗證，本文最大的創新點在于引入物理學溫度場的擴散距離的概念并進行優化，來建立相似性度量函數。并為了提高優化擴散距離的計算效率，進行了二次加權性優化，進而提高了計算的準確性。特征提取方面，定義了兩級區域直方圖提取方案，這種簡易而有效的方法可以在特征基礎上實現空間信息的添加，從而提高了識別率。在兩級區域方案基礎上，通過高斯加權HSV直方圖，整體、局部RGB直方圖，以及HOG特征描述子3類特征的綜合使用，并輔以適當的加權處理，較好地實現了行人目標再確認。最后，本文優化算法與同類別的其他優秀算法以及傳統目標再確認過程中所使用的有監督的訓練學習型度量算法進行了對比。相比其他算法，本文的優點是：目標再確認準確率明顯提高，同時不需要大量的訓練樣本、節省了訓練時間、可以適應大部分的場景變化、節省內存開支等，在一定程度上體現了本文算法的優越性。但本文仍然還有許多需要改進的地方，比如如何在更加復雜的環境中可以更高效率的進行目標再確認，這也是本文下一步研究的重點。

[1]ZHAO R, OYANG W, WANG X. Person re-identification by saliency learning[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(2): 356–370.

[2]JIA J, RUAN Q, JIN Y. Geometric preserving local fisher discriminant analysis for person re-identification[J]. Neurocomputing, 2016, 205: 92–105.

[3]UKITA N, MORIGUCHI Y, HAGITA N. People re-identification across non-overlapping cameras using group features[J]. Computer vision and image understanding, 2016,144(C): 228–236.

[4]MARTINEL N, MICHELONI C. Re-identify people in wide area camera network[C]//2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. RI, USA, 2012: 31–36.

[5]HUA J I, PAN M L. Person re-identification based on global color context[C]//ACCV'10 Proceedings of the 2010 international conference on Computer vision. Queenstown,New Zealand, 2010, 6468(I): 205–215.

[6]ZHAO T, NEVATIA R. Tracking multiple humans in complex situations[J]. IEEE transactions on pattern analysis and machine intelligence, 2004, 26(9): 1208–1221.

[7]LI P, WU H, CHEN Q. Person re-identification using color enhancing feature[C]//2015 3rd IAPR Asian Conference on Pattern Recognition. Kuala Lumpur, Malaysia, 2015: 86–90.

[8]李金, 胡文廣. 基于顏色的快速人體跟蹤及遮擋處理[J].智能系統學報, 2010, 5(4): 353–359.LI Jin, HU Wenguang. Tracking fast movement using colors while accommodating occlusion[J]. CAAI transactions on intelligent systems, 2010, 5(4): 353–359.

[9]劉宇, 向高林, 王伊冰. 一種改進的行人導航算法研究[J].重慶郵電大學學報:自然科學版, 2016, 28(2): 233–238.LIU Yu, XIANG Gaolin, WANG Yibing. An improved pedestrian navigation algorithm[J]. Journal of Chongqing university of posts and telecommunication: natural science edition, 2016, 28(2): 233–238.

[10]HU Y, LIAO S, LEI Z. Exploring structural information and fusing multiple features for person re-identification[C]//2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Portland, USA, 2013:794–799.

[11]LIU P, GUO J M, CHAMNONGTHAI K, et al. Fusion of color histogram and lbp-based features for texture image retrieval and classification[J]. Information sciences, 2017,1(390): 95–111.

[12]CHANG C, LIN C. LIBSVM: a library for support vector machines[J]. Journal ACM transactions on intelligent systems and technology, 2011, 2(3): 389–396.

[13]CAI Y, CHEN W, HUANG K, TAN T. Continuously tracking objects across multiple widely separated cameras[C]//ACCV'07 Proceedings of the 8th Asian conference on Computer vision. Tokyo, Japan, 2012(I):843–852.

[14]PATHYA B, NAINAN S. Performance evaluation of face recognition using LBP, PCA and SVM[J]. International journal of advanced trends in computer science and engineering, 2016, 3(4): 85–88.

[15]王彩玲, 詹松, 荊曉遠. 基于圖像顯著特征的非重疊視域行人再識別[J]. 南京郵電大學學報: 自然科學版, 2016,36(3): 106–111.WANG Cailing, ZHAN Song, JING Xiaoyuan. Pedestrian re-identification based on salient features in non-overlapping areas[J]. Journal of Nanjing university of posts and telecommunications: natural science edition, 2016, 36(3):106–111.

[16]FARENZENA M, BAZZANI L. Person re-identification by symmetry-driven accumulation of local features[C]//2010 IEEE Conference on Computer Vision and Pattern Recognition. San Francisco, CA, USA, 2010: 2360–2367.

[17]彭程, 劉帥師, 萬川, 等. 基于局部紋理ASM模型的人臉表情識別[J]. 智能系統學報, 2011, 6(3): 231–238.PENG Cheng, LIU Shuaishi, WAN Chuan, et al. An active shape model for facial expression recognition based on a local texture model[J]. CAAI transactions on intelligent systems, 2011, 6(3): 231–238.

[18]FENG X, PIETIKAINEN M, HADID A. Facial expression recognition with local binary patterns and linear programming[J]. Pattern recognition and image analysis, 2005,15(2): 550–552.

[19]PROSSER B, ZHENG W S, GONG S. Person re-identification by support vector ranking[C]//BMVC2010 British Machine Vision Conference. Aberystwyth, UK, 2010(42):1–11.

[20]FANG C. People re-identification based on online multiple kernel learning in video surveillance[J]. Opto-electronic engineering, 2012, 39(9): 65–71.

[21]PANG Y, XIN-CHU S: Multiway histogram intersection for multi-target tracking[C]//2015 18th International Conference on Information Fusion. Washington, DC, USA,2015: 1938–1945.

[22]YIN J, ZHOU J, JIN Z. Principal component analysis and kernel principal component analysis based on cosine angle distance[J]. Computer engineering and applications, 2011,47(3): 9–12.

[23]HAIBIN L, OKADA K. Diffusion distance for histogram comparison[C]//Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC, USA, 2006, 1(1): 246–253.

[24]ROTHER C, KOLMOGOROV V, BLAKE A. “GrabCut”:interactive foreground extraction using iterated graph cuts[J]. ACM transactions on graphics, 2004, 23(3):307–312.

[25]QING-JUN W, RU-BO Z. LPP-HOG: a new local image descriptor for fast human detection[C]//2008 IEEE International Symposium on Knowledge Acquisition and Modeling Workshop. Wuhan, China, 2008: 640–643.

[26]JUN Y. HOCK-SOON S: fuzzy diffusion distance learning for cartoon similarity estimation[J]. Journal of computer science and technology: English edition, 2011, 26(2):203–216.

[27]MAZZON R, TAHIR S F, CAVALLARO A. Person reidentification in crowd[J]. Pattern recognition letters, 2012,33(14): 1828–1837.

[28]CHENG D S, CRISTANI M, STOPPA M. Custom pictorial structures for re-identification[C]//BMVC2010 British Machine Vision Conference. Dundee, UK, 2011, (68):1–11.

[29]MA B, SU Y, JURIE F. Local descriptors encoded by fisher vectors for person re-identification[C]//12th European Conference on Computer Vision Workshops. Florence,Italy, 2012, 7583: 413–422.

[30]ZHAO R, OUYANG W, WANG X. Unsupervised salience learning for person re-identification[C]//2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland, USA, 2013, 9(4): 3586–3593.

[31]ZENG M Y, WU Z M, CHANG T. Fusing appearance statistical features for person re-identification[J]. Journal of electronics and information technology, 2014, 36(8):1844–1851.

[32]GRAY D, TAO H. Viewpoint invariant pedestrian recognition with an ensemble of localized features[C]// ECCV'08 Proceedings of the 10th European Conference on Computer Vision. Marseille, France, 2008, (I): 262–275.

[33]ZHENG W S, GONG S, XIANG T. Reidentification by relative distance comparison[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(3):653–668.

[34]DIKMEN M, AKBAS E, HUANG T S. Pedestrian recognition with a learned metric[C]//ACCV'10 Proceedings of the 10th Asian conference on Computer vision. Queenstown, New Zealand, 2010, 6495(IV): 501–512.