基于光照不變性顏色特征的行人再識別方法

徐同文，白宗文，楊延寧，張?jiān)?/p>

（1.延安大學(xué)物理與電子信息學(xué)院，陜西延安 716000；2.陜西省能源大數(shù)據(jù)智能處理省市共建重點(diǎn)實(shí)驗(yàn)室，陜西延安 716000；3.西安交通大學(xué)人工智能學(xué)院，陜西西安 710049）

行人再識別[1-2]是指在無重疊視域跨攝像機(jī)網(wǎng)絡(luò)中對同一個(gè)行人目標(biāo)進(jìn)行匹配。由于行人姿態(tài)具有非剛性、不同的攝像機(jī)所在環(huán)境光照條件不同以及拍攝到的圖像分辨率低等問題，使得行人再識別成為當(dāng)前計(jì)算機(jī)視覺的一大挑戰(zhàn)性任務(wù)。

深度學(xué)習(xí)方法[3]是當(dāng)前解決行人再識別問題常用的方法之一。雖然深度學(xué)習(xí)在行人再識別中取得了較好的識別效果，但是其模型往往過大，需要大量計(jì)算資源完成模型訓(xùn)練，此外，所得到的模型也無法部署到移動(dòng)終端，成為深度學(xué)習(xí)模型走向應(yīng)用的技術(shù)瓶頸。因此基于非深度學(xué)習(xí)的傳統(tǒng)方法仍然需要進(jìn)行持續(xù)深入研究。由于不同的攝像機(jī)可能處于不同的光照條件下，而同一種顏色在不同的光照條件下會(huì)表現(xiàn)出很大的差異，因此再用顏色特征就不能準(zhǔn)確地描述行人，給行人再識別造成困難。針對這個(gè)問題，提出了一種光照不變性顏色特征用以描述行人的外觀信息。首先，使用顏色屬性轉(zhuǎn)換[4-5]使得行人的不同圖像統(tǒng)一轉(zhuǎn)換到相近亮度。然后，把圖像從像素值變化大的RGB 空間轉(zhuǎn)換到像素值變化小的顏色空間中去，在轉(zhuǎn)換后的空間上提取顏色直方圖作為光照不變性顏色特征。這樣提取的特征對光照變化有一定的魯棒性。最后，使用XQDA[6]算法進(jìn)行特征間的相似性度量。

1 光照不變性顏色特征

由于不同的攝像機(jī)可能處于不同的光照條件下，同一種顏色在不同的光照條件下會(huì)表現(xiàn)出很大的差異。如圖1 所示，圖像來自VIPeR 數(shù)據(jù)集，圖（a）和圖（b）是同一個(gè)行人在不同攝像機(jī)不同光照條件下拍攝出來的兩幅圖像。從兩幅圖像中可以看出，行人的外觀因?yàn)閳D像亮度不同表現(xiàn)出很大的差異。

圖1 行人圖像顏色屬性轉(zhuǎn)換效果圖

1.1 顏色屬性轉(zhuǎn)換補(bǔ)償光照變化

為補(bǔ)償光照變化對顏色特征的影響，首先使用顏色屬性轉(zhuǎn)換把行人不同光照條件下的圖像統(tǒng)一變換到相近亮度。為了讓兩張圖像的光照亮度相近，CCT 把一張圖像（目標(biāo)圖像）的顏色屬性加到另一張圖像上（源圖像）。首先把源圖像和目標(biāo)圖像從RGB空間轉(zhuǎn)化到LMS 空間：

然后再把以上兩種圖像轉(zhuǎn)化到lαβ 空間：

把源圖像和目標(biāo)圖像從RGB 空間都轉(zhuǎn)化到lαβ空間后，分別計(jì)算圖像3 個(gè)通道的均值和標(biāo)準(zhǔn)差。源圖像和目標(biāo)圖像3 個(gè)通道的均值表示為：，標(biāo)準(zhǔn) 差表示為和。用如下公式把目標(biāo)圖像的顏色屬性加到源圖像：

最后再轉(zhuǎn)換回RGB 空間：

如圖1所示，圖（c）是圖（a）的顏色屬性加到圖（b）上轉(zhuǎn)換過來的，從圖中可以看到，圖（c）的亮度明顯比圖（b）亮一些，和圖（a）相近，這樣就補(bǔ)償了光照變化帶來的影響。

1.2 顏色空間轉(zhuǎn)換及特征提取

在進(jìn)行顏色屬性轉(zhuǎn)換后，兩幅圖像有相近的亮度，但是，在行人圖像上相同的位置還是有很大的變化，如圖2 所示，左圖右膝蓋上一個(gè)點(diǎn)的RGB值是[135 104 111]，右圖是經(jīng)顏色屬性轉(zhuǎn)換而來，目標(biāo)同一個(gè)像素點(diǎn)的RGB值是[75 64 65]，相比于左面圖像點(diǎn)的RGB值，其像素值分別變化為[-60-40-46]。根據(jù)顏色屬性轉(zhuǎn)換[5]算法，相同的像素點(diǎn)在不同的光照條件下，其RGB值大約呈線性變化，即有：

圖2 不同光照條件下像素值在RGB空間和nRGB空間的變化量圖

其中x、y、z表示轉(zhuǎn)換前像素點(diǎn)的RGB值，k表示比例系數(shù)。

如圖1 所示，圖（c）是圖（a）的顏色屬性加到（b）上轉(zhuǎn)換過來的，在圖（c）右膝蓋上取同一個(gè)像素點(diǎn)，如圖2 右圖所示，其RGB值與圖1（a）（圖2 左圖）相同點(diǎn)的RGB值的比例為：

從圖2 可以看出轉(zhuǎn)換到nRGB 空間后，點(diǎn)像素值的變化量為[-5 +8 +1]，比原始RGB值變化量大大減小，從而補(bǔ)償了光照變化對像素值變化的影響，使得不同光照條件下同一個(gè)像素點(diǎn)的變化大大減小。同樣，通過歸一化顏色空間rgs 中的r、g分量，H（色調(diào)）、S（色度）的計(jì)算公式，可以消除掉變化比例，因此對光照變化也有魯棒性。

該文為描述目標(biāo)的顏色特征，首先把圖像平均分成6 等分，對于每一個(gè)顏色空間分量提取16 維的顏色直方圖，即對于三通道的nRGB、HSI 和rgs 顏色空間模型，提取到的顏色特征維數(shù)分別為16×6×3=288。在特征提取前，分別去掉圖像左右8 個(gè)像素點(diǎn)，降低背景對特征描述的影響。在提取出行人的特征后，需要對這些特征向量進(jìn)行相似性度量。XQDA[6]算法是當(dāng)前行人再識別中最常用的經(jīng)典度量算法之一。它可以在進(jìn)行度量學(xué)習(xí)的同時(shí)得出一個(gè)降維子空間，通過降維子空間對向量降維，可以有效避免先降維再進(jìn)行度量學(xué)習(xí)的影響，因此度量向量間的相似度較為準(zhǔn)確。

2 實(shí)驗(yàn)結(jié)果與分析

該文實(shí)驗(yàn)在Intel(R) CoreTM i5-7500 CPU，頻率為3.40 GHz，內(nèi)存為4.00 Gbyte Matlab 2014a 基礎(chǔ)配置環(huán)境下進(jìn)行。

VIPeR 數(shù)據(jù)集[7]被認(rèn)為是在行人再識別算法測試中最常用的數(shù)據(jù)集之一。它是由兩個(gè)無重疊視域的攝像機(jī)采集到632 個(gè)行人，共1 264 張圖片組成。在算法測試中，隨機(jī)抽選316 個(gè)行人即632 張圖像作訓(xùn)練集，剩下的作測試集。CUHK01[3]也是在兩個(gè)攝像機(jī)下采集到的圖像組成的常用數(shù)據(jù)集。一共有971 個(gè)行人，每一個(gè)行人有4 張圖像，兩張正面或背面，兩張側(cè)面。在實(shí)驗(yàn)中，隨機(jī)選取485 個(gè)行人即970 張圖像做訓(xùn)練集，剩下的486 個(gè)行人的圖像作測試集。

該文采用在行人再識別中最常用的評價(jià)量化方法累積匹配特性（CMC）曲線[2]作為評價(jià)該算法的度量標(biāo)準(zhǔn)。

2.1 在不同公共數(shù)據(jù)集上進(jìn)行比較

文中提出的光照不變性顏色特征(Illumination Invariant Color Feature，IICF)在VIPeR 和CUHK01 數(shù)據(jù)集上使用XQDA 算法進(jìn)行相似性度量得到的結(jié)果與當(dāng)前的一些算法進(jìn)行比較。如圖3 所示，為在VIPeR數(shù)據(jù)集上一些當(dāng)前算法的CMC曲線圖。rank 1精度標(biāo)記在算法名稱前。從圖中可以看出文中算法的rank-1 精度達(dá)44.37%，從rank-1 到rank-15，該算法的精度一直比其他算法高。為了更精確地進(jìn)行精度比較，表1和表2分別列出了在VIPeR和CUHK01 測試的具體算法精度。從兩個(gè)表中看出，文中算法rank-1 在兩個(gè)數(shù)據(jù)集上分別高出4.37%和5.82%，優(yōu)于其他算法。另外在表1 中，基于深度學(xué)習(xí)的方法Deep ML 和SLSTM 的rank 1 精度只有28.23%和42.4%，低于該文算法，間接說明了文中算法優(yōu)于一些深度學(xué)習(xí)方法。

圖3 該文算法與當(dāng)前算法在VIPeR上的精度比較圖

表1 該文算法與當(dāng)前算法在VIPeR上的識別精確比較（%）

表2 該文算法與當(dāng)前算法在CUHK01上的識別精度比較（%）

2.2 特征的有效性實(shí)驗(yàn)分析

為說明文中提出的光照不變性顏色特征（IICF）可以有效準(zhǔn)確地描述行人的外觀特征，在VIPeR 數(shù)據(jù)集上與當(dāng)前常用的特征LOMO、WHOS、MCSH、ELF6 這4 種特征進(jìn)行比較，相似性度量方式都采用XQDA 算法進(jìn)行度量。如圖4 所示，是5 種特征的CMC 曲線比較圖。LOMO 特征的rank-1 算法精度為40%，比該文提出的特征精度低4.37%。WHOS 特征是先進(jìn)行圖像的背景弱化，再提取HS、Lab 顏色直方圖和HOG、LBP 特征，rank-1 精度為34.15%。MCSH是使用顏色像素值統(tǒng)計(jì)、均值和方差直方圖來描述行人，rank-1 精度為22.53%。ELF6 特征則是用Gabor、Schmid 和YCbCr 等共同描述目標(biāo)，rank-1 精度為20.13%。從圖中可以看出，文中提出的IICF 用XQDA 度量的結(jié)果精度在rank-15 之前要好于其他算法。這說明IICF 顏色特征可以很好地描述行人的外觀特征，對光照變化有很強(qiáng)的魯棒性。

圖4 文中提出的特征與常用特征精度比較圖

2.3 顏色屬性轉(zhuǎn)換補(bǔ)償光照變化實(shí)驗(yàn)分析

為了說明顏色屬性轉(zhuǎn)換在算法中補(bǔ)償光照變化的作用，如表3 所示，列舉了進(jìn)行使用顏色屬性轉(zhuǎn)換前后的算法精度對比。從表中可以看出，直接提取3 種顏色特征比使用顏色屬性轉(zhuǎn)換后再提取特征的rank-1 精度低22.76%，其他的rank 精度也平均低了大約25%左右。這說明顏色屬性轉(zhuǎn)換可以有效地把不同光照條件下的行人圖像統(tǒng)一轉(zhuǎn)換到相近亮度，對光照變化進(jìn)行補(bǔ)償，提高了算法的精度。

表3 文中使用的顏色特征在VIPeR數(shù)據(jù)集上使用CCT前后的精度對比（%）

3 結(jié)束語

文中提出了基于光照不變性顏色特征的行人再識別方法。首先，對不同光照條件下的行人圖像使用顏色屬性轉(zhuǎn)換統(tǒng)一轉(zhuǎn)換到相近亮度；再把圖像轉(zhuǎn)換到可以使像素值變化很小的顏色空間；最后，在此空間上提取顏色直方圖作為光照不變性特征。實(shí)驗(yàn)結(jié)果表明，文中提出的特征對光照變化有一定的魯棒性，可以很好地描述不同光照條件下的行人，算法的最終精度超過了一些主流算法。但是，只有顏色特征描述行人的信息有限，未來主要研究使用顏色、紋理、形狀相融合的特征表達(dá)算法。