基于注意力機(jī)制的車輛再識(shí)別方法

河南中光學(xué)集團(tuán)有限公司 余 科

河南中光學(xué)集團(tuán)有限公司 河南科技大學(xué) 駱 沛

河南中光學(xué)集團(tuán)有限公司 梁 濤 白曉波

利用車輛重識(shí)別技術(shù)能夠?qū)囕v進(jìn)行跟蹤定位，可實(shí)現(xiàn)對(duì)感興趣車輛的軌跡分析、跨攝像機(jī)接力跟蹤等應(yīng)用，在邊海防智能視頻監(jiān)控領(lǐng)域有著重要的研究和應(yīng)用意義。目前車輛再識(shí)別技術(shù)常見有三類：（1）利用無線磁感應(yīng)器、感應(yīng)線圈、無線射頻等硬件設(shè)備實(shí)現(xiàn)；（2）通過顏色、紋理等人工設(shè)計(jì)特征實(shí)現(xiàn)；（3）基于深度學(xué)習(xí)方法。

近些年，深度學(xué)習(xí)技術(shù)在車輛再識(shí)別領(lǐng)域取得了很多重要研究成果。Tian等人于2016年提出了一種深度相對(duì)距離學(xué)習(xí)方法，利用雙分支深度匯總網(wǎng)絡(luò)進(jìn)行投影計(jì)算距離來測量車輛相似性。2017年，Yan等人采用兩種多粒度排序約束方法，通過多任務(wù)學(xué)習(xí)解決精確車輛搜索問題；Qian等人提出了一種能夠?qū)W習(xí)不同尺度深度特征表達(dá)的新模型；Tang等人將深度特征和手工特征進(jìn)行融合，為車輛重新識(shí)別提供了一種更穩(wěn)健更具判別力的特征表達(dá)。2018年，Liu等人使用一種基于多模態(tài)感知數(shù)據(jù)的漸進(jìn)式車輛重識(shí)別方法提高了車輛發(fā)現(xiàn)效率和準(zhǔn)確性；Teng等人提出了一種基于DCNN的空間和通道注意網(wǎng)絡(luò)可以提取更多車輛判別特征。

在邊海防視頻監(jiān)控中，視場范圍大，監(jiān)控車輛目標(biāo)較小，且存在光照變化、場景變化、背景干擾等情況，車輛再識(shí)別比較困難，準(zhǔn)確率很低。本文針對(duì)這種場景，提出一種注意力機(jī)制和多尺度特征融合的方法進(jìn)行車輛再識(shí)別，通過多尺度融合獲得網(wǎng)絡(luò)不同深度目標(biāo)特征信息，再通過注意力機(jī)制選擇更具判別力的特征，極大提高網(wǎng)絡(luò)學(xué)習(xí)能力。

1 算法設(shè)計(jì)

首先構(gòu)建一個(gè)注意力機(jī)制的深度學(xué)習(xí)網(wǎng)絡(luò)，提取目標(biāo)全局特征信息；然后，根據(jù)網(wǎng)絡(luò)深度提取不同尺度目標(biāo)特征，防止部分特征多次提取后消失；同時(shí)，對(duì)融合后的特征空間引入一個(gè)局部特征提取模塊，并與全局特征進(jìn)行融合，獲取更多車輛再識(shí)別的特征信息。

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)框架主要由一個(gè)骨干網(wǎng)絡(luò)、注意力模塊和局部特征提取模塊構(gòu)成。特征提取的骨干網(wǎng)絡(luò)選用ResNet50，Conv1、Conv2卷積組采集圖像特征信息，Conv3到Conv5卷積組引入空間通道注意力機(jī)制（CBAM）模塊；同時(shí)，每個(gè)殘差塊經(jīng)過卷積和池化運(yùn)算后，使用級(jí)聯(lián)方式進(jìn)行不同層級(jí)的多尺度特征融合，獲取特征空間；然后再對(duì)該特征空間通過分塊方式獲取局部特征與全局特征進(jìn)行融合，得到用于識(shí)別的特征圖，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)框架結(jié)構(gòu)圖

ResNet50網(wǎng)絡(luò)共6個(gè)卷積組模塊，其中2-5卷積組為殘差模塊，每個(gè)殘差模塊由兩個(gè)1h1卷積和一個(gè)3h3卷積組成。殘差模塊就是在兩個(gè)卷積層前后做了直連，但取得了非常好的效果，所以本文特征提取的骨干網(wǎng)絡(luò)選用ResNet50。

殘差模塊后依次添加空間通道注意力模塊：1）通道注意力（CAM）采用全局最大池化（Global Max Pooling，GMP）和（Global Average Pooling，GAP）組合，可以挖掘更豐富的關(guān)鍵特征，去除無關(guān)干擾信息；2）空間注意力（SAM）增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)車輛特征表示的辨別能力。之后將各級(jí)特征沿通道維度連接，獲取一個(gè)級(jí)聯(lián)空間特征：1）經(jīng)過1h1卷積層后獲取多通道空間特征，再通過全局平均池化（Global Average Pooling，GAP）處理后，通過全連接層進(jìn)行特征降維，得到一個(gè)256維的全局特征；2）通過切塊方式獲取4個(gè)局部子特征，每個(gè)子特征通過GAP處理后，連接全連接層降維到256維，再與全局特征進(jìn)行融合。

1.2 注意力機(jī)制

注意力機(jī)制可以在網(wǎng)絡(luò)引入少量參數(shù)情況下，有選擇地學(xué)習(xí)關(guān)鍵特征，減少無用特征，提高車輛的深度特征表達(dá)能力，尤其是對(duì)于外觀高度相似的車輛，通過在不同尺度特征圖上添加注意力機(jī)制，可獲得更具判別力的特征信息。本文在4、5組卷積層之后添加空間通道注意力（CBAM）模塊，具體結(jié)構(gòu)如圖2所示。

圖2 空間通道注意力結(jié)構(gòu)圖

（1）通道注意力（CAM）

通道注意力機(jī)制，能夠捕獲跨通道的潛在語義信息。通過給每個(gè)通道分配不同的權(quán)值，選擇對(duì)車輛任務(wù)有用的特征通道，提高特征的判別性。常用的通道注意力機(jī)制SENet僅采用了最大池化（maxpool），本文將最大池化（maxpool）與平均池化（avgpool）進(jìn)行融合，將兩個(gè)pool后的結(jié)果相加，使提取的高層特征更加豐富。具體實(shí)現(xiàn)過程如下：

1）輸入特征F進(jìn)行GMP和GAP運(yùn)算，得到兩個(gè)1h1hC的通道權(quán)重的矩陣；

2）將兩個(gè)權(quán)重矩陣輸入到一個(gè)多層感知機(jī)（MLP）中，獲得2個(gè)輸出特征；

3）2個(gè)特征通過向量相加操作后再使用sigmoid激活函數(shù)，生成一個(gè)通道注意力圖；

4）通道注意力圖與輸入特征進(jìn)行乘法操作，即可生成空間注意力模塊需要的輸入特征。

（2）空間注意力（SAM）

空間注意力機(jī)制，能夠捕獲空間域的重要特征信息。通過聚焦網(wǎng)絡(luò)中最具信息特征部分，實(shí)現(xiàn)空間層面的注意力，是對(duì)通道注意力的補(bǔ)充，增強(qiáng)了網(wǎng)絡(luò)車輛特征表示的辨別能力。具體實(shí)現(xiàn)過程如下：

1）通過maxpool與avgpool操作，對(duì)通道特征進(jìn)行降維，然后將它們連接起來生成一個(gè)2D特征圖；

2）再使用一個(gè)卷積層進(jìn)行學(xué)習(xí)，經(jīng)過sigmoid激活函數(shù)計(jì)算，生成一個(gè)大小為RhHhW的空間注意力圖。

1.3 多尺度特征融合

高層網(wǎng)絡(luò)感受野大，語義特征表達(dá)能力強(qiáng)，但分辨率低，很多細(xì)節(jié)特征變得模糊；低層網(wǎng)絡(luò)感受野小，細(xì)節(jié)特征表達(dá)能力強(qiáng)，但提取語義特征能力弱。監(jiān)控場景中車輛目標(biāo)較小，尤其一些部件只有很小的分辨率，高層網(wǎng)絡(luò)很容易丟失小目標(biāo)的特征信息。考慮到高層網(wǎng)絡(luò)和低層網(wǎng)絡(luò)的互補(bǔ)性，本文在車輛再識(shí)別時(shí)引入多尺度特征融合機(jī)制，對(duì)不同階段的特征圖進(jìn)行組合，使識(shí)別網(wǎng)絡(luò)獲取更多的判別特征。多尺度結(jié)構(gòu)圖如圖3所示。

圖3 多尺度結(jié)構(gòu)圖

分別從ResNet50+CBAM網(wǎng)絡(luò)的Conv3、Conv4、Conv5殘差模塊中得到3個(gè)特征圖，使用1h1大小的卷積運(yùn)算對(duì)3個(gè)特征圖進(jìn)行通道調(diào)整，確保三個(gè)特征通道數(shù)一致；然后通過AvgPool進(jìn)行下采樣，調(diào)整特征圖大小；最后利用3個(gè)分支處理后的信息進(jìn)行融合，使識(shí)別網(wǎng)絡(luò)可以獲取更豐富的多尺度特征。

本文除了多尺度特征融合，還采用了全局特征和局部特征融合方法，提升車輛目標(biāo)的判別精度。1）局部特征：按照空間分塊方式，將由多尺度融合獲取的空間特征分割為四個(gè)子塊，使用GAP對(duì)每個(gè)子塊提取局部特征；2）全局特征：對(duì)空間特征使用1h1大小的卷積運(yùn)算將N維特征通道維度提升到4N維，再使用GAP提取全局特征，然后按照通道分割將4N維分割成四個(gè)特征；最后，對(duì)四個(gè)局部特征和全局特征進(jìn)行疊加，獲取用于車輛識(shí)別的一個(gè)256維特征信息。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集準(zhǔn)備

車輛重識(shí)別常用到的是Vehicle-ID和VeRi-776公開數(shù)據(jù)集。Vehicle-ID數(shù)據(jù)集包含了221,763張26,267輛車圖像，每種車輛僅包含8.4張圖像，且只考慮了車輛前后兩種視角，無法滿足復(fù)雜場景需求。VeRi-776數(shù)據(jù)集包含了超過776輛車的50,000多張圖像，考慮到邊海防監(jiān)控的特殊性，這些樣本數(shù)量并不多，很難滿足監(jiān)控場景的需要。所以在Vehicle-ID和VeRi-776數(shù)據(jù)集的基礎(chǔ)上，我們通過采集實(shí)際監(jiān)控場景的各種車輛數(shù)據(jù)，構(gòu)建邊海防監(jiān)控場景的車輛再識(shí)別數(shù)據(jù)集來驗(yàn)證注意力框架及多尺度融合的有效性。

2.2 實(shí)驗(yàn)結(jié)果分析

骨干網(wǎng)絡(luò)采用在ImageNet上預(yù)訓(xùn)練過的ResNet50模型參數(shù)進(jìn)行初始化，網(wǎng)絡(luò)輸入為224h224。訓(xùn)練時(shí)采用小批量隨機(jī)梯度下降（SGD）來更新網(wǎng)絡(luò)參數(shù)，初始學(xué)習(xí)率（learning_rate）為0.001，權(quán)重衰減（weight_decay）為0.0005，批量大小（batch_size）為32。數(shù)據(jù)集隨機(jī)分為訓(xùn)練集、驗(yàn)證集、測試集3部分，其中一個(gè)batch包含m個(gè)車輛，每個(gè)車輛包含n張車輛圖片，一個(gè)batch總共包含個(gè)訓(xùn)練樣本。所有車輛圖像亂序排列并進(jìn)行隨機(jī)抽樣組成訓(xùn)練的正負(fù)樣本，并在訓(xùn)練前進(jìn)行數(shù)據(jù)歸一化處理。

為了評(píng)估我們算法的有效性，實(shí)驗(yàn)中通過基礎(chǔ)網(wǎng)絡(luò)、基礎(chǔ)網(wǎng)絡(luò)+SENet注意力機(jī)制、基礎(chǔ)網(wǎng)絡(luò)+CBAM注意力機(jī)制、基礎(chǔ)網(wǎng)絡(luò)+CBAM注意力機(jī)制+多尺度（scal）特征融合、基礎(chǔ)網(wǎng)絡(luò)+CBAM注意力機(jī)制+多尺度（scal）特征融合+全局局部（LC）特征融合幾種不同組合進(jìn)行訓(xùn)練和測試比對(duì)，使用均值平均精度（mAP）、rank1、rank5參數(shù)評(píng)估度量車輛再識(shí)別的準(zhǔn)確率，實(shí)驗(yàn)結(jié)果如表1所示。

表1 注意力機(jī)制及多尺度融合有效性分析

從表1中可以看到，添加注意力機(jī)制和多尺度特征融合及局部全部特征融合后，車輛再識(shí)別準(zhǔn)確率明顯有提升，證明了我們網(wǎng)絡(luò)結(jié)構(gòu)的有效性。

在實(shí)際測試場地安裝2臺(tái)分辨率為1920h1080的攝像機(jī)，攝像機(jī)中間沒有重疊區(qū)域，加載車輛再識(shí)別算法，車輛進(jìn)入第一臺(tái)攝像機(jī)時(shí)檢測抓拍，途徑第二臺(tái)攝像機(jī)時(shí)，能夠及時(shí)識(shí)別到該車輛，效果如圖4所示，驗(yàn)證了算法的有效性。

圖4 車輛識(shí)別效果圖

結(jié)論與展望：本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于注意力機(jī)制和多尺度特征融合的車輛再識(shí)別方法。通過空間通道注意力機(jī)制，提高了車輛的深度特征表達(dá)能力；通過多尺度特征融合，充分利用高層和低層網(wǎng)絡(luò)優(yōu)勢，使識(shí)別網(wǎng)絡(luò)獲取更多的判別特征；還采用了全局特征和局部特征融合方法，提升了車輛目標(biāo)的判別精度。通過實(shí)驗(yàn)驗(yàn)證，本設(shè)計(jì)是一種可行的車輛再識(shí)別方法。實(shí)驗(yàn)中還存在著一些不足，比如數(shù)據(jù)采集的場景不夠多，模型的泛化能力不強(qiáng)。下一步通過采集更多監(jiān)控場景的車輛視頻，或通過圖像增強(qiáng)等方法豐富數(shù)據(jù)集，網(wǎng)絡(luò)的性能預(yù)計(jì)會(huì)有進(jìn)一步的提升。