基于二進(jìn)制生成對抗網(wǎng)絡(luò)的視覺回環(huán)檢測研究

楊 慧，張 婷，金晟，陳良，孫榮川，孫立寧

（蘇州大學(xué) 機(jī)電工程學(xué)院，江蘇 蘇州 215021）

利用三維空間中的信息進(jìn)行避障、定位以及和三維空間中的物體進(jìn)行交互對于移動機(jī)器人等自主無人系統(tǒng)來說是必不可少的能力。通常，三維感知能力由定位和建圖兩部分組成。當(dāng)前主流的方法支持同步定位與建圖，即SLAM(simultaneous localization and mapping)。在SLAM 系統(tǒng)中，機(jī)器人需要對自身所處的環(huán)境進(jìn)行建圖并同時估計自己的位姿[1]。視覺SLAM 系統(tǒng)主要包括3 個部分：前端視覺里程計、后端優(yōu)化、回環(huán)檢測[2]。其中，回環(huán)檢測的目的在于判斷機(jī)器人所在區(qū)域是否處于以前訪問過的區(qū)域，以便消除機(jī)器人在長時間導(dǎo)航與定位中產(chǎn)生的累計誤差，對于機(jī)器人進(jìn)行準(zhǔn)確定位以及地圖構(gòu)建起著至關(guān)重要的作用[3]。但是，機(jī)器人在利用視覺SLAM 進(jìn)行導(dǎo)航時不可避免地會面臨光照變化、季節(jié)更替、視角改變、動態(tài)場景等情況，這些因素都會導(dǎo)致回環(huán)檢測的性能大大降低，從而影響機(jī)器人定位的準(zhǔn)確性以及地圖構(gòu)建的可靠性，因此需要更加魯棒以及穩(wěn)定的回環(huán)檢測方法。

針對視覺回環(huán)檢測問題，目前主流的方法主要分為傳統(tǒng)方法以及基于深度學(xué)習(xí)的方法[4]。SIFT[5](scale invariant feature transform)及SURF[6](speeded up robust feature)等是目前使用較為廣泛的傳統(tǒng)特征提取方法。前者對尺度及光照都具有一定的魯棒性，但在提取特征時十分耗時，運(yùn)行效率較為低下。SURF 相比于SIFT 計算效率有所提高，但對旋轉(zhuǎn)以及尺度變換的魯棒性卻遠(yuǎn)遠(yuǎn)低于SIFT。SURF 和SIFT 描述符都屬于局部描述符，為了讓基于局部描述符的方法應(yīng)用于視覺SLAM 系統(tǒng)，應(yīng)用于自然語言處理及檢索領(lǐng)域的詞袋模型被引入視覺領(lǐng)域，形成了視覺詞袋模型BoVW[7](bag of visual word)。該方法主要分為提取視覺詞匯、構(gòu)建視覺詞典、計算相似度3 個部分。提取視覺詞匯即利用SURF 或者SIFT 提取圖片的局部特征，形成不同的視覺單詞向量。將所有特征向量進(jìn)行聚類，構(gòu)建包含若干視覺詞匯的詞典。測試時，將輸入圖片與視覺詞典進(jìn)行對比得到該圖片在視覺詞典中的直方圖，計算兩張圖片直方圖之間的距離即可完成相似度計算。BoVW 模型對于環(huán)境變化，例如尺度變化、旋轉(zhuǎn)以及視角變化具有魯棒性，但研究表明該方法在光照變化嚴(yán)重的情況下表現(xiàn)不佳。

近年來，隨著深度學(xué)習(xí)的迅速發(fā)展，越來越多基于深度學(xué)習(xí)的特征提取方法被提出。Chen 等[8]率先利用ImageNet 的預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)模型提取圖片的深度特征并與空間和序列濾波器相結(jié)合應(yīng)用于場景識別，實(shí)驗(yàn)表明該方法在場景識別中精度較高。文獻(xiàn)[9] 第一次提出了基于卷積神經(jīng)網(wǎng)絡(luò)的場景識別系統(tǒng)，通過將CNN 中高層和中層提取的特征相結(jié)合，實(shí)現(xiàn)了較為魯棒的大規(guī)模場景識別。

上述特征提取方法都存在一定的局限性。SURF、SIFT 等人工特征描述符無法自動提取圖片深層特征，需要人為設(shè)計特征描述符，隨著大規(guī)模開放場景下數(shù)據(jù)集規(guī)模的不斷增加，手工設(shè)計全面且準(zhǔn)確的特征描述符越來越困難。而基于CNN 等深度學(xué)習(xí)的方法雖然可以自動提取圖片的深度特征，但在模型訓(xùn)練時大多使用有監(jiān)督學(xué)習(xí)，需要大量的有標(biāo)簽數(shù)據(jù)，而數(shù)據(jù)的標(biāo)注過程費(fèi)時費(fèi)力。

因此，研究基于無監(jiān)督學(xué)習(xí)的特征表達(dá)，是當(dāng)前機(jī)器視覺領(lǐng)域的研究熱點(diǎn)和難點(diǎn)。Gao 等[10]使用堆棧去噪自編碼器(stacked denoising auto-encoder,SDA)模型進(jìn)行無監(jiān)督回環(huán)檢測。然而，該方法需要離線訓(xùn)練，且訓(xùn)練集和測試集相同，因此實(shí)用性不強(qiáng)。最近，生成對抗網(wǎng)絡(luò)(generative adversarial network,GAN)[11]作為一種新的無監(jiān)督學(xué)習(xí)方法受到越來越多的關(guān)注，成為新的研究熱點(diǎn)。GAN 作為一種優(yōu)秀的生成模型，與其他生成模型，如自編碼器(auto-encoder，AE)[12]、受限玻爾茲曼機(jī)(restricted Boltzmann machine，RBM)[13]相比，無需大量的先驗(yàn)知識，也無需顯式地對生成數(shù)據(jù)的分布進(jìn)行建模。由于GAN 獨(dú)特的對抗式訓(xùn)練方法，在訓(xùn)練過程中可以從大量的無標(biāo)簽數(shù)據(jù)中無監(jiān)督地學(xué)習(xí)數(shù)據(jù)的特征表達(dá)，同時生成高質(zhì)量的樣本，相比于傳統(tǒng)機(jī)器學(xué)習(xí)算法具有更強(qiáng)大的特征學(xué)習(xí)以及特征表達(dá)能力。因此，GAN 被廣泛應(yīng)用于機(jī)器視覺等領(lǐng)域。也有學(xué)者將GAN應(yīng)用于回環(huán)檢測任務(wù)中[14]。該方法從鑒別器的高維特征空間中提取特征描述子。但是，該方法提取的特征描述子維度較高，會占用大量的存儲空間以及計算資源。

受Shin 等[14]的啟發(fā)，本文以無監(jiān)督學(xué)習(xí)的方式訓(xùn)練GAN 來進(jìn)行回環(huán)檢測。考慮到低維二進(jìn)制描述子能夠降低存儲資源的消耗，同時加速回環(huán)檢測的決策過程。因此，本文在鑒別器中加入激活函數(shù)，將傳統(tǒng)的非二進(jìn)制描述子轉(zhuǎn)換成二進(jìn)制描述子。同時為了彌補(bǔ)低維特征所帶來的信息損失，提高二進(jìn)制特征描述符的區(qū)分度，使其在復(fù)雜場景外觀變化下具有魯棒性，本文將距離傳播損失函數(shù)LDP(distance propagating)和二值化表示熵?fù)p失函數(shù)LBRE(binarized representation entropy)引入鑒別器中，將高維特征空間的海明距離關(guān)系傳播到低維特征空間中，并利用BoVW 模型將提取的局部特征融合為全局特征用于回環(huán)檢測。實(shí)驗(yàn)結(jié)果表明，該描述符可以解決復(fù)雜場景下的回環(huán)檢測問題，對于視角及環(huán)境變化具有較強(qiáng)的魯棒性，用生成對抗的方式開展無監(jiān)督回環(huán)檢測不但是可行的，而且以該方法生成的二進(jìn)制特征描述符具有較高的區(qū)分度，減少了低維特征的信息損失。

綜上所述，本文創(chuàng)新點(diǎn)總結(jié)如下：1) 提出一種視覺回環(huán)檢測新方法，該方法利用生成對抗的思想設(shè)計一個深度網(wǎng)絡(luò)以無監(jiān)督的方式訓(xùn)練該網(wǎng)絡(luò)，并利用該網(wǎng)絡(luò)提取高區(qū)分度和低維度的二進(jìn)制特征；2) 將距離傳播損失函數(shù)引入神經(jīng)網(wǎng)絡(luò)，將高維空間之間的海明距離關(guān)系傳播到低維空間，使高維空間特征與低維空間特征具有相似的距離關(guān)系；3)將二值化表示熵?fù)p失函數(shù)引入神經(jīng)網(wǎng)絡(luò)，提高了低維特征空間二進(jìn)制描述符的多樣性，進(jìn)一步彌補(bǔ)低維特征所帶來的信息損失；4)利用BoVW 模型將提取的局部特征融合為全局特征，有助于大規(guī)模開放場景下的回環(huán)檢測。

1 無監(jiān)督二進(jìn)制描述符的提出

1.1 生成對抗思想

GAN 由生成器G(Generator)和鑒別器D(Discriminator)組成，二者在訓(xùn)練時相互對抗，相互進(jìn)化。在訓(xùn)練時，生成器G的主要目標(biāo)是學(xué)習(xí)潛在樣本的數(shù)據(jù)分布，并生成盡可能真實(shí)的新樣本以騙過鑒別器D，而鑒別器D則要判斷出輸入數(shù)據(jù)的真實(shí)性，即輸入數(shù)據(jù)是來自真實(shí)數(shù)據(jù)還是來自由生成器G生成的虛假數(shù)據(jù)。根據(jù)上述思想，Goodfellow 等[13]給出了GAN 的損失函數(shù)：

式中：x表示真實(shí)數(shù)據(jù)；D(x)為鑒別器判斷x為真實(shí)數(shù)據(jù)的可能性；z代表輸入生成器的隨機(jī)變量；G(z)為生成器G生成的盡量服從真實(shí)數(shù)據(jù)分布的虛假樣本；D(G(z))表示鑒別器D判斷G(z)為虛假數(shù)據(jù)的概率。鑒別器D的目標(biāo)是對輸入數(shù)據(jù)進(jìn)行正確的二分類，而生成器G的目標(biāo)則是讓其生成的虛假數(shù)據(jù)G(z)在鑒別器D上的表現(xiàn)D(G(z))和真實(shí)數(shù)據(jù)x在鑒別器D上的表現(xiàn)D(x)盡可能一致。

1.2 無監(jiān)督二進(jìn)制描述符的定義

GAN 不僅具有強(qiáng)大的生成能力，而且研究表明可將GAN 的鑒別器D作為特征提取器，其表現(xiàn)同樣令人滿意[15-16]。原因在于GAN 在進(jìn)行對抗訓(xùn)練的過程中，生成器G會生成質(zhì)量不斷提高的虛假圖像，而鑒別器為了提高判斷準(zhǔn)確性，不斷提升自身的特征表達(dá)能力以提取更有區(qū)分度的特征。因此，本文利用GAN 的鑒別器D作為視覺回環(huán)檢測任務(wù)的特征提取器，其優(yōu)勢在于可以充分利用生成對抗的思想進(jìn)行特征的無監(jiān)督學(xué)習(xí)，不需要額外的標(biāo)簽數(shù)據(jù)，也不需要人工干預(yù)，就可以自動獲得區(qū)分度高的特征描述符。

文獻(xiàn)[16]表明，從鑒別器D的高維中間層中提取的特征具有更高的區(qū)分度，但是高維特征需要更多的存儲空間以及消耗更多的計算資源。因此，大多數(shù)研究中都會將高維特征進(jìn)行降維以減少其對存儲空間的占用，提高回環(huán)檢測的運(yùn)行速度。但是降維操作會不可避免地導(dǎo)致特征描述符損失信息。因此，本文將距離傳播損失函數(shù)LDP和二值化表示熵?fù)p失函數(shù)LBRE引入生成對抗網(wǎng)絡(luò)的無監(jiān)督學(xué)習(xí)過程，將高維特征空間的海明距離關(guān)系傳播到低維特征空間中并增加低維特征表示的多樣性，獲得更緊湊的二進(jìn)制特征描述符。

綜上所述，本文將改進(jìn)后的生成對抗網(wǎng)絡(luò)稱為二進(jìn)制生成對抗網(wǎng)絡(luò)，基于無監(jiān)督學(xué)習(xí)從二進(jìn)制生成對抗網(wǎng)絡(luò)的鑒別器D中提取的二進(jìn)制特征向量稱為無監(jiān)督二進(jìn)制描述符。

2 無監(jiān)督視覺回環(huán)檢測方法

2.1 方法總體框架

本文基于所提出的基于二進(jìn)制生成對抗網(wǎng)絡(luò)進(jìn)行視覺回環(huán)檢測的新方法的總體框架如圖1所示。

圖1 無監(jiān)督視覺回環(huán)檢測總體框架Fig.1 Overall framework of unsupervised visual loop closure detection

在模型訓(xùn)練階段，首先利用SURF 進(jìn)行關(guān)鍵點(diǎn)檢測并構(gòu)造局部圖片，基于下文所述的距離傳播損失函數(shù)以及二值化表示熵?fù)p失函數(shù)交替訓(xùn)練鑒別器D及生成器G，利用訓(xùn)練好的二進(jìn)制生成對抗網(wǎng)絡(luò)的鑒別器D提取無監(jiān)督二進(jìn)制描述符，并基于BoVW 方法構(gòu)建詞匯樹。在回環(huán)檢測階段，將實(shí)時獲取的圖像幀進(jìn)行同樣的關(guān)鍵點(diǎn)檢測并構(gòu)造局部圖片，利用已訓(xùn)練好的模型提取當(dāng)前幀圖片的無監(jiān)督二進(jìn)制描述符，與現(xiàn)有詞匯樹進(jìn)行比較以判斷是否存在回環(huán)；當(dāng)系統(tǒng)在大規(guī)模開放場景下運(yùn)行，可以根據(jù)需要更新詞匯樹，以提高所述方法的適應(yīng)性。

2.2 構(gòu)造局部圖片

本研究屬于基于局部特征的回環(huán)檢測方法。為獲取圖像的局部特征，首先將數(shù)據(jù)集中的全局圖片進(jìn)行分割以獲取所需的局部圖片。對于數(shù)據(jù)集中的每一張圖片，本文利用SURF 描述符檢測關(guān)鍵點(diǎn)，將接近圖片邊緣的關(guān)鍵點(diǎn)丟棄后，以剩余每個關(guān)鍵點(diǎn)為中心構(gòu)建尺寸為32×32 的局部圖片。圖2 為SURF 關(guān)鍵點(diǎn)的檢測和構(gòu)造局部圖片的示意圖。下文將介紹如何利用這些局部圖片對模型進(jìn)行無監(jiān)督訓(xùn)練。

圖2 局部圖片的構(gòu)造Fig.2 Local image patch construction

2.3 距離傳播損失函數(shù)

為了獲得低維且區(qū)分度高的無監(jiān)督二進(jìn)制描述符，本文在GAN 的鑒別器中加入了距離傳播損失函數(shù)LDP。該損失函數(shù)的作用在于將高維特征空間中的關(guān)系映射到低維空間，也就是說，在鑒別器D的高維特征空間和低維特征空間之間傳播海明距離，使這兩層之間具有相似的距離關(guān)系。為了達(dá)到這個目標(biāo)，需要迫使鑒別器D的高維特征空間和低維特征空間的輸出具有相似的歸一化點(diǎn)積結(jié)果。

假設(shè)L(x) 表示鑒別器D中神經(jīng)元個數(shù)為K的低維中間層,H(x)表示神經(jīng)元個數(shù)為M的高維中間層。為了將特征空間中連續(xù)的特征向量轉(zhuǎn)化為相應(yīng)的二進(jìn)制特征向量bL、bH，本文使用以下激活函數(shù)[17]：

式中：ε(·) 為階躍函數(shù)，s(x) 為sigmoid 函數(shù)。利用該激活函數(shù)可將處于[0,1]的連續(xù)特征向量轉(zhuǎn)換為二進(jìn)制特征向量。

兩個二進(jìn)制向量之間的海明距離可以用下式進(jìn)行計算：

式中：A是二進(jìn)制特征向量的維度，因此可以用點(diǎn)積反映兩個二進(jìn)制特征向量之間的距離關(guān)系，令：

式中：N是一個batch 的大小；為高維特征空間中二進(jìn)制特征表示bi與bj之間的點(diǎn)積值，同理則表示低維特征空間二進(jìn)制特征表示之間的點(diǎn)積值。同時，為了使高維特征空間與低維特征空間中二進(jìn)制特征表示之間的海明距離具有可比性，需要對點(diǎn)積值進(jìn)行歸一化處理。

在利用深度學(xué)習(xí)進(jìn)行特征提取時，為了獲得好的特征表達(dá)，一般會提取高維空間的特征描述子，雖然這樣得到的特征向量表現(xiàn)較好，但是其維度過大，會占用過多的存儲空間及計算資源。通過使用距離傳播損失函數(shù)LDP，可以得到低維且區(qū)分度高的二進(jìn)制特征向量，就可以在好的特征表達(dá)和高效的計算效率之間求取平衡。

2.4 二值化表示熵?fù)p失函數(shù)

相比于高維特征描述子，低維特征描述子不可避免地會面臨信息的損失，因此為了進(jìn)一步提高低維特征空間中二進(jìn)制特征表示的信息多樣性，本文利用了二值化表示熵?fù)p失函數(shù)LBRE，這一損失函數(shù)在文獻(xiàn)[18] 中被提出，它由邊緣熵LME(marginal entropy)及激活相關(guān)LAC(activation correlation)兩部分組成：

LBRE通過最大化聯(lián)合熵降低低維特征空間中特征向量之間的聯(lián)系，以增加其多樣性。利用二值化表示熵?fù)p失函數(shù)LBRE可以提高特征描述符的區(qū)分度，從而增強(qiáng)鑒別器對于真實(shí)數(shù)據(jù)以及虛假數(shù)據(jù)的區(qū)分能力。如此一來，利用連接鑒別器與生成器的損失函數(shù)則可以提高生成器對于潛在樣本分布的估計能力。對視覺回環(huán)檢測而言，使用二值化表示熵?fù)p失函數(shù)LBRE不僅可以使得鑒別器輸出高區(qū)分度的二進(jìn)制描述符提高模型在回環(huán)檢測階段的性能，而且可以加快無監(jiān)督學(xué)習(xí)進(jìn)程使得模型收斂更快。

2.5 網(wǎng)絡(luò)設(shè)計

所設(shè)計的用于視覺回環(huán)檢測的二進(jìn)制生成對抗網(wǎng)絡(luò)模型如圖3 所示。鑒別器D包含7 個卷積層，其中卷積核大小為3×3，通道數(shù)分別為{96，96，96，128，128，128，128}，stride 為{1，1，2，1，1，2，1}，兩個NIN(network-in-network)結(jié)構(gòu)(神經(jīng)元個數(shù)分別為256、128)以及一個全連接層。本文將最后一個卷積層CONV7 作為高維特征空間，從該層提取高維特征描述子，將包含256 個神經(jīng)元的NIN 層作為低維特征空間，提取低維特征描述子。生成器G 包含一個全連接層及3 個反卷積層，其中卷積核大小為5×5，通道數(shù)分別為{256，128，3}。生成器的輸入為維度100 的隨機(jī)噪聲，輸出為尺寸為32×32 的虛假圖像，并將該虛假圖像作為輸入與真實(shí)圖像同時輸入鑒別器中，而鑒別器的輸出則為輸入圖像為真的概率。

圖3 用于視覺回環(huán)檢測的網(wǎng)絡(luò)模型Fig.3 Network model for visual loop closure detection

2.6 模型訓(xùn)練

本文使用無監(jiān)督的方法對模型進(jìn)行訓(xùn)練，交替訓(xùn)練鑒別器D 及生成器G。GAN 訓(xùn)練的總目標(biāo)函數(shù)、生成器G 的損失函數(shù)與文獻(xiàn)[11]相同。根據(jù)前文所述，鑒別器D 訓(xùn)練時的損失函數(shù)可以表示為

其中LD是Goodfellow 等[11]給出原始損失函數(shù)，即

λDP與λBRE為超參數(shù)，加入這兩個超參數(shù)的目的在于調(diào)節(jié)距離傳播損失函數(shù)以及二值化表示熵?fù)p失函數(shù)對于鑒別器目標(biāo)函數(shù)的影響。在實(shí)驗(yàn)部分將通過改變λDP與λBRE的值驗(yàn)證距離傳播損失函數(shù)以及二值化表示熵?fù)p失函數(shù)對整個模型性能以及訓(xùn)練過程的影響。

2.7 參數(shù)設(shè)置

本文所述模型和訓(xùn)練算法共有8 個超參數(shù)，實(shí)驗(yàn)中設(shè)置的具體值如表1 所示。所述參數(shù)值并非唯一值，可以根據(jù)具體情況進(jìn)行調(diào)整以加速訓(xùn)練過程。圖像分割后的局部圖片大小為32×32，為默認(rèn)值。眾所周知，GAN 的訓(xùn)練相對困難，λDP與λBRE與特征提取能力相關(guān)，同時，合適的數(shù)值可以加快模型的訓(xùn)練過程，使得模型收斂速度更快，表中數(shù)值為優(yōu)選值。

表1 參數(shù)設(shè)置表Table 1 Parameter setting

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文選擇的訓(xùn)練集為Places365-Standard[19]，該數(shù)據(jù)集包含365 個互不相關(guān)的場景類別，且無任何的標(biāo)簽數(shù)據(jù)。在本實(shí)驗(yàn)中，為了加快模型訓(xùn)練速度，減少訓(xùn)練時間，只選取了該數(shù)據(jù)集前2 000 張圖片作為訓(xùn)練集(也可以增加訓(xùn)練樣本)，并將訓(xùn)練集中的圖片進(jìn)行分割后，最終獲得140 000 張局部圖片。

本文選取3 個數(shù)據(jù)集作為測試集進(jìn)行驗(yàn)證，分別是NC(new college)數(shù)據(jù)集、CC(city centre)數(shù)據(jù)集以及KAIST(korea advanced institute of science and technology)數(shù)據(jù)集。NC 數(shù)據(jù)集和CC 數(shù)據(jù)集是由英國牛津大學(xué)移動機(jī)器人小組發(fā)布的數(shù)據(jù)集[20]。其中CC 數(shù)據(jù)集由左右兩邊搭載相機(jī)的移動設(shè)備沿著2 km 的城市路段所收集，包含行人、移動的汽車等動態(tài)物體，而且視角及外觀變化較為強(qiáng)烈。NC 數(shù)據(jù)集同樣是由左右兩邊搭載相機(jī)的移動設(shè)備所拍攝的，和CC 數(shù)據(jù)集不同的是，NC 數(shù)據(jù)集的拍攝環(huán)境為校園，且含有較多的重復(fù)元素，例如墻壁等。KAIST[21]數(shù)據(jù)集是由韓國科學(xué)技術(shù)院發(fā)布的公開數(shù)據(jù)集，該數(shù)據(jù)集是通過配備在車輛上的攝像頭以及傳感器于一天中不同時段在同一條街道所拍攝的。KAIST數(shù)據(jù)集中又包括3 個子數(shù)據(jù)集：North、West、East。

以上3 個數(shù)據(jù)集都有不同程度的視角及外觀變化，具體可見表2。對于傳統(tǒng)手工提取特征的方法來說，強(qiáng)烈的視角及外觀變化對回環(huán)檢測是一個巨大的挑戰(zhàn)，因此使用以上數(shù)據(jù)集可以有效驗(yàn)證本文所提出的方法相對于傳統(tǒng)方法的優(yōu)勢，以及在大規(guī)模開放場景下的適應(yīng)性。

表2 數(shù)據(jù)集描述Table 2 Dataset description

3.2 實(shí)驗(yàn)結(jié)果

作為對比，本文選取ORB、BRIEF 和SURF 3 個手工提取的特征描述符方法，以及基于有監(jiān)督學(xué)習(xí)的AlexNet[22]、AMOSNet 和HybridNet[23]深度學(xué)習(xí)方法，在3 個測試集上進(jìn)行對比。除此之外，為了驗(yàn)證二進(jìn)制描述符相對于非二進(jìn)制描述符的優(yōu)勢，本文還將對比二進(jìn)制描述符與非二進(jìn)制描述符之間的性能差異。

為了對比各類方法的性能，本文繪制了不同方法的準(zhǔn)確率?回召率曲線，即PR(precision-recall) 曲線[24]，并按照學(xué)術(shù)研究的常規(guī)做法，將PR 曲線與橫縱坐標(biāo)圍成的面積，即AUC 作為評判標(biāo)準(zhǔn)[19]。AUC 的計算公式為

式中：M為圖片序列的數(shù)量；pi代表在點(diǎn)i時的準(zhǔn)確率；而ri則為回召率。AUC 越大則表明該方法的性能越好。

為了對比不同參數(shù)對于模型性能的影響，調(diào)整λDP與λBRE的數(shù)值，并計算不同數(shù)值下的各個數(shù)據(jù)集的AUC。同時繪制了在模型中加入與不加入距離傳播損失函數(shù)的情況下高維與低維空間特征海明距離之間的距離關(guān)系圖。

3.2.1 不同方法的結(jié)果對比

圖4～8 繪制了各方法在3 個測試數(shù)據(jù)集上的PR 曲線，為方便量化對比，AUC 值列于表3。下面將分析比較不同方法的性能和差異。

圖4 CC 數(shù)據(jù)集下各方法的PR 曲線Fig.4 AUC under PR curves on the CC dataset

圖5 NC 數(shù)據(jù)集下各方法的PR 曲線Fig.5 AUC under PR curves on the NC dataset

圖6 Kaist(East)數(shù)據(jù)集下各方法的PR 曲線Fig.6 AUC under PR curves on the Kaist(East) dataset

從圖4～8 及表3 中可以得出如下結(jié)論：

表3 AUC 匯總表Table 3 AUC summary

1)相比于人工提取特征的傳統(tǒng)方法，基于深度學(xué)習(xí)的方法性能有較大的提升。無論是基于有監(jiān)督學(xué)習(xí)的AlexNet、AMOSNet 和HybridNet，還是本文所提出的基于二進(jìn)制生成對抗網(wǎng)絡(luò)的方法都要比傳統(tǒng)SIFT、ORB、BRIEF 等人工特征描述符有更突出的表現(xiàn)，主要原因在于深度學(xué)習(xí)的方法可以在復(fù)雜的環(huán)境下自動且精準(zhǔn)地提取圖像的深層特征。

2)相比于有監(jiān)督方法，本文所提出的無監(jiān)督回環(huán)檢測方法在性能上略有下降，AlexNet 和HybridNet 相對最優(yōu)，本文所述方法與AMOSNet 性能相近。由于有監(jiān)督學(xué)習(xí)方法利用了大量的有標(biāo)簽數(shù)據(jù)，可以通過已知的訓(xùn)練樣本訓(xùn)練出最優(yōu)模型，因此性能表現(xiàn)更為出色。但是，有監(jiān)督學(xué)習(xí)方法需要大量標(biāo)簽數(shù)據(jù)且訓(xùn)練時間更長。而無監(jiān)督學(xué)習(xí)方法由于不需要標(biāo)簽，則更適用于大規(guī)模場景、復(fù)雜場景和開放場景下的回環(huán)檢測問題。除此之外，AlexNet、HybridNet 及AMOSNet 在訓(xùn)練時都需要大量有標(biāo)簽數(shù)據(jù)，其中，Krizhevsky等[21]在訓(xùn)練AlexNet 時采用120 萬張圖片作為訓(xùn)練集，AMOSNet 和HybridNet 在訓(xùn)練時的數(shù)據(jù)集更是包含了250 萬張圖片[23]，而本文所述方法僅僅需要2 000 個無標(biāo)簽數(shù)據(jù)對模型進(jìn)行訓(xùn)練即可獲得較為出色的結(jié)果。而且值得注意的是，在NC 數(shù)據(jù)集上無監(jiān)督回環(huán)檢測的表現(xiàn)甚至優(yōu)于有監(jiān)督方法。NC 的拍攝環(huán)境為校園，且含有較多重復(fù)元素和強(qiáng)烈的視角變化。這證明了本文所述方法在復(fù)雜場景下，特別是強(qiáng)烈的視角變化具有魯棒性。所以綜上所述，本文的方法與有監(jiān)督方法之間的性能差異是完全可以接受的。

3)對比二進(jìn)制特征描述符和非二進(jìn)制特征描述符，可以發(fā)現(xiàn)，在無監(jiān)督回環(huán)檢測框架下，在本文所提出的3 個測試集上二進(jìn)制特征描述符的性能更優(yōu)。本文利用距離傳播損失函數(shù)使得高維特征空間與低維特征空間之間具有相似的海明距離關(guān)系，利用二值化表示熵?fù)p失函數(shù)能進(jìn)一步增強(qiáng)低維二進(jìn)制特征描述子的表征能力，彌補(bǔ)其信息損失，提高其可靠性。在性能接近的情況下，二進(jìn)制特征描述符對于回環(huán)檢測應(yīng)用非常有吸引力，因?yàn)槭褂枚M(jìn)制特征描述符可以節(jié)省更多的存儲空間以及計算資源，加快回環(huán)檢測速度[25]。

圖7 Kaist(North)數(shù)據(jù)集下各方法的PR 曲線Fig.7 AUC under PR curves on the Kaist(North) dataset

圖8 Kaist(West)數(shù)據(jù)集下各方法的PR 曲線Fig.8 AUC under PR curves on the Kaist(West) dataset

3.2.2 不同參數(shù)的結(jié)果對比

為了進(jìn)一步研究距離傳播損失函數(shù)LDP和二值化表示熵?fù)p失函數(shù)LBRE對無監(jiān)督回環(huán)檢測性能的影響，本文改變參數(shù)λDP以及λBRE的值，并計算了不同參數(shù)值在各個數(shù)據(jù)集下相對應(yīng)的AUC，結(jié)果如表4 所示。從表中可以看出，只有在同時加入距離傳播損失函數(shù)LDP和二值化表示熵?fù)p失函數(shù)LBRE后，視覺回環(huán)檢測的性能才會有實(shí)質(zhì)的提升。因此，在無監(jiān)督回環(huán)檢測中，距離傳播損失函數(shù)LDP和二值化表示熵?fù)p失函數(shù)LBRE缺一不可，前者實(shí)現(xiàn)高維特征到低維特征的映射，獲得維度更低，更為緊湊且區(qū)分度高的二進(jìn)制特征描述子，后者在熵?fù)p失最小的情況下進(jìn)一步提高低維二進(jìn)制描述符的多樣性和表征能力。在本實(shí)驗(yàn)中，優(yōu)選的參數(shù)是λDP=0.5，λBRE=0.1。

表4 不同參數(shù)下的AUCTable 4 AUC under different parameters

除此之外，為了驗(yàn)證距離傳播損失函數(shù)的有效性，測試其是否將高維空間特征的距離關(guān)系映射至低維空間，我們以KAIST(North) 數(shù)據(jù)集為例，分別提取其在λDP=0.5，λBRE=0.1 和λDP=0，λBRE=0.1 時高維空間特征以及低維空間特征，對不同維度的特征進(jìn)行歸一化操作后，利用式(4)計算相同參數(shù)下高維空間與低維空間相對應(yīng)特征之間的相似性。

實(shí)驗(yàn)結(jié)果如圖9 所示。

圖9 高維空間與低維空間距離關(guān)系圖Fig.9 Distance diagram between two layers

圖9 中橫坐標(biāo)表示KAIST(North)數(shù)據(jù)集中圖片的特征描述子，縱坐標(biāo)則為不同維度特征之間的相似性。從圖中可以清楚地看出，在兩組不同參數(shù)下，高維特征空間與低維特征空間之間距離關(guān)系的相似性具有明顯的差異。在λDP=0，λBRE=0.1 時，高維特征空間與低維特征空間的距離關(guān)系相似性位于0.3 9～0.4 9，而當(dāng)λDP=0.5，λBRE=0.1 時，其相似性則位于0.55～0.67。由此可得，距離傳播損失函數(shù)的加入有助于將高維特征空間的海明距離關(guān)系映射到低維空間，獲得更加緊湊，區(qū)分度更高的特征。

3.2.3 可視化分析

在這部分，以NC 數(shù)據(jù)集為例，通過可視化的方式來證明基于無監(jiān)督二進(jìn)制描述符的視覺回環(huán)檢測方法的有效性。圖10 為根據(jù)圖片的已有標(biāo)簽繪制的真實(shí)回環(huán)圖，若第i幀圖片與第j幀圖片形成回環(huán)，則在圖中對應(yīng)坐標(biāo)為(i,j)的點(diǎn)為白色。所以真實(shí)回環(huán)圖根據(jù)對角線完全對稱。圖11～13 為ORB、BRIEF、SURF 以及本文所述方法給出的回環(huán)檢測圖，用相似度矩陣來表示，其中坐標(biāo)為(i,j)的點(diǎn)表示第i幀圖片與第j幀圖片之間的相似度，坐標(biāo)點(diǎn)的顏色根據(jù)對應(yīng)幀之間的相似度的變化而變化，顏色越亮則相似度越高，兩幀圖片之間的相似度越高則二者成為回環(huán)的幾率越大。

圖10 NC 數(shù)據(jù)集的真實(shí)回環(huán)圖Fig.10 The ground truth of NC dataset

圖11 基于BRIEF 的相似度矩陣Fig.11 Similarity matrix of BRIEF

通過對比真實(shí)回環(huán)與不同方法檢測出的回環(huán)，不難發(fā)現(xiàn)，不論是傳統(tǒng)的ORB、BRIEF 以及SURF 還是本文所述方法都可以檢測出較為明顯的回環(huán)，不同的是傳統(tǒng)方法在面對不易檢測的回環(huán)時會出現(xiàn)遺漏的情況，因此相比于圖11～13，圖14 會出現(xiàn)更多的明亮點(diǎn)以及色塊，明暗對比較為明顯，這充分說明本文所述方法會為回環(huán)檢測提供更多的相似幀，減少遺漏情況的出現(xiàn)。因此在面對較強(qiáng)的視角及外觀變化時本文所述方法可以檢測出更多的回環(huán)，效果更加突出，這表明無監(jiān)督二進(jìn)制描述符更有區(qū)分度。

圖12 基于ORB 的相似度矩陣Fig.12 Similarity matrix of ORB

圖13 基于SURF 的相似度矩陣Fig.13 Similarity matrix of SURF

圖14 基于無監(jiān)督二進(jìn)制描述符的相似度矩陣Fig.14 Similarity matrix of unsupervised binary descriptor

4 結(jié)束語

針對現(xiàn)有的視覺回環(huán)檢測方法大多依賴有監(jiān)督學(xué)習(xí)且特征向量維度較高，占用較大存儲空間的問題，本文受生成對抗網(wǎng)絡(luò)的啟發(fā)，提出了一種無監(jiān)督二進(jìn)制描述符，并將其與BoVW 結(jié)合用于視覺回環(huán)檢測。該方法在模型訓(xùn)練時采用無監(jiān)督學(xué)習(xí)方式，訓(xùn)練集為互不相關(guān)的場景圖片且無任何標(biāo)簽數(shù)據(jù)。為了獲得高區(qū)分度及低維度的無監(jiān)督二進(jìn)制描述符，利用距離傳播損失函數(shù)將高維特征空間中的關(guān)系映射到低維空間，并且利用二值化表示熵?fù)p失函數(shù)提高低維空間二進(jìn)制特征表示的多樣性，進(jìn)一步改善低維特征所帶來的信息損失問題。在NC 數(shù)據(jù)集、CC 數(shù)據(jù)集以及KAIST 數(shù)據(jù)集上對本文所提出的無監(jiān)督二進(jìn)制描述符的有效性進(jìn)行了驗(yàn)證，并和ORB、BRIEF、SURF 這3 種人工特征描述符，以及AlexNet、AMOSNet 和HybridNet 3 種深度學(xué)習(xí)方法進(jìn)行了比較。結(jié)果表明，無監(jiān)督二進(jìn)制描述符在具有強(qiáng)烈視角及外觀變化的復(fù)雜場景下具有魯棒性，性能可以與有監(jiān)督深度網(wǎng)絡(luò)媲美。但無監(jiān)督方法從根本上避免了費(fèi)時費(fèi)力的有監(jiān)督數(shù)據(jù)標(biāo)注過程，同時極大地節(jié)約了存儲空間和計算資源，加快回環(huán)檢測的進(jìn)程，在大規(guī)模開放場景的視覺SLAM 中具有較大價值。