基于卷積神經網絡的局部圖像特征描述符算法

石國強，趙 霞，陳星洲，陳雨佳，陳 萌，郭 松，陳 鳳

（1.同濟大學 電子與信息工程學院，上海 201804；2.上海宇航系統工程研究所，上海 201109）

0 引言

近年來，各國研發了大量滿足不同需求的航天器。由于太空環境惡劣以及設計、制造等因素，航天器在運行過程中會發生一些不可避免的故障，航天器維修、生命延長等在軌服務技術在空間競爭中非常重要。對空間目標進行精確三維重建是實現上述在軌服務的基礎，其中局部圖像匹配是基于序列圖像三維重建的重要步驟之一。除此之外，局部圖像匹配還廣泛應用于計算機視覺的其他領域，如目標識別、圖像拼接、運動結構。局部圖像匹配由特征描述和特征匹配兩部分組成，特征匹配主要采用歐式距離計算方法。傳統的局部特征描述符提取是基于圖像處理技術，如幾何特征提取、灰度比較等，在此基礎上生成64 維、128 維甚至更高維數用于描述該特征點的向量。該方法需要設計者具有豐富的設計經驗以及大量的調試工作，同時難以滿足實際應用中對復雜環境下特征點描述的要求。

近些年，深度卷積神經網絡在眾多計算機視覺領域取得巨大成功［1-4］，如圖像分類、目標定位、目標跟蹤等，實驗結果表明：神經網絡可以從大量帶有標注信息的圖像中，有效地學習到不同圖像深層特征。圖像內各種幾何紋理特征被網絡反復進行學習和優化，最終得到用于描述圖像的高度深層特征，這些特征能夠準確地描述圖像內各個目標。針對深度卷積神經網絡的優秀特征提取能力，本文設計了一種基于卷積神經網絡的局部圖像特征描述方法，為局部圖像的特征描述提供了一種魯棒性更強、速度更快的算法。相比于傳統特征描述符算法，本文方法將特征提取時間縮短了50%，特征匹配時間縮短了60%。

1 研究現狀

目前圖像匹配算法主要分為兩類——基于圖像特征工程和基于學習策略。基于特征工程的算法主要包括SIFT［5］、SURF［6］、BRIEF［7］等。SIFT 算法由Lowe［5］于1999 提出，該算法具有光照不變性、尺度不變性、局部仿射不變性和局部抗遮擋的能力，但其計算極其復雜，且特征描述符的輸出維數為128 維，因此，該算法的時間和空間復雜度較高。SURF 算法由Herbet等［6］于2006年針對SIFT 算法提出的改進版，該算法在保持性能的同時，大幅提高計算效率，但特征描述符需要的計算資源較多。BRIEF 算法由Calonde等［7］于2010年提出，該算法輸出二值特征描述符，在描述符的建立和匹配上速度更快，但其魯棒性較差，不具有旋轉和尺度不變性。

隨著標記樣本的增多以及計算機性能的提升，出現了一些基于數據學習的特征描述符設計方法。基于學習策略的算法將非線性引入到特征描述符映射這一過程中，從而增加描述符的分辨力，如文獻［8-9］。Trzcinski等［8］用boosting 方法聯合多個基于梯度的弱學習器，得到了類似于SIFT 的特征描述符，但描述符維數相比于SIFT 減少了一半；Si?monyan等［9］將描述符的池化區域和描述符維數都轉換成凸優化問題進行學習，在提高匹配準確率的同時降低了描述符維數。

近幾年，基于數據驅動的卷積神經網絡在多個計算機視覺領域都取得了不錯的進展，部分學者嘗試將卷積神經網絡用于提取特征描述符［10-12］。Han等［10］提出一種采用端對端聯合訓練特征描述網絡和特征匹配網絡的MatchNet，其中卷積池化層用于提取特征描述符，全連接層用于相似性比較并輸出圖像匹配概率。文獻［11-12］將描述和匹配過程分開，用卷積神經網絡提取特征描述符，并用歐式距離作為匹配準則。在UBC 基準測試上，以上基于卷積神經網絡的特征描述符相比于人工設計或基于數據的描述符具有更好的性能。但也存在不足，文獻［10］難以實現精準匹配，無法應用于對匹配精度要求高的任務（如序列圖像三維重建）；文獻［11-12］的淺層網絡對形變等情況的魯棒性較差，無法勝任復雜環境下局部特征描述符的提取；此外，以上方法都存在描述符維度過高問題，導致特征匹配過程較為耗時。針對以上問題，本文提出使用全局平均池化來解決泛化問題，增強復雜環境下的特征提取能力；采用難樣本挖掘方法訓練網絡，提升特征描述符的匹配精度；同時，采用線性組合優化特征描述符維數，提升特征匹配速度。

2 基于CNN 的特征描述網絡

2.1 CNN 結構

卷積神經網絡（Convolutional Neural Network，CNN）是深度學習方法應用到特征描述領域的理論與技術基礎，其作用是進行圖像特征提取與訓練。圖1 是經典的卷積神經網絡LeNet 的結構示意圖［13］，主要由卷積層（Convolutional Layer，圖1中的C1、C3 層）、池化層（Pooling Layer，圖1中的S2、S4 層）、全連接層（Fully Connected Layer，圖1中的C5、F6層）以及激活函數（Activation Function）等組成。

2.2 特征描述符網絡結構

圖1 卷積神經網絡基本結構Fig.1 Basic structure of the CNN

本文提出的特征描述網絡結構主要受VGG［14］啟發，設計時遵循以下原則：1）采用多個連續的3×3 的卷積核代替一個大的卷積核，在增大網絡非線性的同時減少了網絡系數；2）在特征映射大小相同的各層，特征映射通道數相等。

針對已有方法以及圖像特征描述符提取的特殊性，本文做出以下改進工作：

1）網絡深度。文獻［14］表明卷積神經網絡越深，提取的語義信息越抽象，算法的魯棒性越強。但特征描述符網絡輸入圖像尺寸較小，以及需要保證對圖像表面紋理的分辨能力，因此，本文更傾向于使用淺層的卷積網絡用于特征描述符的提取。

2）全連接和全局平均池化（GAP）。大多數卷積神經網絡采用連續幾層全連接層來輸出最終的特征符維數，該操作不僅會引入大量系數（一般的卷積神經網絡中，全連接層系數個數占整個網絡的50%以上），同時由于訓練樣本的單一化也會使描述符網絡容易陷入過擬合，導致實際匹配效果較差。

3）相似性度量。相似性度量標準用于比較兩個局部圖像特征描述符的近似程度，進而決定圖像的匹配性。常用的相似性度量標準主要有采用距離和概率兩種指標，兩個描述符越相似，則它們之間的距離越小或者概率越趨近于1。在實際圖像匹配中，與某一點相似的點很多，故本文采用距離指標——歐式距離，作為本文的相似性度量標準。

本文提出使用GAP 層來代替全連接層，對任意大小的末層特征映射都采用全局平均值池化，每一個特征映射通道對應1 位特征描述符。GAP 層直接對特征映射提取的空間特征信息總結，得到的特征描述符應該更加魯棒。由于GAP 層沒有需要訓練的參數，因此，該網絡的系數大大減少，魯棒性更強。根據以上兩點改進，本文設計的4 種網絡結構（A、B、C、D）見表1。

由于采用了GAP 結構，網絡輸出的描述符維數等于最后一層特征映射的通道數，表1中A～D 最終分別會產生128、256、512、512 維的描述符。當需要改變描述符維數時，采用改變特征映射通道數的方式會使需要微調的系數變得很多。因此，為了優化特征描述符維度，本文在最后一層特征映射層增加一層單獨的全連接層作為線性組合。采用GAP 結合單層全連接層的方式，引入參數少且不影響卷積層的特征提取過程，只對生成的特征進行加權，分辨力越強的特征加權越大。當改變網絡輸出維數時，只需要在原網絡上進行微調，重訓練時間短。實驗結果顯示：這種結構能夠保留大量圖像特征信息，使生成的描述符具有很好的表達能力。

3 特征描述符實驗

3.1 數據及實驗訓練

實驗數據選自MVS 數據集，MVS 數據集包含約150 萬張物體局部圖像，每張圖像尺寸大小為64×64，隨機組合的正負樣本會包含大量易區分的樣本，采用該種樣本訓練后網絡的泛化性較差。因此，本文在挑選正負樣本時，只選擇圖像相似程度高的樣本進行訓練，部分負樣本組如圖2 所示。為了提升描述符網絡的分辨能力，在利用前述樣本訓練收斂后采用了難樣本挖掘的訓練方法繼續訓練。

在訓練過程中，用VGG 在ImageNet 訓練得到的參數初始化C、D 網絡參數，A、B 網絡參數隨機初始化。所有網絡batch size為128，weight decay為0.005，激活函數都采用Relu。初始學習率為0.001，當訓練損失函數穩定后，學習率縮小到10%再進行訓練。所有卷積神經網絡的實現都基于Caffe，網絡模型訓練使用NVIDA GEFORCE GTX 1080 顯卡，需在Windows 10上搭建cuda8.0+cudnn6 的GPU 運行環境。

表1 網絡結構Tab.1 Network structure

圖2 訓練所用負樣本示例Fig.2 Negative samples for training

3.2 實驗結果

3.2.1 測試集FPR95 比較

本文采用FPR95 作為4 種不同網絡結構性能評估指標。該指標表示測試模型在正樣本召回率達到95%時，召回樣本中的錯誤率，其值越低表明模型的分辨能力越強。測試數據選取自由女神像（Lib）、巴黎圣母院（Ntr）和約塞米蒂國家公園（Yos）作為測試集，每組測試集包含50 萬組圖像。本文提出的各個網絡模型以及傳統的SIFT 和Dai?sy 模型描述符在測試集上的FPR95 見表2。

表2 描述符模型比較Tab.2 Comparisons of different description models

由表2 可知：傳統算法FPR95 性能指標最低為18.17%，而本文提出的網絡在測試集上的性能指標均明顯優于傳統算法SIFT 和Daisy，最佳性能僅為1.0%。其中，網絡C 的性能最佳，表明描述符網絡的深度不易設計得過深。對比網絡C 不同描述符輸出維度的性能，發現16 維描述符網絡的性能跟128維的相當，表明卷積神經網絡強大的學習能力。

3.2.2 圖像匹配性能比較

圖像匹配是對不同成像條件下獲取的兩幅或多幅圖像的相同點進行匹配，而局部特征描述符常用于圖像匹配。本節實驗選取了4 組圖像集，其中，前3 組來自MVE（Multi-View Environment）數據集［15］，第4 組為我們實際拍攝。圖3 展示了部分圖像集。實驗中，采用DoG（Difference of Gau-ss）算法對每張圖像提取特征點，然后用各網絡對每組序列圖像進行特征匹配，并進行三維重建。以各個網絡的得到的三維空間點數量比較各個網絡的性能，點數越多，說明描述符越準確，性能越好，同時也列出各個網絡計算1 000 個特征點的描述符以及匹配所花費的時間。各描述符重建結果見表3，三維重建主要參考Multi-View Environment［15］的方法。

圖3 部分序列圖像Fig.3 Partial sequence images

由表3 可知：在MVS 測試集上，本文提出的網絡在特征點匹配數量上與傳統方法性能相當的同時提升了匹配速度，其中網絡A 和B 的速度是傳統速度的2 倍。由于訓練數據的單一性，導致C、D 網絡在實際場景測試上效果較差，但結構簡單的A 網絡在測試集stone_carving 上性能與傳統方法較為接近，表明簡單網絡的泛化能力強。

3.2.3 討論

本節實驗對比了不同描述符網絡及傳統描述符在MVS 數據集的性能、圖像匹配性能。實驗證明：基于CNN 的特征描述網絡能夠有效地提高算法的分辨力。在圖像匹配中，Daisy 表現出了最好的性能，而A16、A128 以及C128 分別達到了Daisy模型的性能85.7%、92.5%和95.6%，具有不錯的匹配準確率。由于GPU 的充分利用，描述符網絡的計算時間快，且16 維描述符匹配時間遠遠低于其他描述符，在描述符匹配時間要求嚴格的場合可以考慮使用網絡A16。

本節實驗結果顯示了卷積神經網絡強大的學習能力，在后續研究中可以擴大數據集規模，選用更多場景下的局部圖像數據集，并改進網絡模型結構，從而有望進一步提高描述符的分辨能力。

4 結束語

本文采用卷積神經網絡模型提取局部圖像特征，生成特征描述符。采用Siamese 結構和對比損失函數訓練描述符網絡參數。利用GAP 和線性連接，降低了網絡過擬合的風險，同時還降低了描述符維數，使得匹配效率得到提高。本文對不同結構的描述符網絡進行了大量實驗，總結了不同網絡的結構特點，提供了網絡的設計經驗。其中，網絡A-16 在保證較高匹配準確率的同時明顯降低了匹配需要的時間。在實際圖像匹配中，可以根據不同的應用需求，用不同的描述符網絡代替傳統描述符。