基于弱監(jiān)督深度學習的圖像檢索技術研究

胡琦瑤 楊皓文 王佳欣 彭先霖 汪思嘉

摘要：哈希算法結合卷積神經(jīng)網(wǎng)絡是一種常用的有效圖像檢索方法，這種有監(jiān)督的學習方式要求大量人工標注的標簽，耗費巨額的人力成本，且這種標簽具有較強的專家制定性，在圖像深層次語義的挖掘上能力有限。針對這一問題，該文提出了基于弱監(jiān)督（Weakly-supervised）深度卷積神經(jīng)網(wǎng)絡的哈希函數(shù)框架，該框架包括弱監(jiān)督的預訓練和有監(jiān)督的微調兩個階段。通過利用弱監(jiān)督標簽信息來學習語義感知哈希函數(shù)，將標簽表示為語義詞向量。根據(jù)語義間的相似與否來訓練網(wǎng)絡，設計的目標函數(shù)可以使語義相似的圖像間的漢明距離較小，語義不相似的漢明距離相對較遠。實驗結果表明，該文提出的圖像檢索方法與目前先進的圖像檢索方法相比，精度提高了2％～6％。

關鍵詞：特征提取;弱監(jiān)督;深度學習;圖像檢索

中圖分類號：TP391.4

DOI：10.16152/j.cnki.xdxbzr.2020-05-013

Research on image retrieval based on weakly-superviseddeep learning

HU Qiyao1， YANG Haowen1， WANG Jiaxin1， PENG Xianlin2， WANG Sijia1

（1.School of Information Science and Technology， Northwest University， Xi′an 710127， China;

2.School of Art， Northwest University， Xi′an 710127， China）

Abstract： Hashing algorithm combined with convolutional neural network has become a popular and effective image retrieval method. However， this supervised learning method requires a large number of user-tagged labels， which consumes a large amount of labor costs. Unfortunately， these labels are set by experts formulately and have limited ability to mine deep semantics of images. To solve the problem，? a novel hashing learning framework based on deep convolution neural network is proposed， which consists of two stages： weakly supervised pre-training and supervised fine-tuning. Semantic-aware hash functions are learned by leveraging the weakly supervised tag information， and labels are represented as semantic word vectors. And then， the network is trained according to the similarity between semantics. The objective function can make the Hamming distance between the semantic similar images small， while the Hamming distance between the semantic dissimilar images relatively far.Empirical results on real world datasets show that when it is integrated with state-of-the-art deep hashing methods， the performance increases by 2%～6％.

Key words： feature extraction; weakly supervised; deep learning; image retrieval

近年來，基于內容的圖像搜索技術（content based image retrieval，CBIR）較基于文本的圖像檢索技術（text based image retrieval，TBIR）有了顯著的突破［1］，同時深度學習的發(fā)展使得卷積神經(jīng)網(wǎng)絡可以更好地提取圖像高層次特征［2］。國內互聯(lián)網(wǎng)公司百度為提升圖像檢索的精度，研發(fā)了百度識圖引擎［1］，這是一種利用深度學習進行圖像檢索的方法，通過卷積神經(jīng)網(wǎng)絡學習到高層的圖像特征，進而實現(xiàn)圖像檢索的功能。但是，該方法有一些缺點：①采用有監(jiān)督的學習方法要求大量有標注的訓練數(shù)據(jù)，這需要耗費巨額的人力成本來進行標注工作;②人工標注的標簽具有較強的專家制定性，其通常會受研究問題和方向的限制，在圖像深層次內容的理解和圖像間的潛在相似性關系的發(fā)掘上能力有限。

隨著網(wǎng)絡時代的迅速發(fā)展，微信、微博等社交媒體應用的日常化，越來越多的人在網(wǎng)絡上發(fā)表大量的媒體信息，這些由用戶提供的數(shù)據(jù)稱為弱標簽數(shù)據(jù)，它們可以很容易地獲得，且適用于圖像檢索模型的訓練。弱標簽就是類似這種“大眾分類”的語言，用戶可以用相近的或模糊的任意詞匯來進行標注。與一般分類算法所采用的強標簽不同，它不是由專家制定的，其結構并不嚴謹，是一種無結構的語義標注，能夠展現(xiàn)更廣的大眾意識。如圖1顯示的是Flickr數(shù)據(jù)集中的一些用戶提供的標簽和人工標注的標簽，如“horse”，“person”，“feet”，“box”是人工標注的強標簽，如“actor”，“blur”，“argentina”是用戶標注的弱標簽。用戶標注的標簽蘊含了更豐富、更深層的潛在語義信息，能夠更好地表征圖像間的相似關系［1］。

由于這種用戶標注的標簽主觀性強，且數(shù)據(jù)中有垃圾圖像和相關性弱的標簽［3］，這些都是含義不清晰的非視覺性語義標簽。同時，沒有語義結構的標簽數(shù)據(jù)不能描述語義結構之間的復雜關系［4］，一些與對應圖片的關聯(lián)度不高的標簽不能直接用于神經(jīng)網(wǎng)絡的訓練。需要提前對標簽進行過濾，除去與圖像視覺內容不符的標簽，只留下視覺性語義標簽。

幾種基于CNN的最新哈希方法［5-8］提出通過學習二進制圖像哈希碼實現(xiàn)圖像檢索。文獻［5］提出了一種基于CNN的無監(jiān)督散列方法DeepBit，它學習了一組非線性投影函數(shù)來計算壓縮二進制碼。文獻［7］介紹了深度監(jiān)督哈希（DSH）方法，該方法將成對的相似圖像和不相似圖像作為訓練輸入，并使每個圖像的輸出為二進制碼。文獻［8］提出另一種有監(jiān)督的深度哈希方法，即深度正則相似性比較哈希方法（DRSCH），利用CNN和基于三元組的目標函數(shù)進行哈希函數(shù)學習。

文獻［9］提出保留語義的有監(jiān)督深度哈希算法（SSDH），將哈希函數(shù)構造為深度學習網(wǎng)絡中的一個潛在層，通過最小化在分類錯誤上定義的目標函數(shù)來學習二進制碼。文獻［10］提出弱監(jiān)督多模態(tài)哈希方法（WMH），使用標簽進行哈希學習，是一種具有線性哈希函數(shù)的具體哈希方法，WMH在文本模式上直接使用標簽來計算圖像的相似度，會容易受到噪聲和模糊性問題的影響。文獻［11］在快速RCNN中的區(qū)域提議網(wǎng)絡（RPN）后增加一個完全連接層，以學習檢測到的區(qū)域提議的二進制散列碼。

本文提出了一種基于弱監(jiān)督深度學習的圖像檢索方法，以大眾用戶產(chǎn)生的大量弱標簽圖像作為數(shù)據(jù)進行訓練。該框架包括弱監(jiān)督的預訓練和有監(jiān)督的微調兩個階段。首先，采用語義相似度函數(shù)對圖像對的語義相似度進行判定。其次，由于圖像內容的高層次語義分析不同于簡單的分類問題［12］，本文拋棄簡單的softmax損失函數(shù)，設計了一種能夠反映圖像語義距離的損失函數(shù)作為卷積神經(jīng)網(wǎng)絡的最高輸出層激活函數(shù)，這樣可以通過弱標簽間的語義關系學習圖像間的相似性關系，以此來訓練卷積神經(jīng)網(wǎng)絡。最后，由于卷積神經(jīng)網(wǎng)絡的輸出是連續(xù)值，本文采用哈希編碼將輸出結果二值化。結合神經(jīng)網(wǎng)絡與哈希編碼方法不但可以提取到圖像的高層特征，還能將其映射到低維的二進制哈希碼上，利用其對神經(jīng)網(wǎng)絡模型進行優(yōu)化，可以有效地應用于圖像檢索功能。圖2是本文的技術方案圖。

1 模型優(yōu)化方法與模型結構

1.1 模型優(yōu)化方法

圖像的弱標簽存在語義模糊、類別劃分不清晰的問題，不能直接用于有監(jiān)督的學習。本文提出弱監(jiān)督的訓練方式，將神經(jīng)網(wǎng)絡最后一層的輸出看成一個嵌入空間，設計了一個損失函數(shù)，使相似弱標簽的圖像對的向量間距離更近，使不相似弱標簽的圖像對的向量間距離更遠。與直接利用弱標簽來訓練模型相比，能夠更好地利用神經(jīng)網(wǎng)絡學習到高層的特征，訓練出更優(yōu)的網(wǎng)絡模型。

2 實驗與分析

2.1 數(shù)據(jù)集

本文使用NUS-WIDE弱標簽數(shù)據(jù)作為數(shù)據(jù)集， 每張圖包含多個類別的標簽。 下載的數(shù)據(jù)集包含269 648張圖像和由業(yè)余愛好者標記的5 018種標簽，數(shù)據(jù)集還提供81個真值標簽（ground-truth）和500維以SIFT特征描述的BoW詞袋。實驗將數(shù)據(jù)集劃分為兩部分，隨機選取5 000幅圖像用于測試，進行網(wǎng)絡性能的評估，其余作為訓練集，在預訓練網(wǎng)絡的基礎上進行參數(shù)的微調。

2.2 數(shù)據(jù)預處理

對數(shù)據(jù)集中的圖像進行預處理，考慮到圖像檢索所需要的存儲空間，本文對圖像歸一化處理，壓縮圖像到120*120像素大小。由于圖像邊緣部分可能包含大量無用信息的背景部分，先對圖像去均值，使物體在圖像中的占比基本相同，且位于圖像中央，這樣不但減少了計算量，同時避免了數(shù)據(jù)偏差過大帶來的訓練誤差。

弱標簽中包含一些與圖像內容不相關的非視覺性語義標簽，在對數(shù)據(jù)的預處理時，需要剔除這些非視覺標簽。本文先將圖像表示為SIFT詞袋形式［20］，計算每個標簽對應圖像集的TF-IDF向量，并計算向量的內聚和分離距離［21］。內聚性表示同一個標簽下圖像集之間的視覺相似性，分散性表示視覺內容相似的圖像集與整個圖像集的差別［22-23］。通過這兩個距離判定標簽是否具有視覺代表性，從而去除非視覺性語義標簽。如圖6為過濾后的結果。

過濾后的弱標簽雖然已去除了非視覺性語義標簽，但仍存在一詞多義、近義詞等問題，由于這些噪聲的存在，不能夠準確檢索出兩個相似的圖像。所以，在訓練神經(jīng)網(wǎng)絡之前需要先通過本文提出的語義相似度公式計算標簽之間的相似度，利用弱標簽間的相似度關系進行網(wǎng)絡的監(jiān)督學習。在計算語義相似度時用到了Skip-gram特征向量，它是由Google提出的一款生成詞匯向量的工具word2vec生成的。

根據(jù)本文設計的語義相似度計算公式，對Skip-gram語義特征向量間的距離進行計算。當兩個詞匯的語義越相似，結果的數(shù)值就越大。表1 列舉了語義相似度計算的輸出結果，搜索詞匯“sunset”得到的結果有如“dusk”，“sun”，“sunrise”，“sky”等語義較為相似的詞匯，也可以得到如“plants”，“religion”等語義不相似的詞匯。結果證明本文的語義相似度計算方法能夠較好地表征語義間的相似度。

2.3 實驗結果

實驗采用的NUS-WIDE數(shù)據(jù)集包含約26萬張圖像。采用的優(yōu)化方法為Mini-Batch梯度下降法，設置Mini-Batch的大小為64。卷積神經(jīng)網(wǎng)絡的卷積層和全連接層的參數(shù)以正態(tài)分布的隨機值進行初始化［24］，并采用一個較小的學習率進行訓練，優(yōu)化方法采用隨機梯度下降。表2為網(wǎng)絡訓練的各項參數(shù)。

本文采用intel（R） Core（TM） i7-7700 CPU @3.60GHz進行實驗測試。與其他幾種有監(jiān)督學習方法和無監(jiān)督學習方法的特征提取時間對比如圖7所示。

為了評估本文提出的弱監(jiān)督哈希學習框架，我們把它應用到目前主流的幾種有監(jiān)督方法中，如KSH［25］，DSH［7］和DRSCH［8］。而使用了弱監(jiān)督（weakly-superviesd）預訓練版本的這些方法分別被命名為WS-KSH，WS-DSH 和WS-DRSCH。另外，還使用了兩種代表性的無監(jiān)督哈希方法作為基準，分別為LSH（locality sensitive hashing）［26］和DeepBit［5］。為了公平比較，對于基于CNN的方法（如DeepBit，DSH，DRSCH和其對應的弱監(jiān)督預訓練版本），在ImageNet數(shù)據(jù)集上使用預訓練的VGG-16網(wǎng)絡［27］作為基礎網(wǎng)絡。對于其他的哈希方法， 以預訓練VGG-16網(wǎng)絡的全連接層的輸出層作為圖像的輸入特征。 數(shù)據(jù)集中有5 018種人工標注的標簽，經(jīng)過弱監(jiān)督的預訓練后，將網(wǎng)絡參數(shù)傳遞給有監(jiān)督的CNN網(wǎng)絡進行微調。這是一個通用的框架，因為任何有監(jiān)督的哈希訓練方法都可以用于微調。

本文提出的方法屬于弱監(jiān)督的方法。首先，由弱標簽來判定圖像間的相似度關系，將圖像分為兩組相似或不相似的圖像對集合，然后，利用本文設計的目標函數(shù)作為網(wǎng)絡訓練的約束，將弱標簽的訓練數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡中，訓練模型的參數(shù)。

2.4 結果分析

本文用數(shù)據(jù)集中的81個真值標簽作為評測標準對精確度（Precision@R）進行評價。圖8顯示的是用8，16，32，64位哈希碼進行輸出的情況下，使用Precision@500進行評測的對比結果。圖9顯示的是在100，200，400，1 000個檢索輸出圖像情況下，使用Precision在64位哈希碼輸出時進行評測的對比結果。圖10顯示的是以64位哈希碼輸出的P-R曲線。

從實驗結果可以看出，和無監(jiān)督的哈希方法相比，有監(jiān)督的方法總是可以達到更好的檢索結果。WS-KSH，WS-DSH和WS-DRSCH的性能均優(yōu)于對應的有監(jiān)督版本的方法。結果表明，弱監(jiān)督框架可以通過利用用戶標記的弱標記標簽獲得完全標記的圖像數(shù)據(jù)集，從而提高檢索性能。這驗證了本文的分析，弱標記的標簽可以提供更多層次的語義信息，將有助于表征圖像之間的細粒度相似關系，弱監(jiān)督哈希學習算法可以更好地處理用戶標簽。

本文使用“大眾分類”得到的弱標簽訓練網(wǎng)絡，蘊含了更深層的潛在語義信息，弱標簽的訓練針對性更弱，在學習的過程中會相互優(yōu)化，使學習到的語義更全面，能夠更好地表征圖像間的相似關系。并且本文創(chuàng)新性地提出通過學習弱標簽的語義相似度優(yōu)化圖像間的關系，解決了有監(jiān)督學習中不能很好地用向量來描述圖像相似度的問題，設計的目標函數(shù)可以很好地約束特征向量的提取，應用于圖像檢索領域明顯提高了結果的精確度。

本文將卷積神經(jīng)網(wǎng)絡與哈希函數(shù)相結合，設計了一種可以度量相似度的損失函數(shù)來優(yōu)化神經(jīng)網(wǎng)絡，通過網(wǎng)絡提取NUS-WIDE數(shù)據(jù)庫的高層次視覺特征，并通過哈希函數(shù)映射得到哈希碼的表示，再通過有監(jiān)督的方法進行微調，應用于圖像檢索領域，比常規(guī)的有監(jiān)督學習方式更有效。

3 結 語

針對目前主流的圖像檢索技術在數(shù)據(jù)集的獲取和訓練上精度不足的問題，本文提出了一種基于弱監(jiān)督深度學習的圖像檢索方法。該方法采用互聯(lián)網(wǎng)用戶產(chǎn)生的弱標簽數(shù)據(jù)進行訓練，極大程度上降低了標注標簽的人工成本。同時，該方法設計的語義相似度計算方法及網(wǎng)絡的目標函數(shù)有效解決了弱標簽中的噪聲問題，并通過從弱標簽向量間的語義關系來學習圖像間的相似性關系，以此訓練卷積神經(jīng)網(wǎng)絡，可以挖掘出更深層的語義信息，提升了檢測的精度。實驗結果證明，本文提出的圖像檢索方法的精度明顯優(yōu)于目前先進的其他算法。

參考文獻：

［1］ 胡琦瑤.基于弱監(jiān)督深度學習的圖像檢索方法研究［D］.西安：西北大學，2017.

［2］ LIU Y， SONG J K， ZHOU K， et al. Deep self-taught hashing for image retrieval［J］. IEEE Transactions on Cybernetics， 2019， 49（6）： 2229-2241.

［3］ QUEMADA J， GONZALO L， MAAREK Y， et al. Proceedings of the 18th international conference on world wide web［J］.Journal Danalyse Mathématique， 2009， 113（1）：197-225.

［4］ LI X R， SNOEK C G M， WORRING M. Learning social tag relevance by neighbor voting［J］.IEEE Transactions on Multimedia， 2009， 11（7）： 1310-1322.

［5］ LIN K， LU J W， CHEN C S， et al. Learning compact binary descriptors with unsupervised deep neural networks［C］∥2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas：IEEE， 2016： 1183-1192.

［6］ YAN X， ZHANG L， LI W J. Semi-supervised deep hashing with a bipartite graph［C］∥Twenty-Sixth International Joint Conference on Artificial Intelligence，2017：3238-3244.

［7］ LIU H， WANG R， SHAN S， et al. Deep supervised hashing for fast image retrieval［C］∥2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE Computer Society， 2016：2064-2072.

［8］ ZHANG R M， LIN L， ZHANG R， et al. Bit-scalable deep hashing with regularized similarity learning for image retrieval and person Re-identification［J］.IEEE Transactions on Image Processing， 2015， 24（12）： 4766-4779.

［9］ YANG H F， LIN K， CHEN C S. Supervised learning of semantics-preserving hash via deep convolutional neural networks［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（2）： 437-451.

［10］TANG J H， LI Z C. Weakly supervised multimodal hashing for scalable social image retrieval［J］.IEEE Transactions on Circuits and Systems for Video Technology， 2018， 28（10）： 2730-2741.

［11］XIONG C Z， SHAN Y M. Subject features and hash codes for multi-label image retrieval［C］∥2018 IEEE 7th Data Driven Control and Learning Systems Conference （DDCLS）. Enshi：IEEE， 2018： 808-812.

［12］KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［J］.Communications of the ACM， 2017， 60（6）： 84-90.

［13］MIKOLOV T，SUTSKEVER? I， CHEN K， et al. Distributed representations of words and phrases and their compositionality［J］.Advances in Neural Information Processing Systems， 2013， 26：3111-3119.

［14］YU W， YANG K Y， YAO H X， et al. Exploiting the complementary strengths of multi-layer CNN features for image retrieval［J］.Neurocomputing， 2017， 237： 235-241.

［15］LUO Y，YANG Y，SHEN F，et al. Robust discrete code modeling for supervised hashing［J］.Pattern Recognition： The Journal of the Pattern Recognition Society， 2018.

［16］LECUN Y， BENGIO Y， HINTON G. Deep learning［J］.Nature， 2015， 521（7553）： 436-444.

［17］楊斌， 鐘金英. 卷積神經(jīng)網(wǎng)絡的研究進展綜述［J］.南華大學學報（自然科學版）， 2016， 30（3）：66-72.

YANG B，ZHONG J Y.Review of convolution neural network［J］.Journal Of University of South China（Science and Technology），2016，30（3）：66-72.

［18］SCHMIDHUBER J. Deep learning in neural networks： An overview［J］.Neural Networks， 2015， 61： 85-117.

［19］LIN K， YANG H F， HSIAO J H， et al. Deep learning of binary hash codes for fast image retrieval［C］∥2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Boston：IEEE， 2015： 2160-7508.

［20］FATEMEH A， MOHAMMAD R K. A new color feature extraction method based on dynamic color distribution entropy of neighborhoods［J］.International Journal of Computer Science Issues， 2012， 8（5）：42-48.