基于三元組網絡的單圖三維模型檢索

杜雨佳，李海生，*，姚春蓮，蔡強

（1.北京工商大學 計算機與信息工程學院，北京 100048； 2.農產品質量安全追溯技術及應用國家工程實驗室，北京 100048；3.食品安全大數據技術北京市重點實驗室，北京 100048）

信息時代的到來為計算機硬件的發展提供了強大的助力，各種媒體數據如音頻、視頻、圖像、三維數據等呈井噴式增長。如何對已獲得的海量媒體數據進行智能分析，并設計快速有效的檢索方法成為目前的熱點問題。如今，三維模型被廣泛應用于計算機輔助設計、影視動畫、醫療診斷、自動駕駛［1-2］等眾多領域，由于三維視角更貼近于人類日常生活，因此開發便捷的3D應用程序有助于提高工作效率，促進生產發展。公共安全監控視頻是維護治安穩定的重要信息資源，利用視頻中的圖像數據檢索三維模型在增強現實、3D打印、3D場景重建等研究中有重要的應用［3-4］，有助于提高對公共安全監控視頻數據內容分析效率和質量，實現警務實戰應用系統向高效化、三維化、智能化發展。

近年來，很多學者在三維模型檢索方面做了卓有成效的工作，取得了一定的成果［5-7］。但是，已有工作往往屬于基于實例的三維模型檢索，根據輸入三維模型檢索同類相似的三維模型，屬于同域檢索。在實際應用中，用于查詢的三維模型往往并不容易獲取，相比之下，圖像數據的獲取則方便得多。因此，基于圖像的三維模型跨域檢索具有重要的研究意義和應用前景。

基于圖像檢索三維模型屬于跨域檢索問題，其輸入可以是RGB圖像、手繪草圖或RGB-D圖像，輸出為與圖像對應的三維模型，本文主要關注基于單幅RGB圖像的三維模型檢索。近年來，深度學習在二維圖像領域取得了顯著的成績［8-9］，隨著大規模三維數據集的建立，深度神經網絡在三維模型分析上展現出其強大的特征表示和學習能力。相比于基于手工特征的傳統分析方法，利用深度學習解決基于圖像的三維模型檢索問題能在較短時間內獲取更準確的檢索結果。

基于圖像的三維模型檢索方法為模型檢索工作帶來便利的同時也具有很多挑戰：①如何對二維圖像和三維模型提取完整有效的特征描述符，為后續的特征相似度度量工作打下良好的基礎；②二維圖像和三維模型是2種不同模態的數據，如何融合多模態數據，減小其間的語義差異，從而提高模型檢索準確度。近期的研究工作通常利用深度學習將圖像和三維模型特征映射到同一高維空間來完成跨域檢索問題，并取得了不錯的成果［10］。但是這些工作大多是針對手繪草圖作為輸入來檢索三維模型，而在實際生活中，人們更多接觸的是帶有背景、光照等噪聲信息的真實圖像，這些噪聲信息同時也給檢索準確度帶來了新的挑戰。相較于二維圖像而言，三維模型數據包含更加豐富的信息，其特征提取工作也具有更大的難度。目前，用于跨域檢索的主流特征提取方法是用一組多角度投影視圖表示三維模型［11］，通過組合視圖特征完成對三維模型的特征表示，但是如何減小視圖表示三維模型過程中產生的特征損失依然是值得關注的問題。

針對基于圖像檢索三維模型問題的難點和已有工作的不足，本文設計異構的三元組網絡提取圖像和三維模型的特征表示向量。其中，三維模型采用一組順序視圖表示，通過距離度量構建特征聯合嵌入空間，減小不同模態數據特征的分布差異，實現基于單幅RGB圖像的三維模型檢索。具體來說，跨域檢索三元組網絡包含2種結構的分支網絡，分別對應于2種模態的輸入數據。對于圖像輸入，設計基于注意力機制［12］的圖像精確特征提取分支網絡，實現圖像自適應特征細化學習，去除圖像中的背景噪聲，縮小真實圖像與三維模型視圖間的語義差異。對于三維模型，將其投影為一組順序視圖，并結合門控循環單元（Gate Recurrent Unit，GRU）［13］設計三維模型順序視圖特征提取分支網絡，在獲取每個視圖內容信息的同時得到視圖間的空間信息，增強三維模型特征表示能力，提高跨域檢索準確度。在獲取到輸入數據的特征表示后，即可通過三元組損失函數將不同模態的數據映射到特征聯合嵌入空間，在此空間中，直接計算特征間距離即可度量不同模態數據的相似性。

分別在IM2MN［14］和MI3DOR［15］2個跨域檢索數據集上進行實驗，證明了本文方法的有效性，并提供了定量和定性的評估結果。總體來說，本文的主要貢獻如下：

1）提出了一種跨域檢索三元組網絡，用于圖像與三維模型跨域檢索。針對不同模態數據設計適應的特征提取分支網絡，實現單幅真實圖像到三維模型的端到端檢索。

2）將三維模型投影為一組順序視圖進行表示，設計三維模型順序視圖特征提取分支網絡，在圖像深度神經網絡的基礎上加入GRU結構，通過在獲取每個視圖信息的同時關注視圖之間的聯系，得到更加完整的三維模型全局特征描述符，從而提高跨域檢索準確度。

3）針對具有復雜背景的真實圖像與投影視圖之間的語義差異，將圖像卷積神經網絡（Convolutional Neural Netwoks，CNN）的注意力模塊用于圖像到三維模型的跨域檢索任務，針對真實圖像數據設計基于注意力機制的圖像精確特征提取分支網絡，使得網絡在學習圖像特征時更關注于對象信息，而不是背景信息，提高跨域檢索準確度。

1 相關工作

1.1 基于實例的三維模型檢索

目前的三維模型檢索工作大多是基于實例的三維模型檢索，這種方法需要提供一個待查詢的三維模型，通過設計三維模型特征描述符提取方法，比較查詢模型與模型庫中三維模型的相似度完成檢索過程，屬于同域檢索問題［16-17］。在深度學習發展之前，三維模型的特征表示主要采用幾何距離，如歐氏距離［18］、測地距離［19］等，還有基于譜形狀分析的特征提取方法，如熱核特征［20］和波核特征［21］等傳統方法。隨著深度學習的迅速發展，主流的三維模型檢索研究利用CNN、自動編碼器等深度學習網絡模型提取三維形狀特征，其可根據三維模型表達方式分為基于體素［22］、網格［23］、點云［24］和視圖［25］的方法。體素表示方法較為簡單，可以看作是二維像素到三維的擴展，缺點是需要消耗大量的計算和存儲資源［26］。網格由若干頂點和與其相連的邊構成，是三維模型的重要原始表示形式，擁有比其他表達方式更為強大的描述能力，但是由于網格的復雜性和不規則性，目前的方法大多只對平滑的流形網格有效［27］。點云數據是分布在三維空間中點的集合［28］，因獲取方便而被廣泛應用，但是點云數據的旋轉性和不規則性給當前研究帶來了較大的困難。基于視圖的方法用不同角度的投影視圖表示三維模型，通過融合二維視圖特征得到三維模型特征描述符用于檢索任務。Su等［29］提出了多視圖卷積神經網絡（Multi-View Convolutional Neural Netwoks，MVCNN）用于學習多視圖表示的三維模型。在此基礎上，Feng等［30］提出了分組卷積神經網絡（Group-View Convolutional Neural Networks，GVCNN），通過加入分組模塊考慮了視圖間的相似性和區分性，提取更完整的三維模型特征。考慮到同一平面視圖組的局限性，Jiang等［31］提出多環視卷積神經網絡（Multi-Loop-View Convolutional Neural Networks，MLVCNN）模型，通過分層視圖-循環-形狀3個層次提取三維模型特征，完成模型檢索任務。基于實例的三維模型檢索研究中的特征提取方法也可以應用到跨域三維模型檢索任務中來，鑒于投影視圖與查詢圖像較為相近，采用基于視圖的方法表示三維模型。

1.2 跨域三維模型檢索

與基于實例的同域檢索相比，跨域三維模型檢索更適應于媒體數據多樣化的發展趨勢。Tasse和Dodgson［32］構建了多模態三維模型檢索系統，實現從文本、草圖、深度圖、真實圖像和三維模型等多模態數據檢索相似的三維模型。由于基于文本的輸入通常過于籠統，無法精確表達目標三維形狀，因此激發了對基于圖像的三維模型檢索研究。

一種方法是利用從圖像中提取的手工特征或者學習特征訓練分類器，該分類器為每個細粒度類提供三維模型［33-34］，但是這種方法的檢索結果只選擇訓練過程中出現過的三維模型。為了突破此局限，近期研究的主流方法是將圖像和三維模型映射到公共嵌入空間中，并通過距離度量來執行 檢 索 任 務［35］。Xiang等［36］使 用 單 個CNN 將RGB圖像和RGB渲染圖像映射到嵌入空間，并采用基于歐氏距離的損失函數優化訓練。Wang等［37］將孿生網絡用于基于草圖的三維模型檢索，其中一個分支作用于草圖域，另一個分支作用于三維模型域，這種方法選擇一個“最佳”投影視圖表示三維模型，但實際上用單張視圖表示三維模型會產生很大的損失，影響檢索準確度。Li等［38］提出了將圖像和三維形狀共同嵌入同一空間的框架，其中嵌入空間由通過AlexNet［8］網絡提取的圖像特征與三維模型多視圖的方向梯度直方圖（Histogram of Oriented Gradient，HoG）特征之間的距離構建，但是由于需要計算所有訓練三維模型對的距離，這種方法不可用于大規模三維形狀數據集。Dai等［39］使 用 預 訓 練 的A lexNet［8］對 草 圖提取特征，并對三維模型提取具有局部約束線性編碼（Locality-constrained Linear Coding，LLC）約束的SIFT特征，再對草圖和三維模型得到的特征使用判別性損失函數和相關性損失函數進行度量學習。在后續工作中，Dai等［40］在此基礎上繼續提出了 DHML（Deep Correlated Holistic Metric Learning）方法，在隱藏層加入損失訓練，以鼓勵隱藏層中的功能也具有所需的特性，避免梯度消失，幫助網絡穩定收斂，從而提高性能。鑒于三元組網絡在圖像分類檢索領域取得了很好的成績［41］，Lee等［14］將其擴展到圖像到三維模型的跨域檢索領域中，使用2個CNN將RGB圖像和投影視圖組映射到嵌入空間，但是沒有關注真實圖像的有效特征提取，而且其提出的跨視圖卷積方法會損失視圖內容信息，影響檢索準確度。

與以上方法不同，本文采用異構的三元組網絡構建RGB圖像與三維模型的特征聯合嵌入空間，并分別設計基于注意力機制的圖像精確特征提取算法和基于順序視圖的三維模型特征提取算法，提高不同模態數據特征描述符的辨別力，從而提高跨域檢索準確度。

2 基于三元組網絡的跨域數據檢索方法

本文提出一種采用三元組深度神經網絡匹配不同模態數據特征的方法，用于基于單幅RGB圖像的三維模型檢索，圖1給出了本文方法的詳細框架。首先，對圖像數據和三維模型數據進行預處理，將三維模型投影為一組順序視圖。然后，將圖像數據和視圖組數據以三元組的形式輸入到網絡中進行訓練，跨域檢索三元組網絡由2種網絡結構組成：一種是用于處理二維圖像數據的圖像精確特征提取分支網絡，另一種是用于視圖組數據的三維模型順序視圖特征提取分支網絡。最后，在獲取到數據的特征向量后，利用三元組損失構建特征聯合嵌入空間，在此空間上即可根據距離度量跨域數據相似性，完成檢索任務。

圖1 跨域檢索三元組網絡架構Fig.1 Architecture of cross-domain retrieval triplet network

2.1 數據預處理

圖像與三維模型跨域檢索數據集由RGB圖像和三維模型組成。先將圖像數據統一處理為256×256，通過多尺度數據增強，隨機裁剪成227×227的圖片，防止模型過擬合。再將RGB圖像轉換為灰度圖，去除圖像顏色信息對檢索的干擾。

對三維模型數據進行順序投影處理，在以模型為中心的圓上均勻設置虛擬相機陣列，從而捕獲三維模型的順序視圖組。這種視圖獲取方法簡單有效，被廣泛應用于三維模型預處理任務中［27，31］。在投影視圖數量的選取上，鑒于12個不同角度的投影視圖被證明可以很好地表達三維模型，并且在三維模型的分類、檢索等任務中取得了不錯的效果［29-30］，設置相機陣列包含12個虛擬相機，它們放置在三維模型周圍的圓平面上，指向三維模型質心，與水平面呈30°夾角，相機間隔為30°。第一個視圖的視角可以選在圓上任意一個固定位置，再以順時針方向獲取后續的視圖，由此組成三維模型的順序視圖組。

2.2 三元組網絡結構

數據預處理完成后，將其中的圖像數據和三維模型的視圖組數據以三元組的形式輸入到跨域檢索三元組網絡中，如圖1所示。三元組數據格式為：（基準圖像-正類視圖組-反類視圖組）。其中，基準圖像來自圖像數據集，正類視圖組表示的三維模型與基準圖像中的對象同類，反類視圖組則與基準圖像異類。對應于輸入數據，跨域檢索三元組網絡有3個分支網絡。分支1為圖像精確特征提取分支網絡，其輸入為具有復雜背景的基準圖像，經過CNN完成對圖像重要特征自適應細化學習。分支2和分支3為三維模型順序視圖特征提取分支網絡，輸入分別為正類模型和反類模型的視圖組，其網絡結構相同，權值共享，在提取每個視圖特征的同時關注不同視圖之間的聯系，獲得三維模型的特征描述符。由于基準圖像與視圖均屬于二維圖像，因此3個分支網絡均以在ImageNet數據集上預訓練好的VGG19［42］網絡作為基礎網絡提取基準圖像特征和三維模型的視圖級特征，如圖1中的卷積塊所示。

2.2.1 圖像精確特征提取分支網絡

真實圖像包含與檢索無關的復雜背景信息，這些噪聲會對檢索準確度產生負面影響。而且，在通過特征學習構建跨域特征聯合嵌入空間時，真實圖像與“干凈”的投影圖像之間的語義鴻溝也會導致檢索準確度降低。文獻［12］通過疊加全連接層和Relu層，對提取到的圖像特征執行仿射變換來縮小真實圖像與投影圖像的域差異。在此基礎上，筆者關注于在特征提取階段實現圖像特征自適應細化學習。

通過加入注意力機制實現對基準圖像有效特征的精確提取。注意力機制的本質是定位特征中的感興趣信息，并抑制其中的無用信息。本文主要關注于對基準圖像的有效區域特征提取，因為對于圖像與三維模型的跨域檢索任務來說，并非圖像中的所有區域對任務的貢獻都是同等重要的，只有與被檢索對象相關的像素才是特征提取網絡的重點學習區域。因此，選擇空間注意力模型來降低圖像背景信息對檢索任務的影響，從而完成基準圖像精確特征提取。

圖像精確特征提取分支網絡以VGG19網絡為基礎，VGG19網絡由16個卷積層和3個全連接層組成，這16個卷積層被分成5段，段間采用一個最大池化層來縮小圖片尺寸。在每一段的每2個卷積層之間加入空間注意力模塊［12］，實現對圖像中重要對象的特征提取。由于VGG19網絡結構較長，在圖1中僅顯示一個注意力模塊作為示例。

空間注意力模塊利用特征在空間維度的關系生成空間注意力權重圖，用于在圖像信息中找出需要被關注的區域。如圖2所示，對于輸入特征FI∈RH×W×C（H為 高 度，W 為 寬 度，C為 通 道 數量），空間注意力模塊在通道維度上對其執行最大池化（Max-pooling）和平均池化（Average-pooling），得到2個H×W×1的空間描述符。采用2種池化方法的好處在于：最大池化可以更多地保留紋理信息，而平均池化對特征圖上的每一個像素點都有反饋，可以在減少維度的同時完整傳遞信息。池化完成后，按照通道維度進行拼接得到通道數為2的特征描述符，應用一個7×7的卷積層和Sigmoid激活函數生成H×W×1的空間注意力權重圖AS。經過區域過濾得到的新特征′∈RH×W×C即可參與接下來的特征提取過程，最終得到圖像的精確特征。

圖2 注意力模塊詳細結構Fig.2 Detailed structure of attention module

式中：?表示逐個元素相乘；φ表示Sigmoid函數；g表示卷積計算。

通過加入空間注意力模塊，圖像精確特征提取分支網絡在學習圖像特征時更關注于對象信息，而非背景信息。采用文獻［12］中由全連接層和Relu層疊加組成的特征自適應層，對獲取到的圖像特征進行仿射變換，進一步消除背景信息，從而得到圖像的精確特征。

2.2.2 三維模型順序視圖特征提取分支網絡

由于視圖與圖像相近，多視圖方法可以在特征提取部分減小圖像與三維模型的語義差異，因此在跨域檢索任務中具有良好的效果。但是，用視圖表示三維模型的過程會產生較多信息損失，因此，如何減少特征損失，提取三維模型更完整有效的特征仍然是一個困難的問題。相比于傳統CNN，循環神經網絡（Recurrent Neural Network，RNN）具有強大的記憶功能，善于處理序列信息。GRU網絡是RNN最成功的變體，其通過加入門控單元解決了長序列訓練過程中的梯度爆炸和梯度消失問題，具有更強大的記憶功能。因此，通過GRU結構聚合順序視圖，在聚合每個視圖內容信息的同時保留視圖序列的空間信息，獲取更具有辨別力的三維模型特征描述符。

三維模型順序視圖特征提取分支網絡由VGG19網絡和GRU網絡組成。對于輸入的順序視圖組V，先將VGG19網絡作用于其中的每個順序視圖vk（k=1，2，…，12），獲取它們的低級特征fk（k=1，2，…，12），再采用GRU網絡按照視圖序列逐步聚合視圖級特征。如圖3所示，以第j時間步為例，視圖vk的低級特征向量fj被輸入到GRU中，其中隱狀態hj作為“記憶”儲存學習過的信息。在重置門控rj的控制下，GRU利用fj與前一個時間步的隱狀態hj-1生成重置數據h′j。

圖3 GRU網絡聚合視圖級特征Fig.3 Aggregation of view-level features using GRU networks

式中：Wr和W 為權重矩陣；tanh為激活函數。

通過更新門控zj有針對性地將h′j中的信息添加到隱狀態hj-1，從而學習到了新的“記憶”，生成新的隱狀態hj。

式中：Wz為更新門控對應的權重矩陣；“?”表示Hadamard乘積。

更新“記憶”后，GRU即可將隱狀態hj向下一個步驟傳遞并經過維度變換輸出為Oj。

式中：Wo和b分別為可學習的權重和偏置參數。

在GRU完成逐步學習后，采用最大池化層聚合每個視圖對應的GRU隱狀態的輸出Ok（k=1，2，…，12），得到三維模型的全局特征FS。

2.3 構建特征聯合嵌入空間

通過圖像精確特征提取分支網絡和三維模型順序視圖特征提取分支網絡，三元組網絡的3個分支分別獲得基準圖像、正類三維模型和反類三維模型的特征表示向量，采用L2正則化函數分別對其進行標準化，從而控制模型復雜度，防止過擬合。

式中：x為特征向量中的元素；ε取值為1×10-12。利用三元組損失函數對圖像特征和三維模型特征構建聯合嵌入空間，通過控制特征距離將不同模態的數據特征映射到同一高維空間中。具體來說，網絡訓練的目的是使基準圖像特征f（）與反類三維模型特征f（）的距離大于它和正類三維模型特征f）的距離，使得域間數據特征差異減小的同時，域內同類數據相近，異類數據疏遠。損失函數定義如下：

式中：dp為基準圖像與正類三維模型的特征距離；dn為基準圖像與反類三維模型的特征距離；margin為避免模型在訓練過程中走捷徑導致錯誤結果而設定的相對距離。

在特征聯合嵌入空間中，圖像數據與三維模型數據特征按照類別呈簇狀分布，通過歐氏距離等方法直接計算特征間距離即可度量不同模態數據的相似性。

3 實 驗

檢索過程使用跨域檢索三元組深度網絡，對查詢圖像和模型庫中的三維模型同時提取特征并構建特征聯合嵌入空間，特征在此空間中的距離代表數據的相似度，利用歐氏距離計算查詢圖像與三維模型之間的特征距離并排序，選擇前5個三維模型作為檢索結果。本文以CentOS7.3為工作平臺，在一個Intel Xeon E5-2609 v4 CPU和兩個NVIDIA GTX1080 GPU上采用TensorFlow深度學習框架實現模型。采用Adam算法優化網絡，設置三元組損失函數中margin為0.2，網絡學習率為1×10-6，衰減因子設為0.1。

3.1 數據集

分別在SHREC 2019提供的MI3DOR數據集和IM2MN數據集上進行實驗來驗證本文方法。其中，MI3DOR數據集有21個類，包含7 690個三維模型和21 000個RGB圖像，其中，訓練集包括3 842個三維模型和10 500個圖像，測試集包括3 848個三維模型和10 500個圖像。IM2MN數據集包含12311個三維模型和10000個RGB圖像，共分為40個類，其中，訓練集包括9 843個三維模型和8000個圖像，測試集包括2 468個三維模型和2 000個圖像。由于本文的三維模型預處理方法與IM2MN數據集中的視圖子數據集生成方法一致，所以直接將其用于視圖特征提取網絡。相比于MI3DOR數據集，IM2MN數據集涉及的類別范圍更廣，而且包含較多容易混淆的數據，因此更具有挑戰性。

3.2 消融實驗

為了驗證提出的基于注意力機制的圖像精確特征提取算法和基于GRU網絡的三維模型順序視圖特征提取算法對跨域檢索的有效性，分別在IM2MN數據集和MI3DOR數據集上做消融實驗，其中檢索性能通過平均準確率（mean Average Precision，mAP）進行評估，如表1和表2所示。針對網絡是否包含注意力模塊和GRU網絡模塊，分別設計不同的網絡結構進行測試。其中，圖像精確特征提取分支網絡在采用文獻［14］所提出的特征自適應層的基礎上，加入空間注意力模塊，進一步減少圖像中的背景噪聲對檢索任務的影響，縮小跨域數據特征間的語義差異。為區分注意力模塊與特征自適應層對提升檢索結果的貢獻程度，通過控制是否包含特征自適應層模塊變量，進一步體現各模塊對跨域檢索任務的影響。從表1、表2可以看出，注意力模塊和GRU網絡模塊均對檢索準確度產生了積極的影響，僅加入注意力模塊使得檢索平均準確率提高3.19% ～4.08%，僅加入GRU網絡模塊使得檢索平均準確率提高5.57% ～5.74%，而同時包含2種結構的網絡模型的檢索平均準確率最高，說明了本文方法的有效性。

表1 IM 2M N數據集消融實驗測試結果Table 1 Test results of ablation experim ent on IM 2M N dataset

表2 M I3DOR數據集消融實驗測試結果Table 2 Test results of ablation experim ent on M I3DOR dataset

3.3 基于圖像的三維模型跨域檢索

為驗證本文方法的有效性，在IM2MN數據集上與CDTNN［14］算法、MVCNN［29］算法和基于三元組網絡的增強MVCNN算法的檢索結果進行定量比較，檢索性能通過平均準確率mAP進行評估，測試結果如表3所示。其中，基于三元組網絡的增強MVCNN算法是在基礎三元組網絡結構的基礎上，利用MVCNN算法提取三維模型特征并作用于網絡的正類和負類分支上得到檢索結果。

從表3中可以發現，CDTNN算法在基線方法中的檢索平均準確率最高，而本文方法的檢索平均準確率較 CDTNN 算法提高2.98%，達到55.65%。為驗證本文方法在其他公開數據集上的有效性，在MI3DOR數據集上與CDTNN基線方法進行檢索平均準確率評估，相較于MI3DOR數據集，IM2MN數據集中包含更多的類別和容易產生混淆的數據，因此其檢索準確度略微低一些。如表3所示，本文方法在M I3DOR數據集上檢索平均準確率較CDTNN 算法提高3.05%，達到56.53%。

表3 基于圖像的三維模型檢索性能Table 3 Performance for im age-based 3D m odel retrieval

圖4可視化地展示了一些檢索結果示例。其中，圖4的頂部展示了一些成功的檢索結果，底部則展示了2種典型的檢索失敗情況，其中錯誤的檢索結果用方框圈出。從圖4中可以看出，本文方法在處理單幅圖像到三維模型的跨域檢索任務上有不錯的效果，但同時也存在一些失敗情況，如多目標場景（顯示器與桌子共同出現在查詢圖像中），圖像中的檢索對象不完整及存在遮擋物體（查詢圖像中書架沒有被完整顯示，并且被大量物體遮蓋，導致其與桌子類別產生混淆），均會對檢索產生負面影響。

圖4 基于單張圖像的三維模型檢索結果示例Fig.4 Examp les ofmonocular image based 3D model retrieval results

4 結 論

1）本文提出了跨域檢索三元組網絡來解決基于單幅圖像的三維模型檢索任務，為提高檢索準確度，針對網絡的不同輸入數據設計圖像精確特征提取分支網絡和三維模型順序視圖特征提取分支網絡，提高從不同模態數據學習得到的特征描述符的適配能力。通過對比實驗可以看出，相較于最優基線方法，本文方法在2個數據集上的檢索平均準確率均提高3%左右，體現了本文方法的有效性。

2）為了驗證提出的圖像精確特征提取算法和三維模型順序視圖特征提取算法對提高跨域檢索準確度的有效性，設置了消融實驗針對不同網絡情況進行測試。從實驗結果可以看出，2種特征提取算法均對檢索有積極的作用。

3）本文方法對多目標場景和存在遮擋物體的圖像檢索可能會出現失敗的情況，而這類圖像在實際生產應用中也較為常見。因此，在后續工作中，可以考慮結合圖像識別等領域的知識對算法作進一步改進。