融合信息熵和CNN的基于手繪的三維模型檢索

劉玉杰，宋 陽，李宗民，李 華

?

劉玉杰1，宋 陽1，李宗民1，李 華2,3

(1. 中國石油大學計算機與通信工程學院，山東 青島 266580； 2. 中國科學院計算技術研究所智能信息處理重點實驗室，北京 100190； 3. 中國科學院大學，北京 100190)

基于手繪草圖的三維模型檢索(SBSR)已成為三維模型檢索、模式識別與計算機視覺領域的一個研究熱點。與傳統方法相比，基于卷積神經網絡(CNN)的三維深度表示方法在三維模型檢索任務中性能優勢非常明顯。本文提出了一種基于手繪圖像融合信息熵和CNN的三維模型檢索方法。首先，通過計算模型投影圖的信息熵得到模型的代表性視圖，并將代表性視圖經過邊緣檢測等處理得到三維模型投影圖的輪廓圖像；然后，將輪廓圖像和手繪草圖輸入到CNN中提取特征描述子，并進行特征匹配。本文方法在Shape Retrieval Contest (SHREC) 2012數據庫和SHREC 2013數據庫上進行實驗。實驗證明，該方法的效果較其他傳統方法檢索準確度更高。

三維模型檢索；卷積神經網絡；代表性視圖；信息熵

1 相關工作

由于三維模型廣泛應用于計算機輔助設計、機器人自動化、自動駕駛等領域，在計算機視覺和計算機圖形學的發展中，如何從數據集中準確地獲取三維模型成為一個重要課題。在過去的十幾年中，許多研究者認識到僅依靠基于關鍵字的文本檢索技術進行檢索已不能滿足需要，試圖利用三維模型作為輸入從三維數據庫中檢索相似的模型。雖然三維建模技術和三維掃描設備的發展使得三維模型獲取變得容易，但過程仍然復雜。隨著觸屏手機、平板電腦等智能移動終端的普及，手繪圖的獲取越來越容易，這也從一定程度上拓寬了基于手繪草圖的三維模型檢索(sketch-based shape retrieval，SBSR)的應用范圍，并提高了SBSR技術在學術研究領域的關注度。

SBSR技術發展至今，學者們發現與基于模型的三維模型檢索相比，手繪草圖更容易獲得。但根據手繪草圖檢索數據庫中的三維模型是一個具有挑戰性的問題，由于手繪草圖的多變性和隨機性，基于手繪草圖的三維模型檢索的現有方法精度普遍較低。大多數算法其目的是使三維模型或模型在某個視角與手繪草圖在特征空間上更接近，圖1為SHREC 2012數據庫中部分手繪草圖和相應的3D模型。因為手繪草圖和三維模型屬于不同的域空間，兩者在高層視覺感知上有明顯的差異，這種域差異直接削弱了基于底層圖像特征設計的特征描述子的有效性，SBSR技術力求建立手繪圖像與三維模型之間相似度度量關系，所以在過往的研究中，通常的解決方法是通過投影過程將三維模型投影成二維圖像，再對投影圖像進行邊緣檢測等處理生成輪廓圖，并將其看作是一種特殊形式的手繪圖[1]。

SBSR技術需要解決一個重要問題即尋找具有描述力強而魯棒性好的特征描述子。基于草圖的三維模型檢索方法有：基于局部特征的方法、基于全局特征的方法，基于深度特征的方法。傅立葉描述子特征[2]，Zernike moments特征[3]，Shape Context特征[4]，方向梯度直方圖(histogram of oriented gradients，HOG)特征[5]在圖像檢索、三維模型檢索領域中顯示了良好性能并被廣泛應用于SBSR技術中。有研究者在圖像、三維模型檢索技術的基礎上，結合手繪圖的特點，對傳統特征描述子進行改進以實現基于手繪的三維模型檢索。另外，隨著深度學習(Deep Learning)的迅速發展其特征學習方法備受關注，并在學術界和工業界掀起了一股研究浪潮。Deep Learning 利用大規模訓練數據通過深層人工神經網絡的方式來學習特征，經過多層的卷積和池化等操作后提取圖像的內在信息。Deep Learning在二維圖像和三維模型識別領域得到廣泛的應用，在手繪圖像分類檢索領域也取得了很大的進展。

圖1 數據庫中手繪草圖與其對應的模型

文獻[6-7]通過提取SIFT特征并使用改進后的詞包模型提出CDMR-BF-fGALIF+CDMR-BF- fDSIFT方法，利用流形排序的方法優化檢索結果，取得了比較好的效果。文獻[8-9]提出了通過Shape Context特征的基于手繪草圖三維模型檢索方法，該算法選取了一組與手繪圖相似的模型投影圖，再對其進行特征距離計算。文獻[10-12]利用HOG、Gabor Filter局部特征，并結合詞包模型實現檢索算法，目標是找到模型的最佳視圖(即，手繪草圖由該視圖角度繪制)，然而，一般計算得到的最佳視圖往往和手繪草圖的角度不同。2015年WANG等[13]提出了一種新的基于卷積神經網絡(convolutional neural network，CNN)的Siamese網絡算法，前提是數據庫中三維模型均為豎直方向，取兩個間隔大于45°視圖取代計算最佳視圖的方法，并將其命名為極簡視圖方法(minimalism approach)，取得了良好的效果。但隨著三維模型數據庫的模型數量不斷擴大也給該方法帶來不確定性，使得到的極簡視圖與手繪圖的繪圖角度不一定相同，而且該方法仍存在檢索精度不高的問題。

2 基于代表性視圖和卷積神經網絡的SBSR方法

本文提出了通過計算模型投影圖的熵值選取模型的代表性視圖，進而利用CNN提取得到的三維模型與手繪草圖的特征進行匹配，其流程如圖2所示。

2.1 數據預處理

手繪草圖的三維檢索面臨的最大挑戰是手繪草圖和三維模型之間的語義鴻溝，本文通過對三維模型數據進行處理克服這一問題，實現手繪草圖和三維模型在圖像域上的統一。利用文獻[14]中提出的方法將一個三維模型包圍在正十二面體中，在各頂點處進行投影，并在每個頂點位置旋轉5次，此時三維模型可以由100個大小為225×225像素的深度圖像表示。本文利用Canny邊緣檢測算法對深度圖像進行邊緣提取，不同于自然場景圖片，手繪圖和三維模型投影圖的背景較為純凈，經過邊緣提取的深度圖像，在視覺上接近于手繪草圖的輪廓圖。

圖2 本文方法的流程圖

2.2 代表性視圖的選取

三維模型中最具代表性的視圖應盡可能多地包含模型的信息，且最能幫助描述模型。換言之，代表性視圖是獲得模型最多信息的視圖。繪制手繪草圖需根據這些視圖來選擇繪制視角，而且冗余的投影圖會給檢索帶來很大地挑戰，利用文獻[13]方法嘗試解決這個問題。該方法假設在數據庫中的三維模型均為豎直的且間隔大于45°，隨機采樣兩個視圖，并以此代表模型，但垂直方向隨機選擇的視點可能與手繪草圖的繪制角度不同，從而影響特征匹配的正確性。本文方法受文獻[15]的啟發，提出了基于視圖信息熵的三維模型視圖的度量方法。熵是對系統或對象混亂程度的度量，即表示其平均信息含量。離散隨機變量={1,2, ···,}的熵定義為

式(1)為有個投影圖的三維模型，視圖的熵值是在視點為中心的方向上投影面相對面積的概率分布。因此，可將視圖的熵定義為

通過計算視圖的信息熵，解決了模型的代表性視圖選取問題。如圖3所示，在三維模型的投影圖中，視圖的熵值越大包含的信息越多，越易分辨出模型的類別。只選取1個代表性的視圖不能保證獲得足夠的信息。實驗證明，選擇6個代表性視圖時，檢索的效果最佳。因此，本文選擇了6個熵值最大的視圖作為代表性視圖。

2.3 CNN特征提取

通過對手繪草圖和三維模型的數據預處理，三維模型的投影圖被轉換成與手繪圖類似的輪廓圖像；之后的任務是提取適合SBSR并且具有高描述力的描述特征。本文利用CNN提取特征，采用經典的深度網絡框架AlexNet[16]，AlexNet是通過ILSVRC 2012 Image Net數據集訓練的。此數據集由1 300萬個數據組成，利用深度神經網絡提取特征的方法，主要包括：

圖3 三維模型不同視圖的熵值

步驟1.對AlexNet的網絡結構和參數進行修改；

步驟2.輸出網絡的全連接層作為輸入對象的特征。

AlexNet在二維圖像領域是一個可靠的CNN。然而，與AlexNet龐大的二維圖像訓練集不同，手繪草圖數據有其自身的特點，比如背景純凈，以線條為主。步驟1中，以SHREC 2013數據庫中的訓練集對深度CNN進行微調。本文中，考慮到Sketch-a-Net[17]在手繪草圖像領域的優勢，借鑒其網絡設計方法，修改Alexnet結構。CNN成功地使用了極小的3×3濾波器，相比文獻[17]發現較大的濾波器更適合手繪草圖的處理。第一卷積層的參數可能是最敏感的，因此，在第一個卷積層中，使用大小為15×15的濾波器取代原有的11×11的濾波器，在之后的卷積層中，均使用大小為3×3的濾波器，本文選擇最后一個連接層7作為輸入對象的特征。表1展示了修改后的網絡結構和參數；基于深度神經網絡的手繪草圖和模型投影圖的特征匹配過程如圖4所示。

表1 修改后的神經網絡結構和參數

圖4 基于深度神經網絡框架的手繪草圖和模型投影圖的特征匹配

2.4 相似度度量

3 實 驗

3.1 數據集與評價指標

為了驗證本文所提出方法的有效性，分別在SHREC 2012和SHREC 2013兩個標準數據庫上進行了實驗并評估檢索的性能。

SHREC 2012數據集包含基礎版和擴展版兩個版本，分20類，每類有20個模型，共計400個模型。在實驗中，使用的是基礎版本數據集，其包括手繪圖和三維模型兩部分，手繪草圖分為13個類，共有250幅圖像。三維模型分為13個類，每類20個模型。

SHREC 2013是基于大規模手繪草圖的三維模型數據庫。該數據集中包含1 258個三維模型和7 200個手繪草圖，分為90個類。在每個手繪草圖類中，50個草圖用于訓練，其余30個草圖用于測試。值得注意的是，其是一個類間模型數量非常不平衡的數據集。在不同的模型類中模型的數量變化很大，這對實驗結果造成了很大的挑戰。例如，airplane類有184個模型，axe類只有4個模型。評價過程中，本文采用三維檢索領域基本的評價指標Nearest Neighbor (NN)、First Tier (FT)、Second Tier (ST)、E-Measure (E)、Discounted Cumulated Gain (DCG)、mean Average Precision (mAP)和Precision- Recall (P-R)曲線圖。其中，NN表示返回的第一個模型屬于目標類的比例，FT表示返回的前C–1 (C為目標類模型的數量)個模型屬于目標類的比例，ST表示返回的前2 (C–1)個模型屬于目標類的比例，E、DCG是綜合查全率和查準率的指標，mAP反映平均檢索精度，P-R曲線圖則能體現總體檢索效率。

3.2 實驗結果與評價

本文在SHREC 2012和SHREC 2013兩個標準數據庫與幾種傳統經典方法進行對比。其在Caffe框架下實現對網絡的修改及微調，訓練過程在GeForce GTX TITAN GPU上完成，用Caffe的MATLAB接口實現輸出全連接層作為輸入對象的特征。

選取不同數量的代表性視圖對檢索結果有著很大的影響，代表性視圖選取得過少對模型的描述將不夠完整，選取得過多會產生許多有歧義性的投影圖，很難分辨出物體。圖5是在SHREC 2012數據集上完成。實驗結果表明，選取6個代表性視圖時，平均mAP值達到最高點，之后基本保持平穩，所以本文采用6個熵值最大的投影圖來描述。另外，為了驗證熵值最大的方式選取代表性視圖的合理性，在SHREC 2013數據集上進行了前6個熵值最大值、前6個熵值最小值、隨機選取6個視圖對比實驗。圖6為以不同方式選取代表性視圖在檢索實驗中得到的PR曲線，實驗證明選取熵值最大的6個視圖時，檢索精度最高。

圖5 在SHREC 2013數據庫上選取不同數量的代表性視圖對檢索精度的影響

圖6 以不同方式選取代表性視圖的PR曲線結果對比

本文以特征向量之間的歐氏距離作為代表性視圖與手繪草圖的相似度度量方式，CNN的全連接層作為輸入數據的特征，與其他幾種經典的方法進行對比，SHREC 2012數據集中的部分檢索結果如圖7所示，本文方法在形狀比較簡單的圖像上檢索精度較高(如圖7第2、7行)，且在一些歧義比較大的手繪圖像，出現部分誤檢(如圖7第3、6行)，誤檢結果在檢索列表中用方框標出。這些誤檢結果的出現主要是因為手繪草圖的自身歧義性造成的，比如蜘蛛、章魚、螞蟻在手繪圖像表達上區分度較小。在該數據集實驗中，本文的方法與傳統的特征進行了對比，其中，利用SIFT特征描述三維模型和手繪圖像的方法結果表現較好，直接使用 HOG特征表達力較弱，從表2中可以看出，本文方法的各項指標均優于其他方法。其中NN評價標準比傳統特征中表現最好的方法提升了12.5%，并且在FT、ST等指標上都有顯著提高。

在SHREC 2013數據集中，本文方法與幾種經典方法進行對比，見表3。圖8是本文與其他方法在PR曲線上的比較，實驗結果顯示，本文的方法優于其他方法。由于SHREC 2013數據庫屬于較大規模的基于手繪草圖的三維模型數據庫，模型數量的增加和手繪圖的多變性，致使現有的方法在該數據庫上的檢索精度均不理想。另一個重要的原因是該數據庫各類中的三維模型數量相差很大且及不平衡，如：airplane有184個模型，而bed僅有4個模型，模型數量太少，會極大影響檢索的查全率和查準率。

表2 在SHREC 2012數據庫中各方法檢索結果對比

圖7 本文方法在SHREC 2012數據庫上的部分檢索結果(框內的模型是誤檢模型)

表3 在SHREC 2013數據庫中各方法檢索結果對比

針對以上提出的SHREC 2013數據庫中各類模型數量不平衡的問題，本文評估了該數據庫中類間模型數量的不齊對實驗精度的影響，在實驗中，選取了該數據庫中的9類數據以3項指標對其進行評估。實驗結果見表4，可以看出，模型數量較多的模型類3項指標精度高于模型數量較少的類。由此可見，模型數量少的類對精度影響較大，尤其是FT、ST評價指標。

圖8 本文方法在SHREC 2013數據庫上與其他方法比較的PR曲線

表4 SHREC 2013數據庫中部分類的檢索結果對比

4 結束語

隨著大數據時代的來臨，圖像獲取變得越來越簡單，獲取方式變得越來越多樣化。基于手繪草圖的多媒體檢索技術受到了廣泛的關注。本文針對手繪草圖與三維模型之間存在的語義差異，提出了一種基于熵值計算對三維投影獲得的輪廓視圖選取代表性視圖，進而利用CNN提取特征進行相似性匹配。在SHREC 2012和SHREC 2013兩個標準數據庫上對本文方法進行了驗證，實驗結果證明相同評價標準下本文方法在檢索精度上高于其他算法。進一步研究發現，現有的深度神經網絡對手繪草圖這一類特殊圖像的描述力不足，在SHREC 2013這種具有挑戰性的數據庫中的檢索精度還是較低。下一步工作將主要研究基于深度神經網絡的手繪草圖特征提取問題。

[1] LI B, LU Y, GODIL A, et al. A comparison of methods for sketch-based 3D shape retrieval [J]. Computer Vision & Image Understanding, 2014, 119(2): 57-80.

[2] ZHANG D, LU G. A comparative study of Fourier descriptors for shape representation and retrieval [C]// Proceedings of 5th Asian Conference on Computer Vision (ACCV). Berlin: Springer, 2002: 646-651.

[3] KHOTANZAD A, HONG Y H. Invariant image recognition by zernike moments [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 12(5): 489-497.

[4] LI B, LU Y, JOHAN H. Sketch-based 3D model retrieval by viewpoint entropy-based adaptive view clustering [C]//Eurographics Workshop on 3D Object Retrieval. New York: ACM Press, 2013: 49-56.

[5] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection [C]//Computer Vision and Pattern Recognition (CVPR), 2005. New York: IEEE Press, 2005: 886-893.

[6] LI B, SCHRECK T, GODIL A, et al. SHREC’12 track: sketch-based 3D shape retrieval [C]//Eurographics Conference on 3D Object Retrieval. New York: ACM Press, 2012: 109-118.

[7] FURUYA T, OHBUCHI R. Dense sampling and fast encoding for 3D model retrieval using bag-of-visual features [C]//ACM International Conference on Image and Video Retrieval. New York: ACM Press, 2009: 26.

[8] LI B, JOHAN H. Sketch-based 3D model retrieval by incorporating 2D-3D alignment [J]. Multimedia Tools & Applications, 2013, 65(3): 363-385.

[9] LI B, LU Y, GODIL A, et al. SHREC’13 track: large scale sketch-based 3D shape retrieval [C]// Eurographics Workshop on 3D Object Retrieval. New York: ACM Press, 2013: 89-96.

[10] EITZ M, HILDEBRAND K, BOUBEKEUR T, et al. Sketch-based 3D shape retrieval [C]//SIGGRAPH 2010. New York: ACM Press, 2010: 5.

[11] EITZ M, HILDEBRAND K, BOUBEKEUR T, et al. Sketch-based image retrieval: benchmark and bag-of-features descriptors [J]. IEEE Transactions on Visualization & Computer Graphics, 2011, 17(11): 1624-1636.

[12] EITZ M, RICHTER R, BOUBEKEUR T, et al. Sketch-based shape retrieval [J]. Acm Transactions on Graphics, 2012, 31(4): 1-10.

[13] WANG F, KANG L, LI Y. Sketch-based 3D shape retrieval using convolutional neural networks [C]//Computer Vision and Pattern Recognition (CVPR), 2015. New York: IEEE Press, 2015: 1875-1883.

[14] CHEN D Y, TIAN X P, SHEN Y T, et al. On visual similarity based 3D model retrieval [C]//Computer Graphics Forum. Oxford: Blackwell Publishing, Inc, CiNii, 2003: 223-232.

[15] FEIXAS M, SBERT M, HEIDRICH W. Viewpoint selection using viewpoint entropy [C]//Vision Modeling and Visualization Conference. New York: ACM Press, 2001: 273-280.

[16] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks [C]//International Conference on Neural Information Processing Systems. New York: ACM Press, 2012: 1097-1105.

[17] YU Q, YANG Y, LIU F, et al. Sketch-a-Net: a deep neural network that beats humans [J]. International Journal of Computer Vision, 2017, 122(3): 411-425.

[18] UIJLINGS J R, SANDE K E, GEVERS T, et al. Selective search for object recognition [J]. International Journal of Computer Vision, 2013, 104(2): 154-171.

Sketch-Based 3D Shape Retrieval with Representative View and Convolutional Neural Network

LIU Yujie1, SONG Yang1, LI Zongmin1, LI Hua2,3

(1. College of Computer & Communication Engineering, China University of Petroleum, Qingdao Shandong 266580, China; 2. Key Laboratory of Intelligent Information Processing, Institute of Computing Technology Chinese Academy of Sciences, Beijing 100190, China; 3. University of Chinese Academy of Sciences, Beijing 100190, China)

Sketch-based shape retrieval (SBSR) has become a hot research spot in the field of model retrieval, pattern recognition, and computer vision. 3D deep representation based on convolutional neural network (CNN) enables significant performance improvement over state-of-the-arts in task of 3D shape retrieval. Motivated by this, in this paper a sketch-based 3D model retrieval algorithm by utilizing entropy representative views and CNN feature matching is proposed. The representative views are obtained by viewpoint entropy. And the representative views are processed by edge detection to get the contour image of 3D model projection. The CNN descriptors extracted as features for representative view of each object. And the method of feature matching is based on CNN descriptors. Our experiments on Shape Retrieval Contest (SHREC) 2012 database and SHREC 2013 database demonstrate that our method is better than state-of-the-art approaches.

3D shape retrieval; convolutional neural network; representative view; entropy

TP 391

10.11996/JG.j.2095-302X.2018040735

A

2095-302X(2018)04-0735-07

2017-11-09；

2018-01-23

國家自然科學基金項目(61379106，61379082，61227802)；山東省自然科學基金項目(ZR2013FM036，ZR2015FM011)

劉玉杰(1971-)，男，遼寧沈陽人，副教授，博士。主要研究方向為計算機圖形圖像處理、多媒體數據分析、多媒體數據庫。 E-mail：50312700@qq.com

李宗民(1965-)，男，山東聊城人，教授，博士，博士生導師。主要研究方向為計算機圖形學、圖像處理、科學計算可視化。 E-mail：lizongmin@upc.edu.cn