雙層CNN三維剛性與非剛性模型相似性分析

羅林 阮文靜 莊濟(jì)滔

摘 要：三維模型相似性分析是計(jì)算機(jī)視覺中的重點(diǎn)問題，如何構(gòu)建其形狀特征和對比函數(shù)是難點(diǎn)。隨著深度學(xué)習(xí)出現(xiàn)，通過神經(jīng)網(wǎng)絡(luò)自動(dòng)提取模型特征成為研究熱點(diǎn)。構(gòu)建了雙層CNN網(wǎng)絡(luò)，首先利用熱核特征函數(shù)分別構(gòu)建帶有顏色的剛性和非剛性訓(xùn)練集與測試集，其次將數(shù)據(jù)集通過雙層CNN網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，第一層實(shí)現(xiàn)類別初步判定，第二層實(shí)現(xiàn)同一模型剛性與非剛性形變區(qū)分。為了提高分類準(zhǔn)確度，對初步分類錯(cuò)誤的模型引入閾值判定，將其直接排除。通過實(shí)驗(yàn)分析，雙層CNN網(wǎng)絡(luò)剛性與非剛性的判別準(zhǔn)確率達(dá)到99%。實(shí)驗(yàn)證明，該方法在模型相似性分析上是魯棒的，且提取的特征不受人工干擾。

關(guān)鍵詞：三維模型;相似性分析;形狀特征;CNN;熱核特征

DOI：10. 11907/rjdk. 182493

中圖分類號：TP301

文獻(xiàn)標(biāo)識碼：A文章編號：1672-7800（2019）006-0029-06

Abstract： Three-dimensional （3D） model similarity analysis is a key issue in computer vision. How to construct the shape feature and analysis function of the 3D model is a challenging problem. With the advent of deep learning， it is a hot topic to extract model features automatically through the neural network. Therefore， the paper proposes a two-layer CNNs. Firstly， we construct a rigid and non-rigid training set and test set with color by the heat kernel signature （HKS）. Then a two-layer CNNs with the constructed training set is trained. The first layer of CNN implements the preliminary classification for 3D models， and the second layer achieves the distinction between the rigid and non-rigid deformation of the same model. Finally， in order to improve the accuracy of classification， the threshold is presented for excluding the 3D models directly，by which they have an error classification after the preliminary classification. The two-layer CNNs constructed in our paper has an accuracy of 99% in classification of rigid and non-rigid deformation through the experiments. The proposed method is robust in the similarity analysis of the model， and the extracted features are not subject to artificial interference.

Key Words：three-dimensional model; similarity analysis; shape feature; CNN; HKS

0 引言

近年來，隨著多媒體技術(shù)飛速發(fā)展，三維模型廣泛應(yīng)用于工業(yè)產(chǎn)品設(shè)計(jì)、虛擬現(xiàn)實(shí)、影視動(dòng)畫。例如，醫(yī)療行業(yè)用三維模型制作器官的精確模型、建筑行業(yè)用三維模型展示建筑物或者風(fēng)景表現(xiàn)等[1-2]。每天都有大量三維模型產(chǎn)生和傳播，因此對三維模型進(jìn)行分析、匹配與檢索存在迫切需求[3]。由于存在拓?fù)潢P(guān)系，三維模型在變形時(shí)會(huì)導(dǎo)致模型發(fā)生變異。因此，其相似性分析主要分為剛性模型和非剛性模型兩大類。剛性模型主要變換有旋轉(zhuǎn)、平移、縮放以及映射等，變換前后模型內(nèi)部點(diǎn)的相對位置不發(fā)生改變，而非剛性模型則具有鉸鏈結(jié)構(gòu)，模型的形狀變化也會(huì)多種多樣，不僅能進(jìn)行旋轉(zhuǎn)、平移、縮放等剛性形變，還能發(fā)生連接關(guān)系改變，因此非剛性模型相似性分析存在更高的技術(shù)難度[4]。目前，比較成熟且常見的檢索系統(tǒng)主要針對剛性模型，而近年來非剛性模型相似性以及檢索系統(tǒng)研究也越來越受到學(xué)者關(guān)注[5]。

目前常用的三維模型相似性分析算法有形狀直方圖、擴(kuò)展高斯圖像和函數(shù)分析等[6-8]。隨著深度學(xué)習(xí)技術(shù)出現(xiàn)，人工提取特征的局限性越來越明顯，上述算法不再適合三維模型相似性分析。但是，仍有許多研究將其應(yīng)用在模型預(yù)處理等工作上。例如，Chen等[9]提出基于視覺的三維模型檢索系統(tǒng)，首先將視點(diǎn)布置在正十二面體上，然后通過旋轉(zhuǎn)正十二面體得到不同視角下的二維投影圖像，通過比較不同模型所得圖像進(jìn)行相似性分析。二維投影確實(shí)可以表達(dá)三維模型的整體形狀，但是不能較精確地表達(dá)三維模型的局部信息。因此，Hang 等[10]提出了多視角下CNN網(wǎng)絡(luò)構(gòu)建方法，通過多個(gè)視點(diǎn)，構(gòu)建多張視角圖片作為CNN網(wǎng)絡(luò)的輸入向量，將二維圖像特征通過CNN網(wǎng)絡(luò)提取為更豐富的高級特征，從而提高模型檢索準(zhǔn)確度。李重等[11]提出基于骨架的蛋白質(zhì)三維模型相似性分析方法，通過提取模型拓?fù)涔羌埽@取比較特征值，基于距離函數(shù)對模型進(jìn)行相似性分析。該類算法的核心是通過提取三維模型某一方面特征（如形狀、拓?fù)浜投S投影等），將其映射到特征向量空間。由于這些方法提取的是三維模型的整體特征，所以只能在整體級別上對三維模型進(jìn)行較為粗糙的比較，無法實(shí)現(xiàn)精確的局部細(xì)節(jié)特征級別相似性比較。針對模型的局部特征問題，Smeets 等[12]將二維尺度不變特征轉(zhuǎn)換（Scale Invariant Feature Transform，SIFT）特征描述方法擴(kuò)展到三維網(wǎng)格空間，提出了基于MeshSIFT的三維模型局部特征提取方法。因此，目前眾多研究人員開始關(guān)注如何構(gòu)建更加高級且豐富的模型特征，從而在檢索中提高其準(zhǔn)確度。結(jié)合深度學(xué)習(xí)技術(shù)進(jìn)行三維模型形狀相似性分析引發(fā)了眾多科研工作者關(guān)注，例如，Wang等[13]提出基于八叉樹CNN網(wǎng)絡(luò)的三維模型形狀分析方法，通過八叉樹表征三維模型數(shù)據(jù)，輸入到CNN網(wǎng)絡(luò)中對模型進(jìn)行分析。Masci等[14]提出GCNN方法，直接將三維形狀看成二維流形（Manifold），頂點(diǎn)之間的距離不再是歐氏距離，而是在極坐標(biāo)系下定義的測地線距離，該網(wǎng)絡(luò)結(jié)構(gòu)可以在流形上進(jìn)行任意變化，模型檢索結(jié)果較好。

但是，上述方法對于模型的非剛性變化基本無效。結(jié)合深度學(xué)習(xí)進(jìn)行非剛性模型檢索的優(yōu)秀文章目前極少，大多數(shù)研究仍然采用人工特征提取方法進(jìn)行非剛性模型分析。例如，萬雅娟[15]提出基于幾何特征的非剛性三維模型檢索方法，因測地線距離的幾何特征具備等距不變性，該特性適用于非剛性三維模型檢索。但是，該算法需要在模型表面進(jìn)行采樣點(diǎn)選取， 如果采樣點(diǎn)不均衡，提取到的模型特征不足以充分描述該模型形狀，其檢索度將會(huì)降低。因此，該作者針對該問題提出了基于形狀特征的興趣點(diǎn)均衡選取算法，首先均勻選取采樣點(diǎn)，然后計(jì)算其測地線距離，統(tǒng)計(jì)分布直方圖，最后根據(jù)直方圖進(jìn)行匹配檢索。賴龍等[16]提出一種多特征融合的非剛性三維模型匹配算法，先計(jì)算待融合特征的信息熵，將該信息熵轉(zhuǎn)化成權(quán)值，對單一特征下模型間相似度進(jìn)行加權(quán)融合，將最終得到的相似度作為新的模型間相似度。

面對非剛性變化的豐富多樣性，現(xiàn)有特征提取算法都有其適應(yīng)性以及局限性，如果只是人工提取特征，其局限性和特征提取的不完整性終會(huì)導(dǎo)致檢索準(zhǔn)確度降低。針對非剛性模型的這一難點(diǎn)，本文考慮剛性和非剛性模型特性，提出基于雙層CNN對三維模型進(jìn)行相似性分析，而傳統(tǒng)CNN網(wǎng)絡(luò)只支持二維圖片輸入，因此如何構(gòu)建合適的輸入特征以及分析函數(shù)是重點(diǎn)和難點(diǎn)。同時(shí)，不同輸入特征也決定了網(wǎng)絡(luò)層數(shù)的深度和廣度，面對眾多三維模型，不可能每天都進(jìn)行訓(xùn)練和學(xué)習(xí)。因此本文在三維模型相似性分析上，不僅能在模型形變基礎(chǔ)上對模型進(jìn)行識別，還能對該模型是發(fā)生了剛性形變還是非剛性形變進(jìn)行判斷，同時(shí)訓(xùn)練時(shí)間較短，識別效果較優(yōu)，研究具有一定實(shí)踐意義。

1 數(shù)據(jù)集構(gòu)建

如何構(gòu)建適合深度學(xué)習(xí)CNN網(wǎng)絡(luò)的輸入特征，是本文研究重點(diǎn)，因此從建立三維模型的數(shù)據(jù)集出發(fā)，結(jié)合熱核特征等距不變性，對三維模型進(jìn)行著色處理。將模型著色處理后，采取不同視點(diǎn)角度，在x0y平面上得到不同二維圖像，將其作為數(shù)據(jù)集。二維圖像可以很好地表達(dá)模型的整體特征，而通過熱核特征計(jì)算的顏色特征可以描述模型的拓?fù)渥兓约熬植刻匦裕煌暯窍碌膱D片表征了三維模型的視角變化。

熱核特征（HKS）由Sun等[17]在2009年提出，它是基于Laplace-Beltrami算子的形狀描述子。因?yàn)镠KS對于三維模型的變化比較敏感，當(dāng)三維模型進(jìn)行非剛性變化后，對應(yīng)模型的點(diǎn)的HKS值會(huì)有較大變化，相應(yīng)的顏色填充較剛性形變模型也會(huì)發(fā)生較大變化，如圖1所示。該特點(diǎn)能夠很好地對三維模型剛性變化與非剛性變化進(jìn)行區(qū)分，對于三維模型剛性和非剛性相似性分析有較好魯棒性。根據(jù)文獻(xiàn)[17]中HKS特征計(jì)算公式得到三維模型的HKS特征值，按照HKS特征值自定義區(qū)間顏色范圍，對各區(qū)間用不同顏色進(jìn)行著色處理，如圖1所示。

由圖2可以看到，當(dāng)模型進(jìn)行剛性變化后，其顏色與原模型顏色接近一致，圖2（a）的RGB值為[127，83，80]，圖2（b）的RGB值為[128，85，76]，兩個(gè)模型RGB值非常接近。而非剛性變化后的模型顏色差異比較明顯，圖2（c）的RGB值為[173，111，25]，因此3個(gè)模型通過顏色能夠更加直觀地進(jìn)行分析，為后續(xù)CNN網(wǎng)絡(luò)模型訓(xùn)練提供了保證。最后將三維模型置于不同視點(diǎn)下，使用Matlab得到不同角度下三維模型的二維視圖，如圖3所示。本文采用的三維模型為McGill模型集[18]，構(gòu)建的數(shù)據(jù)集有剛性數(shù)據(jù)集（圖3左）和非剛性數(shù)據(jù)集（圖3右），數(shù)據(jù)集中每張圖片的數(shù)值表示為三維模型在[i， j， k]方位角下的二維圖片。

2 雙層CNN網(wǎng)絡(luò)構(gòu)建

深度學(xué)習(xí)技術(shù)出現(xiàn)之前，人工對圖片識別保持著較高準(zhǔn)確度，但存在耗費(fèi)大量人力以及效率低的問題[19]。而深度學(xué)習(xí)的出現(xiàn)很大程度上解決了該問題，其網(wǎng)絡(luò)結(jié)構(gòu)能夠?qū)斎氲骄W(wǎng)絡(luò)中的數(shù)據(jù)集進(jìn)行分析并學(xué)習(xí)數(shù)據(jù)的分布性特征，通過加深網(wǎng)絡(luò)中的層數(shù)使得網(wǎng)絡(luò)能夠?qū)W習(xí)到更抽象的數(shù)據(jù)特征，訓(xùn)練完成后的深度學(xué)習(xí)網(wǎng)絡(luò)具有自動(dòng)分析識別數(shù)據(jù)能力。

首先，利用數(shù)據(jù)集構(gòu)建方法，構(gòu)建兩分類（鉗子和飛機(jī)模型）的顏色數(shù)據(jù)集，如圖4所示。同時(shí)上文已構(gòu)建了鉗子的剛性和非剛性數(shù)據(jù)集，如圖3所示。本文在兩類數(shù)據(jù)集基礎(chǔ)上，構(gòu)建雙層CNN網(wǎng)絡(luò)，每層CNN網(wǎng)絡(luò)層數(shù)都為6，如圖5所示。其次，根據(jù)兩類數(shù)據(jù)集分別訓(xùn)練2層CNN網(wǎng)絡(luò)模型，將兩分類顏色數(shù)據(jù)集放入單層CNN網(wǎng)絡(luò)中進(jìn)行模型訓(xùn)練，直至可以準(zhǔn)確地將不同模型進(jìn)行分類;分別將兩分類模型的剛性和非剛性數(shù)據(jù)集放入另一單層CNN網(wǎng)絡(luò)中進(jìn)行相應(yīng)模型訓(xùn)練，直至可以準(zhǔn)確地將兩分類模型的剛性和非剛性形變模型分別分出。最后，隨意輸入一張模型圖片到網(wǎng)絡(luò)中，圖片通過CNN網(wǎng)絡(luò)初步確認(rèn)模型類別，根據(jù)類別再次放入訓(xùn)練好的剛性判別CNN網(wǎng)絡(luò)中，從而最終得到模型形變結(jié)果，流程如圖6所示。

但是，如果輸入任意模型圖片，并非兩類模型中的一種，CNN網(wǎng)絡(luò)總會(huì)將圖片分為最相似一類，即便通過雙層CNN網(wǎng)絡(luò)仍會(huì)被分為兩類中的一類，而多類分類亦如此。因此本文在CNN網(wǎng)絡(luò)基礎(chǔ)上，提出了閾值判定分類算法。該算法結(jié)合傳統(tǒng)CNN結(jié)構(gòu)和孿生網(wǎng)絡(luò)的特征，通過閾值判定，將非兩類模型圖片排除出去，如圖7所示，通過閾值W進(jìn)行最終判定。

圖5中輸出向量output1是為閾值計(jì)算服務(wù)的，圖7中基準(zhǔn)向量input為圖5中向量output1的平均值。首先，選取顏色數(shù)據(jù)集中n張同一類模型圖片放入單層CNN網(wǎng)絡(luò)中，會(huì)得到n個(gè)輸出向量output1， 計(jì)算n個(gè)向量的平均值，作為基準(zhǔn)向量input。其次，隨機(jī)放入一個(gè)模型任意視角下的m張圖片到CNN網(wǎng)絡(luò)中，通過已訓(xùn)練好的CNN網(wǎng)絡(luò)得到m個(gè)輸出向量output1，再次計(jì)算基準(zhǔn)向量input與輸出向量output1之間的歐式距離W，然后將W的平均值作為該類別閾值，意味著多分類就有多個(gè)閾值。最后，隨機(jī)輸入一張調(diào)色后的圖片，通過單層CNN網(wǎng)絡(luò)得到輸出向量，通過輸出向量初步確認(rèn)類別，與該類別基準(zhǔn)向量進(jìn)行計(jì)算得到一個(gè)值W，與該類別閾值進(jìn)行比較，最終決定輸入網(wǎng)絡(luò)中的模型屬于哪一類或完全不相似。具體流程如圖8所示。