應用于藝術輔助設計的場景視覺理解算法研究

陸凱 苗騰輝

摘? 要： 針對原有藝術輔助設計中對已知視覺場景圖像信息提取不準確，造成輸出圖像不清晰的問題，研究一種基于場景視覺理解算法的藝術輔助設計方法。對已知視覺場景圖像按照設定閾值進行顏色分割，形態(tài)學處理分割后圖像，減小噪聲以及斷裂影響獲取的連通區(qū)域，制定提取規(guī)則篩選候選區(qū)域。采用致密采樣的形式提取候選區(qū)域內(nèi)更多的SIFT目標特征，匹配特征點，將已知圖像信息坐標系整合成統(tǒng)一坐標系，輸出設計圖像，完成藝術輔助設計。仿真實驗結(jié)果表明，基于場景視覺理解算法的藝術輔助設計方法較原有方法對已知圖像的信息提取更準確，有助于解決輸出圖像清晰的問題，提高了圖像的整體設計效果。

關鍵詞： 視覺場景理解算法; 目標分割; 目標識別; 計算機輔助設計; 藝術設計; 視覺場景提取; 場景分類

中圖分類號： TN911.73?34; TP391? ? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）09?0037?04

Research on application of visual scene understanding

algorithm in art aided design

LU Kai1， MIAO Tenghui2

（1. Shijiazhuang Tiedao University， Shijiazhuang 050043， China; 2. Hebei College of Science and Technology， Baoding 071000， China）

Abstract： For the output image′s unsharpness caused by inaccurate extraction of image information of known visual scene in the original art aided design， an art aided design method based on visual scene understanding algorithm is studied. The color of the known visual scene image is segmented according to the set threshold value. The morphological processing is performed on the segmented images to reduce noise and fracture effect， and obtain the connected regions. The extraction rules are laid down to screen candidate regions. More SIFT target features in candidate regions are extracted by dense sampling to match feature points， so that the coordinate system of the known image information is integrated into a unified coordinate system， the designed images are output， and the art aided design is completed. The simulation experiment results show that the art aided design method based on the visual scene understanding algorithm is more accurate than the original algorithm in extracting the information of the known image， which facilitates enhancement of the output image sharpness and improvement of the overall design effect of the image.

Keywords： visual scene understanding algorithm; target segmentation; target recognition; computer aided design; art design; visual scene extraction; scene classification

0? 引? 言

藝術設計中通常運用軟件設計和手繪設計，隨著多媒體技術的飛速發(fā)展，藝術設計也越來越傾向于與計算機技術相結(jié)合，產(chǎn)生各種各樣結(jié)合功能的輔助設計工具和設計軟件[1]。各種設計軟件越來越多，功能也越來越全，可以反復打磨和推敲設計作品，降低手工設計成本。同時，通過二維繪制軟件和三維立體模型設計軟件制作設計樣品，更加豐富了視覺效果的創(chuàng)造性，能更好地呈現(xiàn)出設計師的設計理念以及創(chuàng)新思路，改變了藝術設計原有表現(xiàn)形式，完善了藝術設計的工作方式，給傳統(tǒng)藝術設計帶來了翻天覆地的變化。

在與藝術設計融合的計算機技術中，場景視覺理解是現(xiàn)在最廣泛應用于藝術設計領域的技術之一。場景視覺理解是利用計算機模擬人眼視覺功能，用計算機代替人眼和大腦，感知、識別、理解客觀世界中的三維場景及物體，通過與自然語言相融合，用于分析場景圖像中復雜的物體分布問題，并以合理的方式精確描述所獲取信息，幫助設計師提取場景信息數(shù)據(jù)[2]。結(jié)合視覺場景理解算法的藝術輔助設計方法，在藝術創(chuàng)作中能夠有效幫助設計師解決因為提取場景圖像信息數(shù)據(jù)不精確而造成輸出圖像不清晰的問題。因此，基于藝術輔助設計應用背景，提出適用的場景視覺理解算法。

1? 基于場景視覺理解算法的藝術輔助設計方法

復雜場景圖像中，目標信息或物體存在被其他物體遮擋、色差變化、形態(tài)大小不一等原因，不利于目標信息特征提取[3]。因此，基于場景視覺理解算法的藝術輔助設計方法中，首先，按照設定閾值對場景圖像進行顏色分割;然后，對有效描述區(qū)域進行形態(tài)學處理，獲得候選區(qū)域;再通過SIFT特征提取候選區(qū)域內(nèi)的目標特征，輸入設計系統(tǒng)中進行組合設計，篩選合格結(jié)果，實現(xiàn)藝術輔助設計。

設計方法流程如圖1所示。

1.1? 粗分割獲取場景圖像候選區(qū)域

對已知的場景圖像按照一個或多個顏色空間的設定閾值進行顏色分割，通常使用RGB，HIS，HSV以及LCH[4?5]。具體場景圖像分割算法公式如下：

[（x，y）=f1（x，y）& f2（x，y）]? （1）

式中[x，y]表示圖像所在平面的橫縱坐標。[f1（x，y）]在不同閾值下存在不同值，當在RGB顏色空間中，輸入圖像的[R]通道小于最佳閾值時，[f1（x，y）=255]，否則[f1（x，y）=0]，通過[f1（x，y）]可以有效消除圖像中藍色區(qū)域的干擾，尤其是在室外的場景圖像中，明顯控制天空對藍色區(qū)域造成的干擾效果。但是，[f1（x，y）]對諸如黑色、灰色以及褐色等深色區(qū)域的干擾是無作用的。因此公式中引入[f2（x，y）]來解決[6]，[f2（x，y）]可以消除如綠色、紅色、橙色等與藍色差別很大色調(diào)的干擾。

在HSV顏色空間中，輸入圖像的[H]通道在最佳閾值上限和下限中時，[f2（x，y）]同樣取值255。但通常輸入軟件中的圖像是RGB顏色空間，因此，兩種顏色空間之間需要轉(zhuǎn)換，[H]的轉(zhuǎn)換公式如下：

[H=0，? ? ?max=min60×G-Bmax-min，? ? max=R&G≥B60×G-Bmax-min+360，? ? max=R&G

式中max和min分別表示像素點在RGB顏色空間中各通道的最大值以及最小值。另外，當max=0時，[S]通道也等于零，否則，等于1與最小值比最大值的差。

完成場景圖像的顏色分割后，由于分割的場景圖像易受到外界因素的影響，產(chǎn)生多噪聲和斷裂，因此，對圖像中有效描述形狀的區(qū)域如外殼、框架等進行形態(tài)學處理，減小噪聲的影響并且獲取連通區(qū)域[7]。

假定[A]，[B]為二維空間中[Z2]的集合，使用膨脹操作重新裂解部分候選區(qū)斷裂部分，填補斷裂的輪廓線，定義所有[Z]位移集合為[B]膨脹[A][8]，保證[A]與[B]中至少有一個元素重疊，然后進行腐蝕操作，光滑區(qū)域輪廓，斷開狹窄縫隙及毛刺。

經(jīng)過形態(tài)學處理后的圖像仍存在未消除的干擾區(qū)域。為降低干擾區(qū)域的影響，需要制定規(guī)則提取候選場景區(qū)域。

設定連通區(qū)域為[Ci（i=1，2，…，n）]，其中，[i]表示第[i]個連通區(qū)域，[n]為連通區(qū)域的個數(shù)。連通區(qū)域的寬、高以及面積分別表示為[Li]，[Wi]，[Si]。若三者滿足以下條件[9]：

[Si≥Smin?Si≤SmaxLiWi≥LWmin?LiWi≤LWmaxSiLi×Wi≥SL×Wmin] （3）

則表示連通區(qū)域為候選區(qū)域。

式中：[Smin]和[Smax]表示連通區(qū)域面積的最小值以及最大值;[LWmax]和[LWmin]表示連通區(qū)域長寬比的最值;[SL×Wmin] 表示占空比最小值。

對已知場景圖像粗分割得到候選區(qū)域，通過提取形狀特征將圖像分類。

1.2? 提取候選區(qū)域內(nèi)部目標特征

場景圖像候選區(qū)域目標特征描述是利用一種計算機視覺算法SIFT特征，具有對圖像局部特征的位置信息、尺度信息和旋轉(zhuǎn)不變性等優(yōu)點[10]，檢測并描述候選區(qū)域局部特征，降低計算機處理數(shù)據(jù)量，同時，保留所需關鍵視覺信息。

為提取場景內(nèi)部目標特征，通常在候選區(qū)域內(nèi)以SIFT特征點為中心，計算[16×16]窗口范圍內(nèi)各個像素的梯度和方向。為了使采樣更充分，增強設計輸出的圖像清晰度，本文采用致密采樣的形式以求獲得更多的SIFT特征點，如圖2所示。

圖2中不同顏色組成的同心圓代表SIFT特征符在不同尺度下的搜索范圍，三種顏色的圓分別對應的搜索半徑為[r=4，8，12]個像素。在SIFT特征點中心即同心圓圓心處計算SIFT描述符[11?12]。由一個128維的特征向量來表示每個SIFT描述符，因此，就可以由[128×3=384]維的特征向量描述每個提取點。

通過提取SIFT特征，要對大量的提取點進行聚類。將相似提取點進行K?Means聚類量化，合并成視覺關鍵詞，按照提取點順序，對關鍵詞進行排序構(gòu)成視覺詞典，提高算法計算效率[13]。根據(jù)關鍵詞出現(xiàn)的頻率，建立相應的關鍵詞直方圖，完成對候選區(qū)域的目標特征提取。

1.3? 匹配特征點生成輸出圖像

在提取圖像的特征向量之后，將特征點的坐標以及向量輸入到匹配算法中，根據(jù)歐氏距離求出最相近的匹配向量對。采用優(yōu)先搜索查找算法找到特征點最鄰近的兩個特征點，然后分別計算這個特征點與兩個特征點之間的歐氏距離的比值，如果比值小于規(guī)定值，則匹配成功，否則失敗[14]。匹配成功的兩點即為圖像對中的一組匹配點。

相鄰圖像中的匹配點在各自的圖像坐標系中，根據(jù)坐標系的關系將其整合成同一個坐標系，從原圖像變換到目標圖像，完成匹配后生成一幅圖像。

至此，完成基于場景視覺理解算法的藝術輔助設計方法研究。

2? 仿真實驗

仿真實驗通過測試相同場景圖像集下，基于場景視覺理解算法的藝術輔助設計方法對圖像信息的提取情況，實驗對比對象選取為原有藝術輔助設計方法。

2.1? 實驗準備

實驗開發(fā)環(huán)境的硬件平臺為PENTIUM IV 3.7 GHz CPU 和4 RAM，內(nèi)存大小為3 GB。軟件環(huán)境包括Visual Studio，Windows 10操作系統(tǒng)，Multigen Creator，編程語言Visual C++ 4.0，相關實驗參數(shù)[15]見表1。

2.2? 實驗圖像集

采用Massachusetts institute of technology的圖像集，其中，共包含2 688幅自然場景圖像，包括森林、高山、海岸、城市等場景，如圖3所示。

2.3? 實驗結(jié)果

根據(jù)上述仿真環(huán)境、參數(shù)設定以及圖像集進行圖像花卉信息提取，得到原有方法提取結(jié)果如圖4所示，本文設計方法提取結(jié)果如圖5所示。

對比圖4，圖5可知，基于場景視覺理解算法的設計方法可以有效地提取已知圖像的花卉信息，而從原有方法的提取結(jié)果可以看出，大部分花卉信息可以識別提取，但也提取了圖像上的昆蟲信息。結(jié)果表明，在已知圖像的信息提取上，本文設計方法較為精準，有助于解決輸出圖像清晰度不高的問題，減小噪聲影響，提高了圖像的整體設計效果。

3? 結(jié)? 語

本文設計的基于場景視覺理解算法的藝術輔助設計方法能夠有效地對已知視覺場景圖像信息進行精確提取，有助于解決輸出結(jié)果圖像不清晰的問題，同時，可以提高圖片的輸出質(zhì)量，改善了藝術輔助設計的視覺效果。

參考文獻

[1] 孫瀚，夏熙，劉利剛.面向自動掃描的三維形狀多層次局部匹配算法[J].計算機輔助設計與圖形學學報，2019，31（1）：12?18.

[2] 王晨，湯心溢，高思莉.基于深度卷積神經(jīng)網(wǎng)絡的紅外場景理解算法[J].紅外技術，2017，39（8）：728?733.

[3] 林麗敏.計算機輔助設計在室內(nèi)設計中的應用探究[J].藝術科技，2018，31（7）：200?201.

[4] 郭鵬.計算機軟件輔助美術設計的獨特優(yōu)勢分析[J].自動化與儀器儀表，2018（7）：61?62.

[5] 于莉潔，孫瑜亮，繆永偉.基于深度信息局部二值模式特征的室內(nèi)場景邊緣檢測[J].計算機輔助設計與圖形學學報，2017，29（12）：12?20.

[6] 趙新燦，展鵬磊，吳飛，等.基于領域知識的3維動態(tài)場景目標識別和配準[J].機器人，2018，40（4）：534?539.

[7] 凌霞，陳飛虎.模式學習優(yōu)化的文化算法在環(huán)境藝術創(chuàng)新設計中的應用[J].科技通報，2017，33（3）：111?114.

[8] 吳培良，劉海東，孔令富.一種基于豐富視覺信息學習的3D場景物體標注算法[J].小型微型計算機系統(tǒng)，2017，38（1）：154?159.

[9] 郭沖宇，杜慧敏，蔣忭忭，等.視覺背景提取算法關鍵技術研究[J].計算機應用研究，2017，34（5）：1548?1552.

[10] 吳宗勝，傅衛(wèi)平，韓改寧.基于深度卷積神經(jīng)網(wǎng)絡的道路場景理解[J].計算機工程與應用，2017，53（22）：8?15.

[11] 黃勇，劉芳.場景語義SAR圖像橋梁檢測算法[J].西安電子科技大學學報（自然科學版），2018，45（4）：46?50.

[12] 史靜，朱虹，王棟，等.融合視覺感知特性的場景分類算法[J].中國圖象圖形學報，2017，22（12）：1750?1768.

[13] 范敏，韓琪，王芬，等.基于多層次特征表示的場景圖像分類算法[J].吉林大學學報（工學版），2017，47（6）：1917.

[14] 譚志國，歐建平，張軍.多特征組合的深度圖像分割算法[J].計算機工程與科學，2018（8）：97?102.

[15] 陳龍，吳龍飛.基于Qt的數(shù)字圖像處理實驗演示系統(tǒng)[J].實驗室研究與探索，2018（7）：177?180.