視覺注意機制下的三維重建技術的改進

李敏寧,張 巧,趙 劼

(1.渭南職業技術學院機電工程學院,陜西渭南 714000;2.西安電子科技大學計算機學院,陜西西安710071;3.陜西黃河集團有限公司,陜西西安 710000)

視覺注意機制下的三維重建技術的改進

李敏寧1,2,張 巧3,趙 劼2

(1.渭南職業技術學院機電工程學院,陜西渭南 714000;2.西安電子科技大學計算機學院,陜西西安710071;3.陜西黃河集團有限公司,陜西西安 710000)

在三維重建技術中,從特征提取方面入手,在特征提取的過程中加入了模擬的人類視覺注意機制,對顯著性比較高的目標關注多一些,將顯著性比較低的目標的關注度降低.將所提取的特征進行篩選,使得信息量有所減少,從而減少了計算機的計算負擔,提高了重建效率.

三維重建;人類視覺;相關矩陣;注意機制;圖像

客觀世界在空間中是三維的,而目前所采用的圖像采集裝置所獲取的圖像是二維的,這對理解現實世界有一定的影響.實際上,二維圖像是會包含一些某種意義上的三維信息,但是在使用這些二維信息進行應用處理時,需要運用三維重建技術把二維圖像中的信息合理地提取出來,進行三維模型的重建,從而達到從二維圖像認識客觀世界的目的[1].三維重建是計算機視覺、人工智能、虛擬現實等領域的關鍵技術,它是從單幅加景物約束或從兩幅及兩幅以上的圖像中恢復出空間點三維坐標的過程[2],被廣泛應用在醫療、農業、交通、建筑等各個行業之中[3].

三維重建通常會耗費大量的系統資源[4].近年來關于三維重建的研究報道很多[5-8],人們提出了各種方案[4].Kumar等[5]利用透視明暗恢復性狀(Perspective Shape From Shading,PSFS)算法對醫學圖片進行三維重建,發現利用PSFS算法重建的三維形狀在細節上更逼真.Grossberg等提出了一種神經模型實現的紋理恢復形狀(Shape From Texture,SFT)算法.Martin等提出了輪廓恢復形狀法,該方法通過多個角度物體的輪廓圖像得到物體的三維模型.這些方案給人們在解決類似的問題上提出了一種思路,但是在節省資源、減少計算機系統負擔方面仍然差強人意.

筆者從特征提取方面入手,在特征提取的過程中加入了模擬的人類注意機制,對顯著性比較高的目標關注多一些,將顯著性比較低的目標的關注度降低.將所提取的特征進行篩選,進而使得信息量有所減少,從而減少了計算負擔,提高了重建效率.

1 三維重建的實現

一般情況下,三維重建的第1個步驟是尋找兩幅圖像中的對應點[9].至今已有很多的二維圖像配準算法.圖像配準算法一般可分為基于圖像灰度統計特性配準算法、基于圖像特征配準算法和基于圖像理解的配準算法[10-11].基于特征的圖像配準算法的核心步驟為:特征提取、特征匹配、模型參數估計、圖像變換和灰度插值.特征點定位的算法有:加速分割測試特征(Features from Accelerated Segment Test,FAST),尺度不變特征變換(Scale Invariant Feature Transform,SIFT),加速魯棒特征(Speed-up Robust Features,SURF),最穩定極值區域(Maximally Stable Extremal Regions,MSER),Harris角點檢測算法(Harris detector algorithm)等.特征點描述的算法有SURF和SIFT等.尋找對應點、特征點定位以及特征點描述這3個步驟的算法可以任意選擇.

基于點的三維重建是最基本的,也是最簡單的.一般的方法是,假定空間任一點P在兩幅圖像上的點p1和p2已經從兩個圖像中分別檢測出來,也就是說p1和p2為空間同一點P的匹配點,則有

其中,(u1,v1,1)與(u2,v2,1)分別是p1和p2在兩幅圖像中的齊次坐標,(X,Y,Z,1)為P點在世界坐標系下的齊次坐標(k=1,2;i=1,2,3;j=1,2,3,4)分別是(k=1,2)的第i行第j列元素.在上式中消去Z1或者Z2,得到關于X,Y,Z的4個線性方程,即

由解析幾何可以得到,三維空間的平面方程為線性方程,兩個平面方程的聯立為空間直線的方程,4個方程必定有解,而且解是惟一的.該解就是要求的空間坐標.

可以看出,傳統的三維重建的步驟主要有圖像獲取、攝像機標定、特征提取和立體匹配.所獲取的圖像一般在特征提取的步驟中會提取大量的特征點,這其中會包含大量的誤匹配點,而這些誤匹配點在后面的立體匹配步驟上會耗費大量的計算時間.

2 視覺注意機制的實現

神經生理學與解剖學的研究結果表明,視覺信息在大腦中是按照一定的通路進行傳遞的,視網膜接收到光學信息,經由神經節細胞和側膝狀體,最終到達主觀皮層區.在神經節細胞和側膝狀體中[12],每個細胞對亮度和顏色信息的感受野在空間分布上呈同心圓頡頏形式,即在感受野中心與外圍區域刺激對細胞響應的影響正好相反,這種感受野有利于對比度信息的抽取.主視皮層區域的皮層細胞一方面具有與側膝狀體細胞類似的同心圓頡頏形式的感受野,另一方面還存在對邊緣、朝向等刺激敏感的感受野[13].

依據刺激的來源不同,把視覺注意可分為不同的兩種類型:一種是基于初級視覺的,由數據驅動自底向上的視覺注意;另外一種是基于高層視覺的,與任務和知識等相關的自頂向下的視覺注意[14].自底向上的數據驅動的注意模型,它的基本思想是,把各種底層視覺特征,如顏色、亮度、方向、紋理、運動等從圖像中提取出,形成各個顯著圖;然后把顯著圖按照一定的方式進行組合,得到最終需要的興趣圖.自頂向下的任務驅動模型是由任務驅動的,以不同的任務需求對感興趣的目標有意識地進行逐一處理.

文獻[15]提出以調節心理閾值函數的形式來調節控制視覺感知的視覺注意模型,該注意機制模型是以特征整合理論為基礎,通過仿生物的視覺系統的神經機制來實現的,并通過預注意階段將亮度、朝向和顏色等初級視覺特征進行快速、自動的并行加工,進而形成多個顯著圖,來給圖像的每個位置的顯著性提供度量;顯著圖模型通過對初級特征的提取,將多種特征、多種尺度的視覺空間運用中央周邊算子,得到各個特征的顯著性圖,從而合成一幅總顯著圖,如圖1所示.

圖1 視覺模型的原圖與通過視覺感知模型產生的總顯著圖比較

3 三維重建算法改進及實驗驗證

傳統的三維重建存在的問題是,在圖像中提取的大量特征點,會給立體匹配過程帶來龐大的計算量,包括誤匹配點所耗費的計算量與時間.而在上節中,提到了人類的注意機制,該機制具有選擇性.將人類特有的選擇性注意機制加入到傳統的三維重建的步驟中,注意機制所具有的選擇性會使得所提取的特征點比較少,會將大量的誤匹配點剔除掉.這樣計算量就會大大減少,所耗費的時間也會大大縮減.

文中改進后加入了人類的注意機制的三維重建過程的新算法的步驟如下:

(1)對需要重建的物體在不同的角度拍攝不同的照片.

(2)利用人類視覺的選擇性注意機制對兩幅圖像進行處理:

(3)用SUASAN算法分別對兩幅處理過的圖像進行檢測,并提取特征點,形成初始的匹配點集.

(4)迭代地使用RANSAC算法,得出更加精確的匹配點集.

(5)利用三角法計算出匹配點的空間坐標.

通常靜態圖像中所包含的信息I(image)分為顯著信息H(innovation)與背景信息H(redundancy)(也就是冗余信息)兩類,如果用H(i)表示顯著信息,H(r)表示背景信息,未加入注意機制的三維圖像重建時間復雜度可以表示為T(n)=O(n H(i))+O(n H(r)).

加入注意機制后,由于通過仿生物的視覺系統的神經機制,利用大腦可以有效去除冗余的特性,預先去掉了冗余信息,所以重建過程的時間復雜度可以表示為T(n)=O(n H(i)).

顯然,從時間復雜度上,冗余信息重建的時間復雜度本身就遠遠大于顯著信息重建的時間復雜度,所以,加入了注意機制會大大縮短圖像重建的時間.

為了更直觀地說明,將改進算法的重建效果與未改進的傳統的重建效果進行比較,得到的效果圖如圖2～4所示.由于原始圖像的信息比較豐富,所以重建的三維效果也比較好.

圖2 三維重建的原始圖像

圖3 兩幅圖像的顯著圖

將具有代表性的3次實驗的結果列于表1.可以看出,重建時間由原來的124 812 ms縮短到了3 610 ms.

4 結束語

試驗的硬件環境:Intel?CoreTM2 Duo CPU T6570@2.10 GHz; 2.09 GHz,2.00 GB內存.

軟件環境:Windows7操作系統下使用Visual C++6.0平臺.

由于人類注意機制的選擇性,將圖像的總顯著圖進行三維重建,重建時間從20 203 ms縮短到11 203 ms.進行三維重建時,在特征點提取的過程中,通過人類視覺的注意選擇機制,該機制所特有的選擇性會將那些顯著性比較差的特征點過濾掉,把留下來的顯著性比較好的特征點進行立體匹配,這樣計算速率就大大提高了,所以三維重建的效率也就大大提高了.

由于計算機模擬的人類注意機制有一定的局限性,所進行的特征提取也可能存在偏差,效果也有些偏差,但為三維重建提高效率提出了新的思路.

圖4 三維重建的效果對比圖

表1 三維重建加入注意機制的對比表

[1]康皓,王明倩,王瑩瑩,等.圖像三維重建技術[J].企業技術開發,2009,28(6):42-43.

Kang Hao,Wang Mingqian,Wang Yingying,et al.3D Reconstruction Technique of Image[J].Development of Enterprise Technology,2009,28(6):42-43.

[2]高宏偉,于洋,劉曉陽,等.雙目立體視覺三維重建實驗平臺研究[J].計算機工程與應用,2009,45(33):149-152.

Gao Hongwei,Yu Yang,Liu Xiaoyang,et al.The Research of the Binocular Stereo Vision 3D Reconstruction Experiment Platform[J].Computer Engineering and Applications,2009,45(33):149-152.

[3]朱慶生,羅大江,葛亮,等.基于多幅圖像的三維重建[J].計算機工程與設計,2010,31(10):2351-2357.

Zhu Qingsheng,Luo Dajiang,Ge Liang,et al.The 3D Reconstruction Based on Multiple Images[J].Computer Engineering and Design,2010,31(10):2351-2357.

[4]Hajizadeh A,Farhadpour Z.An Algorithm for 3D Pore Space Reconstruction from a 2D Image Using Sequential Simulation and Gradual Deformation with the Probability Perturbation Sampler[J].Transport in Porous Media,2012,94 (3):859-881.

[5]Kumar T S,Vijai A.3D Reconstruction of Face from 2D CT Scan Images[C]//International Conference on Communication Technology and System Design.Oxford:Elceiver Ltd,2012:970-977.

[6]Ciechomski P D,Constantinescu M,Garcia J,et al.Development and Implementation of a Web-Enabled 3D Consultation Tool for Breast Augmentation Surgery Based on 3D-Image Reconstruction of 2D Pictures[J].Journal of Medical Internet Research,2012,14(1):21.

[7]魏立梅,張永瑞,謝維信.圖像處理中邊緣漏檢的自動補償[J].西安電子科技大學學報,1997,24(4):563-566. Wei Limei,Zhang Yongrui,Xie Weixin.Automatic Compensation Missing Edge Detection in Image Processing[J]. Journal of Xidian University,1997,24(4):563-566.

[8]楊釘釘,王曉蕊,楊琛,等.三維集成成像系統中物體三維信息的重建方法[J].西安電子科技大學學報,2012,39(5): 102-106.

Yang Dingding,Wang Xiaorui,Yang Chen,et al.Reconstruction of 3D Information of the Object in Three-dimensional Integrated Imaging System[J].Journal of Xidian University,2012,39(5):102-106.

[9]王俊,朱利.基于圖像匹配-點云融合的建筑物立面三維重建[J].計算機學報,2012,35(10):2072-2079.

Wang Jun,Zhu Li.The 3D Reconstruction of Building Facade Based on the Image Matching-the Point Cloud Fusion[J]. Chinese Journal of Computers,2012,35(10):2072-2079.

[10]Pilu M.A Direct Method for Stereo Correspondence Based on Singular Value Decomposition[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Los Alamitos:IEEE,1997:261-266.

[11]洪明堅,呂建斌,楊丹,等.一種新的基于互信息的圖像配準方法[J].重慶大學學報,2009,32(6):697-700.

Hong Mingjian,LüJianbin,Yang Dan,et al.A New Method for Image Registration Based on Mutual Information[J]. Journal of Chongqing University,2009,32(6):697-700.

[12]吳月娥,邊后秦.尺度與特征引導視覺選擇性注意機制模型[J].現代電子技術,2009,32(22):84-87.

Wu Yuee,Bian Houqin.Scale and Features Guide the Attention Mechanism Model of the Visual Selectivity[J].Modern Electronic Technology,2009,32(22):84-87.

[13]Salah A A,Alpaydin E,Akarun L.A Selective Attention-based Method for Visual Pattern Recognition with Application to Handwritten Digit Reeognition and Face Reeognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(3):420-425.

[14]朱巨蓮,霍宏,方濤.基于自頂向下視覺注意的搖桿影像目標檢測[J].計算機工程,2011,37(20):172-174.

Zhu Julian,Huo Hong,Fang Tao.The Rocker Image Target Detection Based on Top-Down Visual Attention[J]. Computer Engineering,2011,37(20):172-174.

[15]姜峰,郭美思,劉紹輝,等.基于感知視覺重要性的立體圖像質量評價[J].智能系統學報,2012,37(5):414-422.

Jiang Feng,Guo Meisi,Liu Shaohui,et al.The Stereo Image Quality Assessment Based on the Importance of the Visual Perception[J].Sinica of Intelligent System,2012,37(5):414-422.

(編輯:齊淑娟)

簡 訊

日前,西安電子科技大學電子裝備結構設計教育部重點實驗室與中國電子科技集團公司第十四研究所天線微波與微電路部合作成立了電子裝備結構技術聯合創新研究中心.中心將以雷達、導航、通信等領域中廣泛應用的電子裝備中的機械結構為對象,從學科交叉角度,深入開展電磁、結構、熱及控制等多學科交叉融合的研究.其研究方向主要包括雷達/天線結構、電子裝備防護、新材料應用、微系統,以及新技術等5個方面.

(摘自《西電科大報》2014.7.5)

Improvement on three-dimensional reconstruction of the attention mechanism

LI Minning1,2,ZHANG Qiao3,ZHAO Jie2
(1.School of Mechatronics Engineering,Weinan Vocational&Technical College,Weinan 714000, China;2.School of Computer Science and Technology,Xidian Univ.,Xi’an 710071,China;3.Shaanxi HUANGHE Group Co.,LTD.,Xi’an 710000,China)

In 3D reconstruction,from the aspects of feature extraction,in the feature extraction process with human visual attention mechanism simulation,the higher significant target is given more attention. The extracted features are selected,and the information quantity is reduced.The purpose is to reduce the computational burden of the computer,and improve the reconstruction efficiency.

3D reconstruction;human eye;correlation matrix;selective attention;images

TP301.4

A

1001-2400(2014)05-0192-05

2013-07-25< class="emphasis_bold">網絡出版時間:

時間:2014-01-12

國家自然科學基金資助項目(61172147)

李敏寧(1975-),女,講師,西安電子科技大學碩士研究生,E-mail:lmnmxj@163.com.

http://www.cnki.net/kcms/doi/10.3969/j.issn.1001-2400.2014.05.032.html

10.3969/j.issn.1001-2400.2014.05.032