一種基于改進MRF的深度圖超分辨率重建

陳金奇，李 榕

（華南師范大學物理與電信工程學院，廣州510006）

一種基于改進MRF的深度圖超分辨率重建

陳金奇，李 榕

（華南師范大學物理與電信工程學院，廣州510006）

隨著計算機視覺技術的發展，快速直接獲取深度信息越來越受到大家的重視，然而直接獲取的深度圖像因受到其成像原理以及硬件設備所限，存在分辨率低、邊緣噪聲大等缺點，而無法達到實際應用要求。為此提出一種基于改進馬爾科夫隨機場的深度圖超分辨率重建方法，具體就是引進同場景高分辨率彩色圖，充分挖掘彩色圖和深度圖的內在關系，構建局部自相關性特征結構，從而重新構建馬爾科夫隨機場的深度數據約束項和深度平滑項，從而將重建問題轉化為求最優解問題。實驗表明該方法較其他方法在面對圖像邊緣過度平滑以及邊緣像素稀疏等問題時有更好的抑制作用，在峰值信噪比和均方根誤差兩項評價指標上均取得較好結果，能得到高質量致密深度圖，有很好的視覺效果。

深度圖；超分辨率；TOF相機；彩色圖像引導；局部自相關性；馬爾科夫隨機場

1 引言

隨著三維目標視覺技術的發展，獲取高質量的三維場景深度信息成為大家關注的焦點。獲取深度信息的方法從所用設備可以分為間接獲取和直接獲取。雙目立體視覺[1-2]是間接獲取的經典方法，該方法需要兩個具有一定距離的相機對同一場景進行同時拍攝或者從不同角度拍攝同一場景，通過立體匹配算法找出左右兩幅圖像各對應點之間的視差信息從而計算得到深度信息。該方法對無紋理區域效果差而且不能解決左右圖像之間遮擋問題，所以不能很好的應用到實際中。直接獲取比較于間接獲取的區別在于設備本身需要發射能量來獲取深度信息。激光測距掃描儀[3-5]通過單點掃描獲取場景深度信息，但獲取的深度值呈現出離散形式而限制了其應用。TOF相機通過對場景發射近紅外脈沖，計算脈沖往返場景的時間差來獲取深度信息，然而受到硬件限制，TOF相機得到的深度圖存在分辨率低，邊緣噪聲大等缺點。

由于受到硬件限制，獲取的深度信息無法達到實際應用要求，從軟件方面通過構造數學模型，以分辨率低、噪聲大的深度圖獲得高分辨率、高質量的深度圖成為眾多學者的研究熱點。深度圖超分辨率重建就是其中之一。從處理的數據源信息不同，可以分為多幀圖像的超分辨率重建和單幀圖像的超分辨率重建。然而在實際應用中很難得到同一場景的多幀深度圖，主要是對多幀低分辨率深度圖之間的運動有很高的要求（必須是亞像素級別的運動位移）。因此，多幀深度圖像的超分辨率重建的可行性很低。單幀深度圖由于本身分辨率低、噪聲大、所含信息少等缺點，只用它本身進行重建也很難獲得理想的結果。所以大家提出一類結合同場景高分辨率彩色圖的方法。Kopf等人[6]采用聯合雙邊上采樣，由低分辨率深度圖得到高分辨率深度圖；Yang等人[7]將彩色圖的局部特征運用到深度圖的超分辨率重建；Chan等人[8]將局部窗口深度信息的相似性與聯合濾波相結合，很好的解決了彩色紋理信息對深度圖的影響；Min等人[9]提出一種帶權重系數的眾數濾波方法，該方法對聯合雙邊濾波出現的邊緣過度深度值有很好的抑制效果；Matsuo等人[10]提出帶權重聯合雙邊濾波器，有較好的實時運算效率；董文箐等人[11]將二階微分算子和測地距離運用到深度圖超分辨率重建中，對圖像邊緣結構有較好的保護作用并且解決了偽影問題；Li等人[12]提出一種基于稀疏表示過完備字典基的學習方法，能得到高質量深度圖，但該方法耗時長，運算效率低；Diebel等人[13]最早將馬爾科夫隨機場運用到深度圖升采樣中，將像素點間的顏色相似性引申為馬爾科夫隨機場的平滑項，轉化為求最優解問題。

總之采用與同場景高分辨率彩色圖相結合的各種方法在一定的條件下都得到較高質量的深度圖，然而各自有優缺點。上述的系列濾波方法都是基于局部信息的深度圖重建方法，有較快的運行效率，在圖像邊緣處理上有較好效果，然而以馬爾科夫隨機場模型為代表的基于全局優化的深度圖重建方法能夠保持更多全局結構化信息，但是該方法得到的結果往往會出現部分像素點沒有深度值或深度值誤差較大，而且圖像邊緣過度平滑。針對這種問題，提出一種以馬爾科夫隨機場為基礎，以同場景高分辨率彩色圖為引導，尋找彩色圖和深度圖局部內在聯系，構建局部自相似性，重新構造馬爾科夫隨機場的能量項的方法，從而將超分辨率重建問題轉化為求最優解問題。本方法最終在保持更多全局結構化信息的前提下，得到高致密的深度圖，并對邊緣過度平滑有較好的抑制作用。

2 馬爾科夫隨機場

在文獻[14]中，將馬爾科夫隨機場運用到深度圖超分辨率重建中，其模型表達式可以寫成如下形式：

其中y表示待估算的深度點，z表示輸入的原始深度點，x表示同場景相對應的彩色點。分別表示馬爾科夫隨機場中兩個能量項的深度數據項和深度平滑項，其具體表達式如下：

對公式（1）“-log”運算，可將深度圖像超分辨率重建問題（后驗概率最大化問題）轉換成為關于y的全局能量最小化問題：

該方法得到的結果整體上存在深度值稀疏，邊緣過度平滑的問題。為此通過充分挖掘深度圖與同場景高分辨率彩色圖的內在關系，構建局部特征關系形成新的能量約束項來抑制上述問題。

通過觀察可以發現，真實場景中顏色相似的地方有較大的概率存在相似的深度值，但不能要求顏色突變，對應的深度值也突變，場景表面是分段光滑的。基于以上的先驗假設，可以重新構造權重

表示顏色越相似，有相同深度值概率越大，

表示空間距離越近，有相同深度值概率越大。

于是構建新的深度平滑項，

同時構建新的深度數據約束項，

表示初始深度值相似度越大，最終有相同深度值概率越大。

將公式（9）和（10）代入公式（5）中進行求解，最終得到理想結果。

3 實驗結果及分析

為驗證所提方法的有效性，采用Middlebury數據集[13]提供的深度圖進行實驗，并與雙立方插值法、文獻[12]中的馬爾科夫隨機場模型方法和實際深度值進行比較。

表1 均方根誤差評價結果

表2 峰值信噪比評價結果

圖1 Middleburry數據集[13]實驗結果

為客觀分析該重建方法效果，采用均方根誤差和峰值信噪比分別對Art、Baby、Bowling三組圖像的重建結果進行比較。對比采用的是[15]中提供的真實深度值。表1給出各算法的均方根誤差結果，表2給出峰值信噪比結果

從表1、表2的評價結果可以看出，該方法在均方根誤差和峰值信噪比評價結果上均優于雙立方插值法和文獻[12]的方法。

4 結束語

提出一種深度圖超分辨率重建算法。以馬爾科夫隨機場模型為基礎，引入同場景高分辨率彩色圖，充分挖掘深度圖與彩色圖的內在聯系以構造局部特征結構模型，從而重新構造馬爾科夫隨機場的深度數據約束項和深度平滑項，將深度圖超分辨率重建問題轉化為求最優解問題。實驗表明，該方法對深度圖邊緣噪聲，邊緣過度平滑，圖像邊緣像素稀疏等問題有很好的抑制作用，最后能得到高質量、高致密深度圖，有很好的視覺效果。

[1]Hartley R,Zisserman A.Multiple view geometry in computer vision[M].Cambridge Universes,2000.

[2]Hosni A,Rheman C,Bleger M,et al.Fast cost-volume filetering for visual correspondence and beyond [J].IEEE Transaction on Patten Analysis and Machine Intelligence,2012,35(2):504-511.

[3]Cheng X,Zhang H,Xie R.Study on 3D laser scanning modeling method for large-scale history building[C].//Computer Application and System Modeling(ICCASM),2010 International Conference on.IEEE,2010(7):573-577.

[4]Jarvis R A.A Perspective on Range Finding Techniques for Computer Vision[J].IEEE Trans on Pattern Analysis and Machine Intelligence,1983,5(2):122-139

[5]Salvi J,Pages J,Batlle J.Pattern Codification Strategies in Structured Light Systems[J].Pattern Recognition,2004,37(4):827-849

[6]Kopf J,Cohen M F,Lischinski D,et al.Joint Bilateral up Sampling[J].ACMTransactions on Graphics,2007,26(3):96.

[7]Park J,Kim H,Tai Y,et al.High Quality Depth Map up Sampling for 3D-TOF Cameras[C].//Computer Vision(ICCV),2011 IEEE International Conference on.IEE,2011:1623-1630.

[8]Chan D,Buisman H,Theobalt C,et al.A Noise-aware Filter for Real-time Depth up Sampling [C].//Workshop on Multi-camera and Multi-modal Sensor Fusion Algorithms and Applications-M2SFA2 2008.

[9]Dongbo M,Jiangbo L,Do M N.Depth Video Enhancement Based on Weighted Mode Filtering[J].Image Processing,IEEE Transaction on,2012,21(3):1176-1190.

[10]MatsuoT,FukushimaN,IshibashiY.WeightedJointBilateral Filter with Slope Depth Compensation Filter for Depth Map Refinement[J].VISAPP,2013(2):300-309.

[11]董文菁，胡良梅，張旭東，楊慧，陳仲海.基于二階微分算子和測地距離的深度圖超分辨率重建[J].計算機應用與軟件，2016,33（7）：200-203.Dong Wenjing,Hu Liangmei,Zhang Xudong,Yang Hui,Chen Zhonghai.Second-order Differential Operator and Geodesic Distance[J].Computer Application and Software,2016,33(7):200-203.

[12]Li Y J,Cohen M F,Lischinski D,et al.Joint Example-based Depth Map Super-resolution [C].//Proceedings of the 9th International Conference on Multimedia and Expo.Australia:IEEE Single Processing Society,2012:152-157.

[13]Diebel,Thrun S.An application of Markov Random Fields to Range Sensing [J].Advances in NeuralInformation Processing Systems,2006,18:291.

[14]劉俊毅.彩色圖像引導的深度圖像增強[D].杭州:浙江大學，2014.Liu Junyi.Color Image Guided Depth Image Enhancement[D].Hangzhou:Zhejiang University,2014.

[15]Middlebury datasets[EB/OL].2001-03-10[2011-07-05].http://vision.middlebury.edu/stereo/data/.

A Depth Map Super-resolution Reconstruction Based on Improved Markov Random Field

Chen Jinqi,Li Rong
(School of Physics and Telecommunication Engineering,South China Normal University,Guangzhou 510006,China)

As the development of the computer vision technology,rapid direct access to depth information is increasingly concerned,but direct access to the depth map has some disadvantages such as low resolution and heavy edge noise because of the limitation of its imaging principle and hardware,and can't meet the requirements of practical application.For this,a depth map super-resolution reconstruction method based on improved MRF is presented,which in detail is:fully digging the inner relationship of color graph and depth map,constructing local autocorrelation feature structure,and reconstructing the depth data constraint term and depth smoothing term of MRF,so as to convert the problem of reconstruction into finding optimal solution.Experiments show that this method has better suppression effect than others when confronting the problems of edge over-smoothing and sparse edge pixel and achieves better results in the two terms of assessment criteria of peak signal-to-noise ratio and root-mean-square error,which can obtain high quality dense depth map with a good visual effect.

Depth Map；Super-resolution；TOF Camera；Color image guidance；Local autocorrelation；Markov Random Field

10.3969/j.issn.1002-2279.2017.04.015

TP391.7

A

1002-2279-（2017）04-0060-04

陳金奇（1988—），男，湖北省咸寧市崇陽縣人，碩士研究生，主研方向：圖像處理與機器視覺。

李 榕（1957—），男，廣東省廣州人，教授，碩士生導師，主研方向：圖像處理與機器視覺、光信息處理。

2017-03-03