基于雙目視覺的三維重建關(guān)鍵技術(shù)專利概述

杜文俊 丁麗萍

摘要：基于雙目視覺的三維重建技術(shù)是一種采用計算機視覺原理，從二維圖像中重建出三維模型的方法。該方法以其設(shè)備操作簡單、價格低廉、適應性強等優(yōu)勢，目前被廣泛地研究和應用于人機交互、游戲、機器視覺、增強現(xiàn)實、視頻監(jiān)控、機器人、生物醫(yī)學、汽車工業(yè)等多個領(lǐng)域。本文從三維模型重建方法的基本概念與分類出發(fā)，梳理了基于雙目視覺的三維重建方法的技術(shù)分支，提取其中的熱點技術(shù)進行了專利分析。

1 前言

我們所認識和生活的客觀世界的空間是三維的，在很多應用領(lǐng)域我們需要對三維物體進行認知和分析，因此需要對物體的三維重建，即利用計算機或其它軟硬件技術(shù)對物體建立適合計算機表達的數(shù)學模型，以便在計算機中對物體進行計算、操作和分析。在該領(lǐng)域中，基于雙目視覺的三維重建技術(shù)是近年來的研究熱點。

使用計算機技術(shù)對物體進行三維建模的方法主要分為三類：一、使用幾何建模軟件直接創(chuàng)建三維模型；二、使用三維激光掃描儀、結(jié)構(gòu)光掃描儀等設(shè)備掃描物體，精確地捕獲物體表面的三維幾何信息，從而進行精度較高的三維建模；三、利用多臺普通攝像機機構(gòu)建一個立體視覺系統(tǒng)，往往采用兩臺攝像機機作為一組模擬人的雙眼所看到的景物，基于透視投影原理通過兩臺攝像機拍攝的圖像之間的視差，重建出物體的三維信息。

本綜述主要分析的對象為第三類三維建模的方法，即基于雙目視覺的三維重建方法。

2基于雙目視覺的三維重建的方法流程

一個完整的基于雙目視覺的三維重建方法主要包含圖像獲取、相機標定、特征提取、立體匹配和三維重構(gòu)等五個主要步驟。

其中，相機標定的目的是通過相機所拍攝三維場景的圖像，在一定的相機成像模型下，建立場景中物點的空間坐標系中與它在圖像平面上對應像點之間的關(guān)系，進而確定相機內(nèi)參數(shù)和外參數(shù)，為后續(xù)的三維重建打好基礎(chǔ)。相機標定涉及的關(guān)鍵技術(shù)有：傳統(tǒng)基于攝影測量學的相機標定法、基于主動視覺的相機標定法、相機自標定法。

立體匹配的實質(zhì)就是計算雙目視覺中兩幅圖像中同源像素點的對應問題，它是立體視覺技術(shù)的關(guān)鍵。魯棒的立體匹配算法可以得到較為精確的圖像視差計算結(jié)果，從而準確地恢復場景的三維信息，大大提高三維模型重建的質(zhì)量。立體匹配涉及的關(guān)鍵技術(shù)有：基于局部的立體匹配和基于全局和半全局的立體匹配。

在整個基于雙目視覺的三維重建方法的五個一級技術(shù)分支中，相機標定和立體匹配分別是硬件層面和軟件層面的關(guān)鍵技術(shù)，兩者被普遍認為是決定該方法技術(shù)效果的技術(shù)瓶頸。本文接下來重點介紹相機標定和立體匹配兩項技術(shù)的下級技術(shù)分支，并對這兩項技術(shù)進行有針對性的專利分析。

3關(guān)鍵技術(shù)專利分析

基于雙目視覺的三維重建技術(shù)涉及到的技術(shù)點分布較廣，包括拍攝硬件、計算機視覺、幾何處理等，因此從整體上統(tǒng)計所有相關(guān)技術(shù)的專利數(shù)據(jù)意義不大。本節(jié)旨在重點統(tǒng)計和分析相機標定和立體匹配兩項關(guān)鍵技術(shù)的專利數(shù)據(jù)。作者在專利檢索系統(tǒng)S系統(tǒng)的DWPI、CNABS等專利庫中使用“camera”、“calibration”、“stereo”、“matching”、“相機”、“標定”、“立體匹配”、“立體圖像匹配”等關(guān)鍵詞，并在檢索結(jié)果的基礎(chǔ)上進行統(tǒng)計分析。檢索的截止日期為2016年6月4日。由于于未申請?zhí)崆肮_的發(fā)明專利申請通常在申請日之后18個月才公開，由此將導致2014年末至檢索日期間的部分專利申請由于未公開而不在本次文獻采集之列。

3.1 分類號統(tǒng)計

相機標定技術(shù)的相關(guān)分類號統(tǒng)計結(jié)果中，排名前5的分類號分別為：G06T7/00（703件）、G01B11/00（477件）、H04N17/00（456件）、H04N5/232（402件）和G06T1/00（360件）

通過分析分類號的具體含義可知，G06T7/00、G01B11/00、G06T1/00是與相機標定技術(shù)更貼近的分類號。因此，審查員在實際審查時，可以擴展這三個分類號，與關(guān)鍵進行結(jié)合檢索與該技術(shù)相關(guān)的對比文件。

基于同樣的方法，我們也可以知曉G06K 9/00、G06T7/00、G06T1/00、G06K 9/62是與立體匹配技術(shù)更相關(guān)的分類號。因此，審查員在實際審查時，可以應用這4個分類號快速檢索到相關(guān)的對比文件。

可見，相機標定和立體匹配技術(shù)的分類號不但涉及計算機應用領(lǐng)域的G06分類號，也涉及圖像處理的H04N分類號，兩項技術(shù)的分類號還存在一定的交叉，需要審查員在檢索時予以關(guān)注。

3.2全球申請趨勢和申請國分布

自2001年以來，相機標定和立體匹配兩項技術(shù)相關(guān)專利的全球申請量變化趨勢的分析如下：盡管2014年至今的部分專利數(shù)據(jù)還未公開，不難發(fā)現(xiàn)兩項技術(shù)的申請量逐漸保持著穩(wěn)步上升的趨勢。盡管關(guān)于拍攝設(shè)備參數(shù)和圖像匹配技術(shù)的研究已經(jīng)有一段不短的歷史，但近年來兩者在計算機立體視覺領(lǐng)域的熱潮，又為兩項技術(shù)的研究增加了新的研究動力，這與行業(yè)發(fā)展的熱點和趨勢無疑是吻合的。

兩項技術(shù)在全球不同國家和地區(qū)的申請量分布如下：其中美國、中國、日本作為計算機視覺研究領(lǐng)域的第一集團，占據(jù)著全球申請量的巨大份額；而韓國和臺灣也是其中不可忽視的力量，其申請量牢牢占據(jù)著第二集團的位置。考慮到美國、日本、韓國在該領(lǐng)域的技術(shù)實力，審查員在檢索時勢必要注重外文庫的檢索，同時臺灣專利庫對檢索而言也是一個很好的補充。

3.3 國內(nèi)外重要申請人分布

在國際層面，歐美日韓的知名企業(yè)依然保有其強大的研發(fā)實力。一方面，這與計算機視覺理論與相關(guān)技術(shù)的發(fā)展在歐美國家起步較早無不關(guān)系。另一方面，索尼、佳能、三星、松下等日韓企業(yè)，在拍攝設(shè)備的技術(shù)研究方便底蘊較強，很容易將其技術(shù)優(yōu)勢與計算機視覺技術(shù)相融合，從而早早地位于世界先進地位。

反觀國內(nèi)排名靠前的申請人，位居前列的基本為高等院校和科研院所。這說明，國內(nèi)在雙目立體視覺的相關(guān)研究上并沒有落后，但在科技成果轉(zhuǎn)化方面還處于較為空白的狀態(tài)。國內(nèi)企業(yè)申請分布較為零散，其中還包括諸多剛剛起步的中小型企業(yè)，進一步反映了國內(nèi)市場還處于啟蒙階段，研發(fā)實力也還有所欠缺。

上述數(shù)據(jù)也提醒審查員在檢索中文文獻時，還要注重非專利庫的檢索，注意追蹤高校申請人，不失為一種快速命中對比文件的思路。

4結(jié)語

本專利技術(shù)綜述詳細介紹了基于雙目視覺的三維重建的詳細流程，并詳細介紹了該領(lǐng)域的技術(shù)分支。針對其中的熱點技術(shù)相機標定和立體匹配技術(shù)，進行了專利數(shù)據(jù)統(tǒng)計和分析。本文有助于相關(guān)領(lǐng)域的審查員全面把握該領(lǐng)域的專利數(shù)據(jù)和發(fā)展現(xiàn)狀，對該領(lǐng)域的專利審查工作具有一定的借鑒作用。

參考文獻：

[1]童晶，基于深度相機的三維物體與人體掃描重建，浙江大學博士論文，2012年12月

作者簡介：杜文俊、丁麗萍，等同第一作者