基于視覺的三維重建專利技術(shù)分析

易建瓊 游 婧

（國家知識產(chǎn)權(quán)局專利局專利審查協(xié)作四川中心，四川 成都，610213）

0 引言

基于視覺的三維重建技術(shù)是計算機信息處理領(lǐng)域中的研究熱點，是運用電子儀器設(shè)備捕獲待重建物體的圖像數(shù)據(jù)信息，然后對捕獲的圖像數(shù)據(jù)信息進行處理分析，再利用三維重建的相關(guān)技術(shù)重建出待測物體的三維表面輪廓等信息。基于視覺的三維重建技術(shù)由于高速度、高精度等優(yōu)勢，在醫(yī)學成像、工業(yè)測量、三維打印、自動駕駛等領(lǐng)域都得到了廣泛應用，是工業(yè)發(fā)展的重要研究趨勢。依據(jù)數(shù)據(jù)獲取方式的不同，計算機測量分為接觸式和非接觸式，僅非觸式測量屬于基于計算機視覺的測量。依據(jù)是否投射光源進行測量，非接觸式方法又分為主動式和被動式。主動式需要向待測場景中投射光源，再通過計算提取光源在場景中的投影信息來檢測待測物體的位置并進行測量。被動式?jīng)]有額外光源，直接捕獲待測物體表面反射的環(huán)境光，從一個或多個相機獲取的二維圖像中計算待測物體的三維信息［1-5］。

1 專利申請數(shù)量態(tài)勢分析

三維重建技術(shù)在過去幾十年的發(fā)展中,獲得了非常大的進步。20世紀70年代，Roberts首先提出了使用計算機視覺的方法從二維圖像獲取物體三維信息的可能性，自此之后，基于視覺的三維重建技術(shù)如雨后春筍般涌現(xiàn)出了許多實現(xiàn)的技術(shù)手段。從20世紀80年代開始，出現(xiàn)了為數(shù)不多的國外專利申請，從圖1可以看出，2008年以前全球?qū)＠暾垟?shù)量都處于緩步發(fā)展的階段，隨著基于視覺的三維重建技術(shù)的不斷創(chuàng)新，自2011年開始逐步上升，直到2016年進入快速增長階段。

圖1 專利申請數(shù)量態(tài)勢圖

2 主要申請人分析

圖2所示為國外排名靠前的主要申請人，由圖2可知，排名靠前的主要為美、歐、德、日、韓的知名企業(yè)，不可否認，它們在該領(lǐng)域具有強大的研發(fā)能力，一方面與計算機視覺理論與相關(guān)技術(shù)的發(fā)展在歐美國家起步較早有關(guān)，另一方面，索尼、佳能、三星、松下等日韓企業(yè)，在拍攝設(shè)備的技術(shù)研究方面底蘊深厚，容易將其技術(shù)優(yōu)勢與計算機視覺融合，從而早早位于世界先進地位。其中，排名第一的是德國的西門子公司，其次還包括佳能、松下、三星、通用電氣、日立、索尼、東芝、微軟、奧林巴斯等。

圖2 國外主要申請人

圖3所示為國內(nèi)排名靠前的主要申請人，主要以高校及研究所居多，還有一些知名企業(yè)，在全球?qū)＠暾垟?shù)量上占據(jù)明顯優(yōu)勢。這說明國內(nèi)在基于計算機視覺的三維重建技術(shù)研究中并沒有落后，但在科技轉(zhuǎn)化成果方面還處于待強化的狀態(tài)。其中，清華大學研究團隊的申請數(shù)量最高；浙江大學、四川大學、北京航空航天大學、華中科技大學等也是名列前茅；中國科學院自動化研究所在該項技術(shù)中也具有一定的研發(fā)實力，具有較強的知識產(chǎn)權(quán)意識；國內(nèi)企業(yè)申請分布較為零散，位居前列的有百度網(wǎng)訊科技和騰訊科技等。

圖3 國內(nèi)主要申請人

3 技術(shù)演進路線

基于視覺的三維重建技術(shù)依據(jù)測量方式主要分為主動視覺法和被動視覺法，下面將從這兩個方面對其技術(shù)演技路線及典型專利技術(shù)進行介紹。

3.1 基于主動視覺的三維重建技術(shù)

主動視覺法包括激光掃描法、結(jié)構(gòu)光法、陰影法、TOF技術(shù)、雷達技術(shù)、Kinect技術(shù)等。

20世紀60年代，歐美國家開始對三維測量技術(shù)進行研究。20世紀80年代，已經(jīng)出現(xiàn)了較為成熟的技術(shù)。1981年，西門子股份公司的專利申請DE3147129A，公開了一種用于檢測三維物體的光學傳感器和相應的測量方法，在傳統(tǒng)的三角測量方法之上，通過激光掃描用于檢測三維物體。該方法基于多個位置敏感的檢測器，同時從各個方向檢測3D對象上的光點的位置，并將其應用的可能性擴展到對象的幾乎任何屬性，并且通過位置敏感探測器的強度輸出不斷重新調(diào)整激光的強度，以便使探測器始終連續(xù)接收到較高的強度。2001年，WO2001067039A1公布了一種基于結(jié)構(gòu)光的動物三維測量系統(tǒng)，系統(tǒng)使用來自結(jié)構(gòu)光相機的光點來測量動物上的多個點，定位每個點的垂直、水平和深度尺寸，通過使用該數(shù)據(jù)測量組合投射在動物上的一些光點來提供動物的快速連續(xù)三維運動圖像。

2005年，皇家飛利浦電子股份有限公司提出專利申請WO2006109203A1，在飛行時間正電子發(fā)射斷層掃描（TOF-PET）成像方法中，獲取三維飛行時間響應線（TOF-LOR）數(shù)據(jù)。在飛行時間空間定位的基礎(chǔ)上將TOF-LOR數(shù)據(jù)按層排在多個二維TOF-LOR數(shù)據(jù)集中。層排的TOF-LOR數(shù)據(jù)中的至少一些對應于對于二維數(shù)據(jù)集是斜的反應線。將TOF-LOR數(shù)據(jù)粗疏角重排到多個粗疏角倉中，每個倉具有至少約10°的角跨距。對粗疏角排列的TOF-LOR數(shù)據(jù)進行重建，以產(chǎn)生圖像層，該方法提高了重建速度和精度。2013年，微軟公司提交了專利申請WO2015057535A1，提出了一種飛行時間三維TOF-3D照相機。

MARZOLI MARCELLO提出的專利申請WO2005008283A1，公開了一種應用于內(nèi)窺鏡設(shè)備中的三維重建方法，該方法通過檢測裝置檢測一組點并且能夠為每個檢測到的點提供一組信息，包括掃描信號的瞄準方向、掃描頭和該點之間的距離，以及由所述點反射的信號的強度，實現(xiàn)基于激光雷達的插入腔體掃描頭與其內(nèi)表面之間相對距離的檢測，以及識別相同表面的一些物理參數(shù)來產(chǎn)生被檢查腔體的內(nèi)表面的三維圖。自2009年Kinect誕生開始，基于Kinect的三維場景的創(chuàng)建就迅速發(fā)展。微軟公司于2013年提出的專利申請US201300 95920A1進一步優(yōu)化了三維重建方法，該方法包括使用有源IR立體模塊來計算場景的深度圖。可以通過將IR點圖案投影到場景上，從兩個或更多個同步的IR相機中的每一個捕獲立體圖像，檢測立體圖像內(nèi)的點，計算與立體圖像中的點相對應的特征描述符，計算立體圖像之間的視差圖，以及使用視差圖生成深度圖來計算深度圖，優(yōu)化三維場景創(chuàng)建方法。

3.2 基于被動視覺的三維重建技術(shù)

被動視覺法根據(jù)攝像機數(shù)目的不同分為單目視覺法、雙目視覺法和多目視覺法；根據(jù)原理不同可以分為區(qū)域視覺法、特征視覺法等；根據(jù)應用方法可以分為運動恢復結(jié)構(gòu)法和機器學習法等。上述這些分類又可以相互組合在一起。

1999年，COMPUTERIZED MED SYST INC提出專利申請EP0965104A1，公開了一種自動分割/自動輪廓繪制方法，其可用于快速且準確地繪制區(qū)域和區(qū)域周圍的邊界的輪廓，以形成可線性布置以用于圖像的三維重建的橫截面。2008年，清華大學提出申請CN101271582A，涉及基于多視角二維圖像并結(jié)合SIFT算法的三維重建方法，利用特征區(qū)域優(yōu)化重建模型，實現(xiàn)低復雜度高質(zhì)量的三維重建。2014年，中山大學提出的申請JP2017503290A，公開了一種無特征提取密集的運動恢復結(jié)構(gòu)的三維重建方法，通過進一步優(yōu)化實現(xiàn)緊致三維信息的估計，以目標函數(shù)值作為指標，能夠得到最優(yōu)解，至少是局部最優(yōu)解，完成密集SFM三維重建。2018年，中國科學院自動化研究所提出申請CN109191564 A，以統(tǒng)計學習為基礎(chǔ)，訓練得到光子傳播的前向以及逆向過程，提高了生物激發(fā)熒光計算機斷層掃描三維重建的精度以及速度。佳能株式會社提出的專利申請US2020334855A1公開了一種信息處理設(shè)備及其控制方法，其提出了一種信息處理裝置，可以實現(xiàn)從不能獲得距離圖像的相機（諸如RGB相機或獲得灰度圖像的相機）獲得高度準確的距離圖像。

3.3 典型專利技術(shù)方案分析

西門子股份公司提出的專利申請DE3147129 A，解決了現(xiàn)有技術(shù)中存在的由于不同的發(fā)射和接收方向造成的幾何陰影問題。該申請采用預先設(shè)置多個位置敏感的檢測器，物體利用光點成像到這些檢測器上，并且這些檢測器利用成像光學系統(tǒng)從不同的空間方向?qū)饰矬w，從多個空間方向進行檢測，盡可能避免了陰影。三個檢測器以相同的立體角相對于掃描區(qū)域的中心軸線對稱地布置。由于對稱的布置，探測器的輸出信息在幾何參數(shù)方面是等價的，更以這種方式簡化了結(jié)構(gòu)。

清華大學提出的專利申請CN101271582A，涉及基于多視角二維圖像并結(jié)合SIFT算法的三維重建方法，屬于計算機多媒體技術(shù)領(lǐng)域。該方法的主要技術(shù)手段是：利用SIFT算法檢測得到各視角二維圖像中的特征點，并對相鄰視角進行特征點匹配操作；利用對極約束，驗證匹配特征點對的有效性并對特征點對的匹配情況進行修正；結(jié)合對極約束和各向同性的sobel算子，以匹配特征點對坐標為基準進行特征擴展，得到匹配特征區(qū)域；利用多視角二維圖像，得到待重建物體的體素模型，并對體素模型優(yōu)化，利用graph-cut方法進行求解；計算各視角匹配特征區(qū)域在空間對應的體素集合，將體素位于待重建的物體表面，作為約束條件，得到三維重建。該申請利用特征區(qū)域優(yōu)化重建模型，將特征信息有效應用于三維重建工作，在運用SIFT算法得到匹配特征點對的基礎(chǔ)上，結(jié)合對極約束和各向同性的sobel算子，對特征點對進行擴展，得到匹配特征區(qū)域，利用各視角的匹配特征區(qū)域，對三維重建進行輔助，使重建模型精度得到有效提高，且該方法的復雜度較低，具有易于實現(xiàn)的特點。

微軟公司提出的專利申請US2013095920A1，用于使用有源紅外（IR）立體模塊來生成視頻的方法。用于主動深度感測的技術(shù)，諸如來自微軟?公司的Kinect?系統(tǒng)，已經(jīng)通過使用結(jié)構(gòu)光從視頻場景提取幾何形狀來改進三維重建方法，這與被動方法相反，被動方法僅依賴于在環(huán)境或自然照明條件下使用攝像機捕獲的圖像數(shù)據(jù)。盡管使用了結(jié)構(gòu)光技術(shù)的優(yōu)點，但許多問題限制了類似裝置在自由視點視頻（FVV）的創(chuàng)建中的有用性。因此，該申請使用有源IR立體模塊計算場景的深度圖。可以通過將IR點圖案投影到場景上，從兩個或更多個同步的IR相機中的每一個捕獲立體圖像，檢測立體圖像內(nèi)的多個點，計算與立體圖像中的多個點相對應的多個特征描述符，計算立體圖像之間的視差圖，以及使用視差圖生成場景的深度圖來計算深度圖。一旦已經(jīng)使用主動IR立體模塊確定了場景的深度圖，就可以使用深度圖為場景生成點云及點云的網(wǎng)格，然后從點云的網(wǎng)格生成場景的投影紋理圖，以及使用投影紋理圖生成場景的視頻。

中國科學院自動化研究所提出的專利申請CN109191564A是基于深度學習的激發(fā)熒光斷層成像三維重建方法。目前激發(fā)熒光計算機斷層掃描三維重建技術(shù)主要是結(jié)合FMI成像和X射線計算機斷層成像(X-CT)。光在生物組織中的傳輸模型(前向)采用的是輻射傳輸方程的高階簡化球諧波近似形式，并對生物組織進行網(wǎng)格劃分進行有限元求解，導致現(xiàn)有方法精度低、速度慢。為了解決上述問題，該申請?zhí)岢隽嘶谏疃葘W習的激發(fā)熒光斷層成像三維重建方法，有別于傳統(tǒng)的以構(gòu)建光學傳輸模型為基礎(chǔ)的方法，該申請以統(tǒng)計學習為基礎(chǔ)，訓練學習得到光子傳播的前向以及逆向過程，提高了生物激發(fā)熒光計算機斷層掃描三維重建的精度以及速度。該申請?zhí)峁┑姆椒òㄈ缦虏襟E：生成訓練樣本；設(shè)置深度學習模型，構(gòu)建深度學習模型包括圖片信息編碼階段、圖片信息融合階段和三維重建階段；以及對深度學習模型進行訓練，將生物體的數(shù)據(jù)輸入訓練后的深度學習模型，獲得生物體的三維重建圖像。

4 結(jié)語

本研究依托專利分析方法，從基于視覺的三維重建技術(shù)的專利申請態(tài)勢、主要申請人及研發(fā)方向探討其發(fā)展歷程和主要專利技術(shù)，從上述分析可知，基于視覺的三維重建技術(shù)的發(fā)展充分依賴于圖像傳感器技術(shù)和圖像數(shù)據(jù)處理技術(shù)的發(fā)展，雖然該項技術(shù)在國內(nèi)的起步較晚，但發(fā)展迅速，應用的領(lǐng)域廣泛，在未來一段時間內(nèi)仍將處于高速發(fā)展階段。