基于雙目視覺的三維重建領域的現狀與未來

杜文俊 丁麗萍

摘 要：本文基于專利數據，對基于雙目視覺的三維重建方法的國內外研究現狀進行了分析，得到了基于雙目視覺的三維重建領域技術走向，并對該領域的產業發展趨勢的預測，有助于相關領域的研究人員全面把握該領域的專利數據和發展狀況。

1 前言

20實際80年代初，MIT人工智能實驗室的Marr教授創立了計算機視覺的理論體系，為人們從二維圖像中認識三維世界，打開了一扇嶄新的大門。近三十年來，計算機視覺領域獲得了長足的發展，其理論基礎在不斷完善，其應用價值仍有巨大的發掘空間。

我們所認識和生活的客觀世界的空間是三維的，在很多應用領域我們需要對三維物體進行認知和分析，因此需要對物體的三維重建，即利用計算機或其它軟硬件技術對物體建立適合計算機表達的數學模型，以便在計算機中對物體進行計算、操作和分析。在該領域中，基于雙目視覺的三維重建技術是近年來的研究熱點。本綜述聚焦基于雙目視覺的三維重建方法中的關鍵技術，從專利的角度進行相關分析，對相關行業的發展方向進行預測。

2 國內外重要申請人及其典型專利

對于基于雙目視覺的三維重建中的兩項關鍵技術相機標定和立體匹配而言，其來華重要申請人的申請量排名中，國內重要申請人為以浙江大學、清華大學、北京航空航天大學為代表的高等院校。

以浙江大學為例，其申請量不但位居國內申請人前列，且其相關申請的授權率也高達70%以上。以申請號201210360976.0的專利申請為例，其申請人為CAD&CG;國家重點實驗室主任博導鮑虎軍教授，且伴隨有相關的國際論文發表，該專利已在2014年獲得授權，可以認定為浙江大學在該領域內的關鍵技術。該申請公開了一種對于多目同步攝像機拍攝的動態場景視頻的時空一致性深度恢復的方法。它利用多視圖幾何方法結合DAISY特征向量，對于同一時刻的多目視頻幀進行立體匹配，得到多目視頻每一時刻的初始化深度圖；對于多目視頻的每一幀圖像計算動態概率圖，利用動態概率圖對每幀圖像進行動態像素點和靜態像素點的劃分，利用不同的優化方法進行時空一致性的深度優化，對于靜態點，利用bundle optimization方法結合多個相鄰時刻的顏色和幾何一致性約束進行優化；對于動態點，統計多個相鄰時刻的多目攝像機之間對應像素點的顏色和幾何一致性約束信息，對每一時刻動態深度值進行時空一致性優化。其中該申請所涉及到的基于局部的立體匹配技術屬于該領域中的關鍵技術分支。

而在全球范圍內，專利申請量占據主導地位的依舊是索尼、三星、佳能等大公司。以三星公司為例，其申請號為KR10-2007-0115960的申請提出了激光視覺系統的自動標定方法，系統在進行自動定標前輸入一個預設的運動路徑，在運動的過程中通過拍攝的圖像以及預設的運動參數，系統可以自動的為激光視覺系統進行定標，而不需要人工的干預。該方法盡管并不是應用于以相機為硬件的雙目視覺系統，而是激光視覺系統，但在兩個應用場景中都存在相似的定標方法，即屬于相機定標的二級技術分支中的基于主動視覺的相機標定法。值得一提的是，三星公司與浙江大學的鮑虎軍教授團隊已經全面開展了技術合作，目前在我國已有四項專利申請（申請號分別為201210286784、201210464952、201310197100、201310197108），并已處于實審生效階段。由此可見，國內學術界已開始注重與國際知名公司的緊密合作，也表明學術界和工業界都較為看好立體視覺技術的前景。

3 基于雙目視覺的三維重建領域技術走向

通過筆者近年來對基于雙目視覺的三維重建領域的專利分析，對于該領域技術的發展方向做出如下預測：

（1）立體視覺的計算理論和匹配策略研究。如何選擇有效的匹配準則和算法結構，以解決幾何畸變（透視、縮放、旋轉等）、灰度失真、噪聲干擾、特殊結構（平坦區域、重復相似結構等）及遮擋景物的匹配問題。如何提高算法的魯棒性、實時性、去歧義性等。

（2）雙目立體視覺系統的智能化研究。如何建立基于知識、模型和規則的立體視覺方法。計算機視覺與機器學習兩個領域的技術交叉，也是近期的研究熱點之一。

（3）算法硬件實現研究。如何提高算法的速度，減少運算量，如何使算法朝并行化方向發展以便釆用并行流水線機制和專用的信號處理器件（如GPU）進行算法的硬件實現，以滿足各類實時應用的需求。

（4）進一步重視深度相機作為三維重建設備的應用，解決使用彩色相機的方法魯棒性較低且難以處理缺少紋理及存在遮擋的情況。

4 產業發展趨勢的預測

結合對于基于雙目視覺的三維重建的關鍵技術的專利分析和筆者本人的思考，對本領域的產業發展，特別是國內企業的發展方向給出如下建議：

（1）根據專利申請人的分布數據來看，國內高等院校、科研院所的研究相當活躍，與世界先進水平的差距正在逐漸縮小。以清華大學、浙江大學、北京航空航天大學為代表的高等院校，一定程度上代表了雙目立體視覺領域的世界先進水平。相比之下，國內高校和企業在研發力量、將科研成果轉化為經濟效益方面的作為還遠遠不足。企業與高校的強強聯合，發揮出各自開發和科研實力，是盡快搶占國內市場、改變美日韓企業在華獨大的現狀的出路。

（2）在計算機視覺領域，國內致力于研發的企業多為中小企業，如北京大恒圖像、北京時利和、北京微視凌志、北京微視新紀元、深圳市視覺龍科技、香港盈基科技、深圳科瑞自動化、深圳步進科技等公司，且起步較晚。國內中小企業由于研發實力有限，更應慎重選擇市場切入點，避開工作檢測、生物醫學等對技術精度要求較高的應用領域，而將目光更多地投向虛擬現實、機器視覺等新興領域，走出中小企業的特色之路。

（3）在互聯網熱漸漸褪去之后，國內大型互聯網民營企業如百度、阿里巴巴、騰訊等企業，可以將更多的目光投向計算機視覺這一新的市場寵兒，著重關注其在互聯網應用、娛樂等應用場景的市場價值，發揮出自身研發實力、產業鏈和人才上的優勢，為自身企業的發展打開新的思路，也為國內計算機視覺市場注入強心劑。

5 結語

本文基于專利數據，對基于雙目視覺的三維重建方法的國內外研究現狀進行了分析，對國內外重點專利申請人的專利進行了研究，進而得到了基于雙目視覺的三維重建領域技術走向，并結合筆者個人對該領域的了解對該領域的產業發展趨勢進行了預測，有助于相關領域的研究人員全面把握該領域的專利數據和發展狀況。

注：杜文俊、丁麗萍，等同第一作者

參考文獻：

[1]羅桂娥，雙目立體視覺深度感知與三維重建若干問題研究，中南大學博士論文，2012年5月