基于飛行時間的三維成像研究進展和發展趨勢

侯 飛， 韓豐澤， 李國棟， 孫 怡， 孫志斌

（1.中國科學院國家空間科學中心，北京100190；2.中國科學院大學，北京100049）

0 引言

TOF（Time of Flight）技術是一種基于光速不變原理，通過測量光信號的傳播時間來測量距離的方法。自Einstein提出光電效應理論以來，隨著光電子技術和微電子技術的發展，TOF技術也取得了重要的進展。1968年，Koecher首次實現了基于TOF技術的距離測量系統［1］。近年來，隨著CMOS技術、雪崩光電技術和光源調制技術的發展，基于TOF的三維成像相機也得到迅速發展，并在機器視覺、工業檢測、自動駕駛、三維成像、深空探測、非視域成像、超分辨成像等科學領域得到了廣泛的應用［2?4］。

本文介紹了TOF相機的最新發展趨勢，第一部分介紹TOF相機的基本原理、誤差分析等關鍵技術，第二部分介紹TOF相機的發展現狀，第三部分介紹當前TOF三維成像相機的應用研究熱點，第四部分討論TOF相機的發展趨勢。

1 飛行時間三維成像關鍵技術

TOF相機的深度測量是基于飛行時間原理，飛行時間可以通過使用脈沖或連續波（CW）調制來測量，本文著重介紹基于連續波調制的TOF三維成像技術。連續波調制的相機已經商業化超過20年，并廣泛應用于多種領域中［5］，而基于脈沖的TOF相機仍然是稀缺的。

光學飛行時間系統的核心由光發射器和接收器組成，三維TOF相機通過主動發射調制過的光源到目標面上，然后接收對應的反射回來的光，通過發射光和反射光之間的相位差可以得到距離信息，通過轉化可以進一步得到景深，如圖1所示。一般TOF相機都是使用紅外或近紅外光信號，這也一定程度上提高了TOF相機適應復雜光環境的能力。

1.1 飛行時間三維成像數學模型

TOF深度成像過程如圖2所示，TOF相機控制器發出兩個信號，m（t）控制激光二極管，r（t－θ）作為TOF傳感器的參考信號。來自物體的反射信號apm（t－φp）被TOF像素采集，然后與參考信號r（t－θ）相關生成相機的輸出。

在大多數商用的TOF相機中，發射和快門調制信號的形式如下：

式中，cm、am、cr、ar是常數， 通過改變r（t）上的延遲，可以捕獲反射信號和曝光信號之間的全部相關性，利用解調技術，可以完全恢復反射信號。然而，大多數傳統的TOF傳感器只使用4個測量（稱為正交測量），對應于θ＝0、π/2、π、3π/2，來恢復反射信號的振幅ap和相位φp，具體的計算公式如下：

以dp表示目標距離，所以有：

1.2 飛行時間三維成像相機系統結構

典型的TOF相機是一次獲得整個場景的深度圖，其發送器一般為激光發射模塊，該發送器將調制光照射到感興趣區域；其接收器一般為由CCD或CMOS組成的像素陣列，像素陣列從相同的感興趣區域收集反射回來的光，如圖3所示。由于方波容易由數字電路實現，所以大多數的TOF相機一般以方波作為其發射光。

典型的TOF相機不具有專用的模數轉換器（ADC）和每個像素的處理模塊，像素陣列中的模擬數據必須讀出并進行處理。

1.3 飛行時間相機誤差分析

TOF相機系統結構較為復雜，在測量深度信息時，有一些誤差來源可能會影響TOF相機的測量，并且可能限制測量精度。TOF相機誤差來源有多種，總體上可以分為系統誤差和非系統誤差。

我一歲生日是在上海友誼餐廳過的。那天晚上我從宴會沒有開始一直哭到宴會結束。我爸爸就抱著我兜啊兜啊，然后是我媽媽抱著我兜啊兜啊……可是完全沒有用，我仍舊哇——哇——哇——哭。那天晚上友誼餐廳里除了我們一家是中國人，其他都是外國人。外國人就都笑著看著我。那天的生日晚宴就這樣被我哭得亂七八糟、一塌糊涂，阿太、爺爺、奶奶、外婆、姑媽、叔叔……所有的人全被我莫名其妙的哭弄得沒有了心思吃。長大以后，爸爸媽媽問我，那天晚上你為什么哭，是不是看見都是黃頭發藍眼睛的外國人害怕？這我怎么知道，我根本就不記得有哭的事！

系統誤差一般包括積分時間相關誤差、振幅相關誤差和溫度相關誤差。積分時間相關誤差對于相同的場景，會引起不同的深度值。這是一個系統設計上存在的誤差，一般無法消除，但是可以得出一般性規律，一般較長的積分時間增加了相機的信噪比。如圖4所示，較長的積分時間（右側）比較短的積分時間（左側）有著更高的深度精確度。

振幅相關誤差是過低或者過曝的反射光振幅引起的。由于邊緣處發射光的功率比中心低，所以在圖像的邊緣處相對容易出現較低的振幅，從而導致圖像邊緣處對深度的計算出現較大的誤差。相反，如果對象距離TOF相機太近，反射光可能會出現過飽和，這時的深度測量基本是無效的。所以，一般的解決方法都是適當加大發射光的功率并將探測的場景置于TOF相機的合適范圍內。

溫度相關誤差的發生是因為溫度會影響TOF相機內部的深度處理，TOF相機得到的深度值可能會因為內部溫度而產生漂移，這幾乎是所有電子元器件都會存在的誤差。當前商業化的相機，如MESA公司的SR3000和SR4000，一般建議用戶在啟動后等待一定的時間再去使用［7］。除此之外，TI的OPT8241內部集成了一款溫度傳感器用于校準因為溫度產生的相位偏移，也在一定程度上減小了溫度相關誤差。

非系統誤差多是由多重反射、散射光和環境光引起的。TOF相機測距時要求光只反射一次，光線的多次反射會導致測量失真。例如，房屋角落和凹陷形狀的物體表面通常會因為光束多重反射產生誤差，如圖5所示，這也會使得到的深度圖像中對象邊界變得模糊。

光散射是因為在鏡頭內或者鏡頭后產生了多余反射。非常靠近光源的明亮表面會快速將過量的過線散射到鏡頭中，產生深度失真，使得深度圖像中出現偽影，如圖6所示。一般解決方案是確保在相機正前方的空間中沒有強烈反光的物體。

盡管TOF相機都是采用近紅外光作為發射光源，但是環境光依然會對TOF深度成像產生影響。芯片上的一個像素可以容納的電荷數量有限，環境光占用的容量越多，則為記錄實際的反射光保留的容量就越少，也就是說，信噪比會下降。一般的解決方法是在相機上加上光學帶通濾光片或者在暗室中使用，這樣可以最大限度地減少環境光的影響。

2 飛行時間三維成像發展現狀

21世紀以來，隨著微電子學和光電子技術的發展，三維成像技術已成為當前研究的重要發展方向。目前，三維成像技術主要有3種：第一種是結構光三維成像技術，其主要優勢是識別精度高，但該技術的硬件難度大且成本較高，適合應用于室內環境；第二種是雙目視覺三維成像技術，該技術主流的方案是通過兩個彩色攝像頭模仿人的雙眼進行測距，精度較高且成本低，但對算力和后期算法要求很高，且受光照影響較大；第三種是TOF三維成像技術，TOF能夠實時快速地計算深度信息，在體感應用體驗上表現優異，但是當前成本較高，其推廣和發展需要進一步降低成本。3種成像技術的對比如表1所示。

相較于其他三維成像技術，TOF在畫面拍攝后，計算景深時不需要后續處理，因此既可避免時間延遲，又可節省采用強大處理系統產生的相關成本。此外，TOF測量距離彈性大，多數情況下只需要改變發射器脈沖頻率、光學視野和光源強度即可，適合在近距離范圍內的體感、手勢識別和跟蹤，以及虛擬現實下游戲互動等操作，潛在的應用場景十分廣闊。

表1 3種主流深度成像技術對比Table 1 Comparison of three mainstream depth imaging technologies

目前，國外TOF相關技術發展迅速，Sensor則主要由意法半導體、TI等企業掌握，奧地利微電子目前也通過收購完成了Sensor技術的儲備。目前，主流的TOF相機廠商包括 PMD、MESA、Optrima、微軟、TI少數幾家。其中，MESA在科研領域使用較大，MESA公司生產的SR40003D測距相機能以視頻幀速率實時輸出三維距離值和振幅值。PMD Camcube3.0是唯一一款能夠在戶內、戶外均能使用的TOF相機，也是全球第一款可應用于室外環境的高精度深度相機，為汽車輔助駕駛和移動機器人等應用帶來了便利。而Optrima、微軟的相機主要面向家庭、娛樂應用，價格相對較低，TI等廠家由于前期的技術積累也推出了多款TOF相機。國內TOF技術處于起步階段，但是發展也很迅速，以海康威視、樂行天下和中國科學技術大學為代表的國內公司和高校也相繼推出了基于TOF技術的深度攝像頭。圖7給出了目前幾款主流的TOF三維成像相機。

3 基于飛行時間三維成像技術的應用研究

連續波飛行時間相機由于其成本效益、簡單性和緊湊的尺寸，得到了廣泛的應用。但是由于現在的TOF相機分辨率還不是很高，探測距離大約只有10m。因此，TOF相機現在多數是應用在不需要非常精確但需要快速獲取3D圖像范圍數據的場景中， 例如機器人避障［8?9］、 姿勢估計［10?11］、 粗略 3D 對象重建［12?13］、 人體（部分）識別和跟蹤［14?16］等。本文將介紹幾種TOF三維成像技術在交叉領域中的應用和研究。

3.1 基于飛行時間相機的汽車駕駛輔助系統

最近幾年，隨著人工智能的興起，無人駕駛汽車也在如火如荼地蓬勃發展。國內外對于無人駕駛汽車的不斷研究，讓我們看到了在不久的將來無人駕駛汽車會成為現實。ADAS（Advanced Driver Assistant System）即高級駕駛輔助系統，是實現汽車智能化，同時也是實現無人駕駛的基礎條件。

ADAS要求對行車周邊以及車內空間狀況進行了解，實現對景深的實時較為精確的測量是對環境信息解讀必然面臨的問題，而這正為TOF的應用提供了廣闊的空間。目前，已有多家公司推出基于TOF相機的輔助駕駛系統解決方案。如Infineon（英飛凌）公司與科世達公司推出了基于TOF相機技術的攝像頭駕駛員輔助系統；Melexis的TOF傳感器MLX75023，它與3D視覺及手勢識別解決方案供應商SoftKinetic公司提供的軟件進行綁定，以判斷駕駛員的注意力是否集中在駕駛上；SensL公司基于TOF技術開發出一套ADAS原理樣機，如圖8所示，該ADAS原理樣機探測距離超過100m。未來隨著汽車智能化過程中ADAS的普及，TOF相機有望迎來更大的發展。

3.2 基于飛行時間相機的非視域計算三維成像

近年來，隨著激光技術的發展以及相關探測器精度的提高，國外出現了一種新型的成像方式，即非視域成像模式。不同于傳統的光學成像技術通過直接照射場景對視線范圍內的場景成像，非視域成像是指能夠對視線范圍外的場景進行成像。一般非視域成像是通過一種中介對隱藏在視野之外的事物進行成像，該事物可能在拐角處，或者被煙霧遮擋等。

Hullin［17］提出了一種基于TOF相機的非視域成像方案，利用TOF相機的工作原理實現了對非視域場景的三維成像。如圖9所示，該方案中，通過調制的激光光源照射能夠產生漫反射的墻壁，其中一部分光照射到遮光板中的非視域場景，非視域場景將一部分光反射到TOF相機視野范圍內的墻壁上，最終有一部分激光通過反射回到了TOF相機中。

3.3 基于多相機飛行時間系統的三維成像

兩個或者多個RGB相機可以獲得場景的深度信息并可以對場景進行實時三維重建，同時也能獲得更多的目標場景信息，這是單個RGB相機不能做到的。TOF相機也能夠實現多相機協同工作，Shrestha等［18］對多相機飛行時間同步系統的設計和應用進行了探討。如圖10所示，其實現了一種多TOF相機同步的方案，并利用Doppler飛行時間成像技術獲取了運動物體的實時徑向速度。實驗發現該系統成像速度快，利用多TOF相機同步可以有效消除運動物體的偽影情況，能夠對運動物體實時三維成像。

3.4 基于飛行時間相機的超分辨率三維成像

當前一代的TOF相機，其傳感器只能實現像素尺寸接近10μm，填充因子也只能接近10%。而傳統的CMOS圖像傳感器的像素尺寸已經接近1μm，填充因子也大于90%，所以當前的TOF相機 “天生”便具有空間分辨率低的劣勢。大量的研究也在致力于通過各種方式提高TOF相機的空間分辨率。一些純軟件的算法，包括字典學習［19］和深度學習［20］算法也被用來提高TOF圖像的橫向和深度分辨率。Li等［21］通過空間光調制器DMD（數字微鏡陣列）實現了TOF相機的超分辨率三維成像，其設計了一種稱為CS?TOF的原型結構，結合壓縮感知技術，使得TOF相機的深度和強度分辨率均得到了極大的提高，效果顯著。具體實現方案如圖11所示，控制器控制激光二極管和TOF相機，使它們保持同步，發射光照射到目標物體后，反射光通過透鏡進入DMD進行調制，DMD中之前已經提前輸入了調制掩模，最后經過DMD調制后的光通過中繼透鏡進入TOF傳感器成像。

4 總結與展望

本文詳細介紹了TOF三維成像相機的發展、工作原理和誤差來源，并與其他三維成像系統做了對比研究，分析了當前TOF三維成像技術的應用研究熱點。TOF相機作為一種主動式3D成像相機，具有體積小、幀速高、實時性好、能夠同時記錄深度和強度信息等優點。但是，TOF相機依然需要提高自身的成像分辨率，不斷從軟件和硬件兩個方面降低誤差的影響，提高TOF相機的探測距離。

隨著TOF相機的成像分辨率的提高，脈沖激光光源技術的發展，TOF三維成像技術在機器視覺、工業檢測、自動駕駛、三維成像、深空探測、非視域成像和超分辨成像等科學領域將會得到進一步的廣泛應用。