ToF深度相機標定方法研究進展

胡齡心，李 浩*

（1.河海大學地球科學與工程學院，江蘇 南京 211100）

深度相機能獲得被拍攝物體到鏡頭的距離值，在深度圖像上體現出物體的遠近關系，能更加直觀地反映三維世界。深度相機本身具有便捷高效的特點，其在工業、農業、交通、物流、醫療、機器人等領域發揮重要的作用，服務于目標探測、姿態估計、運動估計、自主導航、三維重建等技術需求。一種高精度的深度相機標定方法能夠獲得精確的相機參數，成為相機高效使用的前提和保障。針對現有的標定方法，本文進行分類整理，比較不同方法的優缺點，為后期深度相機標定的研究和應用提供一定的參考。

1 相機的標定

通過三維空間物體到二維平面的投影關系建立相機成像模型，可以獲得相機的內方位元素。由于鏡頭制造等原因導致實際成像點位置存在偏差，因此建立畸變模型來進行校正。相機的標定便是求解內方位元素和畸變系數的過程。

普通相機接收物體反射的光線，通過傳感器將光信號轉換成電信號，繼而轉換成數字信號，從而獲得拍攝圖像。目前，對普通相機的標定有基于標定物的方法、自標定方法[1]、基于主動視覺的方法[2-3]。ToF深度相機主動發射紅外光，再接收由物體反射的紅外光，根據時間差或相位差計算距離獲得深度圖像，根據反射光線量的不同獲得紅外圖像。但深度圖像沒有圖案紋理信息，故傳統的像點坐標提取方法不可用，需要制作特殊標定物。紅外圖像雖然能體現圖案信息但分辨率較低，會影響標定效果。此外ToF 相機受拍攝物體材質、拍攝距離的限制，拍攝的場景信息存在不完整情況，導致圖像上存在黑洞。因此，與普通相機相比，ToF 相機在像點坐標的提取方面就存在一定的缺陷。

基于標定物的標定方法精度較高，且標定物在ToF 相機成像范圍內能較完整成像，目前對ToF 相機的標定主要采用標定物的方法。選用的標定物有線狀物體、棋盤格、圓孔板、控制場等，通常將它們分為一維、二維、2.5 維和三維的標定物。確定使用的標定物后，通過建立標定點在世界坐標系與像素坐標系之間的映射關系，從而解算相機參數。ToF 相機沿用普通相機的成像模型，使用的解算方法有線性標定法、單應矩陣法、共線條件法（直接線性變換法、光束法）。

2 基于標定物的標定方法

基于標定物的標定方法需要借助三維空間中位置已知的物體，將標定物上已知位置的點和圖像上的點實現一一對應，從而計算相機的內方位元素。該方法精度較高，同時在靈活性和魯棒性之間取得了綜合的效果。

2.1 共線條件法

共線條件方程是攝影測量常見的基本方程式，根據像點、投影中心、物點位于同一條直線上建立共線表達式：

式中，x0、y0、f 表示相機內方位元素；x、y 表示像點的像平面坐標；XS、YS、ZS表示攝站點的物方坐標；XA、YA、ZA表示物點的物方坐標；φ、ω、κ 表示圖像的角元素。

在相機的標定方法中直接線性變換法和光束法都是建立在共線條件方程的基礎上。直接線性變換法（DLT）是Abdel 等[4]1971 年首次提出的，建立像素坐標系到世界坐標系之間的直接線性關系，采用最小二乘原理求解。但方法未考慮畸變影響，導致精度較低，后期采用非線性優化的方式提高精度。光束法平差（BA）在1958 年被引入攝影測量領域[5]，以共線方程為數學模型，對誤差方程線性化后通過迭代的方式進行解算。自檢校光束法平差在光束法基礎上引入附加參數進行平差計算，在相機標定中通常將畸變系數作為附加參數。

基于控制場的共線條件法在普通相機的標定中使用較廣，但因深度相機本身的限制，對控制場有一定的要求，否則存在成像效果不佳的情況。目前，主要使用回光反射材料制作控制場靶標，在紅外圖像上識別并提取標定點。趙強[6]基于控制場實現ToF 相機的標定，通過DLT 求解初值并以迭代的方式優化，使用自檢校光束法對相機參數進一步調整，得到較好的結果。Kahlmann 等[7]引入額外光源增強紅外圖像上點的顯示效果，在平板上按等間隔距離布設紅外LED，制作主動發射光源的標定板，采用自檢校光束法平差的原理解算相機內方位元素。由于該方法中控制點是共面分布，會影響平差效果從而降低標定精度，但該方法對標定板的改進為日后的標定研究提供了新的思路。

2.2 線性標定法

一維線性標定法是張正友[8]2004 年提出的根據標定物上的共線點實現標定的方法，需要使用包含3 個共線已知點的線狀物體做標定物，標定過程中需要固定物體一端而不斷變化另一端位置，獲得拍攝的多幅圖像，通過物點和對應像點間的轉換關系以及共線點的線性約束建立方程（式3），從而求解相機參數。

式中，a,b,c 表示標定物上3 個點（A,B,C）在圖像坐標系下的齊次坐標形式；λ1、λ2為已知常數，表示標定點之間的位置關系；L 表示標定物長度；K 表示內方位元素矩陣，ZA表示A 點相對深度。

Diana 等[9]2017 年使用線性標定法實現對多ToF相機的標定，通過R-最近鄰算法實現不同視角點云對齊狀態下的匹配，利用三維匹配點和二維投影點建立相機參數矩陣，加入徑向和切向畸變系數實現最終非線性優化。但該類標定方法普遍精度較低，同時算法對圖像的噪聲較為敏感，因此標定精度有待提升。而一維的標定物構造簡單，能很好地解決遮擋、重疊問題，同時減少角點提取的工作量，在深度圖像中能更好地減輕物體邊緣模糊的現象，相較于其他標定物，其在多深度相機的標定中值得深入研究。

2.3 單應矩陣法

張正友[10]1999 年提出基于棋盤格的單應矩陣標定方法，將像素坐標（u,v）和世界坐標（X,Y,Z）的映射關系用單應矩陣H 的形式表現：

包含如下的約束關系：

使用拍攝的多張圖像，根據最小二乘原理求解相機內方位元素K。考慮徑向畸變的影響，使用的畸變模型如下：

通過最小二乘原理求解畸變系數k1,k2，最后對相機參數進行非線性優化。

由于棋盤格圖案制作方便，且算法具有較好的魯棒性，因此對普通相機和深度相機都是使用最多的標定方法。對深度相機的標定使用的是紅外圖像，但受紅外圖像分辨率的影響較大，會造成角點的提取誤差。現有對單應矩陣求解方法的改進主要體現在3 個方面：增強圖像顯示、改進標定物、優化標定參數。

2.3.1 圖像顯示方面的改進

Marvin 等[11]2006 年通過多幅灰度圖像取均值的方法抑制噪聲影響，并利用直方圖歸一化來增強灰度圖像的對比度，采用雙線性重采樣的方法增加圖像的分辨率，從而提高角點檢測的準確性。

Sven 等[12]2012 年對ToF 相機得到的紅外圖像進行雙三次上采樣，得到亞像素精度，采用非銳化掩膜的方法來增強局部對比度。并對棋盤格圖案添加自編碼標記，實現角點的自動快速檢測，最后使用單應矩陣的方法求解相機元素。該方法縮短了標定點檢測的時間，同時提高了標定點識別的正確率。

Ramanpreet 等[13]2014 年分析棋盤格上黑色方形比白色方形的散粒噪聲高，利用分割技術提取出白色方形并計算其對應的點云數據，通過對點云數據擬合平面來獲得亞像素角點的深度d?。考慮相機投影模型中相似三角形原則，在歸一化平面上結合深度值d?來表示實際的三維點xic，N(i)表示角點i 的周圍點，引入真實棋盤格的大小csize，構建參數方程對內方位元素進行優化：

該方法創新地利用深度值與實際棋盤格大小相關聯，實現對相機參數的優化，在保證精度的同時，使用較少的圖像和角點信息，具備一定的優勢。

2.3.2 標定物選取方面的改進

標定板除了棋盤格圖案也有圓形圖案，與提取棋盤格角點不同，這里將圓心作為標定點。Jiyoung 等[14-15]2011 年針對ToF 相機提出圓孔標定板，在標定板上的隨機位置通過挖孔的方式來增加距離信息。對深度圖像采用雙三次插值來提高分辨率，通過單應矩陣的方法得到畸變系數，消除圖像的徑向畸變。最后考慮重投影誤差，采取非線性優化，提出的圓孔標定板實現了在深度圖像上標定，今后基于深度圖像的研究有待繼續深入。

在圓形圖案的基礎上，對標定點的提取位置也有改進。David 等[16]2015 年提出將多個圓形通過組合的形式來定義標定點，考慮到圖像分辨率低導致圓心提取存在誤差，將標定板上各個圓心以“×”形式連線的交點作為標定點。首先固定的小范圍內計算單應矩陣，使用模板匹配的方式對該范圍內的標定點位置進一步細化，然后逐步擴大范圍直至檢測到整個標定板。該方法提出了一種標定點定義的新模式，不再局限于棋盤格角點和圓心點，為今后標定點的位置選擇提供了更多可能性。

2.3.3 參數優化方面的改進

在獲得相機參數初值后，通過構建相應的誤差方程可以實現對相機參數的優化。

通過建立深度圖像和紅外圖像方程，定義觀測值殘差平方和，確定方差因子從而對相機參數實現優化。Christian 等[17]2008 年和Ingo 等[18]同時考慮深度圖像和反射圖像，建立約束方程分別表示合成的深度圖像和反射圖像（式9），按泰勒公式一階展開，建立相應的參數協方差，用來改進參數向量（式10），采取迭代的方式直到收斂，最終實現對相機參數的優化。Marvin 等[19]2010 年采取兩步優化的方法，首先利用單應矩陣獲得初值，將角點重投影誤差最小化，然后將Ingo 等的優化方法應用到紅外圖像上，實現對相機參數的優化。

Alina 等[20]2014 年使用單應矩陣的方法獲得相機參數初始值，根據法向量ni和偏移量θi將棋盤格平面參數化（式11），根據角點paik與重投影點paik的差值、深度測量值dil與預測值dil 之間的差值，建立誤差方程（式12），實現基于角點重投影誤差和基于平面約束誤差的聯合優化，最終達到對相機參數的優化。

3 存在的問題及發展趨勢

目前對ToF 深度相機標定的研究都是基于標定物的方法，沿用普通相機的成像模型，深度相機在標定以及應用方面還有待深入研究。

在深度相機的標定方面存在著以下的不足：

1）受標定物的影響較大。一維標定物對圖像的噪聲有強烈的敏感性，造成標定精度較低；二維和2.5 維標定物提取的角點數目較多，但受分辨率等影響存在較多的位置誤差，影響標定的效果；三維控制場需使用特殊材料制作，成本較高且使用群體受限。

2）受拍攝條件的影響大。深度相機測量距離的約束限制了其獲取信息的范圍，受物體反射的影響限制了信息的完整性，黑色物體或全透光物體則會影響信息的準確性，現有標定方法未能充分考慮多種因素對標定效果的影響。

3）標定點的提取精度有待提升。深度圖像和紅外圖像都受到分辨率的限制，導致標定點存在較大的位置誤差，而進行過多的預處理步驟會影響原始數據的可靠性。

4）相機模型有待改進。目前的標定延用普通相機的成像模型，模型中缺少對深度值的考慮。目前的方法是在優化過程中引入深度值，若某個點的深度值存在較大誤差，則對整個優化過程會產生較大影響。

5）標定方法受限。深度相機因設備的限制導致標定點提取存在誤差，給解算方法帶來了挑戰，目前的算法受噪聲、點位誤差影響較大，算法的穩定性有待提高。

針對目前標定方法的不足，對其未來發展進行以下推測：由于相機本身測量距離近以及獲得圖像分辨率低的限制，在提升精度方面更大可能從標定物本身入手，研究一種精度較高同時成像效果較佳的物體來提供約束關系，減輕點位誤差造成的影響。同時為適應低分辨率圖像，高精度的標定點提取問題亟待解決。可以引入點云數據，結合距離信息提高標定點的位置提取精度。在后期的優化方面，深入探究不同誤差項對標定結果的影響，建立約束效果強的誤差方程，增加參數優化的可靠性。未來深度相機的硬件設備也日益完善，可能服務于高精度的測量場合，基于三維標定物的方法將被更多地使用。

深度相機在三維重建領域使用廣泛，而多相機組合的方式能提高建模效率，但給多深度相機標定提出了挑戰。線狀物體在深度圖像中不存在自身遮擋問題，不同方向成像存在差異，將其作為標定物在多深度相機聯合標定中存在優勢。在一些精度要求較低的場合，追求的是更加靈活的標定方法。選擇結構簡單的物體或位于相機成像范圍內的場景信息，通過多幅圖像間的匹配點建立約束方程，探究更為靈活的標定方法。

未來對深度相機標定的研究應充分考慮深度相機獲得物體距離值的特性，對相機成像模型進行改進，實現三維坐標到三維坐標的映射關系，對相機參數標定的同時實現對相機測距精度的確定。

4 結 語

現有的ToF 深度相機標定方法主要使用張正友棋盤格的方法，是目前深度相機標定的主流方法。該方法受圖像分辨率的影響，存在一定的提取誤差，需要采取措施加以改進，減少角點的位置誤差。后期通過引入重投影誤差項或深度測量誤差項建立誤差方程，采用非線性優化的方法提高參數精度。未來對ToF 相機標定的研究更應該結合相機本身的成像特點，考慮自身具有約束的三維物體做標定物，引入距離值改進標定模型，在參數優化方面尋找更穩健的參數。針對服務領域的不同，探究不同的相機標定方法，做到與實際應用更好地結合。