基于雙目視覺的室內定位標定新方法

,

(1.中國電子科技集團公司 第五十四研究所， 石家莊 050081; 2.衛星導航系統與裝備技術國家重點實驗室，石家莊 050081)

基于雙目視覺的室內定位標定新方法

邢亞斌1,2,王振嶺1,2

(1.中國電子科技集團公司第五十四研究所，石家莊050081; 2.衛星導航系統與裝備技術國家重點實驗室，石家莊050081)

隨著全球導航衛星系統的發展，位置服務已經逐漸滲透到人們日常生活以及工作之中，并成為必不可少的一部分，越來越多的人開始習慣使用位置服務，并對其產生依賴，并且，室內導航定位應用需求日益增加;目前，基于多目視覺原理的室內定位導航技術已經成為眾多技術領域的研究熱點，且逐步成熟;室內導航定位中，為獲取目標的準確位置，相機的標定過程是重中之重，標定精度對最終定位精度有著決定性作用;然而，當有氣液界面存在時，由于不同介質折射率不同，視線在傳播過程中將發生偏折，現有的線性標定技術不再適用，并成為制約室內特殊場景定位(如水下機器人作業)的主要技術障礙;針對有氣液界面的條件提出了一種新的標定方法，對界面位置進行精確定位，并修正了線性針孔模型，能夠有效解決有氣液界面存在條件下不能準確標定的難題，克服了封閉體內測量時無法進行現場標定的困難;為驗證標定方法的可行性與可靠性，進行了數值模擬，模擬結果顯示，此方法誤差較小，滿足室內定位中的標定精度要求。

室內定位；雙目視覺；氣液界面；標定

0 引言

近些年來，信息技術快速發展，各類電子智能設備日漸普及，而衛星定位導航技術性能穩定、成本低廉、定位精度準確，被越來越多的人所熟悉和使用。然而，當處于室內環境中時，傳統衛星定位導航技術所依賴的衛星信號由于受到鋼筋混凝土等障礙物的遮擋以及室內復雜環境等影響，信號強度會大大減弱，將無法繼續提供準確的位置服務。而室內定位在提高人們日常生活質量，提升商業服務能力、增加工業生產效率以及維護公共安全等方面，將發揮越來越重要的作用。因此，室內精確定位技術的研究具有重要意義。

室內定位技術已經過多年發展，按照不同的依據可以將現有的室內定位技術進行劃分。若以定位機制為依據，可以劃分為：基于鄰近關系的室內定位技術、基于幾何關系的室內定位技術以及基于場景分析的室內定位技術[1]；若按照其物理依賴的不同，可以劃分為：基于GPS的室內定位技術、基于無線傳感器網絡(紅外線、藍牙、Wi-Fi、超聲波等)的室內定位技術以及其他室內定位技術；若按照定位范圍的不同，可以劃分為：廣域室內定位和局域室內定位[2]。

雙目立體視覺(Binocular Stereo Vision)是二十世紀八十年代初期，由Marr提出的計算機視覺理論[3]發展而來。雙目立體視覺是機器視覺的一種重要形式，原理是基于視差，通過采集兩張具有視差的平面圖像，進行圖像處理并獲取兩圖像對應點之間的位置偏差，得到物體的三維幾何信息，恢復出具有景深的立體圖像。通過預先的標定過程，可以解算出兩幅圖像中同一目標的真實空間坐標。

標定是將目標的物理區域坐標同圖像區域坐標建立起一一對應關系的過程。為獲取目標的準確位置，相機的標定過程是重中之重，標定精度對最終定位精度有著決定性作用。當無法現場標定實際模型時，通常使用等效標定的方案。然而，當室內定位場景中存在氣液界面時，光在通過不同介質時會發生折射。現有的等效標定方法中存在因氣液界面折射引起的視線畸變、測量空間位置與標定法基準位置不重合、鏡頭畸變標定精度有限等一系列問題，使得等效標定不再適用。為嚴格地模擬這種效應，需要確定相機標定數據、折射率以及不同光學介質交界面的位置。在較為理想的情況下，可以通過現場標定對以上參數予以確定。然而，模型的封閉性設計使得無法將標定靶盤放入封閉模型內部，現場標定無法實現，因此有必要針對存在界面的封閉模型提出一種新的非現場標定方法，將室內特殊場景定位(如水下機器人作業)提供理論指導與實際借鑒意義。

鑒于以上原因，本文提出一種新的三維坐標測定算法，來解決某些特殊場景無法進行現場標定，且氣液存在條件下無法進行等效標定的困難。整體思路為：先在空氣中進行標定，根據相機在空氣中的標定數據以及不同光學介質的折射率，通過迭代自標定的方法，獲得氣液界面位置。同時，為了減小標定誤差，采用不同深度的多個界面進行整體約束，并且不同層之間使用最小二乘法對各層標定結果進行修正。

1 方法描述

相機跟蹤拍攝目標，只能夠獲得目標粒子在平行于相機鏡頭平面中的位移(x方向和y方向)。為了獲得粒子在垂直相機鏡頭(z方向)方向上的位移，需要將相機鏡頭傾斜一定角度，如圖2所示。然而，相機鏡頭傾斜將會對相機成像產生一定的影響，為了減小視角傾斜對不同相機成像的影響，較為有效的手段是采用Scheimpflug光路布置方案[4]。盡管封閉模型無法進行現場標定，但相機本身的內參數只和相機及鏡頭的幾何相對位置有關，因此可以先通過空氣標定的方式在小孔成像模型的假設下確定相機的內部參數。由于水氣界面的存在，視線會發生折射，可以通過進一步的界面和物面算法來修正這種折射效應，通過迭代和互相關算法的修正，最終確定界面方程和物面方程，并給出更為精確的視線方程。由于此時的互相關修正是基于薄片光構成的瞬時粒子圖，能否準確獲得粒子的中心坐標將直接影響物面和界面的重構以及后續的三維空間場重構。在獲得粒子中心位置和視線方程之后，通過基于匹配概率的算法可對粒子的物理空間場進行重構，三維重構后的粒子場可以通過傳統的三維互相關解算速度場。

新方案的流程如圖1所示。

圖1 方案流程圖

2 搭建光路系統

2.1 光學原理

假設在某一時刻, 目標粒子X的位置是A，A點的坐標為Xa=(x,y,z), 在一段時間Δt后, 該粒子到達另一位置B，B點的坐標為Xb=(x+Δx,y+Δy,z+Δz)。在相機的成像中，初始時刻粒子成像的位置是Xa,該粒子經過時間Δt后成像的位置是Xb，即位移量為(Δx,Δy,Δz)。

根據標定關系找出A點在左右相面上的同名配對粒子(同名粒子圖像匹配的含義是同一粒子在左右相機成像的對應關系)，根據幾何共點共線，聯立多相機的標定函數關系，從粒子的圖像中心確定其在相機的所對應的空間直線方程, 采用最小二乘法解算該方程組, 方程組的解就是粒子在物理區域的空間坐標, 其含義為：這些直線的交點的坐標即為目標粒子的坐標。

圖2 粒子真實位移與鏡頭成像關系

在提取到粒子空間坐標后，對某一小立方體區域與下一時刻的同一位置的立方體區域進行三維體相關匹配，將會得到一個空間位移量(Δx,Δy,Δz)，代表這個區域的所有粒子的移動量。

2.2 光路布置方案

為了確定目標粒子在垂直相機鏡頭方向上的位移, 可以把相機偏移原本垂直方向一定夾角。這會造成測量面上的點到相機感光面的距離不一致, 當焦距固定時, 則會造成僅有處于特定距離處的粒子才能夠在相機內成像清晰, 而所有處于其他距離的粒子, 都只能在相機上成模糊的像。為了處理這個問題, 有氣液界面存在條件下的室內定位技術標定過程中使用了Scheimpflug設置方案[4]。這個方案的示意圖如圖3所示。當測量平面、相機鏡頭的中心面和相機感光面這三者相交于同一直線上時，處于測量面上的全部粒子都能清晰成像, 這就是Scheimpflug體視PIV布置方案。本實驗中都按照這個布置方案來布置光路。該設置方案的重要之處是將機身和相機鏡頭分開, 使得機身與鏡頭所成的夾角能夠通過自制的角位移裝置進行調整。如圖4所示。

圖3 三維空間目標粒子追蹤的光路布置圖

圖4 自有的角位移成像裝置(用于體視成像裝置)

3 基于針孔模型的空間成像關系標定

相機標定是一個復雜且重要的過程。由于實際環境完全封閉，無法實現現場標定，可先在空氣中進行標定，建立一套完整的三維空間坐標系。對空間位置已知的標準網格，采用亞像素定位技術提取網格節點[5-6]。首先對標定面進行采樣，利用三維坐標架沿界面的垂直方向移動，采集等間距的標定平面，做成像的標定平面提取網格節點，再利用三次像條插值，計算每個像素點對應的標定面上的空間坐標，最后擬合該像素點對應的直線方程，使鏡頭函數線性化，標定方程轉化成線性方程組, 最終完成相機的標定過程。

測量中三維坐標測定應遵循共線性的基本數學思想[7]，即物點、相機投影中心以及圖像點分布在一條直線上。圖像區域和物理區域之間的關系可以用以下模型描述：

其中:dx,dy,u0以及v0是相機內部參數，已確定，R是旋轉矩陣，T為平移矩陣。

為此，將標定板放置在觀測區內，用兩個相機對其拍攝。標定板圖像如圖5所示。

圖5 用于標定的靶盤

標定完畢后，可得到前面提到的6個參數，將其用于空氣條件下粒子定位中的空間相交。為確定標定精度，可以根據確定的坐標和隨機點的坐標之間的r.m.s偏差來進行估計。人工生成的隨機點圖如圖6(a)所示，預測位置與預設值之間的偏差分布如圖6(b)所示。從圖中容易看出，標定誤差大部分都在0.1個像素以內。

圖6 用于驗證的隨機點(a)和標定誤差分布(b)

4 目標識別

為了確保后續定位的準確度以及精度，需要獲取目標物在圖像中的位置坐標。而在一副圖像中可能除了所要檢測出來的目標物，還會包含其它非目標物體。目標識別就是把目標物與其它非目標物體進行區分，進而從圖像中獲取所需的圖像數據。目標識別時，首先需要提取圖像的特征信息。圖像特征指的是一個物體通過圖像中所表現的不同于其它物體在圖像中所包含的某方面性質的抽象信息。通過對圖像進行特征提取，利用圖像處理技術分析圖像特征，再將分析所得信息與目標物體的圖像特征信息進行匹配，基于匹配結果對物體進行目標識別，最終可以得到目標物體在圖像中的位置。

為了獲得目標的精確位置，應先對圖像進行預處理，比如背景差分，空間圖像的濾波，粒子圖像失真的修正。目標粒子位置識別的精度對測量精度有很大的影響，是不可缺少的步驟。亞像素定位技術能夠把目標定位精度鎖定在0.1～0.5個像素范圍以內, 具體采用何種方法應綜合考慮目標形狀、圖像灰度分布等因素, 否則無法達到預期精度。為了獲得更精確的預測，本方案采用高斯擬合函數估計亞像素級的位置。首先將每個粒子的光強期望分布看作一個半徑為3個像素的高斯散斑，如圖7所示。然后根據光強分布構造二維高斯函數，每個粒子中心也就處于該高斯函數的的極大值點，故求解該極值點作為粒子中心點，并將其當作顆粒中心的初始估計。篩選計算結果并除去背景噪聲。然而預測點可能不是微粒中心的真實位置，因此，有必要對其進行修正。修正過程由兩個主要步驟組成：剔除噪聲以及計算中心坐標。

圖7 粒子圖像的強度分布以及強度平面中最高 強度和周圍的二維高斯擬合

5 求解界面初值與物面初值

光線通過不同介質，由于折射率的不同會導致光路發生折射，因此，必須考慮多介質模型來構造物理空間和相面空間之間的對應關系。這種影響可以根據界面位置建模。假設物面、相面和界面相互平行，基于共線性條件可以進行簡單建模。考慮到玻璃厚度t遠小于物體距離Z0和圖像距離Zp，可對模型進行化簡。簡化后的模型如圖8所示。

圖8 視線上界面的影響示意圖

對于界面，可以定義向量：

其中:

K2=ni·IV

由于界面的存在，在共線性條件下，光線從不同相機Cj到物點O的路徑被轉移到了物面上兩個不同的點，記為OL和OR，因此，需要對兩條光線進行互相關操作。利用薄片光的不同位置確定界面和物面的參數。下面方程定義了相機平面的點PCAM和物面上相應的點PPHYS之間的修正關系。

Pphys(X,Y,Z)=Pfoucs(X,Y,Z)-

其中:

再通過建立物點，PPHY以及圖像點PCAM之間的關系可得到逆變換。

其中:

Pcro=Pphys-ni·(ni×(Pphys-Pinter))-(Pphys-Pfocus)·

根據標定數據可得到系數矩陣M以及系數a1-a5。由于光線從不同的相機發出后將在某點相交，幾何約束方程可以寫為:

可用6個參數描述界面和物面:

多對視線可以建立其距離關系的多元非線性方程組:

fi(x*)=DL=0

其中:x*=(Ia,Ib,Id,Pa,Pb)表示界面和物面的參數。由于多元方程式二階連續可導，可通過牛頓迭代方法確定近似解。

6 仿真驗證

為估計標定程序中套準誤差分布，進行了兩個仿真，其中一個仿真中界面是平行的，另一個仿真中界面事傾斜的。兩個仿真中，兩個相機之間的夾角為15°，物距300 mm，焦距28 mm。界面中心位于Z=100 mm。第二個仿真中傾角為4°。因此，兩個界面可以定義：

Z-100=0

0.0698·+·y+0.9976·(z-100)=0

為估算標定誤差，先將兩個相機的粒子圖互相關，得到速度分布，再將兩個速度分布的r.m.s偏差定義為隨機誤差。對于第一個仿真，隨機誤差和參數迭代后的結果如圖9所示，圖中可以看出粒子圖的直接重構有一個明顯的1.5個像素量級的隨機誤差，然而在自標定基礎上進行幾次迭代后，這個誤差可以減少到0.005個像素以下，如圖10所示。

圖9 仿真一的隨機誤差(a)及迭代后的結果(b)

圖10 仿真二的隨機誤差(a)及迭代后的結果(b)

第二個模擬中可以得到相同的結論，如圖10所示。對兩個仿真，套準誤差均在0.01個像素以下。

根據對一百對圖像的統計學分析，可以發現標定過程中隨著粒子位移變化有一個0.036像素量級的系統誤差。如圖11所示。

圖12中顯示了套準誤差對界面和物面參數的影響。使用了10個0.001像素到0.01像素之間套準誤差。可以得出結論：隨著套準誤差的增長，參數誤差水平也會提高。

圖11 標定中的系統誤差

圖12 標定中的套準誤差

7 結論

本文提出了一種在有氣液界面條件下雙目視覺定位中相機的標定技術，有效解決了有折射現象存在時傳統標定技術不再適用的難題。克服了封閉模型內的目標定位過程中不能現場標定的困難。該技術能夠應用于基于雙目視覺原理的室內定位的標定過程。仿真結果顯示，用此方法進行標定，誤差水平能夠達到實驗精度要求。充分說明了本方法的可行性與可靠性。

[1] 趙 銳，鐘 榜，朱祖禮，等.室內定位技術及應用綜述[J].電子科技，2014,3:154-157.

[2] 余 揚，趙凱飛，沈 嘉.室內定位技術應用、研究現狀及展望[J]. 電信網技術,2014,5:46-49.

[3] Marr D, Ullman S, Poggio T A.Vision: a computational investigation into the human representation and processing of visual information[M]. MIT Press, 2010.

[4] 馬頌德.計算機視覺：計算理論與算法基礎[M].北京:科學出版社，1998.

[5] Mass H G, Gruen A, Papantoniou D. Particle tracking velocimetry in three-dimensional flows Part 1. Photogrammetric determination of particle coordinates[J]. Experiments in Fluids, 1993, 15(2):133-146.

[6] Malik N, Dracos T, Papantoniou D. Particle tracking velocimetry in three-dimensional flows Part 2. Particle tracking[J]. Experiments in Fluids, 1993,15(4/5): 279-294.

[7] Hoyer K, Holzner M, Luthi B, et al. 3D scanning particle tracking velocimetry[J]. Experiments in Fluids, 2005,39:923-934.

[8] Holzner M, Liberzon A, Nikitin N, et al. A lagrangian investigation of the small-scale features of turbulent entrainment through particle tracking and direct numerical simulation[J]. Journal of Fluid Mechanics, 2008, 598:465-475.

NewMethodofIndoorLocationCalibrationBasedonBinocularVision

Xing Yabin1,2,Wang Zhenling1,2

(1.The 54th Research Institute of CETC, Shijiazhuang 050081, China;2.State Key Laboratory of Satellite Navigation System and Equipment Technology, Shijiazhuang 050081, China)

With the development of global navigation satellite systems, location based services has increasingly become an indispensable part of our personal and professional lives, as more and more people become accustomed to using positioning technology. With the increasing demand for indoor navigation applications, indoor positioning navigation technology based on multi-visual principles has become the center of many technical research efforts, and has matured throughout the past few years. However, when gas-liquid interface is involved, the linear calibration technique that is currently being used is no longer applicable due to the refraction of the line of sight during the propagation process, and therefore becomes the major technical barrier restricting indoor positioning under special circumstances (such as underwater robot operations). This paper proposes a new calibration method that accurately locates the interface position and corrects the linear pinhole model, which can effectively ensure the accuracy of calibration under the circumstances of gas-liquid interfaces, and make field calibration possible during closed measurement. To verify the feasibility and reliability of this calibration method, this paper conducted numerical simulation. Results show small margin of error and indicates that this method satisfies the calibration accuracy requirements in indoor positioning.

indoor positioning; binocular vision; gas-liquid interface; calibration

2017-07-25；

2017-08-13。

邢亞斌(1992-)，男，河北石家莊人，碩士研究生，主要從事導航定位方向的研究。

1671-4598(2017)10-0281-04

10.16526/j.cnki.11-4762/tp.2017.10.072

TP3

A