基于二維仿射變換的幾何一致性虛實融合

滕嘉瑋，趙 巖*，張艾嘉，王世剛，王曉坤

（1.吉林大學 通信工程學院，吉林 長春 130012；2.空軍航空大學 航空作戰勤務學院，吉林 長春 130022）

1 引 言

增強現實（Augmented Reality，AR）［1］一直是三維顯示領域的研究熱點，將計算機生成的虛擬對象與真實場景相結合，達到增強用戶視覺感觀的效果。AR廣泛地應用于工業、軍事、醫療等領域［2］，近年來也經常出現在春節聯歡晚會的節目中。AR技術在現代生活中扮演著越來越重要的角色，并且不斷改變著我們的日常生活。該技術的核心是虛實融合技術［3］，為了使虛實融合效果更加逼真，需要使虛擬對象與實際場景呈現一致的幾何效果。幾何一致性主要考慮的是場景中真實對象和虛擬對象的遮擋和幾何匹配，增強觀眾在視覺上的真實感。

在AR領域中，解決幾何一致性虛實融合的方法主要分為輔助標記法和輔助設備法［4］。Guo等［1］采用雙通行方案，首先用平行相機實時跟蹤，并允許在掃描過程將重建結果更新并且可視化，然后根據攝像機姿態處理虛擬對象和真實場景模型之間的遮擋，將渲染結果與彩色圖像融合。Liang等［5］提出了一種為ARAS設計的裸手深度感知方法，它可以輸出操作員的手部和虛擬零件之間的正確遮擋。該方法包含一個懸掛在立足點上的深度攝像機，由該攝像機提供了場景的俯視圖，并提出了一種基于深度攝像機的手部分割方法。Güne?等［6］提出了一種無標記的3D AR應用程序，用于人體手臂周圍的虛擬物體試穿。

上述這些方法都是在三維層面上處理模型和場景之間的遮擋和幾何匹配。本文提出了幾何一致性虛實融合算法，討論了真實場景中的人體手臂是否正對攝像機拍攝的兩種情況。在手臂二維圖像上確定腕部的寬度和位置后，計算出虛擬腕表的位置、縮放和旋轉角度，最終通過差分渲染得到虛實融合的結果。為了使結果更加真實同時也考慮了光照一致性［7］。實驗證明在二維層面處理模型，可以更細致、精準地確定虛擬物體與真實場景的幾何關系，使虛實融合結果更真實。

2 虛實融合系統的構成

本文提出的虛實融合系統框圖如圖1所示。首先對場景進行三維重建得到場景三維模型，對場景的三維模型進行分割，分割出手臂區域并計算手腕的位置與寬度。然后，通過差分渲染［8］算法把虛擬物體插入到真實場景中，最后為了虛實融合結果的真實性，對場景進行光照估計，構建了幾何一致性和光照一致性統一的虛實融合系統。

圖1 虛實融合系統框圖Fig.1 System diagram of virtual-real fusion system

3 關鍵算法

3.1 場景模型重建算法

使用Kinect相機［9］拍攝場景得到場景的深度圖像和彩色圖像，采用KinectFusion［10］算法來重建三維場景。在導出重建的場景模型之后，通過蝴蝶細分算法［11］分割場景模型，將場景中的人體手臂部分分割出來。因為需要大量的點的坐標數據，所以將分割好的手臂模型表面的三角面片細分，增加其頂點數量，最后將所有的頂點坐標輸出。

3.2 手腕位置與寬度計算

3.2.1 投影映射算法

當手臂正對攝像機時，手臂的三維模型坐標系中z軸垂直于視覺平面。此時將模型的所有x o y平面向z軸的方向投影，映射的結果就是手臂的二維圖像，如圖2所示。

圖2 手臂二維圖像Fig.2 Two-dimensional image of arm

從圖2可以看出，手臂上的主方向是從手肘到手腕的方向，即水平方向。為了驗證結果的準確性，計算了手臂二維圖像協方差的特征值，發現手臂二維圖像的水平特征值最大，因此得到的手臂二維圖像是準確的。

不難發現手臂二維圖像上因為一些點的缺失或者與其他點重疊，一些垂直列上的點很稀疏。在計算腕部位置與寬度時，這會導致錯誤。因此，刪除所有稀疏點的垂直列，獲得新的手臂二維圖像如圖3所示。

圖3 優化后的手臂二維圖像Fig.3 Optimized two-dimensional image of arm

在圖3中，很容易找到手臂二維圖像每列的上邊緣和下邊緣上的點。上邊緣的點記為Yupper，下邊緣的點記為Ydown。因為這些點是離散的，上下點不嚴格匹配。因此，計算每列的長度為：

其中：x=2，…，N-1；j=i-1，i，i+1，第i列的長度值是3條線的最大值。通過每一個下邊緣點與其對應的3個上邊緣點之間的長度來計算腕部的長度。在獲得不同列的長度之后，最短的長度被視為手腕的長度，可通過以下公式得出：

其中：Loc是計算得出的腕部寬度，相應的x值可以確定哪根立柱是腕部位置。

3.2.2 仿射變換算法

手臂與攝像機成一定夾角，按照3.2.1的方法得到的手臂二維圖像如圖4所示。

圖4 不正對攝像機的手臂二維圖像Fig.4 Two dimensional image of arm not facing camera

由圖4可以看出，手臂的二維圖像不方便直接計算出手腕的位置與寬度，所以需要對手臂的二維圖像進行仿射變換。

仿射變換［12］是在幾何上定義為兩個向量空間之間的一個仿射變換或者仿射映射，由一個非奇異的線性變換［13］（運用一次函數進行的變換）并接上一個平移變換組成。這里使用仿射變換（或2D仿射變換），主要包括旋轉、平移和縮放等。該變換結果仍然保持二維圖像的平坦度，即直線上的點仍然在直線上，點的位置順序保持不變，二維圖像的相對位置不變。

任何仿射變換都可以表示為矩陣與向量的乘積，然后通過齊次坐標將這兩部分結合起來，矩陣平移公式為：

然后假設矩陣旋轉角度為α角，則坐標的仿射矩陣為：

類似地，假設縮放因子為s，則坐標的仿射矩陣為：

因此，需要根據上述算法優化手臂的二維圖像。求出圖4中手臂二維圖像上所有點的坐標，然后計算將其轉到面向相機的手臂二維圖像的旋轉角度。經過計算可得旋轉角度為π/3，旋轉后手臂的二維圖像如圖5所示。

3.3 坐標系統一算法

因為真實場景中物體的坐標系和虛擬物體的坐標系存在差異，所以坐標系的統一有利于虛實融合。在手腕位置的中心點處建立了第一個坐標系，同時在虛擬腕表的表盤處建立了第二個坐標系，需要通過坐標系的旋轉和平移將兩個坐標系統一［14］。

圖5 旋轉后的手臂二維圖像Fig.5 Two dimensional image of arm after rotating

矩陣旋轉有3個，分別繞x軸旋轉，繞y軸旋轉，繞z軸旋轉。其中，繞x軸旋轉的旋轉矩陣為：

其中θ為旋轉角度。

同理，可以得到繞y軸旋轉和繞z軸旋轉的旋轉矩陣：

如果有一個旋轉可以表示為依次繞著3個旋轉軸旋轉3個角度的組合，那這3個角度可以稱之為歐拉角，3個軸的旋轉次序不同，得到的結果也會不同。例如，常用的AR軟件Unity3D中歐拉角的旋轉順序就為Z Y X，所以旋轉順序很重要。

通過歐拉角旋轉將兩個坐標系統一。由歐拉角求旋轉矩陣時，設3個軸的歐拉角分別為θx，θy，θz。正弦值和余弦值分別為sx，cx，sy，cy，sz，cz，那么旋轉矩陣為：

解上述旋轉矩陣可以逆向求得3個歐拉角，分別為：

其中rij是旋轉矩陣中的元素值，i，j=1，2，3。由此就可以得到坐標系3個坐標軸各自的旋轉角度。

3.4 差分渲染算法

為了自動地將虛擬物體與真實場景相融合，采用了差分渲染算法。

3.4.1 虛擬對象的插入

為了在獲得的圖像中插入虛擬對象，實現場景的幾何一致性，在場景中放置一個虛擬對象，場景中的一些像素會被虛擬對象遮擋。虛擬對象也會影響未被遮擋的像素，當虛擬對象在場景中投射陰影時，插入對象周圍的局部區域將變暗。Debevec等［18］將該區域稱為“局部場景”，并使用微分方法渲染該區域。

在給定的場景光照和相機參數下，對有合成對象和無合成對象的虛擬局部場景進行渲染，得到圖像IO和IN。這兩個圖像之間的差異揭示了插入的對象對場景的影響。該改變被添加到原始圖像IF以生成合成圖像IΔ：

差分渲染要求在虛擬局部場景中渲染虛擬對象，并將虛擬局部場景與真實場景調成一致的像素。然而，因為虛擬局部場景的像素強度可能在每一個圖像之間發生變化。通過相機進行自動曝光校正，虛擬局部場景的顏色強度會發生變化。所以插入虛擬物體后，插入前后圖像的像素強度會不一致。為了克服這個問題，計算得到：

其中SO和SN分別是具有和不具有虛擬對象的渲染無紋理場景。它們的比率顯示插入虛擬對象導致的像素變暗程度。

如果原始場景中的某個區域被插入的對象遮擋，便將它替換為虛擬對象中的像素。通過在相機坐標系中比較場景像素和對象像素的深度來確定這些區域；如果插入的對象離攝像機較近，IO中的像素將復制到IC。

由于攝像機的運動，初始場景圖像可能會模糊。為了產生更具說服力的結果，虛擬對象也應根據攝影機的移動進行模糊。當在時間t處合成圖像IC時，收集多個樣本，樣本時間t=t-Δt其中Δt∈[0，]1，通過對樣本時間t'處合成的圖像進行平均來獲得最終合成圖像Ic，t：

式中IO，t'，SO，t'和SN，t'的定義與式（10）和式（11）中的IO，SO和SN相同。在樣本時間t'進行渲染并計算t'處的相機姿態。IF，t是輸入圖像。Mt'是一個值為1的二元掩膜，其中插入的對象在時間t'和其他位置為0的地方開始遮擋原始場景。這可以反映出虛擬對象隨著場景的移動而移動，從而使整個場景更加連貫。

3.4.2 陰影檢測

如果光源被其他對象阻擋，則投射的陰影可使其他陰影變形。如果能計算出有多少光線被遮擋，就能消除陰影。如果場景幾何體和照明可用，通過式（13）確定每個點被遮擋的光線數量，即：

需要通過忽略可見性項V（V表示來自光源的光按照正常照射方向照向物體表面）來計算它在沒有遮擋的情況下接收的光線數量。忽略可見性項V后，式（13）變為：

當S(x)和S'(x)分別測量到達x的光線是否有遮擋時，S(x)/S'(x)表示光線在x處無遮擋的程度。為了去除陰影，將每個像素I(x)除以S(x)/S'(x)的值以補償陰影。然而，該值可能不準確，某些區域會被過度校正，而其他區域仍然太暗。為了克服這個問題，本文生成一個閾值為S(x)/S'(x)的陰影遮罩，并使用掩膜區域中的局部照明變化來調整其外觀。

由于本方法中在插入對象和陰影檢測的同時也考慮了場景中的光照影響，所以在場景中對虛擬物體進行了光照估計［15-19］。

4 實驗結果

4.1 手腕位置與寬度確定

采用式（2）來確定手腕位置和寬度，通過計算手臂二維圖像上每一列的上下邊緣點的差值來計算每一列的長度，得到的結果如圖6（a）所示，此時計算出的長度曲線圖很不規則，很難處理。考慮到手臂二維圖像上存在邊緣點缺失的問題，將每一個下邊緣點與它對應的上邊緣點和其左右相鄰的兩個上邊緣點連線，計算3條線的長度，得到的結果中取最長的一條線作為這列的長度，最終的長度曲線如圖6（b）所示。

圖6 確定手腕位置與寬度實驗結果Fig.6 Experiment result for determining wrist position and width

由圖6可以看出，手腕的位置在橫坐標（表示列數）279處，寬度為對應的縱坐標66，用白線標記出來，如圖7所示。

圖7 白線標記手腕位置Fig.7 Wrist position marked by white line

4.2 虛實融合

通過3.3中坐標系統一的算法將坐標系旋轉的3個歐拉角計算出來，再通過差分渲染算法，結合計算出的虛擬物體旋轉角、位置坐標和縮放將對象插入到真實場景中并進行渲染［20］，虛擬腕表模型以及插入虛擬物體后場景的初步融合圖如圖8所示。

圖8 插入虛擬腕表模型融合Fig.8 Fusion image of virtual watch model on arm

為了使融合結果更加真實，采用基于全局照明模型的光照估計算法［17］對場景加入了光照估計，結果如圖9所示。

將計算得到的手腕寬度與實際手腕寬度比較，將虛擬腕表旋轉角度和位置點與實際的腕表旋轉角度和位置點比較，然后進行誤差分析，結果如圖10和表1所示。把計算得到的手腕寬度與在手腕處4次測量得到的寬度相比較，可以看出計算得到的數據在誤差范圍內。

表1為計算得到的虛擬腕表的3個坐標軸的旋轉角度和坐標原點的坐標與實際測量得到的結果，誤差控制在4%左右。

為了驗證結果，按照文獻［7］的方法，使用計算機檢測手腕姿態，在骨架提取之后確定了手腕點，通過四元數算法旋轉虛擬物體，得到虛擬物體的旋轉角度（x，y，z）為(-30°，163°，47.5°)。最后通過渲染RGB得到融合圖，如圖11所示。與圖11的誤差分析結果中虛擬物體的旋轉角度相比，本文的計算精度提高了15%左右。

圖9 虛實融合結果Fig.9 Result of virtual-real fusion

圖10 手腕寬度計算誤差分析Fig.10 Error analysis of wrist width calculation

圖11 文獻［7］的虛實融合結果Fig.11 Result of virtual real fusion in reference［7］

文獻［7］中，通過Kinect深度相機的骨骼點提取，確定出手腕的骨骼點位置，經過實驗發現，該方法只有人在深度相機視野內，并且要距深度相機特定的距離，所以具有局限性。在虛實融合部分文獻［7］采用的是四元數算法，沒有實際考慮到虛擬物體真實的體積，所以手表和手腕的融合幾何一致性不夠好。

表1 坐標系旋轉角度和坐標原點位置比較Tab.1 Comparison of coordinate system rotation angle and coordinate origin location

5 結 論

本文提出了一種幾何一致性的虛實融合方法，并結合光照一致性，實現了具有幾何一致性和光照一致性的虛實融合系統。該系統使用Kinect重建場景三維模型，使用三維到二維的方法處理手臂，并采用一種基于空間的變換方法來提高精度。最后，使用差分渲染將虛擬對象準確地插入到真實場景中。實驗結果表明，經過本文方法確定手腕的位置與寬度，其誤差在實際測量的數據范圍之內，得到的手表坐標系的旋轉角度和位置與實際測量結果的誤差在4%，且融合效果提升了15%左右。