基于固定式相機對動態目標跟蹤的三維重建

匡文彬 ，梁文章 ，陳姝 ，林敏

（1.湘潭大學信息工程學院，湖南湘潭 411105；2.廣西卡斯特動漫有限公司，廣西南寧 530007）

通過圖像重構出逼真的三維場景來豐富數字城市和虛擬現實等領域的應用是計算機視覺等領域一直關注的熱點問題，通過圖像進行三維重構有通過圖像采集器（如激光掃描、Kinect等）采集深度圖像進行三維重構[1]和通過圖像序列進行多視圖幾何運算來實現三維重建[2]。通過普通攝像設備拍攝的圖像序列進行三維重建是比較便捷經濟的一種三維重建方法，但是缺點也是很明顯的，容易受外界的影響，重構條件比通過深度圖像采集器重構要苛刻一些。但是由于普通攝像設備現階段使用人口占比重大，所以通過普通攝像設備進行三維重建有更廣泛的使用場景。使得真實場景三維建模過程更加自動化，降低建模相關人員工作量，減少了真實場景建模成本。

通過圖像序列對靜止的物體進行三維重建的方法有很多，常被用來進行文物保護和地形構造和逆向工程等，但是對動態物體進行三維重建的研究卻很少。諸如現實生活中行駛的車輛，行人的臉部，航行的巨輪，飛行的飛機等，對這些運動的物體進行三維模型重構使得可視化更強或是擴展用途也是尤為重要，而獲取這些圖像信息除了家中的相機和人們手中的手機之外，就是道路上隨處可見的監控攝像了。監控攝像作為一種能收集到大量的視頻圖像信息的的設備，卻少有方法能對這些采集到的海量的數據進行三維化處理，使收集到的信息可視化效果更強，擴展圖像信息運用范圍。然而與可移動攝像設備不同的是，監控攝像屬于固定式攝像設備，不能主動去拍攝想主觀上想得到的圖像信息，只能被動式接受圖像信息，這也造成了固定式攝像設備三維化圖像信息的某些局限性。但是，監控攝像作為一種長期固定的采集圖像信息的設備，更加容易在某些重要的場合中采集到人們主觀想得到的圖像信息，不容易漏掉某些圖像信息。而普通的相機或者手機等信息采集設備就沒有這種優勢。

研究了一種基于固定式相機對動態目標的三維重建，使用了動態目標提取和目標跟蹤算法[3]提取目標圖像區域，并采用GMS特征匹配算法[4]進行圖像特征匹配，將傳統的三維重建拓展應用到更多的攝像情形，無需如Kinect等專業立體視覺成像設備，使用固定式的攝像設備就能對動態目標物體進行三維重構.對固定式圖像采集設備采集到的圖像信息增強可視化的同時，也為動態目標重建提供一種新的解決方法。

1 固定相機重構原理

目前大多數的三維重構所使用的從運動恢復三維結構（SFM，Structure From Motion）算法[5]，所使用的場景都針對的移動相機。通過移動相機位置姿態來對靜止物體進行多方位拍攝進行三維場景重構，通過可移動相機所拍攝圖像進行場景三維重建已經應用到多個方面，比如無人機，機器人等[6-7]。然而卻沒有針對固定相機進行三維重構，然而固定相機的遍布也是極其廣泛，比如各種監控系統。從固定相機中恢復物體的三維結構也是從物理學中針對物體的運動的相對性引出（即固定攝像機位置拍攝移動物體恢復運動中物體的三維結構）。如下圖。

假設實際上的運動為如圖1（a）中小方塊從位置a移動到位置b，而攝像機位置c是固定的，而根據運動的相對性可認為的運動關系為如圖1（b）中的運動方式，即可認為是攝像機從位置c移動到位置d。

圖1 固定相機分析

設位置a、b、c、d位置的攝像機坐標系分別為Xa，Xb，Xc，Xd，并且假定 a 位置為世界坐標系，根據計算機視覺中的多視圖幾何[8]可知，在圖1（a）中，

式（1）表明b、c位置與a位置（指定的世界坐標系）之間的位置姿態關系，聯立解得

式（3）表明了b、c之間的位置姿態關系。又根據圖1（a）中a與c的位置姿態關系式子可得

式（3）（4）聯立可得d將這種關系聯系到圖1（b）中

即式（5）表明了位置d與位置c之間的位置姿態關系。即原本是由圖1（a）中物體從a運動到b位置c位置固定，轉換成了如圖1（b）中攝像機從位置d移動到c而物體固定在b位置。通過上面的推導可以得知，原本攝像機固定，而物體在運動的情況，可以轉換成攝像機運動而物體固定的情況。從固定相機所拍得的多幅視圖依據極線約束求得虛擬的相機移動位置姿態，從而接下來的三維重構工作。

2 動態目標提取與目標跟蹤

從上節知道了可以從固定相機得到的視圖進行三維重構，但是現實生活中大多數情況下的固定式攝像設備所得到的序列圖像是不能得到虛擬的相機移動姿態，其原因在于在所得到的序列圖像中，運動的物體常常不會只有一個，這些運動物體的運動性質常常是不一樣的。如果在多個物體運動的情形，那么每一個運動物體需對應一個虛擬的相機運動軌跡。為了解決這個問題，引入動態目標提取和目標跟蹤技術，分割出動態的物體和背景，即不管背景如何改變，只關注動態目標物體的信息，對感興趣的動態目標物體進行三維重構，如此以來分割出的圖像只會對應一條虛擬的相機移動軌跡，沒有其他的背景因素干擾，因此，固定相機對動態目標進行三維重建的整體流程圖如圖2所示。

背景減除是提取前景對象預處理最常用的方法之一。當有完整靜止的背景圖像對象時候，可以用幀差法來計算兩幀之間每個像素之間的差值從而得到大致的目標前景。通常而言，可能獲取不到這樣理想的背景圖像，所以就只能利用已有的圖像信息中計算得到背景圖像信息。目前常用的有MOG 算法[9]，MOG2 算法[10]，GMG 算法[11]。本文使用的是MOG2方法，該方法對每個像素選取合適數目的高斯分布，具有對光照變化有更好的抗干擾能力。得到了背景圖像就可以計算當前圖像幀與背景圖像之間每個像素的差值，定義在i時刻獲取的圖像與背景圖像之間的差值圖像為

其中h0表示為背景圖像，hi表示為i時刻獲取的圖像，x，y表示像素位置，di表示差值圖像，ω為閾值，一般取10～30。

差值圖像中包含了i時刻圖像相對于背景圖像中運動物體的位置信息，但是因為光照等因素也會讓圖像中包含許多椒鹽噪聲，需要對圖像再進行中值濾波處理來降低椒鹽噪聲的影響，然后再對圖像進行開運算和閉運算，開運算是先進行腐蝕在膨脹操作，可以平滑物體的輪廓并且消除小的亮點。閉運算是先進行膨脹然后再腐蝕操作，可以用來消除小的暗點，開運算和閉運算都是用的是5*5的結構元素。經過上述處理后的圖像就有了運動物體的大致輪廓如圖3（c），可以看到對于目標物體還有較大的空洞，這時選擇使用多邊形擬合連通域處理，擬合出動態目標的區域，如圖3（d）所示，根據掩碼圖像可以得到最終的動態目標的完整區域。

因為通常固定式攝像設備拍攝到的動態物體可能不止一個，而需要從多個動態目標中分割出目標，可以SAMF目標跟蹤算法[3]來，該算法基于KCF[12]，卻是具備有多尺度自適應的特點，算法是在多尺度縮放的圖像塊中通過平移濾波器對目標進行檢測，選擇響應最大的平移位置與尺度。提取出圖像中的動態目標物體之后，可以得到最終的動態目標物體如圖3（f）。

圖3 動態目標提取與目標跟蹤

圖3（a）為實驗室中使用固定設備固定手機對兩個動態物體進行拍攝，模擬固定式相機在多動態目標下的情形。而兩個動態物體的運動軌跡是不同的，因此兩個運動物體所對應的虛擬相機運動軌跡也是不一樣的，所以采用目標跟蹤技術跟蹤我們想要得到的單個運動目標。在跟蹤的同時，消除背景對重構的影響，對于靜止的背景而言，相機的姿態是不變的，如果想要從序列圖像中重構動態物體，就需要消除背景對計算虛擬相機軌跡的影響。

如圖3（f）所示，經過背景分割和目標跟蹤后的圖像僅僅只含有目標物體的圖像信息，經過處理后的圖像既保證了原有攝像機內部參數不變的情況下，又有效消除了背景和其他動態物體對估計虛擬相機移動軌跡的影響。

3 特征點的提取與匹配

特征點的提取與匹配作為三維重構當中的第一步，大量的正確的特征點對計算結果的影響尤為重要。經過圖像分割之后的目標圖像只能通過物體自己本身的特征點來進行特征點的提取與匹配，在這種情形下，普遍所用的根據SIFT特征點來進行特征點的提取與匹配往往已經滿足不了目標圖像分割后圖像。

根據WYD Lin等人的文章所說[13]，缺乏特征匹配數量并不是因為正確匹配對的數量少，而是在于很難分辨這些特征匹配對正確與否，就如通過背景分割和目標跟蹤后的圖像，即使缺乏了部分的圖像信息，但是特征匹配對的數量還是不會特別少。目前的多數特征匹配算法，高精準度的匹配花的時間多，而匹配快的算法往往不穩定。本文采用基于網格運動統計（GMS）[4]的方法進行特征點的匹配，GMS是一種高效的基于網格的分數估計方法并且能實時特征匹配，它把一般的運動平滑約束問題轉為統計測量匹配對來去除錯誤匹配對。并且比傳統的SIFT[14]，SURF[15]和 Harris[16]有更好的特征匹配效果。GMS匹配方法可以將高數量匹配轉變成為高質量匹配。

正確的匹配對鄰域，對應相同的3D區域，從而在兩幅圖像之間共享許多相似的特征。這導致鄰域里有許多匹配對去支持這個正確匹配對成立。從而可以得到一個點運動統計值（即鄰域中支持這個點匹配的個數）在正確和錯誤匹配情況下的的概率分布，分析這兩者之間的分布差異，從而提高分辨正確匹配和錯誤匹配的能力。

定義圖像對{Ia，Ib}各自有{N，M}個特征點，χ={w1，w2，wi，…，wN}是從圖像 Ia到圖像 Ib中所有點最近的特征匹配，又定義{a，b}為圖像{Ia，Ib}所分割出來的子區域，并且在兩個子區域中各自擁有{n，m}個特征點。vi為第i個特征匹配，fa為在圖像Ia部分區域a中的一個特征，Tab為區域{a，b}表示的是同一位置，Fab為{a，b}表示的是不同位置。表示fa的匹配的是一個正確的匹配表示 fa的匹配是錯誤的匹配為最近的一個特征是在b區域中。

β的引入是為了彌補假設所造成的影響，因為可能在有些情況下錯誤的匹配并不是一個隨機分布，當β為1的時候，即表示正好滿足錯誤的匹配是服從一個隨機分布的。pt表示的是已知ab區域表示的是同一位置的時，區域a中的一個點匹配從a到b的可能性，也就是當點的匹配是對的話，那么旁邊的點支持它的概率大小。

pf表示ab區域表示的是不同位置的時，區域a中的一個點匹配從a到b的可能性，也就是當匹配是錯誤匹配的情形下，那么旁邊的點支持它的概率大小。可知pt是接近t的數字，而pf是接近0的。這兩者之間的差距是較大的，為了將這種差距拉的更大，我們將{a，b}周圍的區域也考慮進去，即如圖4，把{a，b}鄰域考慮進來則有一個包含{a，b}的一個網格。

圖4 {a，b}的領域參與運動評分評估

Si表示匹配對wi根據鄰域所計算得到評分也是運動統計值，即為在區域{a，b}及其鄰域對{ak，bk}中的匹配對個數。

至于為什么將a與b鄰域考慮進去會將這種差距拉的更大，因為考慮到

根據Si的分布，引入P來表示對正確匹配和錯誤匹配進行區分的一個區分能力評分

P為Si兩個分布的均值的差比上兩個分布的標準差的和，P的值越大，表示對的匹配和和錯的匹配之間的差異越大，區分正確匹配和錯誤匹配的能力越好。區分正確匹配和錯誤匹配的問題就轉化成為設計一個算法來最大化P。已知，即我們考慮到a中的點越多，那么我們對的匹配與錯誤匹配的差異也就越大，所以我們將a區域擴展為包含a的鄰域的3*3網格的區域。參見圖4，此時的Sij為

τi是基于第i個特征是錯誤匹配的運動統計值的分布而來的經驗值，試驗中α=6。

GMS的算法流程如下

（1）對每幅圖像進行特征點的提取得到描述算子，對Ib中的每一個特征點在Ia中找到最近的作為匹配對，之后在將兩幅圖像各自劃分G（20*20）個網格

（2）以Ia中的某個格子i作為待匹配項，對Ib中的G個的格子循環查找，通過計算χij找到Ib中最為相似的格子區域j。

（3）計算 Sij和 τi，如果 Sij大于閾值 τi，則將 χij中匹配對歸為可靠的匹配點集合中；

（4）循環（2）（3）步驟，直到Ia中的全部格子找完。

GMS的方法核心思想就是：將圖像分割成若干個網格區域，運動的平滑性使得匹配的特征點周邊區域有較多的匹配點，通過統計領域中匹配點數量來判斷一個匹配項是否正確。

可以得知GMS方法能比SIFT+RATIO TEST有更好的結果，從匹配結果數量和匹配結果的正確程度上看，GMS遠遠優于SIFT+RATIO TEST，更多的結果比對參考邊佳旺的結果[4]。由于對于三維重建中，特征點的匹配精準度要求比較高，因此還需要對GMS匹配得到的結果再進行隨機采樣一致性操作（Random Sample Consensus，RANSAC）[17]。所以我采用的是ORB+BF+GMS+RANSAC的模式，而采用RANSAC的目的是進一步消除錯誤的匹配對，從圖5（b）和圖5（c）的結果看來，加入 RANSAC 的匹配有更好的魯棒性，而GMS選取的較好匹配對也是便于RANSAC能夠得到更好的結果。

圖5 各種特征點匹配對的方法比較

4 點云重建

由對極幾何[8]可以知道，當求出兩幅視圖間的基本矩陣F[8]或者本質矩陣E[8]時，就得到相應兩幅視圖間的位置姿態關系，可以利用已經得到的特征匹配對和五點算法[18]來求解兩幅視圖間的本質矩陣E。五點算法對平面或者近平面的場景比傳統的七點法或者八點法有著更可靠的計算結果。然后對剔除偽解后的本質矩陣進行奇異值分解計算可以得到旋轉矩陣和位移向量，至此也就估計出兩個相機間的旋轉和位置變換關系。采用線性三角化算法計算特征匹配對的空間坐標，至此也就恢復出兩幅視圖間的特征點對的三維信息。

由于度量尺度不統一（up-to-scale）的原因，并不能使用雙目三維重建同樣的方法去處理多視圖三維重建。引入透視N點法（Perspective N Point，PNP）將雙目三維重建拓展到多視圖重建三維場景。有很多關于透視N點法的研究，如P3P、P4P、P5P[19-20]等。但為了提高重構算法的魯棒性，一般使用多于4個特征點的算法來解決實際應用中的問題。PNP算法大致通過求得前兩幅圖像中的特征點的三維坐標以及這些空間點在第三幅圖像中的像素坐標位置來計算估計第三幅視圖拍攝時的位置姿態。并類推到更多視圖的三維重建。

伴隨著重構視圖的增加，通過計算得到的表示相機位姿信息的旋轉矩陣、位移向量和三維點云信息累積的誤差會越來越大，會導致重建結果與實際偏差較大，故引入非線性優化算法光束平差法來優化相機的內外參數以及特征點的三維坐標數據。算法使用最小二乘法減小圖像中觀測點像素坐標與預測的像素坐標之間的誤差，原型表示為式（14）

x是待優化的相機內外參數，c是代價函數，L是損失函數。對于重構過程中的優化調整，代價函數為點云中三維點通過相機內外參數計算投影到圖像的像素坐標與該三維點所對應實際像素坐標之間的差值，由于c的返回值為一個表示誤差的向量（圖像齊次坐標差值），故取該向量的2范式作為總體的代價。而最小化這個誤差則可視作是一個優化相機內外參數和點云數據的過程。設Ki，[Ri|Ti]分別表示圖像i的內參矩陣和外參矩陣[8]，點云中某點三維坐標為Pj，并與之在圖像上對應像素坐標，投影誤差則表示為式（15）

Pj和都是齊次坐標表示的三維點和二維點，其中π是投影函數，表示三維點投影到圖像上的位置，并且返回值也是二維點的齊次坐標形式，有

引入損失函數L是為了降低離群點對優化算法的影響，如果不使用損失函數則L（x）=x，此時總體代價會隨誤差以二次冪的速度增長。為了讓這些誤差較大的點對總體代價有一個較好的引導作用，使用Huber函數作為損失函數來重映射加強優化算法的魯棒性。

經過上面的流程，可以得到有關相機虛擬運動軌跡（即每個相機的位置姿態），并且得到相對稀疏的點云，接下來需要對稀疏的點云進行稠密化，使用Yasutaka Furukawa等人提出的CMVS算法結合PMVS2算法[21]對目標物體進行稠密點云的重構，首先使用CMVS算法將輸入圖像分解為更容易處理的圖像簇，使之能更好并行處理來減少稠密點云重建的時間，然后使用PMVS2多視角立體視覺算法得到目標的準確并密集的點云。PMVS2是一種基于面片的多視角立體視覺算法，算法大體上流程為特征點匹配，點云的擴展和點云的過濾，循環點云擴展和過濾過程三次得到最終的稠密化的點云。

5 Poisson表面重構與紋理映射

PMVS2算法生成的點云僅僅包含了重構物體的部分特征點的三維信息，若想增強重構的可視化效果就需要對點云進行三角網格化來得到物體的三維表面并生成其可觀測的模型。直接對散亂無序點云進行三角網格化生成的模型觀測效果顯得物體毛糙且尖銳，只適用于點云空間密度均勻且點云數據連續光滑的情形。針對散亂無序點云而言，Poisson表面重建[22-23]是一種快捷高效的將點云數據轉換成曲面的隱式曲面重建方法。該方法重構出的模型表面平滑連續且對噪聲具有一定的魯棒性，能較好的擬合出物體的表面輪廓，更符合人的直覺觀測效果。

想要獲得帶有顏色信息的目標模型就需要對Poisson重構出的網格模型進行紋理映射，這樣可以得到更具真實感的三維模型。使用紋理擇優算法并批量對三角網格模型進行紋理映射。可知模型的三角網格中的某些三角面在多個視圖中可見，并且由于光照等其他因素可能會造成目標物體同一位置在不同的視圖中紋理顏色有所差異。因此防止在某些局部網格會因為不同的三角面在不同的視圖選取了部分紋理而造成紋理不連續或者與實際物體顏色差距較大導致的觀測效果不佳的影響，紋理擇優算法首先考慮到以一幅視圖作為模型主要的紋理貼圖（可人工認定，如無人工認定則默認輸入圖像第一幀），剩下的視圖依次按與主圖的距離依次對模型進行再豐富。這樣生成的帶紋理的三維模型才會有較為良好的觀測效果。

圖6 視角分析

設三角網格中某三角面的可見面法向量為N（朝外的方向），各視圖拍攝方向向量為vi，并設N和vi之間的夾角為θi，可知N與vi之間的夾角越接近180度表示映射形變越小，為了確保模型觀測效果，僅當滿足120°＜θi＜180°時才認定第i幅視圖能作為該位置的候選紋理視圖，至于該位置具體選用哪幅視圖來賦予紋理信息則還依據選取哪幅視圖作為主要紋理貼圖的視圖和與候選紋理圖像與主要紋理貼圖圖像的距離來決定。

重構出的三維模型表面在各個圖像中分為可見區域和不可見區域，因此還需要對模型網格的三角面在每個視圖中進行可見性的分析，讓候選紋理視圖只對可見的三角面進行紋理映射。引入相機針孔模型，設第i幅候選紋理視圖的內參矩陣和外參矩陣分別為Ki和[Ri|Ti]，圖像坐標pi（齊次坐標）所對應的點云三維坐標為X（非其次坐標），si為比例因子，則有投影公式如式（17）

根據式（17）可以計算得到點云中的某三維點X所對應于候選紋理視圖中的像素坐標。僅當計算得到的像素坐標pi位于候選視圖的圖像范圍內可見，則將pi所在像素坐標的顏色信息賦予三維點X作為紋理信息。

6 實驗結果與分析

采用的實驗環境：Inter（R）Core（TM）i5-4590 CPU 3.30GHz，4GB 內存，Windows 10 操作系統，C++編程語言。

圖7為固定手機相機拍攝多動態物體的的圖像，所使用的是華為榮耀7i，已經經過張正友提出的標定算法[24]標定出相機的內部參數。圖7至圖9為模擬在固定相機情形下對動態目標進行三維重構的過程。相同的輸入圖像在VisualSFM[25]下不能成功估計出相機的位置。原因是因為豐富的背景特征點并且這些背景特征點具有很高的正確匹配程度，被認為是拍攝的同一位置，從而不能三角化生成點云。圖8（a）的稀疏點云重建表明了本文方法成功計算出了相機的模擬運動軌跡，估計出了每幅視圖中對應目標的虛擬相機的位置姿態，說明了在僅靠目標物體本身的圖像信息也能通過本文采用的GMS+RANSAC方法對分割后的圖像提取特征點對是能夠有效的提取足夠的特征點對來輔助計算計算機的位置姿態，并對多視圖進行特征點對三角化得到點云，有了初步的可視化效果。圖8（b）稠密點云重建的可視效果更強，點云的結果也表明了相機姿態估計的正確性。圖9是用本文對動態目標提取與跟蹤處理后的圖像作為VisualSFM輸入圖像對目標進行三維重構，可以看到圖9（a）中的點云較為稀疏，是由于缺少可靠的匹配特征對才會出現這種情況，原因是圖片缺少紋理信息導致VisualSFM中默認使用的SIFT特征提取匹配方法缺少足夠的匹配對，如果圖片的紋理再少一些可能導致VisualSFM對圖像匹配結果的錯誤判斷。而如圖8（a）中本文的使用的特征點的提取和匹配方法則對紋理信息量少的情形有更好的表現效果。圖9（b）是使用VisualSFM的輸出作為輸入來進行的稠密點云重建，這也證明了固定相機重構原理的正確性，并且使用本文對動態目標提取與跟蹤處理能夠對動態目標進行三維重構可行性。但是可以看到不同算法估計出的攝像機投影矩陣對重構的影響，可以看到圖9（b）較圖8（b）有更多的噪聲面片。，部分原因是因為相機位置姿態估計的誤差所造成的，當計算得到各個相機的投影矩陣時，PMVS所使用的利用極線來進行特征點匹配方法會錯誤將某些特征點認為是正確的匹配對。圖10是對稠密點云進行poisson表面重建并且進行紋理映射后的結果，也有了更強的可視效果，更加的逼真的模型。通過實驗結果可以證明通過本文的方法可以實現通過固定相機可以實現對目標動態物體實現較好的三維重構。

圖7 輸入圖片

圖8 本文方法點云重建

圖9 VSFM對動態目標提取與跟蹤處理后的圖像進行重構

圖10 poisson重構與紋理映射

7 結束語

針對運動物體重構困難的問題，采用基于固定相機所拍攝的圖像對動態目標提取與跟蹤對運動目標物體進行提取，然后采用GMS+RANSAC特征匹配方法得到的特征匹配對運動目標進行三維重建。本方法不僅對動態目標物體三維重建提供一種新思路，也擴展了如監控系統等固定式攝像設備的用途。實驗結果也表明使用動態目標提取與跟蹤能有效對動態目標進行三維重構，并且使用GMS+RANSAC方法能有效減小提取運動物體后圖像可能造成的特征匹配對數量不足的影響，使最后生成的模型更加精準，紋理更加豐富，觀測效果更加逼真。