用于弱紋理行李三維重建的立體視覺系統

廣東機場白云信息科技有限公司系統集成中心 李 濤

現有的立體視覺系統對于弱紋理對象三維重建十分困難，因此本文提出了一種用于增強弱紋理對象表面紋理質量投影圖像生成算法和自適應窗口立體匹配算法。首先根據立體匹配算法的原理，提出一種紋理質量增強圖像生成算法，將該算法投影到弱紋理對象上，使得表面形成高強度的的紋理分布；然后基于梯度積分方差提出了自適應窗口的立體匹配算法，該算法首先計算左相機的積分圖像，并根據梯度積分方差的大小確定匹配窗口的紋理質量，自適應的調整匹配窗口的大小，通過遍歷整幅圖像得到稠密的視差圖。實驗結果表明：該視覺系統能夠準確可靠的恢復若紋理對象的深度信息，其相對誤差為0.075%，且重構點云質量和精度均高于Intel RealSense D435、Orbbec Astra S以及MYNT D1000等設備。

自助行李托運系統已廣泛應用于各大機場，該系統需要對旅客投放的行李進行自動檢測，并判斷其尺寸和形狀是否符合托運要求。在目前三維信息采集方案中，三維激光掃描儀造價較高，線激光造價高且掃描速度較慢，傳統立體視覺方法對弱紋理對象的三維建模精度角度，其穩定性和可靠性不高，均不適用于自助行李托運系統的技術或價格要求。因此，弱紋理行李的紋理增強和可靠的三維重建方法，對于解決航空行李的三維信息采集問題具有重要意義。

立體視覺測量技具有視場大、精度高、信息豐富等優點，因而廣泛地運用于機器人導航避障、農業生產、建筑測量和臨床醫療等方面。稠密的視差圖估計利用立體視覺進行目標場景三維重建的前提條件。目前相關的大部分研究工作重點都是圍繞稠密視差圖估計精度展開的，也有公認的統一測試平臺。立體視覺稠密視差估計算法可分為局部方法和全局方法兩類。局部方法通過在特定的區域內對匹配代價求和或取加權均值實現稠密視差估計，這類算法簡單且復雜度低，由于僅僅考慮局部代價計算和積累，容易產生歧義性。全局方法是將圖像匹配問題轉化為像素視差值標記問題，通過建立全局能量函數，求得使其最小化的視差估計，這類算法的匹配精度較高，但是由于求解全局能量函數過程的計算資源消耗過大，不適用于實時處理的場合。

上述稠密匹配算法僅僅適用于紋理較為豐富的場景，而在實際的場景中往往會出現弱紋理甚至無紋理的重建對象。僅僅依靠自然特征重建往往會很困難，因此為了增加空間的紋理信息，通常需要借助投影儀向被測目標投射出編碼圖案，在重建目標表面形成唯一性較好的紋理。隨機數字散斑、激光點陣以及特殊編碼圖案最為常用。投影隨機數字散斑圖案的方法，簡單易行，應用廣泛。但是由于其隨機性，會造成一定概率的誤匹配，這增加了重建的不確定性。于爽等在《雙目立體視覺中的編碼光圖像主動特征匹配方法》文中采用投影格雷碼的方法對靜態物體表面進行三維重建，其重建精度較高；s.y.chen采用基于M-陣列模板的空間域編碼方法，集中多種編碼信息在投影圖像中，投影到目標表面后，進行實時的三維重建。但是，這兩種編碼方法所需的精密光學儀器造價較高，不適合工業上的大范圍應用。

基于上述文獻的啟發，提出了一種局部唯一性編碼圖像生成方法，用于增加航空行李表面紋理信息，為了恢復行李完整的表面深度信息，提出了一種基于積分圖的自適應窗口匹配算法。實驗裝置示意圖如圖1所示，在立體視覺系統中加入投影裝置，向目標表面局部唯一性編碼圖像，然后通過雙目相機同步采集行李圖像，采用自適應窗口匹配算法恢復行李表面深度信息。

圖1 自助行李托運系統及立體視覺系統示意圖

本文第2節介紹了約束隨機編碼模型的原理以及生成算法；第3節介紹了梯度積分圖像計算方法以及自適應窗口匹配算法；第4節為實驗與結果分析，首先驗證了本文算法得到點云模型的精度與質量，接著驗證了自適應窗口匹配算法的有效性，最后證明了該算法可對常見類型的航空行李進行穩定可靠的三維重建；第5章為結論。

1 投影編碼方法

立體視覺三維重建的關鍵環節是立體匹配，它決定了三維重建的精度和穩定性。部分像素匹配失敗后，很容易出現表面空洞現象；對于弱紋理目標，空洞區域就會顯著增加。因此，立體匹配算法的選擇很重要，但是好的匹配算法也不能從根本上解決該問題。為此，投影編碼圖像到被測物體表面，增加其表面的紋理特征，可以顯著減少匹配失敗的概率，從而保證三維重建的可靠性。

常見的快速立體匹配算法有SGM、rSGM、ELAS、BP、DP等算法，其中半全局立體匹配算法(Semi-global matching,SGM)應用較為為廣泛，并且可以兼顧匹配速度和精度，適合在工業場景中應用，其改進算法有CNNF+SGM、SGM-Net等。

1.1 匹配代價

代價計算往往只考慮局部信息，通過兩個像素鄰域內一定窗口內的像素信息來計算代價值，這很容易受到噪聲的影響，而且當重建目標為弱紋理或者重復紋理時，這代價值極有可能無法準確反映像素之間的相關性，直接表示就是真實同名點的代價值非最小。因此，代價聚合的目的是讓代價值準確的反映鄰域像素之間的相關性，建立鄰接像素的聯系，因此代價聚合從特征點的8個或16個方向進行優化（如圖2所示），每一個方向都使用動態規劃算法求解。這樣把多個方向上的匹配代價進行累加，選取累加代價最小的點作為最終的匹配點。對每個像素進行相同操作就行形成了整個圖像的視差圖。

圖2 局部唯一性圖像優化方向

從圖2中可以看到根據路徑數的不同，聚合方向也有所不同。路徑數越多，效果越好，但耗時也會越長，往往需要平衡利弊，根據實際需要來選擇合適的路徑數。根據實際情況要求，選擇8路徑聚合的方向，既可以保證立體匹配的精度，也能兼顧匹配的速度。因此該約束隨機編碼圖像按照代價聚合的原理進行設計。

1.2 編碼規則

設定編碼圖像為I，其高度和寬度分別為h和w，編碼圖像矩陣中的每個像素的灰度值為，用i,j表示該灰度值φ在編碼圖像矩陣中的位置，表示為即φij。設定Npq表示φij周圍的8鄰域像素，即Npq可以表示為：

其中，φpq為φij的8鄰域像素灰度值，且滿足條件：

在編碼圖像I是由h×w－2(h+w)+4h個φij以及φij所對應Npq構成，當φij處于圖像I的邊界時，則不存在8鄰域，分為3種情況（四個角點，上下邊界以及左右邊界）：

在進行圖像I編碼時，含有8鄰域位置的像素編碼具有共同的編碼方法，而四個角點和邊界情況需要特殊編碼方法來完成。

2 用于生成自適應窗口

2.1 積分圖像

由《數字圖像相關中斑紋圖像質量評價的研究》一文可知圖像的梯度可以作為衡量紋理質量的依據，但是如果在實時的立體匹配中每次都要計算該窗口內的梯度積分，計算消耗較大。因此，可以利用Viola等人提出來的積分圖像概念，通過對原始圖像的積累形成一幅新的積分圖像，如圖3所示該積分圖像能夠快速的計算出任意窗口內的像素梯度之和，而且求和的效率不受區域大小的影響。

圖3 代價聚合優化方向

圖像是由一系列的離散像素點組成的，因此圖像的積分其實就是求和。圖像積分圖中的每個點的值都是原圖像中該點左上角的所有像素值之和，其具體定義如下：

如圖4(b)所示，計算圖像內任意矩形的像素值之和（積分）可以表示為：

同理可得積分圖像內任意矩形內灰度積分求和的結果為：

2.2 積分梯度運算

由2.2節可知，梯度可以作為衡量圖像紋理質量的評價依據，因此對圖像I分別在x和y方向上進行一階梯度提取，表示為：

依據公式(5)和公式(7)建立梯度積分圖像為：

則積分梯度圖像任意矩形區域內求和和平方求和表示為：

根據公式(11)可得到梯度積分方差(GIV)的表達式為：

由于引入了積分圖像的計算方法，算法的復雜度為O(1)，即匹配窗口內的梯度積分方差的計算時間與匹配窗口的大小無關。

2.3 自適應窗口的匹配算法

為了保證目標的邊緣區域的重建精度，且較好的恢復重建目標表面三維信息，在紋理質量較好的地方，盡量減小匹配窗口，以準確的反映目標表面的外形輪廓，加快重建速度；在紋理質量差的地方，通過適當的增大匹配窗口，獲得其更多周圍鄰域的信息，保證其匹配的可靠性。因此自適應窗口匹配算法的基本思想是通過計算該窗口內的紋理質量來調整匹配窗口大小，從而保證立體匹配的速度和精度。該算法的詳細流程圖如圖4所示：

圖4 自適應窗口匹配算法流程圖

Step1：編碼圖像采集。開啟投影裝置向被測空間投影編碼圖像，利用視覺系統的雙目相機同時采集帶有編碼圖像的重建目標。

Step2：立體校正。通過得到的攝像機內外參數，對左右圖像進行變換，輸出行對準的校正圖像，把二維空間的匹配問題轉化為一維空間內的求解問題。立體校正提高了立體匹配的效率和可靠性。

Step3：積分圖像計算。遍歷左相機圖像上的所有像素，利用公式(11)計算出梯度積分圖像。

Step4：梯度積分方差計算。初始化左圖像卷積核大小為Mpixel×Npixel，卷積核中心坐標為(x,y)，然后使用公式(12)計算出該窗口的梯度積分方差ξ。

Step5：自適應窗口調整。將Step4中計算的GIV與設定的紋理質量的閾值TH進行比較；若小于該閾值，則增加卷積核的大小，否則說明該卷積核內的紋理質量滿足要求，進行Step5計算。

Step6：立體匹配。在右圖像相同的行坐標y上搜索使得能量函數最小化的對應點，左右圖像的橫坐標差值即為視差d。重復Step4-Step5完成左圖像上所有像素的匹配計算，就可以得到完整的稠密視差圖。

3 實驗分析

3.1 3D重建和點云質量實驗分析

如圖5所示，雙目立體視覺系統由兩臺工業相機組成，圖像分辨率為1920×1080；分辨率為500萬像素；同時在該實驗平臺上固定放置Intel RealSense D435、Orbbec Astra S深度度相機以及雙目立體相機MYNT D1000。將組合標準件放置在自助行李系統傳送帶上，同時采用本文提出的重建方法和其他三種3D設備對組合標準件進行三維建模。

圖5 實驗平臺結構示意圖

如圖5所示，為了準確地進行對比實驗，將點云模型從各自的攝像機坐標系CCS(Camera Coordinate System)轉換到統一自定義下的世界坐標系WCS(World Coordinate System)下，轉換過程可以表示為：

其中P(XC,YC,ZC)表示在相機坐標系中物點P的坐標，P(XW,YW,ZW)表示在世界坐標系中物點P的坐標。R和T分別為旋轉矩陣和平移矩陣。各傳感器對標準件三維重建之后的點云模型轉換到世界坐標系下，如圖6所示，旋轉矩陣R和平移矩陣T參數如表1所示。

表1 旋轉矩陣R和平移矩陣T

圖6 標準件三維重建的點云(標準件：400mm×160mm):(a)OBBEC Astra深度相機；(b)Intel RealSense D435深度相機；(c)MYNT D1000雙目相機；(d)本文所采用的方法（Proposed Method）

在Geomagic Studio 2013軟件上對標準件的點云模型進測量，以三維重建的點云到擬合平面距離最大值作為測量值，精度測量結果如圖7所示。

圖7 點云精度測量統計：(a)長度方向統計；(b)寬度方向統計

方差是一組數據離散程度的度量，用來衡量隨機變量與其數學期望之間的偏離程度。將從攝像機坐標系下轉換到世界坐標下的標準件三維點云模型作與世界坐標系中的基準面進行對比實驗，并統計標準件點云模型方向與基準面的方差，方差越大表示與基準面之間的偏離程度越大，可用于衡量點云的穩定性，統計結果如表2所示。可以使用輪廓算術平均偏差評價點云表面的粗糙度。它是在取樣面積為內，點云坐標與基準面之間絕對值的算術平均值，在標準件的點云數據中隨機選取4個不重疊且面積為50mm×50mm的區域計算輪廓算術平均偏差，結果如圖8所示。

圖8 標準件三維重建表面粗糙度統計圖

表2 標準件三維重建點云的相對誤差、方差和粗糙度統計

由表2可知，本文方法得到點云模型的重建精度、點云質量均高于Intel RealSense D435、ORBBEC Astra S以及MYNT D1000，其長度和寬度重建精度的相對誤差分別為0.075%和0.081%，方差為1.26，點云表面的粗糙度為0.62。

本文根據自助行李托運系統中航空行李三維檢測的需求，建立了由雙目相機和投影裝置組成的主動立體視覺系統。為了增加行李表面的紋理質量設計了一種局部圖像生成算法；同時為了保證恢復行李表面完整的深度信息，提出了一種自適應窗口的立體匹配算法。實驗證明本文提出的算法得到的點云精度和質量均高于Intel RealSense D435、Orbbec Astra S以及MYNT D1000，其相對誤差為0.081%，滿足自助行李托運系統對航空行李實時三維檢測的精度和可靠性的要求。