基于深度相機的飛機中央翼油箱高精度三維重建方法

李紅衛，魏澤勇，曹軒銘，汪 俊

（1.中航西安飛機工業集團股份有限公司，西安 710089；2.南京航空航天大學計算機科學與技術學院，南京 211106；3.南京航空航天大學機電學院，南京 210016）

飛機中央翼油箱是油密區域，是飛機結構密封中要求最嚴格的部位。然而，由于其空間狹窄、開暢性不足且密封裝配過程不易控制，往往會出現裝配質量問題，引發油箱泄漏現象，對飛機安全構成隱患［1-2］。

飛機中央翼油箱密封質量的關鍵在于裝配過程中涂膠環節的質量檢測控制，其中膠體三維尺度以及形狀的符合性是涂膠質量評判的重點之一。

目前國內飛機中央翼油箱裝配密封涂膠膠體三維尺度和形狀的符合性檢測基本還是在簡單工量具輔助下依靠人工目測，效率低且檢查效果不穩定。因此，本文提出一種涂膠后重建中央翼油箱內部高精度三維點云的新方法，該方法能夠精準量化涂膠前后中央翼油箱內部三維重建點云的差異性，并應用于快速準確評判膠體三維尺度和形狀符合性的智能化涂膠質量檢測新模式。

考慮油箱的空間開暢性問題，以及相關工藝規范對飛機中央翼油箱密封涂膠膠體三維尺度和形狀控制的高精度要求，本文使用結構光深度相機采集飛機中央翼油箱內部多視點下的點云數據，并基于對多視點云的配準來實現實測數據的重建。

如何能精確地配準兩幀有重疊區域的點云數據是近年來一個研究熱點。點云配準一般需要粗配準和精配準兩個步驟。常見的粗配準方法主要包括：Aiger 等［3］通過迭代，不斷利用兩點云中的對應4 點進行快速配準；李宇翔等［4-8］基于描述子的方法進行匹配；Rusu 等［9］通過對點云建立特征描述子；Besl 等［10-11］使用曲面曲率的不同表示或通過擬合多項式［12］或樣條［13］建立局部描述子，然后對這些描述子進行配準操作；與描述子的方法類似，張哲等［14-20］提出的基于關鍵點的配準方法也廣泛應用于粗配準，可有效提高三維點云數據配準的效率；張晗等［21-24］使用采樣一致性初始配準（Sample consensus initial alignment，SAC-IA）算法對點云進行粗配準。

點云精配準問題的經典解決方案是迭代最近點（Iterative closest point，ICP）及其改進算法。該算法通常用尋找點的對應關系及優化距離目標函數的方法求解，其中以點對平面法因其快速收斂性應用較廣［25-28］。但也存在一些問題，比如因為沒有足夠的幾何特征來支撐優化，該算法在有較多平滑曲面的情況下表現不夠穩定。另一方面，在初始粗配準達不到一定要求的情況下，ICP 算法容易失效，且速度較慢。針對該問題，薛珊等［29］提出了基于點云幾何信息改進自動配準算法，在一定程度上解決了平滑曲面特征造成的配準困難；孫培芪等［30］提出了一種基于特征點提取與配對的粗配準方法，以調整兩片點云重疊部分的初始位置，防止配準陷入局部最優的不理想狀態；楊帆等［31］利用距離約束函數、KD-Tree加速迭代以及（Closest point crirterion，CPC）三約束方法對傳統ICP 算法進行改進，有效提高了配準速度。

圖1 為飛機中央翼油箱常用結構局部示意圖，對于中央翼油箱這種重復特征較多的結構件，利用上述算法難以有效配準以實現三維重建。針對這些算法的不足，本文提出了一種基于深度相機的飛機中央翼油箱高精度三維重建方法，對包含重疊區域的多幀場景點云，建立基于點對特征的全局模型描述，繼而通過聚類投票得到粗配準位姿，再進一步建立點云中的對應點集，然后用顏色和幾何量構建目標函數并進一步優化以實現精配準，最后將所有點云配準并用圖優化重建結果以完成三維重建。

圖1 飛機中央翼油箱常用結構局部示意圖Fig.1 Structural chart of aircraft central wing fuel tank

1 飛機中央翼油箱三維重建

圖2 為飛機中央翼油箱三維重建方法流程圖，包括以下步驟：（1）對中央翼油箱進行遍歷以采集完整的油箱內部數據，將深度相機伸入待檢測的飛機中央翼油箱，從不同視角采集油箱的內部信息，獲得多幀帶有顏色信息的油箱點云數據，保證每幀點云數據與相鄰幀點云之間都有部分重疊，用于后續配準；（2）對兩幀點云模型粗配準，將點云數據預處理后，建立基于點對特征的全局模型描述，根據點對特征匹配結果進行位姿聚類，得到粗配準位姿；（3）對兩幀點云模型進行精配準，將粗配準后的各幀點云的顏色信息與幾何信息參數化，建立待匹配點云中的精確對應點集，用參數化的顏色與幾何信息構造目標函數，優化目標函數得到精配準位姿；（4）按順序對相鄰兩幀點云進行配準并圖，實現最終的飛機中央翼油箱內部三維重建。

圖2 飛機中央翼油箱三維重建方法流程圖Fig.2 3D reconstruction flow diagram of aircraft central wing fuel tank

1.1 油箱內部數據采集

深度相機不能一次獲取中央翼油箱內部所有信息，需根據具體結構的不同，系統規劃測量方案與實施步驟，按節奏分多步調整深度相機測量角度，從多個視角拍照，采集所需的帶有顏色信息的油箱內部點云全部數據。由于點云之間的配準需要保證有一定的重疊區域，所以每次調整的角度θ1應小于深度相機視野角度θ2，取θ1=(1-μ)θ2，μ為重疊區域在配準點云中所占比重。這些點云數據將作為粗配準的輸入。

1.2 場景點云模型粗配準

對場景點云進行預處理，然后建立基于點對特征的全局模型描述，匹配相應特征，計算該匹配對應的變換矩陣，統計得分最高的變換矩陣，應用該矩陣完成場景點云的粗配準。

1.2.1 點云數據預處理

噪聲和離群點會對匹配結果產生干擾，配準前需要對點云數據預處理以去除噪聲和離群點。首先利用直通濾波的方法去除場景邊緣數據模糊、質量較低的冗余數據，然后利用基于統計學的去噪算法對點云中的離群點進行剔除［32］。

1.2.2 全局模型描述建立

計算待配準的兩幀點云中各點的法矢，法矢信息采用基于局部表面擬合估計法向量的方法獲取。然后，對每幀點云中所有點兩兩之間建立點對特征，然后建立由點對特征索引的哈希表，即對場景建立全局模型描述。全局模型描述是從兩幀點云的點對特征空間到點對集合的映射。一般地，映射可以表示為

式中：F(p1，p2)為四維的點對特征，A為所有點對(pi，pj)∈P2的集合，P為其中一幀點云；點對特征F(p1，p2)的定義為

式中：p1和p2為點云上的兩個點；‖ ‖* 為歐氏距離；p1和p2對應的法向量分別為n1和n2。點對特征由4 個分量組成，第1 個分量F1表示點之間的距離，∠(a，b)表示兩個向量之間的夾角，分量F2、F3、F4分別表示第1 點法線與兩點連線的夾角、第2 點法線與兩點連線的夾角、兩點法線之間的夾角［33-35］。圖3 為點對特征示意圖。

圖3 點對特征示意圖Fig.3 Point to point feature diagram

遍歷P的每一個點，建立該點與P剩余所有點的點對特征，組成由點對特征索引的哈希表。隨后，具有相似點對特征向量的模型表面上的點對被存儲于哈希表的相同位置，可以通過使用點對特征作為訪問哈希表的鍵，來獲取鍵值（點對），至此就建立了一幀點云的全局模型描述，然后用同樣方法建立另一幀點云的全局模型描述。

1.2.3 位姿聚類估計

通過搜索待匹配兩幀點云中相似的點對特征完成點對特征的匹配。根據點對特征匹配結果計算投票值，進行位姿聚類，得票高者為最終位姿。利用1.2.2 節中建立的全局模型描述對兩幀點云進行特征匹配，同時針對匹配的特征計算其相應的位姿變換T1，并對位姿進行聚類和投票操作，得票最高的為最終位姿。由此得到粗匹配結果。

位姿聚類是指將比較相近的變換矩陣（即位姿）對應的投票數量（即得分）取平均值，以消除相近位姿的影響，以此提高算法對位姿檢測的穩定性。

投票操作是通過累加兩點云中配對特征對應的位姿變換矩陣出現的次數，計算最終得票最高的即為粗配準變換矩陣。

1.3 場景點云模型精配準

將場景點云的顏色與幾何信息參數化［36-37］，再用ICP 算法建立待匹配點云中的對應點集，然后將參數化后的顏色與幾何信息整合到一起形成優化目標，計算優化變換矩陣T，同時在匹配迭代的過程中對點云數據采用“由粗到精”的方式進行處理。

1.3.1 顏色與幾何信息的參數化

為了在優化過程中能夠使用顏色信息，需通過一個連續函數YP(m)來量化點p的顏色信息

式中：p為場景P中的一個點；m為p點切平面上的向量；Y(p)為離散函數，表示從點云到顏色信息的檢索函數；YP(m) 為其對應連續函數；tTp為YP(m)的梯度，可由臨近點最小二乘法求出；同理，使用深度相機的連續深度函數JP(m)來量化點p的幾何信息，即

式中：Op為深度相機原點；np為點p的法線。

1.3.2 精確對應點集的建立

在場景點云的顏色與幾何量參數化之后，使用ICP 算法來對點云數據進行迭代計算。ICP 算法在每次優化迭代過程中，Tk是當前迭代循環中的變換矩陣，尋找兩個點云P、TkQ中距離小于一定閾值的點作為對應點，隨著迭代優化的進行，對應點的集合h也在不斷更新。

式中：pt、qt為對應點，分別屬于P和Q；ε為距離閾值；集合h為兩幀點云之間的重疊區域的點。

1.3.3 優化目標的建立

建立精確的對應點集合h之后，將點云顏色信息與幾何信息整合形成一個綜合的優化目標為

H(T)=(1-ω)HY(T)+ωHJ(T) （10）式中：ω為權重函數；H(T)為整體優化目標；HY(T)為點云顏色信息的優化目標；HJ(T)為點云幾何信息的優化目標。最小化H(T)，利用高斯牛頓法來計算點云變換矩陣T。

綜合顏色與幾何信息的優化目標表達式為

式中

式中：Y(q) 為點云顏色量化的非連續函數；b(q，T)=T(q)，是用矩陣T對q進行變換；對應點集之間的變換矩陣T可拆分為

式中θ=(e，g，i，x，y，z)；Tk為上一個循環的變換矩陣。當前循環的T可由θ的線性方程估算出，同時利用高斯牛頓法求解線性系統來計算θ［38］。

1.3.4 “由粗到精”的匹配迭代

匹配迭代過程中采用“由粗到精”的處理方式。即開始迭代時對較稀疏的點云進行優化，隨著迭代過程的進行，點云的密度也在不斷增加，這樣不僅提高了效率，也減少了陷入局部最小值不理想狀態的可能性。

目標函數是一個非線性最小二乘函數，可用高斯牛頓法進行求解。由于目標函數是非凸函數，容易陷入局部最小值的不理想狀態。為了解決這個問題，需要設計由粗及細的目標函數優化算法。通過調整體素大小對數據進行稀疏采樣并構建點云數據分層次模型，優化過程中通過粗優化的方法使配準更加平滑，既解決了局部最小值問題，也能指導用高斯牛頓法尋找全局最優解［39］。

1.4 多幀點云數據圖優化重建

根據1.2節粗配準和1.3節精配準方法能夠實現任意包含重疊區域的相鄰兩幀的點云數據的配準。順序將深度相機采集的多幀點云數據的相鄰兩幀進行配準，即可完成飛機中央翼油箱的初步三維重建。

初步三維重建后，各幀點云數據之間仍然存在一定配準誤差，為此引用一種圖優化的全局優化方法［40］來優化重建結果。

圖由節點和邊組成，每幀數據作為一個節點，將有重疊區域的兩個節點連接形成邊，再基于重疊區域的每個點與k鄰近點的平均距離和重疊區域的點對數量，對邊進行加權，即

式中：W為邊的權重；D為兩個節點重疊區域的每個點與k鄰近點的平均距離集合；n為兩個節點重疊區域的點對數量；λ為0～1 之間的平衡參數，在實驗中λ取0.7 時得到比較好的優化效果。

然后利用圖優化初始重建結果，步驟為：

（1）用Kruskal 算法從圖中提取最大生成樹；

（2）將剩余邊中權重最大的邊添加到最大生成樹中；

（3）對于最大生成樹，每添加一條邊至少形成一個回路，在新生成的回路中將該回路合并，形成一個新的節點N；

（4）合并后得到新的圖，并計算出節點N 與其他有重疊區域的節點間的邊權重；

（5）重復步驟（2～4），直到沒有邊可以添加到當前圖。

按照圖優化過程中所有節點的合并順序將節點對應的點云用精配準方法配準，最后沒有可添加的邊時，將剩余節點對應點云全部配準，至此完成優化重建。

2 實驗結果與分析

2.1 硬件設備和數據獲取

利用深度相機伸入飛機中央翼油箱采集內部信息，獲得帶有顏色信息的油箱內部點云數據，這些片段點云數據將作為粗配準的輸入。搭載深度相機的硬件結構示意圖如圖4 所示。

圖4 硬件結構Fig.4 Hardware structure

圖4 中深度相機在垂直方向的標稱測量精度在0.1 mm 以內。同時，采集到的點云數據兩點之間距離為0.286 mm（在焦距位置），工作范圍（即物體距相機的最遠與最近距離）為458～1 118 mm。該硬件結構可提供4 個方向的自由度，分別為三腳架的升降，伸縮桿的伸長和縮短，伸縮桿繞三腳架z軸的旋轉，伸縮桿繞三腳架x軸的旋轉（即伸縮桿可以俯仰）。利用該結構，可在飛機中央翼油箱內部采集點云數據，并保證所有相鄰的兩幀數據之間都有部分重疊，以此滿足后續的點云配準要求。

圖5 為實驗中采集的某飛機中央翼油箱內部多幀點云數據。圖6 為先后獲取的兩幀點云數據以及它們之間的重疊區域，兩幀的重疊區域在配準后應該重合在一起。

圖5 某飛機中央翼油箱多幀點云數據Fig.5 Multi-frame point cloud data of aircraft central wing fuel tank

圖6 兩幀點云數據以及重疊區域Fig.6 Point cloud data of two frames and overlapping areas

2.2 點云配準實驗結果

2.2.1 配準結果對比

分別用Go ICP、經典ICP 以及本文方法對深度相機采集的中央翼油箱內部真實點云數據進行配準，對實測數據的配準結果對比如圖7 所示，與理論模型的均方根誤差量化結果如表1 所示。由圖7 可以看出基于本文方法配準的視覺結果優于Go-ICP 和經典ICP 方法；由表1 可以看出基于本文方法配準的結果相對于另兩種方法配準的結果有較大提升。

圖7 真實數據配準對比Fig.7 Comparison of real data registration

表1 配準結果量化Table 1 Quantitative results of registration

2.2.2 配準消融實驗

為驗證顏色量參數化對配準效果的影響，將本文方法與無顏色信息方法在兩幀真實數據上進行配準結果對比，對比結果如圖8 所示。由圖8 可見，兩者在視覺效果上存在一定的偏差，無顏色信息的膠帽突起位置存在明顯偏差，這是由于對應點集的點的差異和幾何相似區域的差異較小，而且缺乏顏色等其他信息支持進一步分析導致的。這樣的最終重建結果不僅不準確而且不穩定。

圖8 消融實驗結果Fig.8 Results of registration ablation experiment

如果使用顏色信息，配準后顏色的差異也將成為配準的重要指標。相似區域的顏色差異，有助于判別相似區域，有利于相似區域更精確的配準。因此，顏色信息在精配準中極為重要，顏色信息參與的精確配準能夠使最后的重建結果更加精確和穩定。

2.3 三維重建結果對比

為驗證本文三維重建的整體精度，實驗中用深度相機采集了高精度制造的某中央翼油箱內部的真實數據，分別用本文方法與多視配準方法［41］進行了重建，并以三維重建點云的點到理論模型的平均距離作為量化判定指標，進行了量化對比分析。

兩種方法對實測數據的重建結果如圖9 所示。實驗對象存在顏色變化和幾何相似結構，本文方法考慮了顏色和幾何信息，能夠精準地重建三維點云，多視配準方法則存在偏差。圖10 為本文方法重建結果和理論模型的誤差對比圖，從誤差分布中可以看出大部分點的誤差分布在±0.1 mm 以內。表2 為兩種方法三維重建結果量化對比，其中本文方法三維重建點云的點到理論模型平均距離為0.095 mm，多視配準方法為8.816 mm，本文方法的三維重建的誤差距離要遠低于多視配準方法的誤差，具有更高的三維重建精度。

3 應用場景

圖9 真實數據三維重建結果對比Fig.9 Comparison of 3D reconstruction of real data

圖10 誤差對比圖Fig.10 Results of error comparison

表2 三維重建結果量化結果Table 2 Quantitative results of 3D reconstruction

飛機中央翼油箱密封裝配過程中，傳統依靠人工檢測的方法要檢查密封涂膠膠體三維尺度和形狀的符合性，對檢測人員主觀經驗的依賴性較高，而且測量精度也不理想，已經難以應對新一代飛機對油箱密封涂膠精度要求達0.15 mm 的需求。本文方法的重建精度可達0.1 mm，能夠提高檢測的魯棒性，滿足新的需求，適用于新一代飛機油箱密封涂膠膠體三維尺度和形狀的智能化檢測，主要應用場景如下：

（1）利用重建后的模型對密封涂膠膠體三維尺度和形狀進行分析，基于工藝規范確定的技術標準判定質量缺陷并進行直觀的標示，同時主動提請關注或處理。

（2）對密封劑膠帽的點云進行單獨分割，繼而利用包圍盒技術、三維模型比對技術等，實現滿足不同測定需求的定量測量。

（3）中央翼是飛機主要承載結構的一部分，飛機的裝配和使用過程中都可能會產生變形。通過對重建三維模型與理論數值模型的比較，可對密封膠的變形進行分析，以便進一步找出密封膠因結構變形而失效的區域。

（4）可拓展用于對空間狹窄、開暢性不足的區域中的多余物，如工具、金屬碎片等的檢查和處理，以預防潛在的損壞風險。

4 結論

本文根據飛機中央翼油箱內部涂膠質量檢測需要，提出了一種基于深度相機的飛機中央翼油箱高精度三維重建方法，并基于理論分析和實驗結果得到如下結論：

（1）本文方法能夠解決含有重疊區域的點云配準的問題，可實現飛機中央翼油箱內部的三維重建，可應用于油箱內部涂膠質量檢測等。

（2）使用基于點對特征的粗配準方法，能夠準確提取出重疊區域點云特征，有效地獲取了精配準的初始位置。

（3）結合點云顏色信息與幾何信息的優化方法，使得精配準算法的穩定性得以提高。

（4）匹配迭代過程中對點云采用“由粗到精”的處理方式，提高了算法效率。