基于多目立體視覺和神經網絡標定的表面形貌測量方法研究

韓雨坤，潘 翀,2,*，王文濤，劉 偉

1.北京航空航天大學 流體力學教育部重點實驗室，北京 100191 2.北京航空航天大學 寧波創新研究院先進飛行器與空天動力技術創新研究中心，浙江 寧波 315800 3.中國船舶重工集團公司 第七〇二研究所，江蘇 無錫 214000

0 引 言

表面形貌測量在地質勘測、變形監測、運動測量等眾多工業領域有著廣泛的應用。以本文的工程應用背景為例，通過對船舶行駛產生的波浪開展表面測量，可以得到船行波的波面信息，進而分析船舶阻力中興波阻力的貢獻，為船體型線的優化提供參考。傳統的表面形貌測量主要通過在待測表面上布置傳感器來實現，作為一種單點、接觸式測量方法，其測量頻率和精度都較高，但難以實現面測量，且接觸測量會對待測表面形貌特征產生干擾?；跈C器視覺[1]的表面形貌測量可以實現非接觸的場測量，具有操作快速便捷、對待測表面無干擾等優勢，但測量精度與其使用的三維空間重構算法密切相關。

多目立體視覺是計算機視覺的一種重要形式。以雙目立體視覺為例，使用其進行表面形貌測量的流程包括：圖像采集、特征提取、多目標定、特征匹配和三維重建[2]，即通過兩個相機以不同的視角同步拍攝同一目標區域，將待測表面形貌的立體信息轉化為二維圖像對；利用圖像處理技術對圖像對中的某種特征進行提取，并將同一特征在不同視角的圖像中進行匹配；通過已經建立的圖像像素空間到物理空間的映射關系，將同一特征在圖像對上的二維像素坐標轉化為待測表面的三維空間坐標，實現表面形貌的重構。

在上述表面形貌非接觸測量的流程中，多目標定、特征提取與特征匹配是3 個技術難點。在多目標定方面，早期的立體視覺系統大多采用雙目測量，但存在表面遮擋、特征點不明顯或在某個視角上特征點缺失等問題，會顯著影響測量的精度。Ito 等[3]提出基于邊緣點進行匹配的三目視覺系統，通過增加第三目圖像信息提高特征匹配的準確度，同時還可以有效避免光路遮擋的問題。Gurwitz 等[4]進一步分析了三目立體視覺在表面形貌測量中的優勢。但是，增加觀測相機也面臨著一些技術限制，如傳統的小孔成像模型難以適應多相機標定的場景。

在特征提取方面，目前尚無普遍適用的特征提取方法。Lowe[5-6]在總結前人研究的基礎上提出了尺度不變特征變換（Scale Invariant Feature Transform，SIFT）算子。該算子在不同尺度空間上查找極值點，提取其位置、尺度、旋轉不變量，對畸變、噪聲和光強變化等情況具有很強的魯棒性，被廣泛應用于表面形貌測量[7]。但是，包括SIFT 算子在內的大多數特征提取算法難以適用于特征紋理較少的表面，且在多視角成像視差較大時會造成特征識別偏差，影響匹配精度。可采取的方法是向待測表面投射結構化或隨機分布的散斑作為可控的特征紋理[8-9]，解決自然表面紋理特征不足的問題，在數字圖像相關（Digital Image Correlation，DIC）等領域應用廣泛[10]。

在特征匹配方面，用特征識別算子識別待測表面特征點時，一般通過核線約束不同視角的特征點進行匹配，但存在相似性準則選取困難[11]的問題；用散斑作為特征紋理時，常通過互相關計算來匹配不同視角的散斑區塊，但特征匹配的空間分辨率受到互相關查詢窗口[12]的限制。

針對以上3 個難點，本文提出一種新的表面形貌非接觸測量方法，其基本思想是：1）應用神經網絡算法對多目立體視覺系統進行自適應的多目標定，解決傳統標定方法對相機個數的限制問題，通過增加相機個數，提高表面形貌測量的精度；2）向待測表面投射激光散斑作為特征點，解決待測表面形貌特征不明顯的問題；3）應用蟻群粒子跟蹤測速（Particle Tracking Velocimetry，PTV）算法，實現在多視角成像的圖像組中對單一特征點進行匹配，從而有效提高測量的空間分辨率。

1 測量方法

基于多目立體視覺和神經網絡標定的非接觸式表面形貌測量方法的流程如圖1所示，分為空間標定和形貌測量兩個階段。在空間標定階段，固定多臺相機的相對位置關系，用其拍攝布置在相機視域中的標靶；通過圖像識別算法，獲取已知空間坐標的標靶特征點在各相機像平面上的像素坐標；進而使用神經網絡算法建立反映各相機像平面之間以及像平面與物理空間之間映射關系的標定神經網絡。在形貌測量階段，將待測表面置于已標定的相機視域中，通過激光器搭配衍射光學元件（Diffractive Optical Element，DOE）向待測模型表面投射偽隨機分布的散斑，并用多臺相機進行同步拍攝；從所獲得的散斑圖像中提取散斑點云的像平面坐標，利用各相機像平面之間的映射關系，將不同相機像平面上的散斑點云映射到同一公共像平面，使用蟻群PTV 算法進行散斑點云的匹配；進而使用像平面與物理空間之間的映射關系對匹配的散斑點云進行三維重構，得到其在物理空間中的三維坐標；最后對三維點云坐標進行濾波和插值擬合，獲得待測表面的三維形貌。下面對測量流程中的關鍵步驟和算法逐一進行論述。

圖1 表面形貌測量流程圖Fig.1 Flow chart of surface topography measurement

1.1 多目成像系統

對具有復雜形貌的待測表面進行非接觸式光學測量時，需要同時考慮相機遮擋、表面特征不明顯以及自然光影響等多方面因素，增加相機的個數能夠提供更多的冗余信息，從而有效緩解這些因素對測量結果的影響。本文設計的六相機成像系統如圖2所示，6 臺相機對稱布置于待測模型的上方，相機的景深覆蓋整個待測表面的深度。激光器置于待測表面上方，通過衍射光學元件向待測模型表面投射偽隨機分布的散斑光點作為待匹配的特征點。

圖2 多目成像系統示意圖Fig.2 Schematic diagram of multi-view imaging system

1.2 神經網絡多目標定

多相機空間標定是立體視覺的關鍵環節，直接決定由圖像信息還原觀測對象深度信息的精度。常用的兩種標定模型為小孔模型和多項式模型。小孔模型將光學成像過程簡化為小孔成像，具有清晰的物理特征，但對成像系統光學畸變的表征能力有限，難以擴展至多目標定的場景。多項式模型通過多項式函數來擬合像素空間與物理空間的映射關系，具有簡潔的數學表達，具備一定的畸變擬合能力，但應用于多目標定時，模型的復雜度將隨著相機個數的增多而快速增大。

神經網絡是模擬生物神經系統學習過程的一種算法，應用于空間標定具有以下優勢[13]：1）空間標定過程的輸入與輸出關系簡單且確定，便于應用神經網絡擬合映射關系；2）神經網絡具有泛化的高階擬合能力，更適合處理高畸變場景；3）神經網絡具有聯合標定能力，輸出結果可以同時受到所有輸入信息的影響，易于拓展到多目標定。本文使用級聯誤差反向傳播神經網絡（BP 神經網絡）建立空間標定模型，結構如圖3所示。應用神經網絡進行形貌測量分為空間標定和三維重構兩個步驟。在空間標定階段，使用第i個特征點已知的物理空間坐標和相機像平面坐標（k=1，···，K，K為多目視覺系統中的相機總數）的標靶特征點作為樣本，訓練獲得空間標定神經網絡M，使得在三維重構階段，將待測表面的特征點在所有相機像平面上的坐標輸入空間標定神經網絡，輸出即為該特征點在物理空間中的三維坐標需要指出的是，M為反向標定空間映射函數，即標定過程從像平面反向到物理空間，與三維重構的方向一致。

圖3 BP 神經網絡示意圖Fig.3 Schematic diagram of back propagation neural network

除建立從物理空間到各相機像平面的映射關系M之外，還需要建立各相機像平面彼此之間的映射關系Fk，其原因和構建方法將在后文闡述。

對神經網絡空間標定進行重投影誤差評估時，選擇間隔均勻的75%標定靶棋盤格角點對神經網絡進行訓練，將剩余25%角點在各像平面的坐標輸入所得神經網絡進行重構，得到三維空間坐標并與理論值進行對比，獲得標定點在z方向重投影的均方根誤差。下文2.3 節將給出實驗工況下標定點重投影誤差的具體數值。

1.3 特征點識別

特征提取，即獲取能代表圖像局部特征的匹配基元。目前用于圖像特征提取的方法很多，匹配基元的選擇也多種多樣。本文采用激光器搭配衍射光學元件的方法，在待測模型表面投影產生偽隨機分布的散斑作為特征點。特征點識別流程如下：對拍攝所得的灰度圖像選定環繞待測表面的視野范圍區域（ROI 區域），篩除背景，將其他區域灰度值設為0，如圖4（a）所示；設定灰度閾值，對圖像做二值化處理并進行形態學開運算，所得結果如圖4（b）所示；最后，查找連通域，計算各連通域質心的橫縱坐標作為第i個特征點在第k個相機像平面的坐標如圖4（c）所示的黑色十字。

圖4 特征點坐標提取Fig.4 Extraction for coordinates of feature points

1.4 基于PTV 算法的特征點匹配

PTV 是一種針對流體運動速度場的高分辨率測量方法，其核心算法是將兩幀圖像中的示蹤粒子按照某種匹配準則逐一進行匹配。本文使用PTV 中的示蹤粒子匹配技術完成同一特征點在不同視角相機圖像上的匹配。運用混合蟻群匹配算法[14]將粒子跨幀位移最短與粒子群分布形態最相似兩個匹配準則相混合，構造出最優化目標函數，進而對其使用改進的蟻群算法進行求解，獲得兩幀圖像中示蹤粒子的匹配。相比于傳統基于最短位移[15]或最相似粒子分布形態[16]的匹配算法，混合蟻群匹配算法具有在大比位移場景下精度更高的優勢。本文使用該算法匹配不同視角相機圖像中的特征點，其依據是像平面上特征點之間的位置關系和分布形態不會隨視角改變而發生顯著變化。

為進行不同相機像平面上特征點的相互匹配，首先需要將每一個像平面上的特征點坐標投影到一個公共像平面上，即然后在公共像平面上將所有的（k=1，···，K）使用混合蟻群匹配算法進行匹配。這需要建立不同像平面到公共像平面的映射關系Fk。仿照空間標定函數，Fk仍然可以使用BP 神經網絡來表征，其訓練過程也和M的訓練過程一致，在此不做贅述。PTV 匹配算法如圖5所示。簡化起見，可以將某一視角（如k=1）的像平面作為公共像平面，將其他像平面上的（k≠1）向其映射，并在公共像平面上進行匹配，獲得匹配關系值得注意的是，將匹配后的特征點使用M重構回物理空間時，需要使用特征點在各相機像平面上的坐標，而非其在公共像平面上的坐標。

圖5 PTV 匹配算法示意圖Fig.5 Schematic diagram of PTV matching algorithm

1.5 空間重構和后處理

2 算法驗證

2.1 實驗模型和立體視覺系統

以船行波的波形測量為應用背景，本文對所發展的表面形貌測量方法的精度進行驗證，為此設計了兩個仿水波的測試模型：模型A 和模型B，其波形函數、波幅、波長及模型尺寸見表1，模型示意圖和坐標系定義見圖6。其中，模型A 采用固定波長與波幅的簡單正弦波；模型B 為變波長、變波幅的復雜波形。為了模擬船行波的興波角，模型B 的波峰連線與其邊成19.5°夾角。z方向為模型的深度方向。兩模型均在邊角處預留一小平臺用于定位z=0 的參考平面。需要說明的是，兩個模型均用不透光材料制作，本文暫不考慮實際水波測量時水的透光性對激光投射散斑提出的技術需求。

圖6 實驗模型示意圖和坐標系定義Fig.6 Schematic diagram of experimental model

表1 實驗模型參數Table 1 Parameters of the experimental model

針對以上兩個實驗模型，搭建如圖2所示的實驗臺開展驗證實驗。相機（?？低?，MV-CH050-10UM）的分辨率為2448 像素×2448 像素，最大幀率為74 幀/s，鏡頭（MVL-MF1628M-8M）的等效焦距為16 mm。為評估相機數目對測量精度的影響，分別測試了2 臺、3 臺與6 臺相機等3 種場景。相機的平面布置形式如圖7所示，相機光軸和待測表面中心點外法線方向的夾角約為30°。相機的相對位置關系在空間標定和表面形貌測量時保持不變。同步控制器控制多臺相機同步工作，相機拍攝的圖像通過USB 3.0 數據線發送至計算機進行存儲。

圖7 相機平面布置形式Fig.7 Schematic diagram of camera layout

2.2 空間標定和表面形貌測量

空間標定使用具有黑白相間棋盤格的平面標定靶，每個棋盤格均為邊長5 mm 的正方形。在空間標定時，將平面標定靶固定在位移臺上，置于多目立體視覺系統視野范圍的中間，其深度位置與待測體的深度位置相當。調節位移臺沿深度方向移動標定靶，使之遍歷待測表面的整個厚度范圍（Δz=2Amax=40.0 或68.0 mm）。在每一個深度位置上，使用全部相機對標定靶進行拍照，獲得21 個z平面上的標定靶圖像，從中辨識出32×33 個標定靶角點作為訓練集，訓練獲得反映物理空間與全部相機像平面之間映射關系的BP 神經網絡M。使用相同的訓練集，訓練獲得其他相機像平面到第一個相機像平面的BP 神經網絡Fk。

在表面形貌測量時，半導體激光器輸出波長650 nm 的可見紅光，經DOE 在模型A、B 表面分別產生偽隨機分布的紅色散斑164 和393 個，對應的空間分辨率分別為85 和102 m m2/特征點。使用多目立體視覺系統進行拍攝，對所得圖像組按照前述方法進行特征點的提取、匹配與空間定位以及濾波和插值，最終實現待測體表面形貌的精細化測量。

2.3 測試結果誤差分析

依照1.2 小節所示的方法衡量神經網絡空間標定參數的重投影誤差，所得結果如表2所示?？梢钥闯觯翰煌鄼C個數K下，標定點z方向上重投影的均方根誤差為0.351～0.033 mm，可認為空間標定精度較高；隨著相機個數的增加，重投影誤差顯著減小。

表2 不同實驗工況下的重投影誤差Table 2 Reprojection errors under different experimental conditions

此外，對于特征點提取，運用圖像形態學處理引入的誤差，神經網絡模型所具備的聯合標定能力可通過多視角隨機誤差相互補償的方式有效抑制該輸入誤差在標定?重構過程中的傳播[13]。

實驗測試結果如圖8所示。圖8（a）和（c）為測量模型A 和B所得原始數據及進行后處理并剔除壞點后的數據散點圖；圖8（b）和（d）為模型表面z方向深度的等高線圖。經測量，圖8（b）和（d）中波峰/谷（紅線）與y軸的夾角分別為0°、19.5°，與模型真值一致，初步證明了實驗結果的可信度。為進一步對測量誤差進行量化分析，定義深度方向（z方向）的測量均方根誤差為：

圖8 實驗結果Fig.8 Experimental results

其中，zi為 測得的第i個 特征點z坐標真值，zri為將測得的特征點坐標（xi，yi）代入參數方程得到的z坐標理論值，N為特征點總個數。以波峰波谷的高度差作為參考長度，對均方根誤差進行無量綱化，即：

表3總結了不同相機個數K下的深度方向均方根誤差E?？梢钥闯觯黾酉鄼C個數明顯改善了表面測量的精度；對于表面形貌更為復雜（變波長、變波幅）的模型B，增加相機的效果更為顯著：兩相機標定時，z方向上的測量誤差為5.2%，六相機聯合標定時，誤差降低至1.9%。

表3 不同實驗工況下的實驗誤差ETable 3 Experimental errors E under different experimental conditions

3 結 論

1）本文提出了一種基于多目立體視覺的非接觸式表面形貌測量方法，相比于傳統的雙目立體視覺系統，其改進之處在于：應用神經網絡算法對多目立體視覺系統進行自適應的多目標定，解決了傳統標定方法對相機個數的限制問題，降低了標定的復雜程度；通過增加相機個數，提供冗余信息，提高了表面形貌測量的精度；應用蟻群PTV 算法，實現在多視角成像的圖像組中對單一特征點進行匹配，有效提高了測量的空間分辨率。

2）通過兩個仿水波模型，對所發展的表面形貌測量方法的精度進行了驗證，證明了增加相機個數能夠顯著改善對復雜表面形貌的測量精度，對于復雜仿水波模型，在六相機聯合標定的情況下，深度方向的測量誤差在1.0%～2.0%的水平。