用于曲面輪廓測量的結構光視覺技術研究

洪華杰,甘子豪,何科延,顧海鵬

(國防科技大學智能科學學院,湖南 長沙 410073)

0 引言

隨著現代產業化的不斷發展,航空航天、汽車制造、半導體行業、精密儀器制造、模具設計等領域對復雜曲面零件的需求日益增大。 面形測量技術逐漸成為制約這類零件制造性能的關鍵因素。 光學三維面形測量方法大致可分為接觸式和非接觸式兩類。其中,較為典型的接觸式測量方法有三角坐標測量法。 三角坐標測量法通過傳感探頭在被測物表面掃描得到的各測點空間坐標位置,對坐標位置信息進行計算處理后生成被測物的三維形貌結果。 盡管接觸式測量方法能達到較高的精度,但容易造成觸頭磨損、被測物表面損傷等問題,且測量速度慢、效率低。 非接觸式測量方法有零位補償干涉檢測法,即通過一個折射補償鏡或者計算全息圖(computergenerated hologram,CGH)將波面干涉儀投射的標準波面轉換為與待測曲面匹配的參考波面,從而實現零位干涉測量[1]。 盡管該方法具有很高的測量精度,但由于每個待測曲面需要制作特定的補償器,大大增加了測量成本,不具備普遍適用性。 結構光法早期由美國南加州大學研究人員提出,之后逐漸開始應用于對目標進行三維測量,屬于非接觸式測量方法,目前已成為機器視覺測量領域的重要分支。該方法具有測量速度快、視場大、精度高等優勢。

本文首先介紹了結構光測量系統的組成及三維測量原理;然后,針對結構光法測量曲面涉及的關鍵技術問題(包括結構光視角系統設計、結構光編碼技術、系統標定方法、曲面輪廓的測量與重構),總結分析了國內外的研究現狀;最后,對用于曲面輪廓測量的結構光技術發展趨勢進行了展望。

1 結構光測量系統的組成及三維測量原理

結構光測量根據投射光源形式的不同,可分為點結構光、線結構光和面結構光三類。 點結構光測量是通過逐點掃描物體進行測量。 其圖像捕獲及數據處理時間隨被測物體尺寸的增大而急劇增加。 線結構光測量是將線激光投射到被測表面,分析經由被測表面調制得到的變形光條圖像,獲得被測表面的二維輪廓。為得到三維形貌特征,需配合運動平臺完成多組測試數據的采集,再通過拼接算法生成被測輪廓的三維數據[2]。 面結構光測量是采用投影儀將已編碼的圖形(比如光柵條紋)投射到被測表面上,通過分析由被測表面調制得到的圖像,直接得到表面的三維面形。 基于結構光原理的曲面測量系統如圖1 所示。

圖1 基于結構光原理的曲面測量系統示意圖Fig.1 Schematic diagram of curved surface measurement system based on structured light principle

該系統包括機械結構、電氣系統和軟件系統三個部分。 其中,機械結構的主要組件有結構光投射裝置、攝像機、安裝支架;電氣系統的主要組件有上位機、電源等;軟件系統主要包括標定、圖像預處理、結構光編碼及視覺測量的相關軟件。

2 關鍵技術研究現狀

2.1 結構光視覺系統設計

面向工業應用,國內外相關機構開展了針對結構光視覺系統設計的研究工作[3]。 針對不同的照明因素,如陰影模糊、鏡面反射、透明等,美國哥倫比亞大學設計了多種不同的結構光投影模式以適應各種環境,并使用數學組合邏輯對所有投影模式處理的結果進行綜合運算,以消除各種光照影響。 盡管該系統對某些高反光、透明的測量對象具有很好的效果,但由于需要投影大量不同的圖案,增加了測量時間。 之后,諾特丹大學研究團隊采用多個攝像與多個投影儀組成三維重構系統,可進行多個視角的測量,最后進行拼接運算。這種方法實現了高精度的三維輪廓識別,但硬件較復雜,不夠靈活。 針對大尺寸鍛件的質量檢測需求,盧布爾雅那大學開發了一套結構光三維在線測量系統。 該系統使用綠色線結構光,能夠克服高溫狀態下工件的輻射光干擾,并根據激光三角坐標測量法原理獲得鍛件的特征尺寸。

目前,國外相關公司已推出了部分商業產品,歐美國家在該類產品的研發上處于國際領先的地位,代表性的有FARO 公司的Cobalt 3D Imager 和GOM 公司的ATOS 系列。 FARO 公司推出的Cobalt 3D Imager 采用雙目結構光形式,測量范圍為500 mm×350 mm×300 mm,精度可達0.05 mm,外形小、重量輕,能夠完成模具檢測、自動質量控制及尺寸分析等作業任務。 ATOS流動式光學掃描儀是由德國GOM 公司開發、生產的,是可用于產品開發、逆向工程、快速成型和質量控制的三維掃描測量設備。 其投影的結構光為矩形光柵,測量時間為8 s/幀,最高測量精度可達±0.02 mm。

在國內,華南理工大學科研團隊結合雙目視差原理和線結構光三維測量原理,設計了機車閘瓦磨損量的智能化檢測系統。 該方法解決了單目單視角的盲區問題,檢測精度為±2 mm[4]。 吉林大學研制了一套結構光視覺測量系統。 該系統利用移動平臺對軸類零件進行掃描,并根據軸類零件的幾何特征,以掃描后的三維數據對其圓柱度誤差進行分析。 西南科技大學研究人員設計了一種基于微振鏡掃描的結構光投射系統。振鏡式結構光投射系統設計方案如圖2 所示。 該方案能夠快速投射光柵式面結構光,且光柵條紋的空間頻率可控。 采用該系統方案定位目標,能夠獲得0.1 mm的三維重構精度[5]。 此外,華中科技大學、四川大學等單位也相繼開展了類似的研究工作。

圖2 振鏡式結構光投射系統設計方案Fig.2 Design scheme of galvanometric structured light projection system

2.2 結構光編碼技術

對結構光進行編碼是三維面形測量的關鍵過程。有效、可靠的編碼策略能使相機平面和投影儀平面之間的匹配更加迅速、準確,對系統的測量精度與效率具有重要影響。 根據編碼圖案,可將結構光編碼方法分為時序編碼、空間編碼、直接編碼三大類。

時序編碼是通過將多個不同的編碼圖案按時序先后投射到物體表面,生成相應的編碼圖像序列。 該編碼方案可獲取高密度和高精度的點云數據。 在此過程中,需要投影多幅圖像。 紐約州立大學布法羅分校學者提出二值編碼,采用黑色和白色條紋形成一個序列投射模式,使物體上的每個點擁有一個獨特的二進制代碼。 其優點是圖像分割比較簡單、計算量少,缺點是需要投射多張編碼圖案。 西班牙吉羅納大學提出了格雷編碼方案。 與二值編碼相比,該編碼方案大大減少了由一個狀態到下一個狀態的時邏輯混淆。 武漢理工大學的研究人員提出了一種自適應正弦光柵編碼圖案,能有效提高特定球狀物體圖案的分辨率和重構覆蓋率。相移法通過投影一組具有確定相位差的光柵圖案獲取相位信息,進而計算得到目標的三維坐標,具有分辨率高、穩定性好等優點。 目前,已開發出包括三相移算法、四相移算法和九相移算法等在內的多種算法[6]。

空間編碼使用周期相鄰碼字共同確定中心碼字的位置信息。 該編碼方法只需投影一幅編碼圖像,重構速度快,不足之處在于點云的重構密度和精度以及穩定性較低。 日本鹿兒島大學基于偽隨機序列設計的彩色條紋編碼圖案,實現了運動物體全表面重構。 德國弗勞恩霍夫研究院提出以彩色高斯條紋作為碼字,生成具有高斯特性的編碼圖案,在干擾環境光照條件下能夠保持一定的三維重構精度。 中國科學院先進技術研究院基于M 陣列空間編碼,以四種彩色幾何菱形作為特征基元生成M 陣列編碼圖案,并對該編碼圖案提出了相應的特征基元檢測算法,在運動的人臉上實現了較高的重構精度;后來在此編碼的基礎上又進行了改進,即在原來的基元中加入新的幾何特征,通過對包括人臉在內的真實物體的重構,驗證了該方法的三維重構質量[7]。 西安交通大學科研團隊提出一種兩級空時彩色編碼方法,提高了結構光系統的測量效率,有效地解決了彩色結構光測量中存在的色串擾和色差問題。

直接編碼是對每個像素點指定一個碼字。 單一的像素點包含每個點所對應的整個碼字,一般使用大量的顏色或者周期性的投射模式。 由于相鄰像素的色差十分微小,該方法在實際使用中對各種噪聲十分敏感,有一定的局限性。

2.3 系統標定方法

結構光三維成像系統的測量精度依賴于系統參數的標定結果。 因此,快速且精確的標定方法是實現高精度三維面形測量的前提。 近年來,相關學者針對結構光視覺系統的標定技術開展部分研究工作。

在國外,新加坡南洋理工大學以標準量塊作為測試對象,提出一種基于最小二乘法的條紋投影測量系統標定方法。 該方法可有效減少攝像機鏡頭畸變對標定結果的影響。 美國天主教大學使用同心環靶標,結合數字圖像相關算法得到靶標圓心的像素坐標,再基于Levenberg-Marquard 算法,實現了三維測量系統的高精度標定。 德國弗朗霍夫應用光學與精密工程研究所分析了三維面結構光掃描設備誤差的主要來源,并針對相機標定結果的穩定性問題給出了評估方法。 韓國科學技術院分析了同心圓的幾何和代數約束及其在攝像機標定中的應用,給出了其他基于二次曲線的攝像機標定方法的分析,并提出了基于兩個半徑確定的同心圓標定靶標的攝像機標定方法。 美國匹茲堡大學利用非線性最小二乘法估計出每一幅圖像對應的攝像機內參數矩陣,以實現變參數攝像機標定。 西澳大學以空間中非共面的、具有己知三點的四條直線為靶標,利用三標定點與光點間的交比不變性進行光平面的標定。

在國內,空軍工程大學研究人員針對相機標定結果易受外界因素干擾的問題展開了研究,指出光源、圖片數量和棋盤格尺寸對相機標定準確度的影響較大。西安交通大學科研團隊基于射影變換及誤差補償法獲得精確的標定點坐標,提出如圖3 所示的用于系統標定的神經網絡結構。 試驗結果表明,該方法能夠降低建模的復雜度,并有效提升標定精度[8]。 華中科技大學建立了一種受約束的稀疏光束法平差模型,并根據此模型中雅克比矩陣的結構特點提出了一種新的矩陣分塊策略,提高了稀疏線性方程組的求解效率。 北京郵電大學提出一種快速標定法。 該方法需要在一個能自由移動的平面靶標上,根據三個特征點建立透視模型。 這三個特征點相互位置確定且共線,再結合光條紋的成像信息,求出攝像機坐標系下光平面上標定點的坐標。

圖3 用于系統標定的神經網絡結構Fig.3 Neural network structure for system calibration

2.4 曲面輪廓的測量與重構

針對曲面零件的輪廓測量與重構方法,國內外科研人員已開展了部分研究工作。 日本東京大學科研人員提出了一種基于多線彩色結構光的輪廓測量方法,從多角度采集投射在物體表面的彩色條紋圖像,根據獲取的圖像和投影圖案數據庫求解匹配問題,再通過激光三角坐標測量原理法重構物體的三維輪廓。 意大利比薩大學提出了一種結合結構光和工業標記檢測的三維曲面重構方法。 該方法包括采用結構光立體視覺系統獲取點云,以及自動檢測相鄰點云重疊區域上的標記,通過對比不同形狀目標的重構結果與機械探針檢測結果,驗證了方法的可行性。 美國亞利桑那大學研究團隊提出將結構光條紋反射測量方法應用于大口徑非球面鏡的面形檢測。 結構光法應用于拋物面檢測如圖4所示。 圖4 中,被測離軸拋物面的口徑為130 mm。

圖4 結構光法應用于拋物面檢測的示意圖Fig.4 Schematic diagram of the application of structured light method to paraboloid detection

在國內,北京大學的研究人員提出采用彩色結構光法表征板、管等結構的形變輪廓,通過對各變形狀態對應的采集圖像進行彩色條紋識別、解碼和三角剖分處理,驗證了該方法的可行性。 四川大學利用透射液晶顯示器(liquid crystal display,LCD)生成的正弦光柵,由攝像機記錄經被測鏡面反射產生的光柵變形條紋圖,通過被測鏡面和理想鏡面對應點的橫向像素之差獲得被測點面形偏差的梯度信息,并通過數據處理完成三維面形的重構。 天津大學將相移條紋圖的特點與數字圖像處理技術相結合,在重構前從背景中提取被測物體的邊界,減少了需要處理的數據量,提高了邊界處的重構精度。 中科院光電所科研團隊采用結構光條紋反射測量技術實現了對大口徑SiC 離軸非球面鏡的面形檢測,分別采用結構光法和激光三角坐標測量法測量同一鏡面,兩者數據差值的均方根(root mean square,RMS)為0.419 4 μm[11]。 上海理工大學提出了一種基于結構光的零相位偏折法[12],通過仿真結合試驗驗證了該方法的有效性。 試驗結果表明,該方法的測量誤差在微米量級。

3 發展趨勢展望

從國內外研究現狀來看,目前已有相關學者采用結構光技術實現了對球面、拋物面等三維曲面的輪廓重構,可達微米量級的測量精度。 但該技術仍存在一些尚未解決的技術瓶頸與挑戰性問題。 其發展趨勢可總結如下。

①目前的測試對象大多為相對簡單的規則曲面。然而,對于高陡度非球面、自由曲面等復雜面形零件而言,尚未形成較為完善的結構光測試理論與方法體系。這類問題是當前結構光測量面臨的技術挑戰,涉及投影設備優化、面形信息提取算法的創新和標定模型的改進等方面。

②航天航空、精密儀器等領域對光學面形精度要求達到了亞微米乃至納米量級,現階段結構光檢測水平尚無法滿足應用需求。 影響測量精度的因素很多,包括系統標定誤差、結構光編解碼算法等。 將結構光法融合計算光學、深度學習等理論,探索如何進一步提高精度,是未來的研究方向之一。

③基于結構光視覺研究大口徑光學曲面的面形檢測問題。 大口徑光學曲面在工程上的應用越來越廣泛。 通過開展結構光三維測量系統的優化研究,在保證精度的前提下,不斷增加結構光法可檢測的區域范圍,可實現大口徑光學元件的快速面形測量。

4 結論

由于復雜曲面具有形狀的任意性和數學表達的困難性,給實際面形測量與評價帶來了極大的技術挑戰。結構光法作為一類高精度的非接觸式測量方法,能夠克服傳統激光三角坐標測量法存在的觸頭易磨損、效率低等問題;單次可投射的結構光覆蓋范圍大,在測量效率上也具備明顯的優勢。 與零位補償干涉測量方法相比,結構光法無需針對每個待測面制作相應的補償器,可大大減少測量成本,適用性更強。 因此,基于結構光視覺的檢測方法在復雜曲面測量領域具有廣闊的應用前景。