基于柔性控制點的三維數據拼接方法

蘭志廣，張洋，張致遠，李汝鵬，劉巍，邢宏文

(1.大連理工大學 機械工程學院，遼寧 大連 116024；2.國家商用飛機制造工程研究中心，上海 200127)

0 引言

在航空航天等領域，為保證零件的加工精度及部件的裝配精度，需要對零件的三維幾何尺寸等數據進行精確的測量。目前，機器視覺測量憑借其測量精度高、速度快、非接觸及易于操作等優點，已被廣泛應用于工業現場[1-2]。然而，航空航天的零部件外形尺寸一般較大，且放置于型架上，在特定的方向上存在遮擋等現象，僅憑傳感器的單一測量視場無法實現整個零部件的高精度全局測量要求[3-4]。因此需要利用多視數據拼接技術，即將多視場傳感器獲得的局部測量數據通過拼接算法融合在同一個坐標系下，從而獲得大型零部件完整的外形三維數據。

目前，三維數據全局拼接方法可根據數據的獲取流程分為三類：一類是機械運動式拼接法[5]，即利用機械結構獲取各次測量傳感器絕對位置，從而將局部數據根據絕對位置轉換至同一坐標系下，完成測量數據的拼接。該類方法具有操作方便的優點，但是其拼接精度取決于運動機構的精度[6]，運動機構的尺寸范圍一般較小，主要適用于中小零部件的拼接測量。第二類是公共區域順序拼接法[7-8]，即在相鄰的兩個測量視場的公共區域內布置特征信息，通過特征信息在兩個不同傳感器的坐標值利用坐標轉換算法來求得這兩個傳感器的轉換關系，從而將后一傳感器獲得的坐標值轉換至前一傳感器坐標系下，以此類推，將其他所有傳感器獲得的坐標轉換至第一個傳感器坐標系下，最后完成數據拼接。如北航劉震等人，利用同心圓靶標作為特征信息，放置在相鄰兩個測量視場的公共區域，實現三維數據的拼接[8]。此類方法針對較小零件測量時，由于坐標轉換次數較少，需要設備較少，且操作簡便，具有很大的優勢。然而在測量較大的零部件時，如長達10多米的機翼等，由于數據拼接的次數多會產生嚴重的累積誤差[9]，拼接精度較低。且在相鄰的兩個測量區域的公共視場內要有足夠多的特征信息，對特征信息的布置和測量傳感器的拍攝角度都有較高的要求。第三類是全局控制拼接法[10-15]，即利用全局控制裝置測量傳感器在每一位置的位姿，獲得各個位置局部傳感器坐標系到全局坐標系的轉換關系，從而將所有局部信息統一至全局坐標系下，完成拼接。如R.S.Lu等人利用雙經緯儀系統作為全局控制裝置，視覺傳感器作為局部測量系統，視覺傳感器測量被測物獲得三維數據，雙經緯儀測量視覺傳感器的位置求得局部測量坐標系到全局坐標系的轉換關系，將局部數據轉換至全局坐標系下，實現拼接測量[16]。該類方法的轉換鏈簡單，具有很高的拼接精度，廣泛應用于大型零部件的三維測量中[17-18]。然而，利用現有方法需要提前對全局控制點進行布局并手工粘貼，效率低，例如對于3×3 m的零件粘貼控制點大概需要1小時左右，另外還需要時間手動揭下控制點;且飛機機翼蒙皮、天線罩等對表面質量要求很高的精密零件，表面不允許粘貼控制點，因此粘貼控制點的全局拼接方法適用范圍有限。

針對具有自由曲面的大型零件的快速全局測量，本文利用雙目視覺，提出了一種基于柔性投影全局控制點的全局三維數據拼接方法。該方法不需要預先布置控制點，省去了繁瑣的布點流程，可根據零件表面特征自由安排測量站位，現場適應性高，并且由于坐標轉換簡便，不會隨著局部測量次數的增多而產生累積誤差，具有非常高的拼接精度。

1 全局三維數據拼接方法

圖1 基于柔性控制點的全局三維數據拼接原理圖

基于柔性控制點的全局三維數據拼接原理如圖1所示。全局測量系統由前后兩套雙目視覺測量系統和一臺投影儀組成。其中，后面的雙目視覺測量系統采用兩臺分辨力高且視場大的工業相機作為全局控制系統，固定于測量區域后方，用于建立全局坐標系；采用兩臺視場較小的工業相機作為局部測量系統，放置于測量區域的前方，可隨時移動用以獲取被測零件不同區域的局部信息；投影儀用以投影柔性控制點陣，投影出的點陣可同時被兩套雙目系統采集到，以實現局部坐標系到全局坐標系的坐標轉換。利用全局控制系統和局部測量系統分別對柔性控制點進行采集，獲得局部坐標系與全局坐標系間的轉換矩陣，從而實現不同位置三維點云數據的拼接。

1.1 全局坐標系與局部坐標系的建立

為實現大型零件三維點云數據的拼接，首先應建立全局控制坐標系(后文簡稱全局坐標系)和局部測量坐標系(后文簡稱局部坐標系)，本文將全局坐標系建立在全局控制系統中左相機的相機坐標系上，如圖2所示。

圖2 雙目相機的測量原理

在視覺測量的過程中，首選要對相機的內外參數進行標定。通過單相機的標定，可得到視場范圍內任意點P在二維圖像坐標系中的像素坐標(uP,vP)與世界坐標系中的坐標(xP,yP,zP)間的轉換關系為

(1)

式中：K為相機的內參矩陣；H為相機的外參矩陣；fx為焦距長度與相機芯片每個單元x方向尺寸的乘積；fy為焦距長度與相機芯片每個單元y方向尺寸的乘積；cx,cy為相機的主點坐標；RC為像素坐標系與世界坐標系間的旋轉矩陣；TC為像素坐標系與世界坐標系間的平移向量。

分別對左右相機進行標定后，通過立體標定得到左右相機的對應關系，利用空間交匯的原理，即可將視場內的任意空間點在左相機坐標系下進行重建，得到點在全局坐標系下的三維空間坐標。

按照上述建立全局坐標系的方法，將局部坐標系建立在局部測量系統的左相機上，并利用相同的標定方法，標定局部測量系統，從而可以獲得空間內任意一點在局部坐標系下的三維坐標。

1.2 全局控制點的布局和匹配

為實現三維數據的全局拼接，需要在全局控制系統和局部測量系統的公共視場內設立具有公共信息的全局控制點，并根據這些點陣求解全局坐標系與局部坐標系間的轉換矩陣。因此，全局控制點的建立對于全局三維數據拼接非常重要。傳統的全局控制點布置方法需要根據被測零件的尺寸及形狀，在測量視場中提前對全局控制點的放置區域及擺放密度進行設計，并由人工布置，前期準備工作非常繁瑣，且在局部測量過程中，若部分點受到遮擋，會嚴重影響拼接的精度。

圖3 柔性全局控制點

針對全局控制點布局的問題，本文提出一種柔性投影控制點的方法，如圖3所示，利用局部測量系統中的投影儀，根據被測零件的表面特征，柔性投影特征點陣。其中，矩形外邊框所圍成的區域為局部測量系統的測量范圍，用以保證局部測量的過程可以覆蓋被測物所有的表面區域，邊框內部投影的點陣作為全局控制點，充滿整個視場。由于全局控制系統的兩臺相機距被測零件較遠，若特征尺寸較小，受相機分辨力限制，相機的測量精度降低，因此，為了保證拼接的精度，投影的柔性控制點尺寸根據測量現場全局控制系統與零件表面的位置關系進行實時調整，使控制點占據盡可能多像素，提高點的提取精度，從而保證三維數據拼接的質量。

采用這種投影控制點的方法，柔性高，現場適應性強，省去了人工布點的繁瑣工作，操作更加簡便，且由于不需要在零件表面粘貼標記點，保證了零件的表面精度。此外，根據被測零件的表面特征可以實時調整投影點的位置，可以避免控制點被遮擋或變形，極大提高了數據拼接的精度和穩定性。

全局控制系統和局部測量系統分別采集控制點陣的圖像，并在各自的坐標系下重建得到點陣的三維坐標。則局部坐標系下控制點集P={Pi|Pi∈P,i∈N,i≥3}，其中，Pi=(xi,yi,zi)為點Pi在局部坐標系下的三維坐標。全局坐標系下的控制點集為Q={Qi|Qi∈Q,i∈N,i≥3}，其中,Qi=(xi,yi,zi)為點Qi在局部坐標系下的三維坐標。

基于控制點的空間特征不變性對兩點集中的控制點進行匹配。分別構建點集P和Q的描述向量。

Ai=|d(Pi,P1)d(Pi,P2)…d(Pi,Pn)|,n≠i

(2)

Bi=|d(Qi,Q1)d(Qi,Q2)…d(Qi,Qn)|,n≠i

(3)

式中：d(Pi,Pj)=‖Pi-Pj‖2，d(Qi,Qj)=‖Qi-Qj‖2分別為點Pi與P中其他點間的歐式距離和點Qi與Q中其他點間的歐式距離。

由于在控制點的提取和重建過程中誤差的存在，相互匹配的點對的描述向量并不完全相同，因此需要設定一閾值φ，若點Pi和點Qi的描述向量滿足

‖Ai-Bi‖2<φ

(4)

則認為點Pi和點Qi是相互匹配的，即(Pi,Qi)為匹配點對。最后，將P，Q中的點根據匹配關系重新編號排序，得到高精度匹配的控制點集P′={Pk|Pk∈P,k∈N,3≤k≤i}和Q′={Qk|Qk∈Q,k∈N,3≤k≤i}。

1.3 三維數據的拼接及優化

根據全局坐標系下與局部坐標系下對應的匹配點對，可求解全局坐標系與局部坐標系的坐標轉換關系。對于空間中的這兩個坐標系，同時存在旋轉和平移，即同一控制點在兩坐標系下的坐標可表示為

Qk=R·Pk+T

(5)

式中:R為坐標系旋轉矩陣；T為坐標系平移向量。為方便計算，利用向量的計算先得到旋轉矩陣之間的關系，然后再利用點的坐標計算平移向量，即

(6)

具體的求解過程為

首先，計算兩匹配點集的質心點

(7)

(8)

其次，分別計算兩匹配點集中的向量

(9)

(10)

則

(11)

建立目標函數

(12)

(13)

2 大型三維形面測量實驗

圖4 大型零件三維數據測量系統

搭建大型零件三維數據測量系統如圖4所示，局部測量系統由兩臺工業相機(VC-12MC-M/C 65，焦距28 mm，分辨力3072×4096)和一臺投影儀(EPSON，3000 lm)組成，全局控制系統由兩臺高精度大視場工業相機(VC-29MC-M/C，焦距50 mm，分辨力4384×6576)組成。根據1.1的標定方法，在實驗室對兩套雙目相機組成的測量系統進行精確標定，并利用測量系統對大型零件進行了三維數據采集和重建。

在北極這樣的寒冷地帶生活，沒有一些特殊本領怎么能行？一些苔蘚可以在零下10℃的環境里生存，而地衣就更厲害了，即使是零下20℃的低溫，它們也無所畏懼。苔蘚和地衣都是緊貼著地面匍匐生長的，這其實是一種對付極寒天氣的生存智慧，因為只有“趴在地上”，才能夠抗風、保溫，并且減少植物的蒸騰作用，更好地生存下去。

2.1 階梯式全局測量系統的標定

根據雙目系統測量視場的大小，基于張氏標定法，采用300×400 mm的黑白棋盤格標定板對局部測量系統進行標定，采用600×800 mm的黑白棋盤格標定板對全局測量系統進行標定，標定板的精度為0.02 mm。

1)復合式全局測量系統的系統參數標定

對全局控制系統即后雙目系統進行標定，得到標定結果為

左相機內參：fx=8767.1,fy=8751.4,cx=3106.6,cy=2242.1,k1=0.10661,k2=-0.07177;

右相機內參：fx=8868.9,fy=8852.4,cx=3451.1,cy=2194.9,k1=0.066,k2=1.218;

對局部測量系統進行標定，標定結果為

左相機內參：fx=5206.1,fy=5208.4,cx=2053.9,cy=1527.6,k1=-0.026,k2=0.209;

右相機內參：fx=5177.0,fy=5185.5,cx=2138.3,cy=1497.2,k1=-0.026,k2=0.178。

根據1.1節，全局坐標系和局部坐標系分別建立在前后雙目系統的左相機上。

2)局部坐標系與全局坐標系的轉換

在局部測量的第一個測量站位，利用局部測量系統中的投影儀，在被測零件的表面投影全局控制點，控制點的分布根據被測零件表面的特征實時調整，保證盡可能多的點出現在相機視場中。

利用前后雙目系統，分別采集投影的柔性控制點陣。根據控制點陣的空間不變性，前后雙目系統兩次采集得到的點陣中各點間的位置關系相對不變。利用式(12)和式(13)，求解得出局部坐標系與全局坐標系的轉換矩陣。

按照規劃的局部測量路徑，移動局部測量系統到相應的測量站位，重復上述過程，并求取每一個位置下局部坐標系與全局坐標系的轉換矩陣，將所有三維數據都統一到固定不變的全局坐標系中，即可實現大型零件的全局三維測量。

2.2 全局拼接方法精度驗證實驗

本文采用標準殷鋼尺來驗證階梯式全局測量系統的測量精度，標準尺的長度為1100.0207 mm。其驗證的過程為：將標準尺以不同的傾角放置在測量空間中相機的合焦平面周圍，利用全局拼接系統分別測量標準尺兩端的兩個特征點A，B，并將兩次測量到的數據轉換至全局坐標系下，計算得到標尺長度，通過與標準尺的標準長度對比來評價本文提出的拼接方法的精度。

標尺的三維重建圖如圖5所示，各個端點的測量數據如表1所示。利用本文提出的拼接方法，重建一維標尺的最大誤差為0.1593 mm，可認為其拼接精度為0.1593 mm，小于0.2 mm，具有很高的拼接精度。

圖5 一維標尺拼接重建

2.3 大型壁板拼接實驗

采用本文提出的全局測量系統，在實驗室中對已知數學模型的大型復合材料壁板進行拼接測量實驗。根據壁板的尺寸，選取合適的三個測量站位，并在三個位置投影柔性全局控制點，計算獲得三次測量的轉換矩陣，如表2所示。使用局部測量傳感器在每一個位置對壁板進行測量時，相機采集到的圖像如圖6所示。然后，將得到的每一個位置的三維點云數據統一到全局坐標系下，進而實現對大型壁板的三維拼接測量，拼接重建結果如圖7所示。完成拼接后，三個站位所得到的測量點云之間不存在錯位、旋轉等問題，重建得到了被測壁板的三維型面信息。通過計算拼接點云數據與三維數模間的均方根誤差(RMS)對拼接方法進行評價，測量點云數據與模型對應點間的均方根誤差為0.4734 mm，同時對于該壁板件在三坐標測量機上進行測量，其測量結果與模型對應點間的均方根誤差為0.254 mm，可以驗證本文提出的方法對于復合材料壁板測量的有效性，可以滿足大型壁板的測量要求。

圖6 雙目相機采集到的灰度圖像

圖7 大型復合材料壁板拼接點云

表1 不同位姿標尺拼接重建結果

表2 坐標系轉換矩陣

3 結論

針對現有大型零件全局測量過程中存在的不足，提出一種基于柔性控制點的全局三維數據拼接方法。該方法利用投影柔性控制點，解決了傳統大型零件測量過程中控制點布局繁瑣、效率低的問題，提高了測量系統的現場適應性。采用階梯式雙目系統進行局部和全局的三維數據采集，便于測量過程中根據被測零件表面特征實時調整測量站位，保證公共視場中存在足夠多的拼接控制點，提高了數據拼接的精度和測量穩定性。本文詳細介紹了階梯式三維數據拼接的原理和全局測量流程，在實驗室中，利用定長標尺對拼接方法的精度進行了驗證，在4000×3000 mm的測量視場范圍內拼接精度可達0.1593 mm；此外，利用本文提出的三維數據拼接方法對大型復材壁板零件進行了多站位測量并進行了三維數據拼接和重建，重建結果顯示該拼接方法可以滿足大型零件的現場測量要求，驗證了其有效性。