基于機(jī)器視覺(jué)的總段對(duì)接方法

薛鵬程，蘇 寧，齊 峰，阮洪浩，張偉軍

(1.上海交通大學(xué)機(jī)械與動(dòng)力工程學(xué)院，上海 200240;2.江南造船集團(tuán)有限責(zé)任公司，上海 201913)

0 引言

目前絕大多數(shù)造船企業(yè)都是采用分段建造思想組織生產(chǎn)，將船劃分成段，獨(dú)立平行建造，這種思想能提高船塢利用效率，降低船舶建造周期，提高生產(chǎn)率。依照不同生產(chǎn)階段，可將中間產(chǎn)品分為鋼材、小組立、中組立、大組立、分段、大型分段等[1]。巨型總段造船法是在分段基礎(chǔ)上實(shí)現(xiàn)巨型化，同時(shí)擴(kuò)大預(yù)舾裝和涂裝及可以分段測(cè)試的工作，使總段制造向?qū)I(yè)化、社會(huì)化方向發(fā)展[2]。其生產(chǎn)模式是先由大型總組車間(專業(yè)分段廠)造好重達(dá)數(shù)千噸的巨型分段，運(yùn)至整裝船塢(總裝廠)，再由巨型浮吊(起重船)將其吊入船塢連接成整船以形成船舶建造異地平行批量生產(chǎn)模式[3]。這種方法的使用，能夠提高分段預(yù)舾裝涂裝程度，更進(jìn)一步地提高了造船效率。

分段建造的思想早在20世紀(jì)中期就已經(jīng)出現(xiàn)，但巨型總段造船法的發(fā)展直到21世紀(jì)初才有了突破，一大難點(diǎn)便來(lái)自于總段的對(duì)接過(guò)程中。理論上想要提高效率需要減少總段的劃分?jǐn)?shù)量，提高前期即可進(jìn)行的預(yù)舾涂程度，但隨著總段重量的加大，其轉(zhuǎn)移難度、測(cè)量定位、調(diào)整位姿等方面的難度也隨之加大。

為了保證對(duì)接的精度，很重要的一步便是保證測(cè)量的精度，傳統(tǒng)的測(cè)量方式大致可以分為2大類：一是利用人工在船艙內(nèi)測(cè)量，這種方式受空間限制難以應(yīng)用高精度自動(dòng)化設(shè)備；二是利用自動(dòng)化設(shè)備測(cè)量總段外部側(cè)壁上的點(diǎn)，這種間接測(cè)量法又會(huì)因?yàn)榭偠巫冃巍⑥D(zhuǎn)站誤差等引入新的偏差。

本文設(shè)計(jì)了一種基于視覺(jué)的視覺(jué)定位裝置，其能夠放置在對(duì)接面直接測(cè)量數(shù)據(jù)，并設(shè)計(jì)了一套基于該種視覺(jué)定位裝置的對(duì)接系統(tǒng)算法，能夠直接利用對(duì)接面關(guān)鍵點(diǎn)信息完成對(duì)接控制，提高總段對(duì)接的精準(zhǔn)度與自動(dòng)化程度。

1 總段對(duì)接系統(tǒng)

總段對(duì)接法的核心思想為將船體在特定的部位進(jìn)行分段并獨(dú)立平行建造，各段之間通過(guò)對(duì)接調(diào)整到合適位姿完成焊接。如圖1所示,在對(duì)接過(guò)程中，通常保持一個(gè)分段固定不動(dòng)(稱為固定段)，只對(duì)另一個(gè)分段(稱為移動(dòng)段)進(jìn)行位姿調(diào)整，將固定段和移動(dòng)段分隔開(kāi)的面稱為對(duì)接面。評(píng)價(jià)對(duì)接質(zhì)量的重要指標(biāo)即為固定段和移動(dòng)段對(duì)接面上一些特定的對(duì)應(yīng)點(diǎn)(稱為關(guān)鍵點(diǎn))之間的相對(duì)誤差是否滿足要求。

圖1 對(duì)接示意

對(duì)接過(guò)程首先將移動(dòng)段拉近固定段至合適的位置，之后大致可以分為3個(gè)大的步驟：測(cè)量數(shù)據(jù)、計(jì)算指令、執(zhí)行調(diào)節(jié)，循環(huán)進(jìn)行直至對(duì)接誤差滿足要求再進(jìn)行最后的合攏。本文主要研究的是能夠在對(duì)接面進(jìn)行測(cè)量的裝置及基于該裝置的指令算法，執(zhí)行操作沿用現(xiàn)有系統(tǒng)。

2 視覺(jué)定位裝置

關(guān)鍵點(diǎn)在實(shí)際中指的是水平和豎直鋼板的交匯點(diǎn)中心，直接通過(guò)視覺(jué)識(shí)別檢測(cè)存在很大的難度，因此引入一個(gè)靶標(biāo)間接測(cè)量對(duì)面的關(guān)鍵點(diǎn)。故提出的視覺(jué)檢測(cè)裝置分為2個(gè)部分：相機(jī)側(cè)和靶標(biāo)側(cè)。檢測(cè)裝置可直接放入固定段和移動(dòng)段的對(duì)接面的關(guān)鍵點(diǎn)附近，進(jìn)而減少由于分段整體變形引入的誤差。

相機(jī)側(cè)的目標(biāo)是盡可能精確地獲取靶標(biāo)側(cè)的信息，并根據(jù)這些信息計(jì)算出靶標(biāo)側(cè)的位姿，將信息傳遞給上位機(jī)，其主要流程如圖2所示。視覺(jué)定位裝置所需解決問(wèn)題的本質(zhì)為獲取1幅已知相對(duì)關(guān)系的N個(gè)空間點(diǎn)的圖像，并根據(jù)圖像計(jì)算這N個(gè)點(diǎn)所在的物體坐標(biāo)系到相機(jī)坐標(biāo)系的位姿轉(zhuǎn)換，即經(jīng)典的PnP(Perspective-n-Point)問(wèn)題。

圖2 視覺(jué)定位整體流程

2.1 靶標(biāo)設(shè)計(jì)

平面PnP問(wèn)題存在如下結(jié)論：當(dāng)n=4時(shí)解唯一；n≥5時(shí)構(gòu)成超定線性方程組，可求最小二乘解[4]。靶標(biāo)側(cè)的目標(biāo)是提供盡可能多且準(zhǔn)確的信息從而使相機(jī)側(cè)準(zhǔn)確定位，因此測(cè)量面設(shè)計(jì)成容易定位的二維碼和高精度的棋盤(pán)格組合的形式，如圖3所示。

圖3 靶標(biāo)側(cè)的測(cè)量面

如圖4所示，以靶標(biāo)的中心OT為原點(diǎn)，靶標(biāo)2個(gè)邊長(zhǎng)方向?yàn)閤T和yT，垂直于靶標(biāo)面的方向?yàn)閦T建立靶標(biāo)坐標(biāo)系，則在靶標(biāo)坐標(biāo)系中各角點(diǎn)Pi齊次坐標(biāo)為T(mén)Pi(mid,nid，0,1),其中d為每個(gè)棋盤(pán)格的邊長(zhǎng)，mi和ni代表第幾個(gè)角點(diǎn)，滿足mi,ni∈Z、-5≤mi,ni≤5且mi及ni的絕對(duì)值不同時(shí)小于4。

圖4 靶標(biāo)與相機(jī)示意

(1)

其中,R3×3和T3×1分別為靶標(biāo)坐標(biāo)系到相機(jī)坐標(biāo)系的旋轉(zhuǎn)和平移矩陣。

2.2 相機(jī)標(biāo)定

給定4組空間點(diǎn)和圖像點(diǎn)的對(duì)應(yīng)關(guān)系，盡管無(wú)需知道相機(jī)的有效焦距f和像素比例因子α，也能推導(dǎo)出物體坐標(biāo)系到攝像機(jī)變換矩陣[5]，但由于相機(jī)畸變等問(wèn)題，在實(shí)際工程應(yīng)用中，為了保證測(cè)量精度，還是需要提前標(biāo)定好相機(jī)的內(nèi)參和畸變系數(shù)。

設(shè)相機(jī)坐標(biāo)下點(diǎn)Pi坐標(biāo)為CPi(xPi,yPi,zPi)，對(duì)應(yīng)的像素坐標(biāo)為(ui,vi),則存在如下的轉(zhuǎn)換關(guān)系

(2)

fx和fy分別為相機(jī)在x軸和y軸的歸一化焦距；u0和v0為坐標(biāo)原點(diǎn)偏置；K為內(nèi)參矩陣。內(nèi)參矩陣體現(xiàn)相機(jī)自身的特性，對(duì)同一相機(jī)而言內(nèi)參矩陣是固定不變的，可采用張正友標(biāo)定法進(jìn)行標(biāo)定。

將式(1)代入式(2)可得

(3)

消去zPi可得

(4)

或者寫(xiě)成如下線性方程組

(miFiniFiFi)X=(0 0)T

(5)

2.3 求解位姿變換

圖5 像素坐標(biāo)系下靶標(biāo)示意

則對(duì)靶標(biāo)的每個(gè)檢測(cè)出的角點(diǎn)Pi存在如下關(guān)系

OPPi=OPOT+miex+niey

(6)

或?qū)懗删仃囆问綖?/p>

(7)

(uivi)T為通過(guò)視覺(jué)檢測(cè)算法檢測(cè)到的棋盤(pán)角點(diǎn)的像素坐標(biāo)。由于存在二維碼和邊緣或?qū)嶋H應(yīng)用中可能存在的雜項(xiàng)干擾等，檢測(cè)到的角點(diǎn)不一定是實(shí)際上的棋盤(pán)角點(diǎn)，因此通過(guò)式(7)對(duì)mi和ni進(jìn)行估計(jì)，即

(8)

(9)

2.4 視覺(jué)定位裝置樣機(jī)設(shè)計(jì)

視覺(jué)定位裝置的核心為相機(jī)和靶標(biāo)，以此為基礎(chǔ)加上必要的電池、距離傳感器、微型主機(jī)、遙控模塊、照明裝置等進(jìn)行試驗(yàn)樣機(jī)的設(shè)計(jì)與加工制造，設(shè)計(jì)圖和實(shí)際加工樣機(jī)如圖6所示。

圖6 視覺(jué)定位裝置

3 視覺(jué)定位系統(tǒng)

單臺(tái)視覺(jué)定位裝置只能獲取安裝點(diǎn)附近的信息，對(duì)于總段的尺度，僅靠1臺(tái)視覺(jué)定位裝置無(wú)法實(shí)現(xiàn)準(zhǔn)確獲取移動(dòng)段的位姿，尤其是移動(dòng)段的姿態(tài)變化通常很小，難以在局部準(zhǔn)確測(cè)量。因此，采用多臺(tái)視覺(jué)定位裝置共同工作，組建視覺(jué)定位系統(tǒng)，以實(shí)現(xiàn)對(duì)移動(dòng)段的準(zhǔn)確測(cè)量，并設(shè)計(jì)相關(guān)算法進(jìn)行指令計(jì)算。視覺(jué)定位系統(tǒng)工作框圖如圖7所示。

圖7 視覺(jué)定位系統(tǒng)工作框圖

3.1 視覺(jué)定位裝置安裝與標(biāo)定

首先,在對(duì)接面合適的位置安裝視覺(jué)定位裝置，由于實(shí)際上需要的是關(guān)鍵點(diǎn)PM和PG的相對(duì)信息，而視覺(jué)定位裝置只是獲得靶標(biāo)相對(duì)于相機(jī)的關(guān)系，因此還需要利用激光跟蹤儀等設(shè)備在對(duì)接前分別測(cè)量每臺(tái)相機(jī)側(cè)和固定段關(guān)鍵點(diǎn)的相對(duì)關(guān)系、靶標(biāo)側(cè)和移動(dòng)段關(guān)鍵點(diǎn)的相對(duì)關(guān)系,如圖8所示。

圖8 視覺(jué)定位裝置標(biāo)定示意

以相機(jī)側(cè)C為例，需要在其安裝到關(guān)鍵點(diǎn)PG附近時(shí)，用激光跟蹤儀同時(shí)測(cè)量相機(jī)側(cè)C前表面3個(gè)特征點(diǎn)C0、C1、C2和關(guān)鍵點(diǎn)PG的坐標(biāo)，則可分別以矢量C0C1、C0C2和C0C1×C0C2為基底，C0PG為

C0PG=αGC0C1+βGC0C2+γG(C0C1×C0C2)

(10)

將4點(diǎn)在激光跟蹤儀坐標(biāo)系下的坐標(biāo)代入得到線性方程組，可解得3個(gè)系數(shù)αG、βG和γG的值，且式(10)關(guān)系在其他坐標(biāo)系下也成立。由于C0、C1和C2在相機(jī)側(cè)坐標(biāo)系下的坐標(biāo)是可以在設(shè)計(jì)時(shí)得到或者組裝完成后通過(guò)標(biāo)定獲得，此關(guān)系本質(zhì)上是確定了在此安裝位姿時(shí)關(guān)鍵點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)CPG。靶標(biāo)側(cè)同理,能確定TPM。

3.2 位姿調(diào)整算法

視覺(jué)定位裝置布局如圖9所示，多臺(tái)視覺(jué)定位裝置安裝到對(duì)接面上關(guān)鍵點(diǎn)附近。

圖9 視覺(jué)定位裝置布局示意

(12)

則假設(shè)在此時(shí)對(duì)移動(dòng)段進(jìn)行位姿調(diào)整T，可以調(diào)整移動(dòng)段關(guān)鍵點(diǎn)至與固定段關(guān)鍵點(diǎn)重合，則有

GPGi=T·GPMi

(13)

n個(gè)關(guān)鍵點(diǎn)構(gòu)成線性方程組

(GPG1,…,GPGn)=T(GPM1,…,GPMn)

(14)

4 實(shí)驗(yàn)驗(yàn)證與性能分析

實(shí)驗(yàn)驗(yàn)證分為2個(gè)部分，分別驗(yàn)證單臺(tái)視覺(jué)定位裝置和總體視覺(jué)定位系統(tǒng)。

4.1 單臺(tái)視覺(jué)定位裝置測(cè)試

圖10 視覺(jué)定位裝置實(shí)驗(yàn)平臺(tái)

圖11 靶標(biāo)移動(dòng)軌跡

圖12 靶標(biāo)模擬關(guān)鍵點(diǎn)CPM軌跡

由圖12可見(jiàn)，散點(diǎn)的變化還原了靶標(biāo)的移動(dòng)，對(duì)軌跡的5段平動(dòng)區(qū)域散點(diǎn)進(jìn)行線性擬合，同時(shí)結(jié)合記錄的移動(dòng)真實(shí)值得到每段軌跡上各點(diǎn)到理論的偏差絕對(duì)值如圖13所示。

圖13 不同段數(shù)據(jù)點(diǎn)殘差分布

由圖13可以看出，絕大部分的點(diǎn)擬合偏差的絕對(duì)值小于0.5，個(gè)別點(diǎn)達(dá)到1.0左右。在同一位置重復(fù)測(cè)量7次，并將各點(diǎn)與理論位置的偏差即重復(fù)測(cè)量誤差繪圖，分別如圖14和圖15所示。

圖14 視覺(jué)定位裝置重復(fù)定位誤差圖

圖15 視覺(jué)定位裝置偏差分布直方圖

從圖14和圖15可以明顯看出，在y、z方向重復(fù)誤差相對(duì)更小，不超過(guò)±0.2 mm，而在x方向上誤差相對(duì)較大，能達(dá)到±1.0 mm。造成該現(xiàn)象的主要原因是x方向是相機(jī)的深度方向，對(duì)應(yīng)的誤差主要來(lái)自在深度方向的平移和繞y軸、繞z軸的旋轉(zhuǎn)，而這些變量的測(cè)量表現(xiàn)在靶標(biāo)角點(diǎn)上的像素變化相對(duì)其他3個(gè)變量會(huì)更低，計(jì)算結(jié)果對(duì)擾動(dòng)更加敏感，最終造成深度方向波動(dòng)明顯大于其余2個(gè)方向，引入一定的誤差。因此，實(shí)際應(yīng)用中使用距離傳感器修正深度方向誤差。

4.2 視覺(jué)定位系統(tǒng)測(cè)試

整個(gè)視覺(jué)定位系統(tǒng)測(cè)試在某船型上測(cè)試，總段和裝置工作效果如圖16所示。

圖16 總段實(shí)驗(yàn)平臺(tái)(左)和靶標(biāo)安裝(右)

通過(guò)對(duì)利用其他方式調(diào)整好的總段進(jìn)行人為指令打亂，再用視覺(jué)定位系統(tǒng)進(jìn)行測(cè)量計(jì)算復(fù)原的操作進(jìn)行測(cè)試，某次對(duì)x軸(船長(zhǎng)方向)旋轉(zhuǎn)指令的結(jié)果如表1所示。

表1 實(shí)驗(yàn)偏差值與理論值對(duì)比 mm

從表1中數(shù)據(jù)可以看出絕大部分?jǐn)?shù)據(jù)符合較好，測(cè)量誤差滿足實(shí)際工業(yè)使用的需要。

5 結(jié)束語(yǔ)

本文基于機(jī)器視覺(jué)，設(shè)計(jì)了一種用于總段對(duì)接的定位裝置及其組成的定位系統(tǒng)，設(shè)計(jì)算法完成從測(cè)量數(shù)據(jù)的采集處理到指令的解算下達(dá)，完成了一種新的總段對(duì)接的思路設(shè)計(jì)與方法實(shí)踐。經(jīng)測(cè)試，該方法具有一定的精度，相對(duì)傳統(tǒng)方法能提供更多的信息，具有一定的可行性與優(yōu)越性。