船舶小組立焊接工位特征提取和檢測*

趙超奇，習俊通

(上海交通大學智能制造與信息工程研究所，上海 200240)

0 引言

《中國制造2025》將高技術(shù)船舶領(lǐng)域作為重點突破的十大領(lǐng)域之一，明確將船舶智能制造列為主攻方向。我國船舶制造企業(yè)經(jīng)歷了一段時間的快速發(fā)展，也取得了初步的成績，建設(shè)了切割流水線、中小組立焊接流水線等較為先進的硬件設(shè)施，但相比于歐美和日韓等國家的造船企業(yè)，人工施工的比例仍較高，自動化程度較低，生產(chǎn)效率遠無法適配現(xiàn)代造船的要求。隨著人力成本的逐漸上升和對船舶生產(chǎn)效率要求的提高，智能化流水線的造船方式是船舶制造的必然趨勢。

船舶零部件具有種類多、批量小的特點，而小組立結(jié)構(gòu)簡單，是船舶建造中最重要的中間產(chǎn)品之一，不同小組立之間的相似性較強，易于實現(xiàn)智能化流水線生產(chǎn)。小組立工件的焊接質(zhì)量直接影響后續(xù)工位的安裝，因焊接誤差或變形等不穩(wěn)定因素易引起現(xiàn)場作業(yè)和制造的困難，而現(xiàn)有的小組立焊接流水線自動化程度不高，人工施工比例大，易引入人為誤差，焊接作業(yè)時需要人工干預(yù)決策，并且缺乏對焊接質(zhì)量的檢測手段，這些都導(dǎo)致目前小組立流水線生產(chǎn)效率低，穩(wěn)定性不夠高現(xiàn)狀的原因[1]。

隨著機器視覺技術(shù)的發(fā)展，其在測量和檢測領(lǐng)域也得到了廣泛的應(yīng)用，在船舶智能制造領(lǐng)域有非常大的潛力。本文基于建立智能化的小組立焊接流水線的需求，介紹基于機器視覺的小組立表面特征點提取、定位以及焊接質(zhì)量檢測方法，并通過實驗驗證方案和算法的可行性[2]。

1 問題描述

1.1 測量需求

如圖1所示為小組立建造的基本流程，分別設(shè)置有上料工位、裝配工位、焊接工位、修補工位、背燒工位和下料工位6個工位。基本流程是，通過門吊將物料運輸?shù)缴狭瞎の唬斯ぴ谘b配工位進行點焊定位，之后在焊接工位通過機器人進行焊接，焊接完成后對小組立工件進行人工檢測，判斷小組立工件是否符合要求，對存在缺陷的小組立進行手工修補，合格后進入到背燒工位，背燒工位用于消除小組立工件焊接后產(chǎn)生的變形和應(yīng)力集中現(xiàn)象，完成上述步驟后移送到下料工位，由門吊移動到后續(xù)工序[3-4]。

圖1 小組立流水線建造流程

其中機器人焊接系統(tǒng)是小組立焊接流水線的核心組成部分，是智能化焊接的起點。國內(nèi)部分船廠雖然已經(jīng)有了小組立焊接生產(chǎn)線，但自動化程度不高，許多仍采用示教形式的機器人進行焊接，每次焊接前需要人工引導(dǎo)機器人焊槍定位，對齊小組立工件的多個特征點，并在已建立的焊接工藝庫中選擇對應(yīng)的焊接工藝，才能開始焊接。該方式人工操作耗時嚴重，對齊特征點時存在人為誤差，且焊接后缺乏對焊接效果的檢測手段，嚴重影響了小組立焊接的效率和焊接質(zhì)量。因此針對上述不足，本文提供一種在無先驗信息和人工干預(yù)下，獲取引導(dǎo)焊接機器人的小組立工件特征點信息，實現(xiàn)工件定位，計算相應(yīng)尺寸，并對焊接效果進行評估的機器視覺方法。

1.2 測量方案和原理

本文的研究基于圖2所示小組立焊工位，設(shè)定機床全局坐標系以龍門架軌道為x軸，機器人底座軌道為y軸。小組立工件如圖所示，均為單個平直底板和一個或多個加強筋組成。底板尺寸約為3000 mm×6000 mm，加強筋垂直于底板，其最大高度小于700 mm，厚度約13 mm。

圖2 整機測量方案示意圖

采用的整機測量方案為線激光測量，測量設(shè)備固連在龍門架上的機器人底座上，且激光線與機床x軸呈45°，可以隨機器人底座沿y軸運動，同時龍門架可以沿x軸方向位移，組合形成二維運動，通過控制機床沿固定路線運動，保證激光線可以掃略小組立工件的所有表面，通過同時采集機床坐標和相機圖像，得到工件的全局點云。在焊接前和焊接后分別掃略兩次，從而比較焊接前后加強筋位置變化。

系統(tǒng)的測量原理如圖3所示，首先通過標定線激光相機和光平面參數(shù)，可以將光刀圖像轉(zhuǎn)換為相機坐標系下的三維點云數(shù)據(jù)，安裝在機床后，對相機坐標系和機床坐標系之間的變換關(guān)系進行在機標定，通過獲取機床位置信息便可將相機坐標系下的三維點云數(shù)據(jù)轉(zhuǎn)換為機床坐標系下的全局點云數(shù)據(jù)，從而得到小組立工件的整體點云。在此基礎(chǔ)上通過三維點云處理算法提取小組立的特征，計算相應(yīng)特征點在機床全局坐標系下的位置，并對小組立焊接質(zhì)量進行檢測后反饋給機床。

圖3 系統(tǒng)測量原理

2 特征點提取和焊接質(zhì)量評估

針對測量所得小組立整體三維點云，需要得到小組立底板角點坐標，并對焊接后加強筋的位置變化做出評定。整體三維點云由多個線條點云組合而成，其成分包括地面、底板和加強筋上表面。為了保證精度，減少線條點云之間的距離，線激光相機使用最高頻率采集，最終小組立工件全局點云數(shù)量在3×106以上，因此為了保證測量系統(tǒng)的響應(yīng)速度，對算法復(fù)雜度要求非常高。本文將針對海量點云，設(shè)計高效提取特征點和計算相應(yīng)參數(shù)的點云處理算法。算法的主要處理流程包括點云預(yù)處理、底板與加強筋分離、底板角點提取和加強筋聚類分割。

2.1 點云預(yù)處理

點云數(shù)據(jù)量為百萬級，多種算法如離群點移除、聚類分割等都需要查找鄰近點，若查找每個點的鄰近點，其算法的時間復(fù)雜度為0(n2)，現(xiàn)代常見高性能處理器每秒約可以計算109次，針對百萬級點云，此種算法復(fù)雜度下運算時間將高達103s，這對于現(xiàn)場測量是不可接受的。因此為了降低處理時間，需要減少點云數(shù)量并改善算法。

針對最近鄰查找，可以采用k-d樹優(yōu)化最近鄰查找，將查找所有點的最近鄰的時間復(fù)雜度優(yōu)化到O(n*log(n))，從而將算法運行時間控制在秒級[5]。

針對減少點云數(shù)量，采用體素柵格濾波的方法對點云進行精簡。體素柵格濾波將空間劃分為多個體素柵格，體素的大小根據(jù)精度要求和精簡效果綜合選取，通過遍歷點云，判斷每個點所處的體素，隨后再對每個體素柵格進行檢測，保留最靠近柵格中心的點。

2.2 底板提取和分割

點云中主要包含部分掃描到的地面點云、底板點云和加強筋上表面點云。為識別底板角點和評估焊接質(zhì)量，需要將地面、底板和加強筋三者分離。測量系統(tǒng)掃描策略使得底板為點云中主要特征，因此設(shè)計分離算法流程為：

(1)提取底板平面；

(2)旋轉(zhuǎn)點云，將底板法向量與全局坐標系中z軸對齊；

(3)基于z值剔除地面點云，并分離底板和加強筋。

本文采用RANSAC(Random Sample Consensus)隨機采樣一致算法提取底板平面，基本原理是隨機選取一組種子點，求解平面模型參數(shù)，計算距平面距離符合要求的點個數(shù)，經(jīng)過多次迭代，得到最優(yōu)的平面方程。RANSAC是一種不確定的算法，且每次迭代時需要遍歷所有點，因此為了保證結(jié)果的準確性和控制算法運行時間，需要設(shè)置合理的迭代次數(shù)。

平面方程為：Ax+By+Cz+D=0，為了確定平面參數(shù)，忽略三點共線的小概率情況，需要選取3個種子點，設(shè)底板點云占整體點云的比例為p，算法迭代次數(shù)為n，則一次采樣中3個種子點都是底板上的點的概率為：p3，3個點中至少有一個非底板點(采樣失敗)的概率為1-p3，n次采樣全部失敗的概率為(1-p3)n，則至少成功一次的概率z=1-(1-p3)n，則：

(1)

因此在p約為0.6，算法成功率保證在99%以上的情況下，同時使得擬合的模型盡量最佳，可將迭代次數(shù)設(shè)置為100次。

通過底板平面方程，可以得到底板平面的法向量[6]，根據(jù)法向量和z軸，可以將點云坐標進行旋轉(zhuǎn)，設(shè)v是在三維空間中的坐標點，k是z軸的單位向量，θ是法向量和轉(zhuǎn)軸之間的夾角，則根據(jù)羅德里格旋轉(zhuǎn)公式可得旋轉(zhuǎn)后點的坐標為：

vrot=vcosθ+(k×v)sinθ+k(k·v)(1-cosθ)

(2)

其中，v=(x,y,z),k=(0,0,1)。

由此得到旋轉(zhuǎn)后的點云，并求解旋轉(zhuǎn)后底板點云的平均z坐標值，去掉z值低于平均值的點即地面等雜質(zhì)點。為了防止因相鄰加強筋的底部相接觸，而導(dǎo)致分割時被識別為同一個加強筋的情況，標記z值高于底板平均z值加上一定閾值的點，并保存其相應(yīng)旋轉(zhuǎn)前的點作為加強筋點云，由此便剔除了地面雜質(zhì)點并分離了加強筋和底板。

底板分離效果如圖4所示，圖4a為分割前含有底板、底板下的雜質(zhì)點和加強筋的點云，圖4b為分割后的底板點云，可以看到底板得到了較好的提取效果，同時去除了雜質(zhì)點。

(a) 分割前點云 (b) 分割后底板點云圖4 底板分離效果

2.3 多邊形底板的角點提取和尺寸計算

針對小組立中三角形或四邊形底板，需要提取其角點坐標。本文針對多邊形底板點云，設(shè)計掃描線結(jié)合RANSAC的算法，角點提取算法的流程如圖5所示。首先，將點云沿z軸旋轉(zhuǎn)45°，并求解點云中坐標極值；其次，從極小值開始設(shè)置掃描線，求解在掃描線附近點的最大坐標值和最小坐標值，保留其作為邊界點，掃描完成后將點云旋轉(zhuǎn)-45°，即可得到底板的邊界點云。

對邊界點云進行角點提取運算，判斷當前點云數(shù)是否滿足設(shè)定閾值，如果不滿足則說明此時都是噪點，已經(jīng)不存在邊界，則跳出循環(huán)。如果滿足，則使用RANSAC擬合直線，并剔除在直線上的點，記錄邊界的個數(shù)，再判斷點云數(shù)是否滿足設(shè)定值。求解k條邊的直線方程后，通過在二維域中求解多個交點，然后選取最近鄰距離最小的k個點作為角點，計算相應(yīng)邊界尺寸。

圖5 角點提取算法流程

針對四邊形底板，采用角點提取算法的過程如圖6所示。通過掃描算法處理底板點云得到了底板邊界，然后通過多次RANSAC直線擬合，并保留余下的點云，最終得到4條邊的直線方程。通過求交點并取鄰近點距離最下的4個點，從而得到了底板的角點坐標和邊界尺寸。

圖6 角點提取過程

2.4 基于聚類的物體分割

分離加強筋和底板點云后，針對多個加強筋組合成的點云，采用歐式聚類算法分割，歐式聚類分割算法流程如下：

(1)建立大小為n的標記數(shù)組，將初始值均設(shè)為0，其中n為點云數(shù)量，將當前標記數(shù)值id設(shè)為1；

(2)生成隨機下標index，標記其下標對應(yīng)的標記數(shù)組的值為id，建立隊列，將index添加到隊列中;

(3)取隊列首部數(shù)值，將其鄰近點中距離小于聚類分割閾值limit且對應(yīng)標記數(shù)組的數(shù)值為0的點的下標添加到隊列中，并將其下標對應(yīng)的標記數(shù)組的值設(shè)為id；

(4)判斷隊列是否為空，如果非空，則返回步驟(3)，如果為空，則下一步；

(5)標記數(shù)值id=id+1，迭代次數(shù)iter=iter-1;

(6)判斷iter是否大于0，若是，則返回到(2)，若否，則進行下一步；

(7)遍歷標記數(shù)組，按照標記數(shù)組中的數(shù)值將對應(yīng)編號的點云進行歸類，從而得到分離后的加強筋聚類。

2.5 基于線條點云數(shù)量閾值的噪點去除

由于部分線激光掃射到加強筋側(cè)面，分割后的加強筋仍然帶有噪聲數(shù)據(jù)，因此需要對加強筋點云進行去噪。加強筋寬度10 mm左右，因此點云數(shù)量較少，單個加強筋上表面的點云數(shù)量低于104，因此為保證精度，支持使用復(fù)雜度較高的算法。

傳統(tǒng)的點云去噪多采用基于離群點等方法[7-8]，容易導(dǎo)致孤立小聚類的產(chǎn)生，對于測量結(jié)果影響較大，并且沒有利用線激光的點云特點，因此本文提出針對線激光點云的自動閾值的基于線條聚類的去噪方法。算法流程如下：

(1)選取使得迭代后所有點都能得到選取的迭代次數(shù)iter，選取介于線條中點分布距離和不同線條之間最近距離的聚類分割閾值limit；

(2)對單個加強筋的點云進行歐式聚類分割算法，得到多個聚類點；

(3)記錄聚類中最大的點云個數(shù)N，建立大小為N的數(shù)組C，記錄不同點云數(shù)的聚類的個數(shù)；

(4)利用數(shù)組C求解閾值t；

(5)剔除聚類點云數(shù)小于閾值t的聚類。

隨著點云個數(shù)增長，聚類個數(shù)變化的最大突變值k為：

k=max(Ci+1-Ci)

(3)

其中，i∈[start,n-2]，start可自行調(diào)整，去除初始段不穩(wěn)定的部分，則閾值t為k對應(yīng)的下標i/3。

如圖7所示，圖7a為分割前的4個加強筋，由于掃描策略導(dǎo)致同一加強筋并不連續(xù)，但通過分割底板時適當切除加強筋較低處點云，可設(shè)置較大的距離閾值，分割后的結(jié)果如圖7b所示，4個不同的加強筋分別被分割到不同的點云聚類。圖7c為去噪后的加強筋，圖7d為被剔除的噪點，可以看到噪點得到了有效的剔除，并保留了加強筋的特征。本文所提出的針對線激光點云的自動閾值的線條聚類去噪方法不容易產(chǎn)生孤立聚類，可以最大化保留加強筋點云，且可以通過聚類分割閾值直接控制精度。

(a) 原始加強筋點云

(b) 歐式聚類分割后的加強筋點云

(c) 去噪后的加強筋點云

(d) 加強筋上被去除的噪點圖7 加強筋聚類分割效果

2.6 加強筋焊接質(zhì)量評估

得到加強筋點云后，可以對焊接效果進行評估。焊接過程中由于溫度場分布不均，導(dǎo)致工件不同位置的熱膨脹和冷卻收縮存在變形量差值，產(chǎn)生殘余應(yīng)力導(dǎo)致工件變形[9]。對于焊接變形，常用手段是通過安裝多個傳感器測量多個變形部位的偏差進行檢測，而現(xiàn)有措施難以測量并記錄多個小組立加強筋的多個位置的焊接變形，缺乏快速有效的檢測手段，因此本文提出基于點云域中配準誤差的焊接質(zhì)量評估方法。

加強筋底部通過兩個焊槍同時焊接，易出現(xiàn)由焊接引起的傾斜，導(dǎo)致加強筋上表面會出現(xiàn)位置變動，但形狀大小不變，因此可以使用配準來對其位置變動進行評估，點云配準通過求兩個點云之間的旋轉(zhuǎn)平移變換矩陣，將源點云變換到目標點云相同的坐標下，最常用的配準方法是迭代最鄰近點算法(Iterative Closest Point, ICP)[10]，該算法通過求取最近點作為對應(yīng)點對，然后不斷迭代，優(yōu)化目標函數(shù)，從而得到最優(yōu)的變換矩陣，其中優(yōu)化目標函數(shù)為：

(4)

其中，qi、pi分別為目標點云和源點云中的一對最鄰近點，R、T分別為旋轉(zhuǎn)矩陣和平移矩陣，本文僅需評估焊接變形，并非進行配準，因此假設(shè)源點云已經(jīng)得到初次變換，則可設(shè)整體焊接變形為：

(5)

因此本文將使用焊接后每個點到焊接前的鄰近點距離作為焊接評估參數(shù)。

3 實驗驗證

圖8 現(xiàn)場測量驗證

針對本文所提出的小組立焊接工位角點提取和加強筋焊接質(zhì)量評估方法，在某船廠小組立焊接工位進行方案驗證。圖8所示為小組立焊接工位現(xiàn)場，以圖2所示方法采用線激光相機對小組立工件進行測量。

為了驗證角點提取與尺寸計算算法，掃略200 mm×200 mm的船板，用算法計算得到相應(yīng)尺寸，與真值進行比較，得到的誤差如圖9所示。其中A、B、C、D定義為四邊形底板的俯視圖中從左上角開始，逆時針方向的4個角點。可以看到，本角點提取并計算邊長的算法誤差在1.5 mm范圍內(nèi)，且較為穩(wěn)定，始終可以滿足船舶制造的現(xiàn)場需求。

圖9 多次測量的誤差

如前文所述，使用本文算法可以分離出獨立的加強筋，通過人工設(shè)置使焊接前后產(chǎn)生不同的偏角，模擬焊接變形，根據(jù)本文提出的焊接變形評估方程求解焊接變形參數(shù)值。如圖10所示，橫坐標為鄰近點距離，縱坐標為符合鄰近點距離在對應(yīng)距離范圍內(nèi)的點云數(shù)，可以看到，單次偏差產(chǎn)生的鄰近點距離呈正態(tài)分布，并且隨著偏角的增大，其對應(yīng)的最小鄰近距離整體也逐漸增大，說明了采用本文提出的基于配準的焊接變形評估的可行性，本文提出的焊接評價標準對焊接變形敏感，并呈單調(diào)性，實際生產(chǎn)作業(yè)中可以根據(jù)實際需要設(shè)置相應(yīng)的閾值，當焊接質(zhì)量評估標準超過該閾值后，焊接檢測系統(tǒng)將提示不合格的焊接加強筋。

圖10 不同偏角的焊接變形對應(yīng)的焊接變形參數(shù)

4 結(jié)論

本文提出了針對船舶小組立工件的整機測量方案和點云處理算法，其中底板和加強筋分離算法可在小組立智能生產(chǎn)線允許的時間范圍內(nèi)有效地分離海量點云中的底板和加強筋，多邊形底板的角點提取和尺寸計算方法的誤差不超過1.5 mm，且較為穩(wěn)定，聚類分割算法可有效分割各個加強筋，并可以通過本文提出的自動閾值的加強筋噪點去除方法有效的保留加強筋特征，然后利用焊接質(zhì)量評估方法對焊接前后的加強筋進行質(zhì)量評估。通過實驗驗證了本文的測量方案和算法的有效性，后續(xù)可為實現(xiàn)小組立工件的智能焊接提供技術(shù)基礎(chǔ)。