大跨度中厚板邊緣視覺識別與打磨引導研究*

吳立華，申啟訪，黃冠成，陳新度

（1.廣東開放大學（廣東理工職業學院），廣州 510091；2.廣東工業大學機電工程學院，廣州 510006）

0 引言

大跨度中厚板由于其較大的尺寸和較厚的厚度，能夠提供更高的強度和剛度，適用于建筑、橋梁、船舶和其他工程領域的各種結構和設備制造。近年來，特別在風力發電綠色新能源大趨勢下[1]，大跨度中厚板大量用于制造風電塔。風電塔風力發電機組的地面支撐結構需要承受風力的沖擊和重力負荷，中厚板的高強度和剛度使其成為風電塔制造的理想選擇。重型機械廠利用切割工藝或者成形工藝將中厚板加工成所需的尺寸和形狀，或再進行彎曲、沖孔、滾圓等操作，最后通過焊接或組裝成為各大重型機械設備的腹板或架構等主要受力支撐部位。中厚板外邊成形主要利用火焰切割、激光切割和水切割等，由于金屬特性和切割工藝控制等原因，在邊緣切割時通常會存在一定的毛刺或者熔渣。而且，大多數中厚板成形后會在倉庫中存放相對較長的時間，在需要用料時才從倉庫中取出，此時原始邊緣和成形切割自由邊都會氧化形成銹跡，為了保證下一步板材焊接或噴漆的工藝質量，必須鏟除工件上氧化皮和毛刺，因此需要進行表面或者邊緣打磨。大跨度中厚打磨工藝相對比較簡單，但是由于板材邊緣極長或表面面積大導致工作量極大，因此使用機器人打磨可以節省大量人力和提高打磨質量。但由于中厚板用途不一，其尺寸、厚度、或形狀不一致，如圖1 所示，而且由于重量大、重復定位難，傳統機器人示教打磨難以實現。因此，視覺引導機器人打磨或將極大提高當前應用場景的安全性[2]、靈活性和效率[3]，視覺傳感器能夠獲取金屬板材圖像信息，經過軟件算法提取后，將特征信息點位和工藝數據發送到機器人控制系統，從而自動調整機器人的位置、姿態和速度，更準確地控制加工深度和拋光打磨的位置和方向，從而獲得更高的加工精度和表面質量。機器人通過視覺引導進行拋光打磨可以適應不同形狀和尺寸的物體，即使是復雜的幾何形狀也可以完成加工，從而提高了應用范圍。

圖1 多規板材實物

圖2 引導打磨流程

視覺引導機器人進行中厚板邊緣打磨，邊緣檢測識別是基礎。傳統的基于圖像灰度梯度提取的Canny 或Sobel[4-5]算子對圖像邊緣進行簡單高效提取，但是過多的細節紋理和邊緣特征同時被提取出來。如何更好地提取目標的整體邊緣輪廓信息并弱化不明顯的局部干擾紋理，許多學者在深度學習模型的邊緣輪廓特征提取算法進行了研究。Xie 等[6]提出通過堆疊多個卷積層和池化層來實現邊緣特征的提取。Bertasius 等[7]提出DeepEdge，利用全卷積神經網絡（FCN）進行端到端的邊緣檢測，并通過訓練數據驅動的方式學習邊緣特征。Liu 等[8]提出CASENet，旨在通過利用上下文信息和全局感知機制來提高邊緣檢測的準確性。He 等[9]提出BDCN 算法構建輕量型多尺度特征融合的邊緣檢測網絡結構模型。在大跨度工件打磨方面，丹麥Eltronic 和Vestas[10]兩公司分別通過AGV 和行走龍門實現打磨機器人示教或模型數據引導的風力葉片的自動化打磨。方偉等[11]針對大型港機構建使用RRT*算法研究驗證機器人打磨避障技術并后續展開視覺引導缺陷焊縫識別打磨。文獻[12-15]結合視覺完成了機器人打磨工作中涉及的定位、路徑規劃等問題。Bedaka等[16]通過離線編程OLP和3D視覺結合，實現機器人離線打磨軌跡準確性的提高。此外對于視覺引導的打磨，目前多為對工件圖像進行局部灰度或幾何特征進行模板匹配定位[17-18]，然后對示教打磨路徑進行平面空間映射轉換，或直接使用設計的模型圖紙進行引導，這對批量的同款且一致性好的工件能很好地提高效率，但對多樣異形的大型工件，示教工作將是巨量的，另外局部特征的定位誤差會在大跨度工件中放大，導致引導偏離打磨出錯。過程中若不能很好地獲取局部實時高度和特征如異物和凸塊等，同樣會對磨具造成極大的損傷。

本文基于中厚板邊緣打磨視覺引導需求，主要結合深度學習模型HED 算法架構和傳統梯度邊緣點集提取算法，進行多類型多形狀多尺寸中厚金屬板材邊緣輪廓的快速穩定識別和全局定位引導與局部打磨工藝的探索研究。

1 中厚板邊緣打磨視覺引導研究

大跨度中厚板視覺引導打磨過程設計：首先將隨機尺寸形狀板材放置于打磨承載臺上，控制直線導軌利用機械臂上相機進行待打磨板材進行大視野遠視場全局圖像采集，整體采集的時候，機械臂位姿不變，相當于相機固定架，只有機器人導軌進行運動。全局圖定義：一是分段區域高機位遠視場采集的區段全局圖像，二是所有區段全局圖像拼接而成的工件整體全局圖像。對產量多的邊緣簡單穩定的工件，可以建立示教路徑模板庫，對拼接得到的工件整體全局圖像進行邊緣提取后通過外形尺寸特征進行型號判定，調用對應示教模板路徑，利用示教軌跡映射轉換后的點位進行局部點云采集進行定位規劃。對異樣且不存在模板的工件，進行分段全局圖像邊緣提取，進行當前區域的全局邊緣等間距引導進行近視場的點云采集定位。進行局部高精度邊緣點云圖像采集時，實時提取邊緣點進行尖端打磨工具的定位以及位姿調整，實現高精度實時定位打磨。

1.1 基于HED的遠視場全局邊緣提取

1.1.1 多樣異形板材全局邊緣提取分析

板材本身存在金屬色澤差異，同時因為存放時間或環境不完全一致，表面氧化導致的銹跡面積和色澤不一致，剖切口邊緣因為工藝等因素也是呈多樣化，這些都造成板材自身在圖像上的特異性。另外因為圖像采集環境的搭建也存在不同，通常會造成背景與目標差異最大化的采集環境，但也會因為某些客觀因素使得物體跟背景不能很好地區分。上述原因造成了圖像上提取板材邊緣的困擾，通用的二值化閾值邊緣提取如Canny 算子或Sobel等，在光學環境和圖像素材不能穩定的情況下根本行不通，多數常用深度學習模型也難以穩定提取。在大跨度異形板材邊緣打磨中，2D 圖像采集和邊緣特征提取效率高，大視野的3D圖像采集或者點云處理效率相對較低，為此若能保證在2D 圖像中進行板材邊緣特征提取，將能很好地提高效能并降低成本。

1.1.2 基于HED全局邊緣融合提取

大跨度板材決定了打磨臺的跨度，對幾米甚至十幾米長的厚板，長度方向可采用的方法有兩種：分區采集分段打磨和分區采集整體打磨。分區采集分段打磨，就是將打磨臺分成多個區間，各區間獨立，采集圖像后直接處理進行邊緣特征提取并引導機器人進行局部邊緣打磨。分區采集整體打磨，就是首先將打磨臺上大跨度板材進行分區圖像采集，然后進行圖像拼接，在對整體工件圖像進行邊緣特征提取后定位引導打磨。2D 圖像邊緣提取，采用高機位大視野圖像采集，視野寬度大于載物臺寬度，如圖3所示。

HED （Holistically-nested edge detection） 是基于獨立網絡的整體嵌套邊緣檢測算法，具有整體圖像訓練預測和多尺度多層特征學習的特點，利用全卷積網絡，在卷積層側插輸出層并加以監督，引導輸出融合層邊緣預測。金屬板材邊緣識別的骨干網絡如圖4 所示。HED 以VGG-16[19]為骨干網絡，對于光度不均金屬板材復雜表面或者復雜背景的原圖輸入，首先產生側輸出層的5 個不同分支然后才進行最大池化層的降采樣，融合層由側輸出層進行連接融合產生，結構中5 個側向層和一個融合層經過激活函數后共同作為網絡輸出，模型輸出尺寸和輸入圖像一致。測試模型可以表示為，給定板材金屬原圖輸入X，網絡中所有參數為W，HED 預測5 個側輸出層（1）和1個融合層（2），即

圖4 HED板材邊緣提取網絡結構

基于VGG-16 的好處是在經過多次池化降采樣縮小輸入圖的尺寸，這對于大視野大尺寸金屬板材原圖或者拼接圖輸入照片的處理效率有著極好的提升，多次池化獲得多層深度模型構架，也保持多層次維度特征的提取能力。HED 模型可以通過端到端的方式進行訓練，這意味著整個模型可以一次性地訓練，而無需使用多個階段或級聯的步驟，簡化了算法的實現和使用，并提高了訓練的效率。HED 網絡在提取金屬板材邊緣方面能夠處理5 個尺度的圖像，并在不同尺度上檢測邊緣；傳統的邊緣檢測算法中，往往只考慮了局部信息，而沒有利用全局的上下文信息，HED 算子通過在網絡中引入全局上下文信息的機制，融合淺層細節信息和深層豐富語義[20]，能夠更好地理解圖像的語義和結構，從而提高了邊緣檢測的準確性和連續性。

如圖5 所示，對于前景背景差異大、光學亮度不均、金屬材質光澤以及厚度不一的輸入圖像，經過HED 邊緣提取，可明顯地將目標與背景區分開來。對于不同的金屬表面，可以調節圖像預處理分辨率進行降噪，去掉很多不需要的干擾信息，保留明顯的邊緣特征信息。

圖5 HED全局邊緣融合提取

HED 的厚板邊緣提取明顯存在邊緣特征過渡區域，不管直線、直角或圓弧邊緣都有十分明顯的過度帶，利用這個明顯的特征，將邊緣區域作為連通域提取出來，如圖5第3列紅色所示，可以直接或間接進一步提取邊緣線，進而獲取邊緣線定位點。基于連通邊緣域得到邊緣線集，采用優化的Steger 法與形態學的拓撲細化法結合方法進行中心線提取，有效剔除邊緣存在的短細分叉干擾，以確保獲得主要邊緣主骨干線集，如圖5第4列為所提取的邊緣中心線。基于HED 的邊緣特征融合提取，在復雜背景或者多樣背景中的金屬邊緣提取具有極強的適用性和魯棒性再結合Canny 算法以及邊緣特征圖像物理特性，能極好且穩定地提取金屬板材的邊緣。

1.2 局部實時打磨邊緣的識別與打磨引導

1.2.1 厚板邊緣點云途徑提取

如圖6 所示，借助HED 厚板的全局邊緣提取，可以得到整體輪廓路徑的引導，但是因為邊緣打磨存在更高精度要求，甚至工藝要求，高機位大視野的2D圖像并不能滿足。因此，打磨過程需要近距離局部視野高精度的3D 相機進行點云采集并根據工藝進行機器人打磨末端位置和姿態引導。

圖6 分區全局圖像與局部點云采集

對于全局邊緣單線路徑，進行點集最優排序，根據局部視野大小，對全局邊緣軌跡進行步距規劃拆分，如圖7 所示，單線路徑采集按順時針原則進行等視野大小間距分區采集輪廓點云打磨。若存在多個邊緣特征，如圖5 第2 組存在邊緣區域組合，將所有連續邊緣組成線集，以此對每個獨立邊緣進行排序規劃，直至線集所有子邊緣引導實時采集圖像并引導打磨完畢。

圖7 全局邊緣引導局部近場采集路徑

對于局部3D 點云圖像采集，結構光基于激光深度測量特性，可以避免邊緣區域剖切面剖切工藝或者金屬材質光照等引起的光學圖像干擾，穩定輸出點云圖像，近視場拍照采集可以保證點云采集精度，保留足夠邊緣細節。如圖8 所示，首先獲得局部高精度點云數據集，基于點云3D圖像，進行邊緣局部異常檢測，判斷是否存在過大的金屬凸塊或者異物，確保打磨工序過程刀具安全。通常不存在邊緣異物時，將點云進行Z方向的深度映射，將深度信息轉換成圖像的灰度值，大大提高圖像處理速度。

圖8 深度映射的近場局部點云邊緣提取

1.2.2 邊緣路徑規劃與末端引導

在大跨度中厚板邊緣打磨過程中，通常只需要進行邊緣剖切面金屬氧化物去除，以保證后續焊接工藝等的質量，但是也在彎曲或者轉角區域需要保證機器人打磨末端刀具與工件之間的相對角度等工藝變量的變換。在平面方向上，采取全局不變邊緣法向優先原則，先保證刀具與工件邊緣在XY方向垂直，再根據工藝需求，比如倒角工藝或者所選刀具型號所需，進行末端傾角變換。所以存在兩個姿態變量變化，一個是由圖像邊緣決定的法向角度，另一個是由工藝或者刀具決定的打磨角度。基于邊緣點集等步距引導規劃且順時針原則，相鄰兩點之間的的法向角度直接獲取兩點連線與圖像X軸夾角為基準，再根據路徑方向和“外刀路徑”或“內刀路徑”進行規劃即可。“外刀路徑”即工件整體外部包絡邊緣路徑，“內刀路徑”即存在的內部所需打磨的內包空洞，在全部邊緣識別時就要注意區分提取，通常中厚板自動化打磨不進行內部空洞打磨。兩點P0(x0,y0)和P1(x1,y1)，若y0=y1，基于順時針規劃原則，當x1＞x0，邊緣法向角?= 0°，否則?= 180°。若x1=x0，當y1＞y0，邊緣法向角?= 90°，否則?= 270°。設兩點之間在深度映射圖像中與X軸夾角為：，以12點方向朝下為0°，分類枚舉如表1所示。

表1 各象限法向角度枚舉列表

基于工藝的末端姿態控制，設工藝控制傾角為θ，末端姿態旋轉矩陣Ri為：

2 測試驗證分析

基于HED 的全局邊緣融合提取方法可以對多種類型金屬多種邊緣類型或者背景進行有效提取進行全局引導。為測試邊緣數據引導機器人自動化打磨，采用RVC-X 3D 工業相機進行局部點云圖像采集，近視場FOV 為334 mm×237 mm，機器人為ABB IRB 6700-200/2.60，負載200 kg，導軌直線移動進行大跨度中厚板分區打磨，相機安裝方式為眼在手上，工作站布局如圖9（a）所示，載物臺寬度2 m，長度為8 m。分別對不同表面色澤、不同厚度以及不同形狀的3種板材進行正反面共6次試驗，應用上文的分段全局圖像提取和分區局部邊緣點云引導方法，設定打磨面寬度為10 mm，磨削深度為0.5 mm，采用3 M 圓盤砂輪進行剖切自由邊進行打磨試驗，對外側邊緣磨面的寬度磨削深度進行誤差測試。

圖9 布局示意圖與邊緣引導打磨效果

如表2 所示，6 組實驗中邊緣打磨寬度最大誤差為13 mm，打磨深度誤差最大為1.1 mm；且一般誤差最大的打磨位置位于工件表面銹跡極其嚴重或者拐角磨具干涉造成。正常情況下均能達到打磨要求，局部的點云檢測還可以有效進行邊緣異物實時檢測，避打設備異常損壞。

表2 多種規格類型的視覺引導打磨誤差測試mm

另外如圖9所示，在全局定位HED邊緣識別引導和局部3D點云深度邊緣路徑引導打磨并結合機器人末端姿態工藝參數調整，可以根據參數在直邊或者轉角處實現倒角打磨工藝處理，并且基于局部點云映射的深度信息，可以方便地設定打磨工具在工件表面的去除量，適配所需工藝需求，如圖9（c）所示為磨輪與邊緣面傾角5°時打磨效果。

3 結束語

本文研究了大跨度中厚板邊緣打磨中視覺邊緣提取規劃和機器人末端引導相關內容，引入基于深度學習模型的HED 大鈑金金屬邊緣提取算法，結合邊緣區域點集提取規劃，有效穩定地在復雜背景和異形多樣工件中識別金屬邊緣，進行全局路徑引導。通過局部點云模型進行異物檢測并提取深度映射邊緣進行邊緣打磨引導，基于工藝或刀具模型，適配修改用戶工藝角度參數，有效適配多種工件或工藝場景。實驗驗證了研究內容在大跨度中厚板打磨中的有效性和穩定性，實現長跨度大工件的視覺引導打磨，實現自動化和智能化，減少人力投入和人為干預，確保剖切邊拋磨效果的一致性。