污染環境中織狀復材蒙皮孔的視覺檢測技術研究＊

李 博 章紹昆 高 鑫 喻志勇 盧仁華

（①成都飛機工業（集團）有限責任公司，四川 成都 610091；②中國人民解放軍93147 部隊，四川 成都 610091）

高強度碳纖維制成的復合材料具有比強度高、整體成型性好、承載效率高等優點[1]，在現代飛機設計中采用了大量碳纖維復合材料蒙皮（簡稱“蒙皮”），是構成飛機氣動外形的關鍵零件。在蒙皮上制有群孔，用于聯接金屬骨架。由于連接孔處易發生疲勞裂紋[2-3]，連接孔的孔位對于保證連接強度至關重要。在檢測蒙皮上的大量小尺寸孔系時，常規三坐標測量機經常會遇到探頭碰撞孔壁的問題，而且每分鐘的測孔數量僅為5～6 個，限制了在大規模群孔檢測場景中的應用。

機器視覺技術憑借非接觸式優點，成為蒙皮連接孔檢測的一個重要研究方向，相關學者開展了大量工作。勾江洋等[4]利用相機、鏡頭和光源研制了機器視覺測孔系統，采用“自適應二值化+Canny算子”方法處理孔圖像，達到檢測孔位的目的；唐君萍等[5]在視覺檢測系統中采用“Otsu 二值化+Canny 算子”方法檢測連接孔邊緣，然后擬合孔心坐標；薛婷等[6]利用智能相機搭建視覺檢測平臺，采用“高通濾波+Canny 算子”方法檢測飛機壁板基準孔的邊緣像素，然后擬合孔心坐標。

現有文獻大多是在實驗室環境下開展視覺測孔技術研究的，但是在實際的加工環境中存在惡劣光照、冷卻液殘留、切屑附著等不利因素，蒙皮本身還具有織狀紋理、孔口毛刺和表面撕裂等特點，使蒙皮圖像摻雜了大量干擾信息，無法使用文獻中提到的圖像算法完成孔周邊緣的提取。

針對以上問題，本文設計了一套在機檢測蒙皮孔位的機器視覺裝置，進一步提出了用于實際加工環境中，能夠從具有大量干擾信息的蒙皮圖像中準確提取孔周邊緣的圖像算法；同時給出了激光束的標定方法和光斑坐標的計算方法，綜合以上信息求解連接孔的孔位坐標。最后通過實驗驗證了本文技術方案的有效性。

1 視覺測孔原理

1.1 機器視覺裝置及其測孔方法

機器視覺裝置由工業相機、遠心鏡頭、激光器和光源等光電器件以及連接件組成，通過刀柄夾持在機床主軸上，跟隨主軸運動依次完成測孔動作，如圖1 所示。該裝置選用BT-2336 型遠心鏡頭，在其6 mm 的景深范圍內消除透視變形，從而保持放大倍率不變[7]，能夠獲取清晰的連接孔圖像。配合MV-EM1400C 型相機，獲取的圖像像素等效長度ξ為0.005 8 mm。在鏡頭四周均布4 個激光器，產生4 束點狀激光，測量時在蒙皮表面形成光斑，用于確定連接孔的孔口近似平面。

圖1 機器視覺裝置

視覺測孔原理如圖2 所示，共有3 個步驟。

圖2 視覺測孔原理

（1）拍攝連接孔圖像，通過孔周邊緣提取與圓孔擬合計算孔心的XY坐標。

（2）拍攝4 個激光光斑圖像，利用激光束的直線方程計算光斑的三維坐標。

（3）根據4 個光斑的三維坐標擬合孔口平面方程，將孔心的XY坐標代入平面方程求解孔心Z坐標。

1.2 定義坐標系

為了便于描述圖像的像素處理，一般按照如下方式定義圖像坐標系OF：原點放置于像素矩陣的左上角點，X軸沿著矩陣行號增大的方向，Y軸沿著矩陣列號增大的方向。在OF中的坐標單位為像素。

在描述孔位坐標時，一般采用的是相機坐標系OC，其定義如下：XY平面位于鏡頭的物方平面，Z軸與鏡頭軸線重合且指向鏡頭，X軸沿著像素矩陣列號增大的方向，Y軸沿著像素矩陣行號減小的方向。在OC中的坐標單位為毫米。

OF與OC的方位關系如圖3 所示。

圖3 坐標系的方位關系圖

圖像在X、Y方向上的像素分辨率分別記作U和V，那么OF相對于OC的齊次變換矩陣可表示為

2 圖像處理算法

2.1 連接孔圖像處理

受加工現場的復雜環境影響，蒙皮連接孔的圖像中摻雜了大量干擾信息。圖4 所示為一幅采自加工現場的蒙皮圖像，其分辨率為4 608×3 288，包括殘留冷卻液、孔內反光、表面織狀紋理等干擾信息。

圖4 連接孔的蒙皮圖像

為了快速準確地提取孔周邊緣，本文提出了一種圖像算法。首先通過全局圖像快速處理初略定位連接孔區域，然后在臨近孔口的區域內精確搜索邊緣，最后利用邊緣像素擬合孔心的XY坐標。下面敘述圖像處理過程。

2.1.1 連接孔區域初略定位

連接孔區域初略定位是指先后采用多種方式統一處理蒙皮圖像的全局像素，快速確定連接孔在圖像中占據的大致位置，流程如圖5 所示。

圖5 連接孔區域初略定位流程

步驟1：將彩色圖轉換為灰度圖，然后經雙三次插值將圖像縮小至1/8，以提高計算速度，如圖5a所示。

步驟2：構造Canny 算子提取所有邊緣，如圖5b所示，其灰度矩陣記作D(x,y)。

步驟3：構造一個平滑濾波器f(x,y)。f(x,y)的維數為23×23；在f(x,y)中以坐標(11, 11)為圓心建立一個半徑為11 的實心圓Cf，易得Cf所占區域共有429 個元素；f(x,y)的元素取值為

D(x,y)與f(x,y)進行卷積，相當于對圖5b 施加平滑處理得到圖5c，其灰度矩陣記作：

在圖5c 中，連接孔內少量偽邊緣被基本濾除，蒙皮表面的織狀紋理也融合為具有一致性的背景。

步驟4：對圖5c 運用Otsu 算法[8]得到灰度閾值λ1，使用 λ1分割圖5c，初略定位連接孔所在區域，如圖5d 所示，其灰度矩陣記作：

步驟5：圖5d 包含若干相互獨立的連通域，采用Moore-Neighbor Boundary Trace 法[9]提取連接孔所在連通域的邊界像素集，如圖5e 所示。

步驟6：使用最小二乘法[10]對該像素集進行圓擬合，如圖5f 所示。第i個像素的坐標記作(Xi,Yi)，擬合的圓心坐標和半徑分別記作(xa,ya)、Ra，誤差定義如下：

2.1.2 連接孔的精確定位

由于孔周邊緣包含360°圓周范圍，常見的邊緣算子無法直接使用，本文基于Kirsch 算子設計了孔周邊緣提取方法，流程如圖6 所示。Kirsch 算子使用8 個掩模，見表1。圖像每個像素點同時與上述掩模進行卷積，每個掩模將在某個特定邊緣方向產生最大響應，取響應最大值作為邊緣圖像的輸出值。

表1 Kirsch 算子

圖6 孔周邊緣提取流程

步驟1：基于連接孔區域的初略定位結果，以圓心坐標(xa,ya)作為軸對稱中心且以(2Ra+200)作為邊長，自動從圖5a 中截取一個包含連接孔的方形子圖，如圖6a 所示。

步驟2：圖6a 的灰度矩陣L(x,y)分別與K1～K8進行卷積，得到響應矩陣Mi。

則邊緣圖像H(x,y)的像素灰度值為Mi(x,y)中的最大值，圖像如圖6b 所示。

步驟3：如圖6c～圖6e 所示，將Ca重疊在邊緣圖像之上，然后將Ca等分為四段圓弧，再將它們向內偏移100 像素作為邊緣搜索起點，使用灰度閾值 λ2分別沿水平和豎直方向搜索孔周邊緣。

以右側的孔周邊緣搜索為例，在水平向右搜索過程中首次遇見的灰度值大于 λ2的像素，便是連接孔的邊緣像素。具體如下，孔周邊緣像素灰度矩陣記作的搜索起點為中像素點的最小行號與最大行號分別記作 μ1和 μ2，則I(x,y)的部分元素取值如下。

I(x,y)中非零元素構成了邊緣像素集 S2，如圖6f的紅色點集所示。

步驟4：使用最小二乘法對 S2進行圓擬合得到圓Cb，其圓心與半徑分別記作(xb,yb)和Rb。

按照如下方式構造圓環狀ROI 區域以剔除偽邊緣：圓環的圓心位于(xb,yb)，內徑與外徑分別等于2Rb-10 和2Rb+10 。 S2與ROI 區域的交集為

再次使用最小二乘法對I(x,y)中非零元素代表的邊緣像素進行圓孔擬合，得到連接孔在OF中的二維孔心(xc,yc)和半徑Rc。

2.2 激光光斑圖像處理

激光器發出的光束在孔口附近的蒙皮表面形成4 個光斑，如圖7a 所示。圖像處理后可得光斑的XY坐標，再結合標定的激光束空間直線方程，計算光斑Z坐標。

圖7 激光光斑圖像

2.2.1 光斑二維坐標計算

將光斑圖像轉換為灰度圖，使用灰度閾值 λ3分割圖像得到光斑的二值圖，如圖7b 所示。

以I號光斑為例，共占有N個像素，其中第j個像素的坐標為那么I 號光斑在OF中的XY坐標(xI,yI)為

類似地，求解II～IV 號光斑的XY坐標(xII,yII)、(xIII,yIII) 、(xIV,yIV)。

2.2.2 激光束標定

上下移動機器視覺裝置，使光斑在蒙皮表面的位置發生變化，形成一系列離散的光斑，對這些光斑進行直線擬合，就得到了激光束在OF中的直線方程。下面以I 號光斑為例敘述標定方法，標定原理如圖8 所示。

圖8 激光標定原理圖

步驟1：令機床主軸依次停靠在(0,0,Z1)～(0,0,Z7)采集光斑圖像，參照第2.2.1 小節方法分別計算I 號光斑在7 個標定位置的XY坐標，記作則光斑在OF中的三維坐標為

步驟2：采用最小二乘法[11]擬合空間直線方程，記作：

對方程進行等價變換，得：

誤差定義如下：

構造最小二乘函數 Ψ：

求解k1、b1、k2、b2以及直線方程參數x0、y0、z0、n、p。

2.3 孔位計算

獲得4 條激光束的空間直線方程之后，將光斑XY坐標帶入直線方程計算光斑的Z坐標，由此獲得光斑的三維坐標(xm,ym,zm),m=I ～IV。4 個光斑確定了連接孔孔口所在的平面，采用最小二乘法擬合孔口平面方程，記作：

2.1 節計算了連接孔在OF中的XY坐標(xc,yc)，它實際上描述了連接孔軸線L的位置，如圖9 所示，L的方程為

圖9 連接孔的孔位坐標示意圖

連接孔軸線L與孔口平面的交點坐標即為連接孔的孔位坐標Pc，聯立式（13）和式（14）求解孔位的Z坐標zc：

孔的齊次坐標Pc表示為

將Pc轉換為OC坐標系的點位坐標Pd：

至此完成了孔位坐標的計算。

3 實驗驗證

基于Visual Studio 平臺開發了機器視覺裝置配套的測量軟件，該軟件集成圖像處理算法，自動完成圖像采集與數據處理，開展了蒙皮試驗件的在機測孔實驗。其中一件蒙皮輪廓尺寸為895 mm×425 mm×50 mm，一共制有106 個?5.5 mm～?6.5 mm的連接孔，如圖10 所示。

圖10 蒙皮試驗件在機測孔實驗

首先采集不同蒙皮上處于不同狀態的連接孔圖像，圖11 所示為其中4 幅典型圖像，為節省篇幅，圖11 僅展示了連接孔及其附近區域的局部圖像，圖11a～圖11d 依次代表具有良好狀態、孔內殘留冷卻液、孔口毛刺以及不良光照的連接孔。

圖11 加工現場采集的連接孔圖像（局部）

圖12 所示為應用“自適應二值化+Canny 算子”算法提取圖11 的連接孔邊緣，圖13 所示為應用“Otsu 二值化+Canny 算子”算法提取圖11 的連接孔邊緣，圖14 所示為應用“高通濾波+Canny 算子”算法提取圖11 的連接孔邊緣。其中僅有“Otsu 二值化+Canny 算子”算法能夠處理圖11a 所示圖像，其他算法均已失效，原因是上述算法不能同時抑制環境光照、蒙皮織狀紋理、冷卻液殘留等因素造成的大量偽邊緣，也沒有設計有效的邊緣搜索策略，導致算法失效。

圖12 “自適應二值化+Canny 算子”算法的孔周邊緣提取結果

圖13 “Otsu 二值化+Canny 算子”算法的孔周邊緣提取結果

圖14 “高通濾波+Canny 算子”算法的孔周邊緣提取結果

圖15 所示為應用本文算法提取圖11 的連接孔邊緣，可見該算法對于各種外部環境中的蒙皮連接孔均有很好的邊緣提取效果。

圖15 本文算法的孔周邊緣提取結果

對于圖10 所示的蒙皮試驗件，使用本系統開展了連接孔孔位的在機檢測，再使用三坐標測量機進行離線測量。本系統與三坐標測量機之間的測量偏差值如圖16 所示。

圖16 蒙皮的孔位檢測偏差

由圖16 可知，孔位的檢測偏差最大值為0.046 mm，滿足了蒙皮連接孔0.05 mm 的孔位檢測精度要求。視覺測孔系統每分鐘平均測孔12 個，三坐標測量機每分鐘平均測孔6 個，前者的檢測效率是后者的2 倍。

4 結語

（1）本研究研制了一套機器視覺裝置，提出了污染環境中織狀復材蒙皮孔的圖像處理算法，采用粗略定位與精確定位相結合的方法實現孔周邊緣的精確提取。

（2）本文提出了激光束標定方法和光斑的圖像處理算法，準確地計算了蒙皮連接孔的孔位坐標。

（3）通過實驗驗證了本文方法的有效性，結果顯示：圖像處理算法可準確提取蒙皮孔周邊緣，孔位測量誤差小于0.05 mm，檢測效率是常規探頭方式的2 倍，滿足了飛機復材蒙皮連接孔對檢測精度和檢測效率的要求。