基于雙目視覺的冷凝器管口識別與重建研究

王成軍，李璐璐，朱小松

(1.安徽理工大學人工智能學院，安徽淮南 232001；2.安徽理工大學機械工程學院，安徽淮南 232001)

0 前言

冷凝器是由殼體、換熱管和蓋板等組成的一種換熱裝置，廣泛應用于石化及電廠行業[1]。因冷卻水中含無機鹽和懸浮固體等，換熱管內壁易產生污垢，降低換熱效率，減少設備工作壽命[2]。

目前冷凝器清洗機器人逐步代替傳統的人工清洗，機器視覺在冷凝器清洗過程中起重要作用[3]。清洗機器人通過視覺傳感器拍攝冷凝器二維圖像，對管口進行識別定位[4]。使用改進的Zernike矩可對管口實現高精度定位[5]，但噴槍對準管口中心無需達到亞像素級別精度，通過輪廓識別和雙目立體匹配可對管口中心進行像素級精度定位[6]。為實現可視化監控冷凝器清洗需求，需對冷凝器表面進行三維重建。采用雙目視覺技術，并對目標物體表面投射隨機斑點，可實現弱紋理元件的三維表面重建[7]。目標物體表面三維重建后可計算物體整體表面積和體積[8-9]，滿足無接觸測量需求。

針對清洗冷凝器換熱管束的需求，設計了冷凝器清洗雙目視覺系統，通過雙目標定、立體匹配、平滑并簡化三維點云模型等方式實現對冷凝器管口的識別和三維重建。

1 冷凝器管口視覺識別系統方案設計

冷凝器管口視覺識別系統硬件結構如圖1所示，主要由左右工業攝像機、采集卡、計算機和冷凝器組成。相機選用深圳云玥科技公司U300的CK工業相機，幅面尺寸為1.27 cm(1/2 inch)，300萬像素，像素大小3.2 μm，采用配套型號GY-FV0612定焦鏡頭，焦距為6 mm。

冷凝器管口識別與重建過程可分為圖像處理、計算管口世界坐標、管板表面三維重建3個部分，重建流程如圖2所示。

具體重建過程為：

(1)圖像處理部分為雙目標定及立體校正，隨后采集冷凝器管板圖像，對圖像進行灰度化和直方圖均衡化處理，增強對比度，并利用OTSU算子分離管板圖像與背景。

(2)計算管口世界坐標部分,首先獲得各個管口中心像素坐標，計算視差圖，根據雙目立體視覺原理將像素坐標轉換為三維世界坐標。

(3)管板表面重建部分是對管板點云模型進行平滑簡化處理后再進行三角剖分，從而顯示重建表面。

2 雙目標定與立體校正及圖像預處理

2.1 雙目標定

攝像機標定是求解攝像機成像幾何模型，計算目標點空間位置與圖像中對應點之間的相互關系，文中通過張正友標定法[10]，利用針孔成像模型可得到圖像像素坐標系和世界坐標系之間轉換關系，其投影原理如圖3所示。

圖3中，(OW,XW,YW,ZW)為世界坐標系，(OC,XC,YC,ZC)為相機坐標系，(O,X,Y)為圖像坐標系，(u,v)為像素坐標系。圖像像素坐標系與世界坐標系之間的關系為

(1)

式中：f為攝像機焦距；dx、dy為像元尺寸；u0、v0為圖像中心；fx、fy分別為u、v軸上的歸一化焦距。

2.2 雙目立體視覺三維重建原理

雙目立體視覺三維重建原理為左右兩攝像機同時對目標物體拍攝圖像獲取其深度信息，進而重建其三維模型[11]，理想的光軸平行雙目視覺模型如圖4所示。

設目標管口中心坐標為P(xW,yW,zW)，其在左右攝像機坐標系下坐標為pl(x1,y1,z1)和pr(x2,y2,z2)，在左右攝像機像平面上坐標為Pl(ul,vl)和Pr(ur,vr)。立體校正后，點P投影點在兩攝像機像平面上的行坐標相同，則有：vl=vr。基線b=x1-x2，以左攝像機坐標系為參考世界坐標系，由相似三角形原理可得：

(2)

左右圖像上點的列坐標之差，為對應點視差值D=ul-ur，故點P的三維坐標為

(3)

2.3 立體校正與圖像預處理

由于搭建視覺平臺過程中會產生誤差，故使用極線約束[12]對圖像進行立體校正，使左右圖像中匹配點位于同一條極線，減小立體匹配搜索范圍，立體校正前后圖像對比如圖5所示。

立體校正后，對圖像進行灰度化和直方圖均衡化處理，增強圖像對比度。利用OTSU算法進行圖像分割，獲取各管口輪廓，對其進行編號并求得各管口對應的像素坐標，處理結果如圖6所示。

3 基于全多重網格算法的立體匹配

提出一種利用全多重網格算法進行立體匹配的方法，建立關于視差的能量函數，并對其進行優化得到像素間視差值。該方法能夠有效減小像素灰度值的影響，魯棒性較強，所獲視差圖平滑連續。

(1)能量函數的構造

以下列條件為前提，構造該能量函數：

①對應點灰度值的差為

f(x,y)=I2[x+u(x,y),y]-I1(x,y)

式中：I1(x,y)、I2(x,y)分別是左、右圖像坐標(x,y)處的灰度值，u(x,y)為點(x,y)處的視差值；

②對應點灰度梯度的差為

g(x,y)=?I2[x+u(x,y),y]-?I1(x,y)

式中：?I1(x,y)、?I2(x,y)分別是左、右圖像坐標(x,y)處的灰度值梯度；

④假設視場差平滑；

⑤在平滑項中應用全變分。

能量函數為

(4)

式中：λ1、λ2為影響梯度的權重系數；λ3為平滑項權重。

(2)能量函數的優化

采用全多重網格算法對視差能量函數實現迭代優化，該算法包括細網格松弛、粗網格校正和反復迭代。細網格過濾高頻成分，粗網格消除低頻成分，反復迭代通過限定算子和延拓算子連接各層網格，將能量函數解的殘差限制到粗層網格，再將解延拓到細層網格[13]。文中選用的全多重網格算法迭代路徑如圖7所示。

圖7為一個完整的全多重網格算法迭代路徑，在每個分辨率級別使用2個w校正周期，i表示從一個網格到下一個網格上解的插值[14]。文中方法與傳統區域立體匹配處理后所獲得的視差圖對比效果如圖8所示。

由圖8可知：相比于傳統區域立體匹配方法，文中方法所獲視差圖更加稠密、平滑且連續。

4 冷凝器管口定位與管板重建實驗

4.1 冷凝器管口三維空間定位實驗

在實驗室環境下開展冷凝器管口定位實驗，將圖像上像素點p(u,v)還原為該點的世界坐標P(xW,yW,zW)。記索引號13的點為點P1，索引號29的點為點P2，得到點P1、P2的攝像機坐標、世界坐標的計算結果如圖9所示。其余管口中心坐標求解方式與上述方法一致，部分管口的世界坐標如表1所示。

表1 部分管口的世界坐標

為驗證該視覺系統定位精度，對實驗結果進一步處理，得到各管口距冷凝器中心的距離誤差曲線如圖10所示。

由圖10可知:誤差主要集中在-1.2～1.5 mm內，最大誤差為1.99 mm，平均誤差為0.53 mm，滿足該視覺系統定位要求。

4.2 冷凝器管板表面重建實驗

因設備或環境干擾，冷凝器管板點云模型中會摻雜噪聲，故運用移動最小二乘法對管板點云信息模型進行平滑處理，其關鍵是確定擬合函數和具有緊支性的權函數[15]。

(1)確定擬合函數

在局部擬合區域上，擬合函數f(x)表示為

(5)

式中：α(x)=[α1(x),α2(x),…,αm(x)]T為待求系數;p(x)=[p1(x),p2(x),…,pm(x)]T為基函數，其為k階完備的多項式;m為基函數的項數。

(2)確定具有緊支性的權函數

緊支性是指點x取值只與其附近子域內節點有關，文中選用具緊支性的立方樣條函數為權函數，其表示為

(6)

點云模型平滑前后的效果對比如圖11所示，可知:經過上述處理后，點云圖邊緣明顯光滑。

對上述平滑后的點云圖進行采樣簡化，簡化后的點云圖如圖12所示。

由圖12可知：簡化處理后的點云分布稀疏且較為均勻，可大幅降低后續計算量。

使用貪婪三角投影算法對簡化后的點云進行三角剖分[16]，實現對冷凝器蓋板表面三維重建。文中立體匹配方法和傳統區域立體匹配方法得到的表面重建效果如圖13所示。可知：相較于傳統區域立體匹配后重建效果，文中算法所獲得的管板三維表面較為完整，管板各個特征明顯，整體表面重建效果良好。

5 結論

為解決冷凝器清洗機器人識別管口問題，文中研究了基于雙目視覺的冷凝器管口識別與重建方法。研究成果包括：

(1)提出了基于全多重網格算法的立體匹配方法，所獲視差圖平滑連續，有效提高了立體匹配準確率。

(2)實驗表明：冷凝器管口識別與重建視覺系統定位平均誤差為0.53 mm，實現了冷凝器管口中心三維坐標的有效定位，且冷凝器管板表面重建效果良好，滿足可視化需求，為堵塞管束識別以及清洗路徑規劃提供了依據，可為冷凝器清洗機器人視覺系統開發與設計提供參考。