基于HALCON的板料成形網格應變的測量

項輝宇，劉倩倩，韓寶安，李 鶴

（北京工商大學 材料與機械工程學院，北京 100037）

基于HALCON的板料成形網格應變的測量

項輝宇，劉倩倩，韓寶安，李 鶴

（北京工商大學 材料與機械工程學院，北京 100037）

計算機視覺在網格應變測量領域的應用已成為研究熱點，本實驗是基于先進的圖像處理軟件HALCON，利用雙目立體視覺原理，對印制有圓形網格的板料應變測量。首先采用印制有圓形標志點的平面標準標定板，對攝像機進行標定，獲得攝像機的內外參數。采用基于NCC的匹配方法對左右圖像特征點進行匹配，利用視差原理獲得匹配點的三維坐標，對印制有圓形網格的板料進行三維重建。然后根據圓形網格變形后的橢圓長短軸的長度變化，計算得到真實應變，用OpenGL語言將應變可視化。

標定；立體匹配；三維重建；HALCON；應變可視化

0 引言

傳統接觸式的應變測量方法已無法完成對大撓度塑形變形的應變測量，工具顯微鏡法[1]是板料成形的傳統應變測量方法，其采用圓形陣列網格，通過工具顯微鏡直接讀取變形后的橢圓的長短軸長度，并與初始圓網格的直徑進行比較，從而獲得單個圓形區域的應變值，對手工操作的依賴性較大，效率和精度較低，難以解決復雜板件的應變測量。采用HALCON進行非接觸式的快速精確的應變測量方法已在各領域都得到廣泛的應用。HALCON擁有一套圖像處理庫，由一千多個獨立的函數以及底層的數據管理核心構成。包含了濾波，色彩以及幾何、數學轉換，形態學計算分析，校正，分類辨識，形狀搜尋及影像計算等功能，基于HALCON強大的計算分析能力，應用范圍幾乎沒有限制，涵蓋從醫學，遙感探測，監控，到工業上的各類自動化檢測[2]。本實驗利用強大的HALCON的算子和算法實現對板料成形網格應變的測量。

1 雙目立體視覺標定

雙目立體視覺標定的流程如圖1所示。為了進行攝像機標定，必須在世界坐標系中已知足夠多空間點的三維坐標，找到這些點在圖像坐標系中的坐標，并建立對應關系，通常將容易提取特征的目標物或標志放置在一個已知位置上。本實驗中使用的是（60×60）mm平面標準標定板。

利用算子open_frameg-rabber()打開和配置選定的圖像獲取設備，利用算子grab_image()實時采集圖像。通過while循環，利用get_mposition()算子，實現鼠標左鍵點擊圖像窗口時進行圖像采集并保存。為了簡化復雜的非線性問題，需要給定攝像機的初始參數，攝像機參數包括焦距、畸變、像元大小、圖像中心點坐標以及圖像大小。本實驗中使用的攝像機參數為Start-Paramater=[0.016,0,5.2x10-6,5.2x10-6,640,512,1280,1024]。然后將抓取的圖像利用算子find_caltab ()提取標定板內部區域。找到標定對象上的內部區域之后利用算子find_marks_and_pose()從圖像中提取2D標定標志，并計算攝像機外部參數的初始值，該算子使用亞像素邊緣提取方法來提取標志點的邊緣如圖2所示。確定了標志點與它們在圖像中投影之間的對應關系后，利用算子binocular_calibration()根據上述過程可以計算出雙目立體視覺系統中攝像機的內部參數以及兩個攝像機之間的位置關系，結果如圖3所示。

圖1 標定流程圖

為使攝像機參數更加準確，需要有足夠多的標定圖像，因為攝像機參數之間存在不容忽視的相關性，這些參數只能通過多次無關測量進行求解。標定板在標定圖像中最好能夠覆蓋整個視野，這樣可以使計算得到的畸變k更加準確。如果標定板可以覆蓋較大的深度范圍，所得到的攝像機參數會更準確，可以通過將標定板繞其x軸和y軸旋轉一定角度，或者將標定板放置在與攝像機不同距離的位置上，以增大標定板覆蓋的深度范圍[3]。

圖2 提取的標志點

圖3 雙目立體標定結果

2 立體匹配

2.1 立體匹配

進行立體重構主要的一步就是得到圖像中每個點的視差，一般是指第一幅圖像的所有點，求視差的過程可以看做模板匹配問題。圖像的匹配就是要找出同一目標在左右成像面上的特征對應關系，根據二者視差恢復圖像的深度信息[4,5]。一般情況下基于灰度值的匹配方法是立體匹配中最快的方法。最簡單的計算相似度量[6]的方法是SAD （sum of absolute gray value differences）和SSD（Sum of squared gray value differences），對于立體問題來講，可使用如下等式表示：

這兩種相似度量方法的運算速度非常快，不過這兩種方法受光照變化影響比較大，而由于兩個攝像機視角不同，加之被測對象本身等原因，光照變化在立體重建中經常出現，因此在一些應用中必須使用歸一化互相關方法（NCC）計算相似度量，在解決立體匹配時，可以使用下式表示：

式中，mi和si（i=1,2）分別表示第一幅和第二圖圖像中窗口部分的均差和標準差。使用歸一化互相關方法可以保證線性的光照變化不會導致互相關系數發生變化。

2.2 匹配過程

圖4 匹配過程流程圖

在HALCON中調用相關算子進行匹配并得到視差圖，匹配過程流程圖如圖4所示。

攝像機標定完成后，在攝像機相對位置以及各項內部參數均未發生改變的情況下，獲取變形后的板料的左右兩幅圖像。為簡化匹配過程需要對圖像進行校正，實現兩幅圖像處在同一平面，根據極線約束原理，對于左圖像中一點，其在右圖像中的匹配點肯定位于與該點在左圖像相同的行上，這樣匹配的過程中只需在與已知點的相同行上進行搜索即可。利用標定得到的攝像機內外參數對圖像進行變換，使得變換后的圖像共軛極線共線，并平行于圖像的水平軸。算子gen_binocular_rectification_map()用于創建校正后圖像對所在的圖像平面，而map_image()將測量圖像投影到剛創建的圖像平面，對板料圖像進行校正后的圖像如圖5所示，此時左右圖像中對應匹配點位于相同的行上，匹配結果如圖6所示。

HALCON中算子binocular_disparity()利用相關一致性技術，計算校正后的兩幅圖像之間像素級精度的對應關系，輸出結果為視差圖和匹配分值圖，如圖7所示。兩幅圖像均是參考第一幅校正圖幾何，即第一幅校正圖像中點的視差就是視差圖中位置處的灰度值。在視差圖中匹配失敗的區域以白色顯示，而在匹配分值圖中則以黑色顯示。

圖5 圖像校正結果

圖6 匹配結果

圖7 視差圖和匹配分值圖

3 三維重建

3.1 三維重建過程

整個三維重建過程如圖8所示。在HALCON中算子draw_rectangle2()定義區域并利用算子reduce_domain ()來創建感興趣區域ROI。利用算子edges_sub_pix()對ROI進行亞像素精度邊緣提取，配合使用算子select_contours_xld()和select_shape_xld()，對提取的邊緣進行選擇，由于印制的網格有一定的寬度，因此每個圓形網格均會有內邊緣和外邊緣。

圖8 三維重建流程圖

本實驗中使用自編的算子sort_contours_xld_by_line ()，實現按線段或直線對提取的橢圓輪廓進行排序。在HALCON中，先按照輪廓排列順序，從中選出一個，然后用算子fit_ellipse_contour_xld()進行橢圓擬合，得到擬合后橢圓的各項參數包括中心坐標、長短軸方向、長短軸長度以及長短軸終點坐標，將內外輪廓對應的這些參數按照排列順序進行平均運算，得到真實位置橢圓的各項參數，再利用算子gen_ellipse_contour_xld()生成橢圓。

3.2 三維坐標轉換

雙目立體模型在經過校正后變成了雙目平視模型，空間點在兩圖像中的投影 （稱為共軛點）的圖像坐標分別可表示為：

共軛點在兩圖像上的位置差稱為視差d，即：

其中焦距f和基線b均為校正后的圖像參數，為已知，而視差d由算子binocular_disparity()求得，這樣空間點的三維重建將大大簡化。

算子disparity_to_point_3d()以校正后的攝像機參數、圖像坐標和視差值為輸入參數，將圖像坐標轉換為校正立體系統下的三維坐標（Xc，Yc，Zc）。

4 應變計算

4.1 應變計算

常用的網格類型有圓網格、方網格和混合網格，對于不同的網格計算應變的方法也不同。采用圓網格進行應變計算時，計算方法非常簡便。記d0為變形前圓的直徑，d2和 d1分別為變形后的橢圓之長、短軸的長度[8]，變形后橢圓的長軸方向為主應變方向，短軸方向為另一個主應變方向，主應變的計算公式為：

真實應變：

4.2 應變可視化板料表面的應變計算出來后，為了便于方便的觀察板料成形應變，需要通過科學計算可視化技術顯示出這些數據的意義。本文中的科學計算可視化是在 OpenGL的基礎上實現的[9～11]，其整個可視化流程如圖9所示。

圖9 可視化流程

4.3應變可視化系統實現

本實驗利用OpenGL語言，在VC++6.0基礎上編程實現了應變可視化系統，如圖10所示，該系統中可以觀察三維曲面、主應變、工程應變、等效應變、厚向應變的離散點圖和曲面圖，通過鼠標操作可實現平移、旋轉、縮放和復位同時在系統設置中可對雙線性插值次數、離散點大小和背景顏色進行設置[12]。本實驗以主應變為例，顯示應變效果如圖11所示。

圖10 應變可視化系統界面

5 結論

圖11 真實主應變

本文將圖像處理軟件HALCON引入到板料成形網格應變測量中，采用平面標準標定板，通過在標定板區域內對標志點輪廓進行橢圓擬合，確定標志點中心在圖像中的投影，根據多幅圖像中的這種對應關系確定兩攝像機內部參數和兩攝像機之間位置關系，根據雙目立體視覺原理得到了準確的標定結果。通過基于灰度值的匹配方法獲得圖像的視差，為了消除光照變化的影響，本實驗采用NCC相似度量方法，得到匹配結果——視差圖和匹配分值圖。要完成三維重建，除了校正后攝像機的參數和視差圖，還需確定特征點的位置以及對應的視差值，因此需要對特征點的提取進行預處理操作，包括創建感興趣區域、亞像素邊緣、輪廓提取及排序、橢圓擬合和平均運算，得到橢圓中心點坐標，根據視差原理求得特征點在攝像機坐標系下的三維坐標，進而獲得圓網格應變。在VC下調用OpenGL圖像庫，實現應變的可視化。實驗證明，基于HALCON的板料成形網格應變測量方法快速、準確，具有很強的魯棒性。

[1]工具顯微鏡編寫組.工具顯微鏡[M].北京：機械工業出版社，1978.

[2]王家國.瓶裝啤酒異物在線檢測關鍵技術研究[D].山東大學,2009.

[3]（德)Steger,C.,Ulrich,M.,Wiedemann,C.,等；楊少榮，等（譯）.機器視覺算法與應用[M].北京：清華大學出版社，2008:218-245.

[4]王玉翰.基于雙目立體視覺的番茄識別與定位技術研究[D].浙江大學，2012.

[5]王曉華.基于雙目視覺的三維重建技術研究[D].山東科技大學，2004.

[6]王瑞.基于計算機視覺的深度信息提取技術的研究[D].沈陽工業大學，2007.

[7]徐玉華.二維光學和距離圖像配準方法及其應用研究[D].合肥工業大學，2011.

[8]靳海亮，高井祥，康建榮.基于VC和OpenGL的地形三維可視化[J].微計算機應用，2006，5.

[9]王海濤，張力，項輝宇.基于視覺的汽車覆蓋件塑性主應變測定[J].北京工商大學學報（自然科學版），2008，4.

[10]郭濤，平西建.基于OpenGL的三維地形可視化技術研究[J].計算機工程與設計，2008，1.

[11]劉媛媛.板料成形試驗中應變測量與數據處理系統開發[D].南京航空航天大學，2012.

Grid Strain Measurement in Sheet Metal Part Forming Based on HALCON

XIANG Hui-Yu，LIU Qian-Qian，HAN Bao-An，LI He
(Materials and Mechanical Engineering College,Beijing Technology and Business University,Beijing 100037,China)

Computer vision application in the field of strain grid measuring has become a research topic,the study mainly measure strain to sheet metal with circular grid using the principle of binocular stereo vision based on advanced HALCON which is an image processing software.First calibrate the cameras with plane standard calibration plate to acquire the cameras'internal and external parameters.Matching feature points of left and right images by matching method based on NCC.Using the disparity principle to get three-dimensional coordinates of the matching points with which to conduct 3D reconstruction to the sheet metal part printed with circular grids.Then according to the length change of the elliptical axis after circular grid deformation,calculate the the true strain,and visualize each strain with OpenGL language.

calibrations；stereo matching；3D reconstruction；HALCON；visualization strains

TP39

：Adoi:10.3969/j.issn.1002-6673.2014.03.048

1002－6673（2014）03－125－04

2014－04－03

項輝宇(1966-)，男，工學博士，教授。主要研究方向：數字化設計制造技術；劉倩倩（1988-），女，碩士研究生。