基于模板匹配的鋼包水口視覺識別定位研究

丁振華

摘?要：在闡述了機器視覺相關(guān)知識的基礎(chǔ)上，應(yīng)用模板的相關(guān)性匹配對鋼包水口安裝位置的識別定位進行研究。通過程序?qū)崿F(xiàn)，驗證了機器視覺在鋼鐵相關(guān)工位應(yīng)用的可行性。

關(guān)鍵詞：機器視覺;模板匹配;識別定位

Research on Vision Recognition and Location

of Ladle Nozzle Based on model matching

Ding Zhenhua

Steelmaking Plant，Baoshan Iron & Steel Co.，Ltd.?Shanghai?201900

Abstract：Based on the knowledge of machine vision，the recognition and location of the installation position of ladle nozzle is researched by applying NCC model matching.By program implementation，the feasibility of machine vision application in related workshops of iron and steel company is verified.

Key words：Machine vision;Model matching;Recognition and location

1 緒論

近年來，隨著機器人、機器視覺、人工智能等技術(shù)的發(fā)展，鋼鐵冶金裝備朝著智能化、無人化方向快速發(fā)展。但是，對于高溫熔融態(tài)冶煉環(huán)節(jié)的車間，高智能化冶煉裝備的應(yīng)用還非常受限，因此，需要不斷的嘗試新技術(shù)，來適應(yīng)無人化和智能化冶煉的趨勢，不斷提高鋼鐵企業(yè)的生產(chǎn)效率和效益。

目前，就連鑄工序而言，澆鋼過程全部需要在認(rèn)為的干預(yù)下完成，而利用機器視覺來替代人的視覺進行識別判斷，給機器人裝上的一雙“眼睛”，對于實現(xiàn)無人化、智能化澆鋼來說是一個先進、符合未來科技趨勢的最佳選擇。鋼包水口安裝作為連鑄澆鋼的重要環(huán)節(jié)，利用機器視覺協(xié)助系統(tǒng)實現(xiàn)無人化、智能化，提高水口安裝精度和準(zhǔn)確度，保證安全的重要手段。因此，鋼包水口的視覺識別定位的研究具有非常重要的現(xiàn)實意義。

2 機器視覺

視覺是人類生存不可或缺的重要器官，通過眼睛我們可以看到多彩的世界，與身體的其他部位配合完成復(fù)雜的工作。機器視覺是將人類從復(fù)雜的重復(fù)勞動中解放出來的重要載體，也是在現(xiàn)代社會各行各業(yè)發(fā)展需求自然驅(qū)動的結(jié)果，它的發(fā)展離不開數(shù)學(xué)、光學(xué)、計算機及編程、圖像處理等多學(xué)科知識，是一門綜合的新興技術(shù)。

2.1 機器視覺概念

機器視覺，就是用一個或多個攝像機代替人的眼睛獲取場景圖像，對圖像進行自動處理，并根據(jù)邏輯運算結(jié)果進行識別判斷。美國制造工程師協(xié)會（SME Society of Manufacturing Engineers）機器視覺分會和美國機器人工業(yè)協(xié)會（RIA Robotic Industries Association）的自動化視覺分會對機器視覺下的定義為：“機器視覺是通過光學(xué)的裝置和非接觸的傳感器自動地接收和處理一個真實物體的圖像，以獲得所需信息或用于控制機器人運動的裝置”。具體來講，是指通過鏡頭將被測目標(biāo)轉(zhuǎn)化為圖像信號，投射至影像接受器件（一般為CCD元件）上再通過數(shù)字計算機進行分析處理。

2.2 機器視覺硬件

典型的機器視覺系統(tǒng)一般包括：光源，鏡頭，相機，圖像采集卡，圖像處理計算機，通訊接口等組成的。機器視覺系統(tǒng)的構(gòu)成如圖1所示：

光源：在機器視覺應(yīng)用系統(tǒng)中，合適的光源與照明方案隊整個系統(tǒng)有決定性的影響，在確定方案時應(yīng)該結(jié)合被檢測物體的形狀、顏色、透明度等特征進行選擇。目前主流的可見光源有熒光燈、鹵素?zé)艉蚅ED燈，其中LED光源壽命長、節(jié)能、形狀多樣、光照穩(wěn)定可調(diào)，因此，LED光源的應(yīng)用較為普遍。

鏡頭：一般有光學(xué)元件和機械裝置兩部分組成，光學(xué)元件可能包含多個透鏡，以保證獲取正確清晰的圖像;機械裝置包含固定光學(xué)元件的零部件，如鏡筒、透鏡座、調(diào)節(jié)機構(gòu)、連接環(huán)等。鏡頭的主要參數(shù)包括：焦距、物距、視場范圍、光圈、景深等。

相機：相機的主要功能是將光信號轉(zhuǎn)換成相應(yīng)的電信號，以獲取場景的原始信息，主流的相機有CMOS和CCD兩種相機，相機不同，采集到的圖像質(zhì)量也不同。相機的主要指標(biāo)有：分辨率、像素深度、最大幀率、接口類型等。

圖像采集卡：又稱圖像捕捉卡，將采集到的圖像經(jīng)過A/D轉(zhuǎn)換變成數(shù)字圖像，完成圖像采集與數(shù)字化，然后按照相應(yīng)的格式進行存儲。其技術(shù)參數(shù)有：輸入接口類型、灰度等級、分辨率、帶寬和傳輸速率等。

2.3 機器視覺軟件

專業(yè)的機器視覺算法軟件有Halcon，VisionPro，OpenCV、LabView等，集成開發(fā)工具主要是Visual studio，支持VB，C#，C++等多種語言。這里主要闡述Halcon及其與C#的聯(lián)合編程。

Halcon是德國MVTec公司的專業(yè)圖像處理軟件，由一千多個各自獨立的函數(shù)，以及底層的數(shù)據(jù)管理核心構(gòu)成。其中包含了各類濾波、色彩分析以及幾何、數(shù)學(xué)變換、形態(tài)學(xué)計算分析、校正、分類、辨識、形狀搜索等等基本的幾何以及圖像計算功能，應(yīng)用前景廣闊。HALCON有一套交互式的程序設(shè)計接口HDevelop，可在其中直接編寫、修改、執(zhí)行程序，設(shè)計完成后，可以直接輸出C#、C++等程序代碼，以供開發(fā)靈活多樣的應(yīng)用程序。

Halcon聯(lián)合C#編程，需要對Visual Studio進行配置，主要包括halcondotnet.dll庫文件配置，并在窗體代碼中調(diào)用其命名空間。

3 識別定位原理

識別定位是通過圖像匹配完成的，圖像匹配是指將觀察到的圖像與模型進行匹配，以及圖像之間的匹配，匹配的結(jié)果表示對景物的一種解釋。

3.1 模板匹配

模板是圖像（或其子圖）的一種表達(dá)方式，它本身仍然是一幅圖像。一般情況下，模板在目標(biāo)圖像中來回移動，直到找到使某個匹配函數(shù)值達(dá)到最大的位置為止。圖像模板匹配流程如圖2所示：

圖像采集是通過光學(xué)裝置，由相機采集圖像，圖像轉(zhuǎn)換成數(shù)字格式式并傳入計算機存儲器。

圖像處理是運用不同的算法來處理對決策有重要影響的圖像要素，如對圖像進行顏色辨識，面積、長度測量，圖像增強，邊緣銳化，降噪等處理。

特性提取是識別并量化圖像的關(guān)鍵特性，例如檢測出的物體顏色和雜質(zhì)的形狀等等。然后這些數(shù)據(jù)傳送到控制程序。

結(jié)果和控制是根據(jù)收到的數(shù)據(jù)進行各種運算做出結(jié)論。并根據(jù)這曲結(jié)論輸出相關(guān)的信號指令控制現(xiàn)場的設(shè)備或輸入輸出系統(tǒng)執(zhí)行相應(yīng)的動作。

模板圖像和目標(biāo)圖像內(nèi)容的相似程度可以用如下函數(shù)來衡量：

SE（x，y）=∑Ni=1∑Nj=1f2（x-i，y-j）-2∑Ni=1∑Nj=1f（x-i，y-j）T（i，j）+∑Ni=1∑Nj=1T2（i，j）

式中第一項是目標(biāo)圖像中感興趣點（鄰域）亮度的平方和，它與匹配與否無關(guān);第三項是模板中元素平方和，是一個常數(shù)，與模板處在圖像什么位置無關(guān);第二項是匹配與否的重點，該項表示相關(guān)性的計算。

3.2 模板匹配的分類及特點

模板匹配主要有：基于灰度值、基于描述符、基于相關(guān)性、基于形狀、基于組件和基于可變形等幾種模板匹配。

基于灰度值的圖像模板匹配，通過比對模板圖像與目標(biāo)圖像的灰度值信息，但是灰度特征易受環(huán)境因素干擾，匹配結(jié)果不穩(wěn)定。基于形狀的圖像模板匹配是提取目標(biāo)的輪廓特征，生成形狀模板，該技術(shù)對環(huán)境、噪聲的抗干擾能力很強?；诮M件的圖像模板匹配是形狀匹配的升級，其工作原理與形狀匹配大致相同，其優(yōu)點表現(xiàn)在對于一個包含多個部件的目標(biāo)對象的檢測上，相對基于形狀的圖像模板匹配的多模板匹配，其匹配速度更快?；谙嚓P(guān)性的模板匹配，它是采用歸一化交叉相關(guān)性Normalized cross correlation（NCC）用來比較兩幅圖像的相似程度已經(jīng)是一個常見的圖像處理手段。在工業(yè)生產(chǎn)環(huán)節(jié)檢測、監(jiān)控領(lǐng)域?qū)ο髾z測與識別均有應(yīng)用。

4 系統(tǒng)實現(xiàn)

4.1 主要算子

Halcon中用于NCC模板匹配的算子有兩個：create_ncc_model（）創(chuàng)建NCC模板算子和find_ncc_model（）尋找模板算子。

其部分主要參數(shù)包括：

NumLevels：金字塔的最大層級

AngleStart：模板的最小旋轉(zhuǎn)

AngleExtent：旋轉(zhuǎn)角度范圍

AngleStep：角度步長

MinScore：被找到的模板最小分?jǐn)?shù)

NumMatches：被找到的模板個數(shù)

Row：被找到的模板實例行坐標(biāo)

Column：被找到的模板實例列坐標(biāo)

Angle：被找到的模板實例的旋轉(zhuǎn)角度

Score：被找到的模板實例的分?jǐn)?shù)

4.2 程序?qū)崿F(xiàn)

根據(jù)算法的流程，編寫程序?qū)崿F(xiàn)相關(guān)性匹配，部分主要程序段如下：

*創(chuàng)建ROI區(qū)域

draw_rectangle1（WindowHandle，Row1，Column1，Row2，Column2）

gen_rectangle1（Rectangle，Row1，Column1，Row2，Column2）

area_center（Rectangle，Area，Row，Column）

orientation_region（Rectangle，Phi）

reduce_domain（GrayImage，Rectangle，ImageReduced）

*創(chuàng)建模板

create_ncc_model（ImageReduced，0，rad（0），rad（360），'auto'，'use_polarity'，ModelID）

dev_set_draw（'margin'）

dev_set_color（'blue'）

*尋找模板

find_ncc_model（GrayImage1，ModelID，rad（0），rad（360），0.7，1，0.8，'true'，0，Row3，Column3，Angle，Score）

*判斷和仿射變換，結(jié)果輸出

if（|Score|>0）

vector_angle_to_rigid（Row，Column，0，Row3，Column3，Angle，HomMat2D）

affine_trans_region（Rectangle，RegionAffineTrans，HomMat2D，'nearest_neighbor'）

dev_display（GrayImage1）

dev_display（RegionAffineTrans）

4.3 匹配結(jié)果

在Halcon中通過程序的編寫實現(xiàn)，先在模板圖像中繪制感興趣的ROI區(qū)域，如圖3所示：

然后通過核心算子create_ncc_model（）和find_ncc_model（）以及相關(guān)參數(shù)的控制，按照算法的流程進行尋找待匹配的目標(biāo)區(qū)域。如圖4所示：

從圖3和圖4可以看出，盡管模板圖像和目標(biāo)圖像存在角度的偏移和形狀變形，通過相關(guān)性匹配搜索，仍能找到感興趣的目標(biāo)區(qū)域，達(dá)到識別定位的目的。

5 結(jié)論

機器視覺具有非接觸識別定位，速度快，準(zhǔn)確度高的特點，不受人為視覺疲勞的影響，是大勢所趨，將來在各行各業(yè)的應(yīng)用一定會越來越廣，因此，鋼鐵業(yè)也不例外，本文將機器視覺引入鋼鐵生產(chǎn)的工藝流程之中，通過模擬實現(xiàn)，達(dá)到了目的，具備應(yīng)用的前景，對鋼鐵生產(chǎn)實現(xiàn)無人化、智能化具有重要意義。

參考文獻(xiàn)：

[1]劉慶宏.基于機器視覺的工件位置識別軟件開發(fā)[D].大連：大連理工大學(xué)，2016.

[2]曹夢柔.基于機器視覺的模板匹配系統(tǒng)的研究[J].企業(yè)導(dǎo)報，2015，12：92-93.

[3]候海燕.基于模板匹配的機器視覺話機檢測系統(tǒng)[J].開發(fā)案例，2013，10：63-65.

[4]Halcon手冊.MVTec Software GmbH，2007.