基于機器視覺的小方坯端面手寫字符自動識別系統

石桂芬,何永輝,吳振平

(寶山鋼鐵股份有限公司1.中央研究院,上海 201999; 2.鋼管條鋼事業部,上海 201900)

線材是鋼鐵工業的重要產品之一。電爐小方坯直接軋制線材生產工藝,由于未經過初軋開坯環節,成本很占優勢,成為工藝降本的手段,近年來在國內外已得到較好發展,但同時由于偏析等技術瓶頸,也限制該工藝路線的推廣使用。

目前的技術手段,當發生質量異常時,由于信息無法按支追溯到坯,對異常原因分析及改進均帶來很大局限,因此,按支跟蹤非常重要。實現按支跟蹤,通常做法是在入爐前對鋼坯端部描號進行識別。

目前,寶鋼電爐向小方坯采用人工描號方式,由人工在現場對方坯端面字符進行識別,實現按支跟蹤。勞動強度大,效率低。

1 機器視覺技術與字符識別

寶鋼高速線材生產線引進了許多當今國際先進水平的生產設備和生產技術,主要生產鋼種為鋼簾線、合金冷鐓鋼、彈簧鋼、硬線鋼等優質盤條。采用機器視覺技術實現方坯端面字符識別,從而達到按支跟蹤的目的,勢在必行。

不同于傳統的字符識別,工業領域的手工描號識別過程中通常存在圖像背景復雜、分辨率低下、字體多樣以及分布隨意等難點。上海理工大學劉振等利用ISOM AP算法實現對手寫字符的識別[1],中南民族大學鄒煜等探討深度神經網絡的單層訓練中特征抽取方法[2],上海理工大學丁蒙等使用改進的卷積神經網絡模型在MNIST數據集中識別準確率提升到 99.65%[3]。隨著模式識別和人工智能時代的到來,字符識別技術,特別針對人工描號的識別技術,已經逐步趨于成熟。另外,隨著大數據時代的到來,深度學習在手工描號識別領域得到了成功的應用。

本文字符識別對象為電爐小方坯端面人工描號。電爐小方坯描號規則是“爐號+流號”,方坯端面圖像如圖1所示,第一排為6位爐號,第二排為流號。團隊自主開發出方坯端面智能識別系統,實現對方坯端面手寫字符的正確識別。

圖1 小方坯端面字符圖像Fig.1 Image of billet end

2 小方坯端面手寫字符自動識別系統硬件實現

本系統采用機器視覺技術實現方坯端面字符識別,將相機和光源等構成的光學成像系統安裝在生產線,利用外觸發方式實現對小方坯端面的實時成像。

2.1 系統基本架構

結合現場生產條件,實現了系統硬件結構設計,圖2為字符識別系統硬件結構框圖。

圖2 系統硬件結構框圖Fig.2 System hardware architecture

相機和光源均以一定角度安裝在軌道的中部,在軌道中部安裝一對光電對管作為觸發器。光電對管檢測到有方坯離開,則觸發相機,對方坯端部流號進行拍照。相機對方坯端面成像,圖像通過以太網被采集到服務器后,再由圖像處理計算機實現對采集到的端面圖象進行處理,識別軟件對字符進行識別。

系統可及時發現爐號不正確的鋼坯,避免混鋼,即可實現對方坯的按支跟蹤。

2.2 光學成像系統設計

光學成像系統包含光源和高速工業相機、鏡頭、多自由度高精度相機調節機構等設備組成。

光源設計結構如圖3所示。光源為兩個常亮LED光源,架在方坯拍照位置的兩側,在正上方對方坯端部進行打光,利用大角度來減弱反光。

圖3 光源照射設計Fig.3 Illumination design of light source

高速工業相機采用500萬像素面陣相機,成像的分辨率設計為0.2 mm/pixel,相機物距為3 000 mm,以一定成像角度安裝在坯料運動軌道的正上方,并確保成像范圍對方坯尾部端面全覆蓋。

3 小方坯端面手寫字符自動識別系統軟件實現

軟件系統包括以下幾個部分:圖像處理及識別軟件模塊、通訊軟件模塊和人機接口界面模塊,見圖4。

圖4 系統軟件模塊構成Fig.4 System software modules organization

3.1 圖像處理及識別模塊

圖像處理及識別模塊是軟件系統的核心組成部分,它配置在服務器端,完成圖像采集、字符識別和信號控制等一系列核心功能,其工作流程見圖5。

圖5 圖像處理及識別軟件模塊工作流程Fig.5 Workflow for image processing and recognition software module

(1) 圖像采集模塊。圖像采集模塊是軟件與工業相機的鏈接模塊,該模塊從工業相機內層中讀取圖像,用于顯示和供后續步驟處理。

(2) 字符識別模塊。首先對原始圖像運用梯度算法進行降噪和增強預處理,突出被檢測對象,弱化干擾對象;再通過傳統的canny算子對字符提取邊緣,再對前景進行閉運算以得到更加連續的邊緣;最后將邊緣圖像和原圖像對應疊加,疊加得到的圖像作為YOLOv3深度學習模型的輸入圖像。YOLOv3是一個目標檢測模型,其能在保證較高準確率的情況下進行目標物的快速檢測,與此同時能較為準確地分辨出背景與目標物。然后,模型輸出一個張量。在經過NMS方法篩選后(使用NMS的作用是刪除具有較大重復率的候選框),最后將置信度高的候選框和其分類結果一同回歸到原始圖像上。

(3) 信號控制模塊。由于工業相機對物距的要求,需要被拍攝物離相機的位置固定。所以在固定位置裝1臺激光對射開關,當鋼坯尾部離開光電對射管所在的位置時,對射開關的信號從“0”變為“1”,這時服務器會檢測到相應的信號,觸發相機進行拍照。

3.2 通訊軟件模塊

通訊軟件運行在系統處理單元上,提供本系統和二級的交互,以及服務器和客戶端的交互。服務器軟件包含以下兩個部分:

(1) 接收二級電文模塊。主要完成兩個功能,完成系統與二級通訊,接收一個鋼坯池,里面含有當前的計劃爐號。

(2) 發送識別結果。將服務器檢測結果發送到終端計算機。

3.3 人機接口界面模塊

人機接口界面模塊運行在現場操作終端計算機上,是本系統與用戶交互的界面,也是識別結果的呈現界面,見圖6。

圖6 在線識別系統的主界面Fig.6 System interface for online watch and control

(1) 圖像顯示。顯示拍攝到的鋼坯端面圖像。

(2) 識別結果顯示。顯示深度學習識別的端面字符結果,用戶可以方便地查看當前識別的鋼坯號是否正確。

(3) 報警控制。若識別出的字符與計劃爐號不同,則系統自動報警,由現場操作人員確認并及時解決該問題。

4 小方坯端面手寫字符自動識別系統檢測結果

小方坯端部人工描號字符能夠被系統準確地識別出,識別結果標注在源圖像上。系統的識別結果如圖7所示。

圖7 端面字符識別結果Fig.7 End face character recognition results

5 結語

目前,小方坯端面手寫字符自動識別系統已經上線運行1年多,運行狀況良好,能夠有效識別出電爐向小方坯端面手寫字符,實現在線綜合識別率達到98%以上,大幅遏制了現場混鋼現象,提升了企業的自動化程度和生產效率。