圖像識別技術在天車吊掛鋼包作業的應用

唐山不銹鋼有限責任公司設備科 姚旭亮 張士慧

煉鋼天車吊掛作業需要天車司機、地面指揮人員協同，天車司機自己無法確認地面吊掛狀態，地面吊掛狀態完全依靠地面指揮人員，吊掛作業許多環節地面需要指揮者確認，確認不好會造成蹲鉤、卡勾、鋼包脫落等危險，并且現場指揮人員存在較大人身安全隱患。為了降低煉鋼吊包作業流程存在的危險，提高作業效率，設計煉鋼天車吊掛作業圖像識別系統。此系統將地面拍攝大包耳軸的攝像頭圖像應用無線技術實時傳輸到天車平板電腦，平板電腦應用Python編程經過卷積分析，識別天車吊掛作業等待、準備掛鉤、正在掛鉤、吊鉤到位四個狀態并語音提示天車司機，從而省略指揮人員的兩側確認和天車司機的二次確環節，不僅避免了指揮人員來回走動所帶來的人身安全隱患，而且還能節省掛包時間，提高生產效率。將圖像識別、機器學習等新興技術應用于天車領域，使天車作業更加智能化、更加自動化，實現培養人才、提高利潤的目標。

以唐鋼不銹鋼公司100t轉爐-LF精煉-常規板坯連鑄為依托，以打造無人化、黑燈工廠、智慧工廠為目標，采用視覺分析等數字化采集、現場控制自動化、信息傳遞自動化及互聯網技術、數據分析統計技術、人工智能機器學習等技術，實現轉爐全流程模型控制開發。

隨著各類新興技術的快速發展，整個工業時代的生產模式面臨著變革。無人化、智能化、高效化、標準化成為工業發展的前景。而作為當前最為流行的編程語言，Python的應用領域極為廣泛。Python是一個高層次的結合科解釋性、編譯性、互動性和面向對象的腳本語言，應用領域極為廣泛：1）WEB開發；2）桌面軟件；3）網絡編程；4）爬蟲開發；5）云計算開發；6）人工智能；7）自動化運維；8）金融分析；9）科學運算；10）游戲開發。煉鋼天車吊掛圖像識別系統就是通過Keras卷積神經網絡識別技術進行生產過程提示。

1 煉鋼天車吊掛圖像識別系統的設計思路

1.1 天車吊掛作業生產現狀

煉鋼天車吊掛作業時需要天車司機、地面指揮人員協同，由于天車司機室視野限制天車司機自己無法確認地面吊掛狀態，地面吊掛狀態完全依靠地面指揮人員通過對講機通知天車司機。唐鋼不銹鋼公司煉鋼天車吊包作業由等待吊包、主鉤下降、確認板鉤、繼續下降主鉤、確認板鉤高度、北打小車、確認板鉤吊掛、起升主鉤、指揮者兩側確認、司機二次確認、指揮者二次確認、起升主鉤、試吊共13環節構成。其中除了等待吊包、起升主鉤、試吊環節外其它10個環節均需要地面指揮者確認，如果確認不好將會造成蹲鉤、卡勾、鋼包脫落等危險，現場指揮人員存在較大安全隱。

1.2 天車設備配置現狀

唐鋼不銹鋼公司煉鋼天車具有天車定位系統，此系統通過煉鋼車間天車、臺車定位，天車物重采集，生產設備狀態采集，已實現廢鋼斗、鐵包、鋼包跟蹤和可視化管理，系統通過編碼電纜定位技術實現天車大車、小車位置的自動采集和過程監控；天車司機室內配備一臺平板電腦，用來顯示天車實時位置及過程監控信息，并通過無線網絡將天車信息實時傳輸到地面服務器。

圖1 煉鋼天車吊掛圖像識別系統設計示意圖

1.3 天車吊掛圖像識別系統實施方案

天車吊掛圖像識別系統在天車定位系統基礎之上增加兩臺網絡攝像頭。網絡攝像頭安裝于地面，分別采集鋼包左右耳軸實時圖，利用天車定位系統的無線網絡與天車司機室內平板電腦通訊，具體通訊方式網絡攝像頭通過天車定位系統地面交換機連接天車跨上AP基站、天車AP與平板電腦相連，平板電腦應用python語言編程將地面網絡攝像頭圖像實時采集，通過圖像識別程序判斷天車板勾與鋼包耳軸懸掛狀態，并將天車板勾與鋼包耳軸懸掛實時狀態對天車司機進行語音提示。

平板電腦編制地面耳軸圖像與天車定位原系統畫面切換程序，通過天車定位，在天車大車、小車、吊鉤滿足吊掛作業條件的狀態下天車定位原系統畫面切換到地面耳軸畫面，畫面同時顯示左右耳軸圖像。當完成吊掛作業后，天車板鉤抬起一定高度退出地面耳軸畫面，切換到天車定位原系統畫面。天車吊掛鋼包實時畫面顯示提高天車吊掛圖像識別系統的安全性，實現吊掛作業現場狀態司機室內可視化。

2 煉鋼天車吊掛圖像識別系統技術的實現

2.1 圖像傳輸方案

應用OpenCV技術將攝像頭圖像顯示于平板電腦之上。OpenCV是一個基于BSD許可（開源）發行的跨平臺計算機視覺和機器學習軟件庫，可以運行在Linux、Windows、Android和Mac OS操作系統上。 它輕量級而且高效，由一系列C函數和少量C++類構成，同時提供了Python、Ruby、MATLAB等語言的接口，實現了圖像處理和計算機視覺方面的很多通用算法。改變圖像輸出格式，OpenCV默認輸出格式為YUYV，可將其改成MJPG格式， 通過用不同電腦測試發現，攝像頭在不同的電腦上默認使用獲取視頻的格式不同。由于項目原因，需要以MJPG格式讀取，使用MJPG格式主要是考慮到YUYV數據量較大，影響攝像頭讀取速度。

2.2 圖像傳輸卡頓解決方案

（1）運用多線程解決負載均衡問題，充分利用CPU資源。隨著計算機的配置越來越高，我們需要將進程進一步優化，細分為線程，充分提高圖形化界面的多線程的開發。多線程技術使程序的響應速度更快，因為用戶界面可以在進行其它工作的同時一直處于活動狀態；當前沒有進行處理的任務時可以將處理器時間讓給其它任務；占用大量處理時間的任務可以定期將處理器時間讓給其它任務；可以隨時停止任務；可以分別設置各個任務的優先級以優化性能。

（2）攝像頭分辨率設置，通過網絡攝像頭管理軟件調整攝像頭分辨率設置和幀率設置。可以根據現場無線網橋、平板電腦、交換機等硬件配置把傳輸圖像調整到最佳顯示狀態。

2.3 圖像傳輸終斷解決方案

增加異常處語句，這樣平板電腦與網絡攝像頭通信過程中，如果發生錯誤通訊失敗可以重新嘗試連接，程序不會終止運行。

2.4 圖片采集分類

攝像頭安裝于固定位置，通過程序連續抓拍天車板鉤吊掛作業圖片，將圖片按作業狀態分成四類（等待、準備掛鉤、正在掛鉤、吊鉤到位）每一類圖片不低于1000張。

2.5 訓練模型

根據平板電腦配置情況將圖片分辨率縮小，降低電腦運算量。應用卷積分析方法生成圖像識別四分類器，運行識別程序與靜態圖片對比查看識別效果。

2.6 語音提示

（1）方法1應用pyttsx3庫循環播放語音。

（2）方法2應用playsound庫循環播放語音。

3 煉鋼天車吊掛作業圖像識別系統的應用效果

如圖2所示為識別過程，通過現場攝像頭采集天車板勾與耳軸畫面，通過卷積分析判斷是否懸掛到位，同時根據板勾的運動過程實時語音播報懸掛狀態，能夠實現天車吊包的自動判斷過程，為吊包自動化奠定了基礎。

圖2 天車吊包自動判定過程

唐鋼不銹鋼煉鋼全流程智能化的一個重要部分就是實現天車自動判斷耳軸吊掛狀態，應用此采用圖像識別技術，實現了天車吊掛作業工作狀態實時提醒功能，地面圖像無線網絡傳輸司機室，提高天車作業安全性和工作效率。應用此系統縮短天車吊掛作業時間。