基于卷積神經網絡的吊鉤視覺識別系統開發和應用

劉 洋，陳冬玲，

(1.寶鋼集團 廣東韶關鋼鐵有限公司, 廣東 韶關 512123； 2.柳州職業技術學院, 廣西 柳州 545006)

干熄焦技術具有節能、環保和改善焦炭質量的顯著優勢，截至2019年底，我國共有干熄焦裝置325套[1]. 提升機是干熄焦裝置的主要設備之一，運行于提升井架和干熄爐頂軌道上，將裝滿紅焦的焦罐提升并橫移至干熄爐爐頂，與裝入裝置配合，將紅焦裝入干熄爐內，裝焦完畢后又將空罐送回到焦罐臺車上。干熄焦吊鉤能否準確鉤住焦罐關系安全生產，目前生產現場判斷可靠性的方法是操作人員通過視頻觀察確定吊鉤是否準確鉤住焦罐的釣耳，然后再發出命令允許焦罐提升。正常生產9～10 min提升一罐紅焦，由于頻繁的觀察判斷，操作人員眼睛容易疲勞，特別是中夜班，容易誤判和誤操作，發生吊鉤偏斜使得焦罐傾斜紅焦傾翻等事故，造成焦罐墜落、紅焦傾倒流出，引起焦罐損壞、鐵軌變形、線路燒損等[2]，直接損失達數百萬元。

針對吊鉤是否準確鉤住焦罐釣耳的問題，寶鋼集團新疆八一鋼鐵有限公司申請了實用新型專利《一種干熄焦焦罐及吊鉤定位識別聯鎖控制裝置》，利用RFID檢測焦罐與吊具間距離，以此判斷吊鉤是否鉤住焦罐吊耳「3]. 機器視覺是用機器代替人眼來做測量和判斷，具有處理速度快、檢測精度高、非接觸測量等特點[4]. 利用機器視覺替代人工識別吊鉤與焦罐吊耳是否鉤住，能降低勞動強度，提高判斷的準確性，對保障干熄焦安全生產具有重要意義。

1 吊鉤視覺識別系統

系統在焦罐上升過程中對吊鉤與焦罐的連接狀態進行識別，鉤好后發出連接成功“1”信號，否則發出報警信號。識別信號傳送到提升機PLC控制器，與人工確認進行聯鎖，控制焦罐的提升運行。

1.1 吊鉤視覺識別系統構成

該系統將網絡攝像頭裝在焦罐起吊位置的兩側，硬件系統由光學系統(光源、紅外攝像頭)、圖像采集卡、圖像處理系統、I/O模塊、顯示器組成(圖1). 圖像采集卡和I/O模塊安裝在工控機內，通過光纖將攝像頭信號傳輸到圖像采集卡，經過圖像處理系統識別吊鉤與焦罐吊耳鉤住，將識別信號輸出到I/O模塊，模塊與原有的提升機PLC系統采用接線方式連接。

圖1 吊鉤視覺檢測識別系統硬件構成圖

1.2 吊鉤視覺識別系統工作流程

吊鉤視覺識別系統是一個利用機器視覺技術對提升焦罐吊鉤連接狀態進行檢測識別的系統，通過監控攝像頭采集視頻數據，以圖像作為訓練樣本，經過深度卷積神經網絡生成特征圖像和小樣本，再采用擴充技術生成大量訓練樣本，經過深度學習神經網絡的分析和學習，生成檢測模型并將其加載到加速硬件上，識別過程中攝像頭實時傳輸吊鉤的圖像到視覺系統，根據模型分析圖像識別出掛鉤的當前狀態，并達到毫秒級的識別速度，實現實時識別。

機器視覺的識別位置是在提升井的待機位，當焦罐到達待機位后，系統識別吊鉤與焦罐吊耳是否鉤住，分別采集東、西鉤的視頻圖像，系統對圖像進行降噪、特征識別等識別運算后，輸出東、西鉤是否都掛好的信號給I/O模塊，PLC循環掃描I/O模塊的輸出信號，如果輸出的信號為“ture”，等待3 s后PLC再次查詢確認，PLC發出允許提升信號，否則報警呼叫人工處理。系統的工作流程見圖2.

圖2 吊鉤視覺識別系統工作流程圖

2 基于CNN算法的吊鉤視覺識別系統設計

卷積神經網絡(Convolutional Neural Network, CNN)是一種前饋神經網絡，它的人工神經元可以響應一部分覆蓋范圍內的周圍單元，用于提取圖像的特征、圖像去噪、增強、邊緣檢測等圖像識別領域。卷積神經網絡包括輸入層、卷積層、激勵層、池化層、全連接層(圖3). 輸入層用于數據輸入，卷積層使用卷積核進行特征提取和特征映射，激勵層進行非線性映射，池化層對特征圖進行稀疏處理，全連接層對特征進行擬合。通過多層的卷積、池化、全連接等，降低圖片維度，最后轉化成了一個一維向量[5]. 這個向量就包含了圖片的特征。Faster R-CNN模型的運行速度快，在檢測速度方面尤為明顯，該系統采用Faster R-CNN模型。

圖3 卷積神經網絡工作流程圖

卷積運算用卷積核自上而下、自左向右在圖像上滑動，提取圖片每個小部分里具有的特征，將卷積核矩陣的各個元素與它在圖像上覆蓋的對應位置的元素相乘，然后求和，得到輸出特征圖。最終把一張圖片轉化為特征向量(圖4).

圖4 卷積原理示意圖

2.1 算法設計

采用CNN的VGG16算法，VGG-16包含13個卷積層+3個全連接層，VGG16的網絡結構見圖5. 通過反復堆疊3×3的卷積核和2×2的最大池化層來構建深層的卷積神經網絡，13個卷積層分別在第2、4、7、10和13層被池化層分割，可將特征圖長寬減少1/2.

圖5 VGG16的網絡結構圖

第一步：約定輸入圖像的尺寸750×600和識別的范圍x(57～365)，y(235～569).

第二步：輸入圖像，將圖像進行灰度處理。

第三步：建立VGG16特征變量。

第四步：加載VGG16模型。

第五步：卷積，采用3×3小卷積核并設置卷積步長為1，輸出64張特征圖。

第六步：池化，進行最大池化操作，采用通過2×2濾波器并設置步長為2，得到新的64張特征圖。

第七步：池化輸出特征圖進行ReLU激活。

第八步：重復第五、六、七步，共進行5次卷積、池化、激活，得到512張特征圖。

第九步：全連接，將第五次池化輸出，輸入至全連接層進行分類判定和類別概率計算、位置確定。

2.2 faster-rcnn VGG16模型訓練

步驟1：用VGG-16模型初始化，獨立訓練一個RPN網絡。

步驟2：仍然用VGG-16模型初始化，但是使用上一步RPN網絡產生的proposal作為輸入，訓練一個Fast-RCNN網絡，至此，兩個網絡每一層的參數完全不共享。

步驟3：使用步驟2的Fast-RCNN網絡參數初始化一個新的RPN網絡，但是把RPN、Fast-RCNN共享卷積層的learning rate設置為0，也就是不更新，僅僅更新RPN特有的網絡層，重新訓練，此時，兩個網絡已經共享了所有公共的卷積層。

步驟4：仍然固定共享的網絡層，把Fast-RCNN特有的網絡層也加入進來，形成一個unified network，繼續訓練，fine tune Fast-RCNN特有的網絡層，此時，該網絡已經實現設想的目標，即網絡內部預測proposal并實現檢測的功能。

3 吊鉤視覺識別系統測試效果

吊鉤視覺識別系統在韶鋼的3#CDQ進行測試。提升機將焦罐提升到待機位，視覺系統識別東、西兩邊吊鉤是否鉤住焦罐吊耳，如果檢測判斷連接牢固(圖6)，則發出“吊鉤鉤好”信號，輸出到工控機的I/O模塊，控制焦罐的提升。經過3個月的識別準確率和誤判率的測試，經統計，誤判率為0，準確率為99.9%，調取WINCC曲線截圖。曲線運行表明：視覺識別結果與人工識別結果一致(圖7).

圖6 吊鉤與焦罐吊耳連接識別結果圖

圖7 視覺系統識別結果與人工識別結果對比圖

4 結 論

韶鋼1#CDQ、2#CDQ和3#CDQ通過使用3套智能視覺檢測識別系統，將吊鉤與焦罐吊耳連接的圖像輸送給視覺分析系統，后者將識別信號傳送到提升機PLC控制器，將識別信號與人工確認融合，控制焦罐的提升。投入連續運行數月以來，通過調取相關數據，驗證了智能視覺檢測識別系統能杜絕人工誤判和誤操作的問題，提高了焦罐提升的安全性，可保證干熄焦的安全生產。