基于機器視覺的生產工序異常檢測方案

摘要：為減少生產過程中工序錯誤引起的安全事故，提出了一種基于機器視覺的生產工序異常檢測方案。方案以機器視覺為基礎，研究面向生產過程的目標自動檢測與異常發現。首先，設計一種基于人工神經網絡的目標檢測算法，從工業攝像頭中自動識別與定位多種類型目標；其次，設計一種工序識別算法，將多個孤立的圖像目標關聯成一道具體的生產工序；最后，對工序錯誤的預警機制進行研究，以實現工序異常的快速發現與報警，避免生產事故。以汽車生產過程中的“車門間隙與平度檢測”為例，對上述方案進行了詳細介紹。

關鍵詞：機器視覺；目標檢測；工序識別

一、前言

在工業生產過程中，必然存在工人疲勞操作、注意力不集中、操作錯序等導致的返工或產品質量問題，甚至引發安全事故。2021年4月，黑龍江某企業在進行設備檢修過程中沒有按照規定的設備檢修工序操作，導致13人傷亡，直接經濟損失873萬元的重大安全事故[1]。據統計，2021年我國共發生各類生產安全事故3.46萬起，死亡2.63萬人[2]。研究如何有效減少工業生產中人為因素導致的經濟損失、安全事故，具有十分重要的現實意義。

近些年來，將機器視覺應用于質量檢測已成為國內外研究的熱點，并廣泛應用于實際生產。2016年，上海交通大學的朱冉基于機器視覺提出了一種帶鋼表面質量缺陷的特征提取方法，使得帶鋼表面質量缺陷檢測的準確度提高了12.4%[3]。2019年，黃超等針對復雜產品制造過程中的關鍵工序控制問題，提出了一種關鍵工序識別方法和影響評價體系[4]。2020年，許海生等為了確定船舶分段車間生產過程中對分段精度尺寸影響最大的關鍵工序，提出了基于三重要素綜合考量的船舶分段車間關鍵工序的識別方法，該方法能夠有效識別車間生產過程中的關鍵工序[5]。

與上述研究不同，本文設計了一種基于機器視覺的生產工序異常檢測方案，側重于目標的自動分割、工序組合及異常發現與預警。方案以“車門間隙與平度檢測”為例進行說明。“車門間隙與平度檢測”是汽車總裝過程中的一項重要流程，目前仍主要依賴于人工完成，機器難以介入。為簡化說明過程，本文將該流程簡化為放置平度磁鐵、使用墊片檢測間距、觀察車門間距、標記間隙缺陷并記錄、檢查車門平度、標記平度缺陷并記錄6道具體工序。

方案的整體思路是：首先設計目標檢測算法，對“車門間隙與平度檢測”各工序所涉及的重要目標進行檢測和定位；然后通過工序識別算法，將多個孤立的圖像目標關聯成一道具體的生產工序；最后，研究一種預警機制，快速發現工序的異常情況，并發出警告，避免生產事故。

二、目標檢測算法

2016年，YOLO算法[6]在CVPR會議上被提出，可以快速進行目標檢測與識別，結合循環神經網絡的錨機制，研究者不斷對YOLO進行改進，形成多個衍生算法[7]。其中，YOLOv5極大縮短了訓練時間，提高了檢測速率及準確率。YOLOv5包括YOLOv5s、YOLOv5m等多個版本。本文以YOLOv5s為基礎模型，研究一種面向圖形的目標自動檢測算法，能夠自動地從攝像頭中識別與定位多種類型目標。

首先，通過特征提取、變換、升維等方法，對原始RGB三通道圖像從低維空間映射到高維空間，變換出豐富的細節特征，增強整個神經網絡的表達能力，提升算法的識別率。然后，利用YOLOv5s算法進行圖像預處理，其中，將采集到的圖像作為輸入端參數，進行圖形縮放、歸一化等操作。

為了進一步提高模型的準確率和健壯性，采用遷移學習的思想，首先在MS COCO大型目標檢測數據集上進行預訓練，得到一個初始的模型，然后再采用本文的數據集對初始模型進行參數調整訓練，得到最后的預測模型。

方案采用LabelImg工具嚴格標注圖片中的目標，如圖1。

為了確定工序進行情況，在目標識別的基礎上進行目標關鍵位置判別，即判斷不同目標間相對位置。如在工序5中，需要通過手的上下滑動來確定車門平度，則以“平度磁鐵”為基準，判斷“手”在“平度磁鐵上方”以及“平度磁鐵下方”出現，擬通過下列公式進行位置識別。

其中，j，k是被判斷目標中心點坐標，a、b、c和d是合規區域的左邊界、右邊界、上邊界和下邊界，φ為判定結果。

通過以上多方面的研究可實現高準確率、高推理速度的項目目標檢測算法。

三、工序識別算法

基于機器視覺的自動目標檢測算法可以實時提取監測視頻中的各種目標，但目標是單一的、孤立的。本文采用CART決策樹算法將靜態的、孤立的目標關聯起來組合成一段實際的工序，便于進行工序異常檢測及預警。

CART決策樹在工序檢測中，主要包括工序數據集準備和特征選擇、CART決策樹生成和工序識別兩大部分，下面對其進行詳細說明。

（一）工序數據集準備和特征選擇

對“檢測車門間隙與平度”的每個工序各選取24段視頻作為數據集，其中任意16段視頻用于CART決策樹訓練，剩余8段視頻用于測試。為了構建工序識別CART決策樹，首先要選擇最有利于工序劃分的特征作為決策樹的輸入特征。通過對6道工序進行初步分析，可以得出工序1的檢出目標應包括：車門、手持平度磁鐵、平度磁鐵在縫隙中部；工序2的檢出目標應包括：車門、平度磁鐵在縫隙中部、墊片插入；工序3的檢出目標應包括：車門、平度磁鐵在縫隙中部、人觀察車門縫隙；工序4的檢出目標應包括：車門、平度磁鐵在縫隙中部、紅磁鐵、人做缺陷記錄；工序5的檢出目標應包括：車門、平度磁鐵在縫隙中部、手壓縫隙；工序6的檢出目標應包括：車門、平度磁鐵在縫隙中部、紅磁鐵、人做缺陷記錄。

在工序6中，當平度磁鐵位于前后車門間隙的中部區域時，表示平度磁鐵的位置符合要求。對工序所涉及的目標及決策過程進一步分析可知，由于人與車門對不同工序的區分度很弱，作為決策樹輸入特征的意義很小，可以刪除。這樣，CART決策樹的輸入特征及編號就可定義為：手持平度磁鐵、平度磁鐵在縫隙中部、墊片插入、人觀察車門間距、紅磁鐵、人做缺陷記錄和手壓縫隙，共7個目標檢測對象。對“車門間隙與平度檢測”工序訓練視頻的每一幀進行檢測，根據目標檢測結果，將檢測到相應目標標識為“1”，未檢測到相應目標標識為“0”。

（二）CART決策樹生成和工序識別

在完成CART決策樹特征選擇后，可以采用最大深度最優值訓練一次決策樹模型。如圖2，給出了一個初始CART決策樹，其中方形框表示輸入目標，橢圓形框表示工序決策。需要說明的是圖中的決策樹并非算法得到的結果，而僅是用于描述工序識別思想的一個例子。通過得到的CART決策樹，可以將孤立的圖像目標組合成對一個執行工序的判斷，例如當平度磁鐵在縫隙中部，紅磁鐵不存在，且墊片插入時，可以判斷當前正在執行的是工序2。但對于圖像檢測目標相同的工序，如工序4和工序6，決策樹將無法進一步區分。這時將通過算法記錄前序工序，以實現對工序4和工序6的區分，緊跟工序3的為工序4，而緊跟工序5的為工序6。

但是，通過工序識別僅能判斷工序是否執行，難以判斷工序完成的效果。為此，增加關鍵狀態判定并結合工序識別實現二級判斷。例如在工序2中，墊片插入車門縫隙并不能判斷間距是否均勻，需要上下移動墊片滑過整個縫隙才能實現完整的檢查。此時，僅通過工序識別就難以判斷工序的完成度，必須增加關鍵狀態判定。關鍵狀態應對該工序的完成度具有決定性意義，且通常在工序識別目標出現后。在工序2中，可將墊片出現在縫隙上部（關鍵目標1）和墊片出現在縫隙下部（關鍵目標2）設為關鍵狀態，若目標檢測算法識別這兩個關鍵目標，認為關鍵狀態成立結合工序識別結果，算法輸出工序完成；否則，算法判斷工序未完成。不同工序的關鍵狀態不同，某些工序可能并不存在關鍵狀態，則該工序的關鍵狀態檢查將直接通過。

在實際的CART決策樹訓練中，將測試不同樹深下的決策樹訓練精度和測試精度最高值，并以此最高值對應的最大樹深進行訓練，以獲得高精度的工序識別決策樹。然后，通過不斷分析及優化生成決策樹中的目標對象，疊加剪枝操作，在降低決策樹復雜度的同時，使決策樹的工序識別度保持95%以上。

四、工序錯誤分級預警

針對工序檢測后的預警問題，本文采取多級預警方案。首先通過調研確定各工序錯誤將造成的損失大小，然后根據損失程度確定不同的預警級別。對于正常工序，無須預警；對于可忽略工序或工序互換不會造成其他損失的，如本文中的工序2與工序3可互換順序，定義為無損預警；對于工序未完成（超時、缺失）或交換工序可能造成較大損失的，如本文中的工序4或工序6出現紅磁鐵后未記錄，定義為中級預警；對于工序未完成（超時、缺失）將造成后序工序無效或重大損失的，如本例中的工序1，定義為嚴重預警。如表1給出了不同預警級別的警示方式。

對于不同的預警級別，使用不同的顏色進行閃爍警示和語音播報，有利于工作人員快速、直觀地發現問題。

五、結語

本文以汽車生產過程中的“車門間隙與平度檢測”為例，設計一種基于機器視覺的目標檢測算法，能夠自動地從圖像中識別與定位多種類型目標，通過優化神經網絡的參數，使之擬合數據集，從而檢測實操工序中的各種目標；利用工序識別算法，將檢測出的靜態及孤立的目標進行關聯、組合，構成一道具體的工序，實現對不同工序的識別；最后針對不同工序錯誤造成損失的不同，定義不同級別的工序預警方案，實現工序錯誤分級報警。本文設計的一種基于機器視覺的生產工序異常檢測方案，能夠有效預防人工操作失誤導致的產品質量或安全事故等問題。

參考文獻

[1]蓬萊區人民政府.黑龍江凱倫達科技有限公司“4·21”較大中毒窒息事故[EB/OL].http：//www.penglai.gov.cn/art/2022/6/13/art_30464_2931722.html，2022-06-13.

[2]應急管理部消防救援局.2022年1月20日新聞發布會中華人民共和國應急管理部[EB/OL].https：//www.mem.gov.cn/xw/xwfbh/2022n1y20rxwfbh/.2022-03-24.

[3]朱冉.基于機器視覺的帶鋼表面質量檢測系統在線應用的研究[D].上海：上海交通大學，2016.

[4]黃超，谷長超，王靖，等.復雜產品制造工藝關鍵工序識別方法研究[J].質量與可靠性，2019，29（04）：21-25.

[5]許海生，蘭凱鵬，馬彥軍，等.面向精度的分段車間關鍵工序識別方法及應用[J].船舶工程，2020，42（03）：166-171.

[6]Uijlings J R R，van de Sande K E A，Gevers T，et al.Selective Search for Object Recognition[J].International Journal of Computer Vision，2013，104（2）：154-171.

[7]Liu W，Wang Z，Zhou B，et al.Real-time Signal Light Detection based on Yolov5 for Railway[J].IOP Conference Series Earth and Environmental Science，2021，769（4）：042069.

基金項目：四川航天技術創新項目（2022）課題題目“基于機器視覺的工序智能監測平臺”（2022H002）