基于機器視覺的智能檢測技術在制筆業中的應用

郭亨長，李麗

（上海晨光文具股份有限公司 中國輕工業制筆工程技術重點實驗室，上海，201406）

0.引 言

傳統的工業產品制造過程中，多數基于人工實現品質檢驗分揀、依賴人工視覺離線檢測來完成。而機器視覺的目標就是使機器通過觀察和學習，最終也會像人一樣具有適應環境并自主學習的能力[1]。機器視覺作為智能制造技術的一個分支，主要通過處理分析圖像或者多維數據來獲取有用的信息，輔助智能制造系統進行判斷或分類等。機器視覺的特點有檢測精度高、快速、高效與非接觸等，使用機器視覺可以提升制造業水平，并且機器視覺在檢測領域可以發揮有利的作用[2]。近年來，機器視覺技術發展迅速，其非接觸式測量的客觀、可靠、無損傷及高精度等優點滿足了現代制造業高效率生產的要求，可以用于測量、檢測、識別、定位等實際的工業現場中[3][4][5]，并被推廣于農業[6]、醫藥[7]、紡織[8]、電子制造[9]等領域。對于制筆和辦公文體用品行業來說，機器視覺技術在國內尚未得到推廣，質量檢測、包裝等工序仍以手工勞動為主，檢測速度達不到大規模高速實時的要求。本文結合制筆工業的實際需要，通過開發基于機器視覺的筆頭、筆芯、零配件和包裝印刷智能檢測技術，應用到制筆工業生產線各環節中。

1.機器視覺系統介紹

機器視覺系統通常包含硬件系統和軟件系統兩個組成部分。硬件系統主要包括光學系統、照明系統、機械系統、電氣系統等。軟件系統包含圖像采集、圖像處理、數據通信、人機交互等。一般機器視覺系統由工業相機、鏡頭、光源、光源控制器、圖像采集卡、傳感器、工控機、PLC控制結構組成[10][11]。具體的流程是由光源控制器控制光源，光源照射在待檢測目標上，傳感器觸發光學成像系統對檢測目標進行圖像采集，圖像采集卡會將采集到的圖像傳輸至工控機，工控機對圖像進行分析判斷，并將判斷結果（如分類、剔除、報警等）傳送給PLC 控制系統。PLC 控制系統主要用于接收工控機判斷的結果并執行分類、剔除、報警等動作。系統結構圖如圖1所示。

圖1 系統結構圖

2.筆頭的智能檢測技術

在金屬筆頭檢測環節，筆頭長度、球珠外露（露珠）、碗口質量是影響筆頭質量的直接因素[12]。在工業生產中，檢測標準要求筆頭的檢測誤差小于5μm。傳統的工業生產中采用人眼檢測，必須依靠顯微鏡、千分尺等輔助儀器。經過計算，熟練檢測工每分鐘檢測筆頭不超過12 只，效率低于筆頭加工機每分鐘150 只以上的產量。

針對當前在筆頭長度、露珠高度和碗口質量檢測，開發了基于機器視覺的金屬筆頭智能檢測系統，提高檢測效率[13]。其軟件模塊主要包含圖像采集與處理、目標檢測及質量篩選三大模塊，軟件系統整體框架如圖2所示。主要對圖像采集速度與曝光時間、增益參數、相機安裝空間、筆頭檢測所在的環節和設定的節拍等進行有針對性的調節與改造，利用機器視覺算法構建筆頭自動檢測視覺軟件系統。并使系統能應用于工業中實際使用的電腦配置與系統，能與現場硬件設備進行通信連接使用。

圖2 軟件系統整體框架

針對筆頭的露珠檢測，通過計算機視覺進行的具體操作為：首先，通過工業相機進行圖像采集，通過讀取采集到的圖片并輸入智能圖像處理系統做數字化處理，再由該系統對圖像進行邊緣檢測。在邊緣檢測中采取的方式為，將邊緣弧線用最小二乘法圓度擬合，得到平滑完整的曲線輪廓。接著對擬合后的曲線圖形進行高度測量，最后以筆頭質檢標準作為露珠高度是否合格的評判依據。測試效果如圖3所示，黑色陰影部分即筆頭和露珠的外輪廓，而綠色線條即為經過機器視覺算法處理后擬合生成的線條，通過對線條的長度測量即可得知露珠露出的長度，最終判斷是否合格,檢測筆頭速度可達每分鐘120 只以上。

圖3 露珠高度測試效果圖

通過圖像采集和數字化，進入圖像處理系統進行濾波和增強等圖像處理，去除噪聲，增強對比度，得到可供計算機計算的圖像模式和參數，然后進行Blob 分析。通過分析可以在采集并處理過的圖像中獲取感興趣的碗口區域（即目標區域ROI），最后利用邊緣檢測算法Canny 算子提取亞像素級邊緣，結合最小二乘法對圖像進行邊緣擬合，并利用差影法進行缺陷檢測與判斷，得到的最終筆頭缺陷測試效果，如圖4所示。圖中右邊為判斷不合格的產品，可以在圖中看到這套系統不僅能在結果中顯示是否合格，還可以將被檢測筆頭的各個參數一一列出，并將圖像中分析擬合出的邊緣用圓滑線條表示。

圖4 筆頭缺陷測試效果圖

進一步提升質量檢測水平，將通過缺陷類別及特征庫建立，采用深度學習、實時識別等人工智能技術，進行在線檢測與準確判斷。

3.筆芯的智能檢測技術

3.1 透明筆芯油墨與尾塞油注入量檢測技術

筆芯生產環節主要對油墨和密封油（尾塞油）注入量進行檢測。油墨和尾塞油注入量都有嚴格長度控制，誤差一般不能超過1mm。可以進行增加機器視覺檢測裝置，嵌入安裝于圓珠筆筆芯生產流水線之上，匹配流水線使用的計算機系統，實現實時性的透明筆芯油墨、尾塞油檢測。在接通剔除裝置控制信號過后，實時剔除不合格產品，顯著提高了檢測效率。透明筆芯的油墨與尾塞油注入量檢測技術算法流程如下圖5所示。

圖5 軟件算法流程

在實際生產中，流水線上筆芯正常傳輸，架設兩臺工業相機，分別采集油墨和尾塞油圖像進行灰度處理，設置閾值進行圖像分割處理。通過閾值設置后進行圖像切割處理，從而將油墨、尾塞油圖像切割開。油墨、尾塞油測試效果如圖6所示。

圖6 筆芯油墨、尾塞油測試效果圖

生產線基本參數主要包括鏈條運動速度、每次向前運送的筆芯數量及間距、節拍等。根據相機的像素、像元尺寸、視野范圍、景深要求、鏡頭到筆尖的距離等調整與設置工位。在應用中利用軟件程序對油墨、尾塞油進行檢測，輔助以一定比例函數，可得到油墨、尾塞油注入量信息。經過機器視覺算法運算與判斷，從而確保生產出的圓珠筆筆芯油墨與尾塞油注入量合格。該系統還可以通過對閾值切割的動態調整可實現對不同型號、不同規格的圓珠筆筆芯全兼容式檢測。

3.2 非透明筆芯油墨與尾塞油注入量檢測技術

非透明筆芯則不能從側面直接檢測墨水和尾塞油，而是通過光學定位筆芯尾端中心，再進行微距成像，通過油墨界面成像的模糊程度來估量油墨高度。如圖7所示，成像過程可以看作是點擴展函數對景物進行卷積的過程[14]。通過逆向工程進行倒推的的可逆計算[15]，可以得出由卷積后的模糊邊界推算出的景物的真實邊界，進而估算筆芯尾塞油高度，但是這種方式計算量大、效果得不到保證。因此，本套機器視覺智能檢測系統利用了對于成像系統來說，所獲取的圖像的清晰程度可以直接反應其離焦程度[16]的特征關聯，通過計算筆芯尾端圖像中心位置的像斑模糊程度來估算筆芯尾塞油在筆芯管中所處高度，成功地在避免了大量的計算的同時得到了滿意的檢測結果。

圖7 景物邊界成像原理圖

智能圖像處理系統首先通過使用灰度方差法、差的平方和法、結構相似性法和邊緣梯度法對采集到的數據進行清晰度評估。經過實驗與對比，最終得到灰度方差法和結構不滿足單峰性，差的平方和法無偏性較差，而邊緣梯度法的效果較好。如圖8所示，圖像可以完整并明顯地表現出矩形區域中圓斑的模糊程度，最終根據此模糊程度判斷出筆芯油墨高度是否合格，從而剔除掉油墨偏多或偏少的筆芯[17]。

圖8 非透明筆芯油墨注入量測試效果圖

4.劃線檢測技術

模擬人工劃線檢測筆芯書寫質量，開發基于機器視覺的筆芯劃線缺陷檢測系統，同樣包含圖像采集與處理、目標檢測及質量篩選三大模塊。在生產線上的筆芯通過機械臂抓取，在紙帶上進行自動劃線，通過對筆芯書寫劃線拍攝并做形態學處理，根據特征值來判斷筆芯的書寫性能是否合格[18]。圖像處理由于直接通過二值化得到的圖像存在許多噪點以及不平整的邊緣，系統就在這里作濾波和開運算進行優化，最終得到可用于應用算法的圖像[19]。筆芯劃線全檢圖像處理過程如圖9所示。

圖9 筆芯劃線圖像處理分析圖

筆芯劃線缺陷測試效果如圖10所示。圖中斷墨的缺陷圖可以明顯看出經過圖像處理得到的斷墨的起點和終點，并用紅色點標注出。而積墨圖中可以明顯看出經過計算機視覺圖像處理后的劃線積墨部分被藍色圈出并標記。合格劃線圖無標注。

圖10 筆芯劃線缺陷測試效果圖

5.零配件檢測技術

市場上圓珠筆不同的外觀和結構有數千種，其零配件種類比較多，形狀各異，常見的檢測包括尺寸、形狀、結構、外觀質量、注塑缺陷等內容。以晨光K35 中性筆握筆護套裝配過程涉及的形狀識別為例，開發了基于機器視覺的檢測零配件方向識別技術，并將其應用于生產線上。通過采集大量正反樣本圖像并進行標記，基于Pytorch 機器學習框架提供的預訓練卷積神經網絡CNN 模型，利用多模型特征向量融合技術及遷移學習技術，構建二分類監督學習模型，對護套的正反方向進行判斷。經過反復調參提高模型的泛化能力，最終通過對護套方向的準確判斷從而向機械臂發送正確的行為指令。模型構建流程圖如圖11所示。

圖11 機器視覺檢測流程圖

6.包裝印刷檢測技術

圓珠筆生產除了上述零配件裝配，還需要進行貼標和包裝。在實際生產中印刷機器、轉印膜等諸多外界因素干擾，偶爾出現標簽印刷瑕疵。因此針對標簽印刷與貼合的問題，計算機視覺智能圖像檢測系統利用模版匹配的方式，可以實現除了檢測漏印缺印、偏色、臟點墨點、拉邊毛邊、錯位偏位等常規缺陷外，還可對文字數字錯誤、小數點、型號條形碼等做精確檢測。

基于Python 語言的強可讀和完全開源特性，采用Python 作為開發語言，使用Anaconda 軟件作為開發環境，利用深度學習圖像特征提取方法以及監督學習多標簽檢測分類方法，實現此印刷檢測技術。前期進行了大量圖像采樣，并基于百度EasyDL 進行圖像打標簽處理，分別對圖像進行多標簽標記；然后基于PIL 及OpenCV 強大的圖像處理能力對圖像進行灰度圖轉化，圖像旋轉，大小縮放，中心剪裁等圖像增強，采用基于百度PaddleHub 的卷積神經網絡圖像分類模型對圖像進行特征提取；繼而利用基于Scikitlearn 的集成算法構建分類器，對提取出來的特征向量進行多標簽分類模型訓練。利用深度神經網絡的前向傳遞及反向傳播機制，借助百度AIStudio GPU 服務器進行模型finetune 訓練，使模型對圖像數據集進行擬合，并在圖像測試集上進行預測結果驗證，反復調參，增強模型泛化能力。最終實現對標簽圖案的缺陷檢測，其流程如圖12所示：

圖12 包裝印刷智能檢測流程

7.總 結

綜上所述，基于機器視覺的智能檢測技術適合制筆工業生產過程的質量檢測，所開發硬件和軟件在筆頭、筆芯、零配件和印刷包裝等環節均成功得到應用。隨著智能制造技術應用越來越廣泛，在制筆行業中，相對傳統的人工檢測，基于機器視覺的智能檢測一方面可以提高生產效率，降低企業成本，另一方面可以提升產品品質，為企業帶來更大的品牌價值。新的智能技術與制造業的深度融合，正在引發影響深遠的產業變革，形成新的生產方式、產業形態、商業模式和經濟增長點[21]。