基于線陣CCD的小物體掉落自動檢測系統

陳 平，李毅紅

（中北大學 電子測試技術國家重點實驗室，太原 030051）

0 引言

隨著自控產業的發展，現代工業中常遇到的分揀工作、摻雜工作，都改變了傳統的手工分揀模式，采用自動控制模式執行，如：螺絲的分揀裝包、鋼化玻璃中摻雜小鋼珠等等[1]。而自動化流程執行的穩定性和可靠性，需要相應的檢測系統作為技術保障，因此小物體掉落的自動檢測成為主攻關鍵。

考慮到光電檢測技術的非接觸、適應能力強、快速高效、準確、柔性好、可靠性高等特點，光電檢測成為實現小物體掉落檢測的首選方法[2,3]。而且隨著光電檢測技術的發展，小物體掉落檢測技術也逐漸成熟。如美國歐姆龍、日本基恩士等公司都已生產出了相應的光電傳感器，但是此類光電傳感器只能檢測物體是否掉落，不具備掉落位置識別功能，如此對于某些行業中的一排多組掉落情況，則需要增加光電傳感器的數目，實現每組掉落情況的識別，這樣系統的整體成本較高，不適宜工程化[4]。此外，此類傳感器隨著物體尺寸的減小，其價格也逐漸翻倍增加。因此，從成本角度考慮，在滿足檢測精度前提下，應盡量減少檢測系統數目，即一個檢測系統應能夠滿足多組掉落情況的檢測，對此成像方法將成為有效檢測方法。

產生于上世紀70年代初的電荷耦合器件（Charge Coupled Device，CCD）作為現代最重要的圖像傳感器之一，它是由一種高感光度的半導體材料制成的模擬集成電路芯片，借助光學系統和驅動電路可以實現物體表面的光反射信息的獲取，其具有靈敏度高、結構簡單、成本低廉，在檢測檢測方面有諸多應用。如：利用線陣CCD可以實現物體運動速度、物體外形尺寸等測量[5～8]。面陣CCD可以實現物體跟蹤，3D成像、表面缺陷識別等方面的應用[9～12]。對于一排多組的小物體掉落的檢測，僅需線陣CCD即可，但是對于一排多組的檢測系統設計、設備選型依據、以及滿視野成像的光照自適應性等方面還需進一步研究。

考慮上述問題，本文針對一組多排的掉落情況進行了研究，設計了基于線陣CCD的小物體掉落自動檢測系統。論文首先針對一組多排的掉落情況，設計了線陣CCD檢測系統，并對系統部件的選型進行了說明，同時針對系統所涉及的相關技術進行了詳細論述，最后針對玻璃加工過程中摻雜鋼珠的實例，進行了工程應用，驗證了系統的穩定性和有效性。

1 系統構成及其工作原理

1.1 系統構成及工作原理

圖1為小物體掉落檢測系統原理圖。 它主要由照明子系統、光學成像子系統、圖像采集子系統以及計算機等組成。照明子系統由光源、光源控制器構成。光學成像子系統由變焦鏡頭等組成。圖像采集子系統由CCD相機和圖像采集卡等構成。進行檢測時，由成像系統獲取圖像數據，由軟件進行掉落情況與掉落位置的識別。

圖1 測量系統原理圖

如圖1所示，依據生產線在線檢測環境設計光學成像子系統，并由圖像采集子系統控制數據采集，所采集的圖像數據經圖像采集卡傳輸到計算機。考慮實際檢測需求，在光學成像子系統中需要設計相應的照明子系統，為了提高系統控制的智能性，照明子系統與計算機之間通過光源控制器，以串口通信方式進行光照度的自動調節。最后通過對采集回來的數據進行處理與識別，并結果反饋生產設備，進行反饋控制。

1.2 系統部件選型

1.2.1 線陣相機

線陣相機的選型主要取決于相機的分辨率、采集頻率以及鏡頭焦距。相機的分辨率由檢測物體的直徑決定，采集頻率由物體運動速度決定，鏡頭焦距由分辨率和視野大小決定。

對于掉落的檢測，假設檢測物體直徑為d，一排有n組掉落，n組總寬為D。為了提高檢測的穩定性，對于直徑d的掉落物在圖像上應至少反應為2～3個像素，則可按如下公式（1）確定圖像分辨率M：

掉落物屬于自由落體運動，假設在距離掉落點s處進行檢測，根據重力加速度可計算出檢測點處的掉落物運動速度v為：

公式（2）中的g為重力加速度9.8 m / s。依據公式（2）可知1秒鐘，掉落運動距離為v，假設在運動v的過程中，線陣相機應至少抓拍一行。依據公式（1）可知，每行對應的實際視場尺寸為d / 2，則相機的采樣頻率k應為：

假設相機安裝在距離掉落物L處，同時依據公式（1）（3）進行相機定型后，CCD芯片尺寸為 d'，從而依據三角成像原理可確定鏡頭焦距l為：

根據上述公式（1）、（2）、（3）、（4），待檢測對象和檢測空間尺寸確定后，可以進行相機和鏡頭的選型及設計。

1.2.2 光源

由于線陣相機感光性能差，同時掉落的物體一般尺寸較小，所以系統采用背光源作為圖像背景。在檢測過程中，通過相機獲取背光源的圖像。當有物體掉落時，在背光源的亮背景上出現陰影，所獲得圖像就是包括該陰影的圖像信息，在此基礎上，利用相關圖像處理技術，提取掉落物體的空間信息，實現掉落物體的檢測。

在光電檢測中，通常采用高密度LED陣列面提供高強度背光照明，能夠凸顯物體的外形特征，為了避免自然光的影響，系統采用紅色背光源進行光源補償。同時對于滿視野成像，由于鏡頭的一致性問題往往導致所獲取的圖像，中間較亮邊緣較暗，圖像灰度的一致性較差，不利于圖像邊緣區域的檢測[13]。為此照明子系統設計為三路獨立控制結構，將中心區域光照強度調弱，邊緣區域相對調強，以保證滿視野成像范圍內的圖像灰度一致性。

2 系統軟件實現的關鍵技術

2.1 多線程同步

對于高速運動的物體，一般要求線陣相機具有較高的幀頻，一般能夠達到幾KHz，甚至幾十KHz，如果采用常規的單線程軟件處理方法，將會占用系統資源較多，主控界面無法實時刷新。在此基礎上進行相關圖像處理工作，將會直接影響數據采集的正常性，不易于高速運動物體的檢測。

而隨著操作系統技術的發展，先后出現了多通道程序設計、分時系統等許多技術，提高了系統運行的效率。多線程技術的引入，不但可以挖掘潛在的CPU空閑時間，而且還可以提高應用程序反應的速度，其優點在有多個任務需要完成和有巨大數據流量的程序中反映的尤為突出[14]。因此可以采用多線陣程序設計方法，對該系統的數據采集與數據處理進行分時同步執行。對于多線線程的同步時程序設計首要解決的問題，要保證有數據可處理，無數據重復處理過程，對此采用事件促發模式進行響應，當有新數據采集時，促發數據處理事件，執行數據處理線程。在整個軟件執行過程中，數據采集線程始終處于觸發狀態，保證信息獲取的有效性。

2.2 基于內存遞歸訪問的數據處理方法

在程序執行過程中，受數據處理算法復雜度的影響，數據采集時間往往大于數據處理時間，易造成在數據處理的同時由于內存沖突無法實現新數據的獲取，影響掉落物的檢測穩定性。對此，系統采用了內存遞歸訪問方法，避免了內存沖突。

該方法首先申請N塊小內存組成的大內存，每塊小內存的大小等同于相機一次數據采集的數據量。在數據采集線程中，依照時間順序將采集的數據依次存放于N塊小內存中，并賦予相應的標志變量。當存到第N+1次時，又循環到第一小內存中執行。而數據處理線程采用同步執行方式，依次遞歸處理有標記的小塊內存數據，處理完畢后清空標志，待數據采集線程進行新的數據填入。如此可通過兩個線程對N塊小內存處理的時間差，避免內存沖突問題，確保檢測的穩定性。當然小內存塊數N由計算機操作系統決定，如果計算機CPU主頻相對較高，N的數目可偏小，反之偏大。

具體執行過程如圖2所示：

圖2 內存遞歸訪問示意圖

2.3 基于鄰域空間的掉落物自動識別

對于一排多組掉落情況，除了需要判斷物體掉落與否，還需判斷物體的掉落位置，實現掉落物的自動識別。由于系統采用分區域光強可調的背光源照明補償，所獲取的圖像背景較單一，灰度一致性較好，可利用閾值分割實現掉落物的特征提取，如公式（5）所示：

在公式（5）中，I表示相機采集回來的圖像， I'表示閾值分割后目標提取的圖像，(x, y)表示像素空間位置，T表示分割閾值。掉落物在背光源的補償照明下，由于光路遮擋，圖像灰度較暗，對此可采用最大類間方差方法自動獲取分割閾值T，進行圖像分割，并將掉落物以“1”像素表征于二值圖像中。

而掉落物定位是基于分割后二值圖像，利用鄰域空間標識進行識別。二值圖像的鄰域標記是從“0”像素（表示背景）和“1”像素（表示掉落物）組成的一幅點陣圖像中，將鄰近空間內（4-鄰域或8-鄰域）的“1”值像素集合提取出來，并用位移的標記值進行標記。通過處理位于一個完整目標對象（相同標記值）內所有像素特性，從而獲得掉落的整體性能和參數。

在檢測對象鄰域分析過程中，受光照等影響，易出現干擾像元影響掉落物的識別，對此可依據掉落外形尺寸先驗對所標記的領域空間尺寸進行限制，去除干擾因素，凸顯目標信息。對所提取的目標信息進行重心計算，并依據成像視野的空間位置確定掉落位置，從而實現掉落位置的識別。

3 實驗驗證

3.1 實驗系統

在玻璃加工中，為了改變玻璃相關成分的應力分布，一般通過摻雜0.3～0.5mm的小鋼珠，而且對小鋼珠的掉落位置以及掉落數量有嚴格要求。針對該背景，利用本文系統進行了實驗驗證。系統設計如圖3所示。

圖3 檢測系統示意圖

在鋼珠的掉落過程中，為了保證視覺可檢性，在鋼珠掉落通路上安裝薄壁透明玻璃管（11個），玻璃管兩端接PVC管，保證鋼珠能落在玻璃的指定區域。線陣相機只獲取玻璃管固定架下端一條線上的小鋼珠掉落信息。

在檢測系統的安裝過程中，線陣相機距離檢測對象為450mm，有效成像視野寬為450mm，相機檢測位置位于玻璃管口部往下20mm處，依據2.2節的設備選型依據，選擇4K的線陣相機，采集頻率設置為5KHz，采用45mm的相機鏡頭。為了保證數據采集效率，采用以太網數據傳輸模式。相機采集采用多線程實時采集，每次采集返回的圖像分辨率為：4096×60。經在CPU主頻2.6GHz，內存2G的計算機上測試，選用小內存塊數N為7塊。

3.2 實驗過程與結果

為了能夠識別鋼珠的掉落位置，首先獲取未掉落時的背景信息，提取每路鋼珠掉落的具體位置。

圖4 鋼珠未掉落時的背景信息

從圖4可以看出，由于采用了分區域光強可調的背光源，所獲取的滿視野圖像的灰度一致性較好，在圖中可以清晰地看見透明玻璃管信息。對該圖進行區域分割，提取每路鋼珠的可運動空間位置，如圖5所示。

圖5 運動空間標識圖

如圖5所示，白色區域將是每路鋼珠掉落時可運動的自由空間，以此作為基準，可實現鋼珠掉落位置的識別。圖6是相機獲取的若干路鋼珠掉落情況的示意圖。

圖6 實際獲取的鋼珠掉落圖像

對圖6進行特征提取，結果如圖7所示。

圖7 鋼珠掉落圖像的特征提取

在上述實驗中，圖6（a）和圖6（c）僅是掉落一顆鋼珠，圖6（b）是在短時間內連續掉了兩顆鋼珠，從識別結果來看，該系統能夠有效地對其掉落數量進行識別。同時根據識別結果重心X的位置，并結合圖5所提出的鋼珠可自由運動的空間區域，能夠實現鋼珠掉落位置的識別。

表1 圖6的識別結果

4 結束語

本文結合光電檢測技術，針對一排多組的小物體掉落檢測需求，利用線陣CCD相機設計了成像檢測系統。同時以玻璃加工行業中的小鋼珠掉落為實驗對象，對系統進行了驗證，實現了一排11路0.3～0.5mm的小鋼珠同時掉落情況的識別。結果表明，系統成像質量良好，能夠實現一排多組掉落情況的掉落數量及掉落位置識別，系統性能穩定、可靠性好，在分揀、摻雜等行業具有巨大應用前景。

[1] 張英,張九六,李春生,周銘. LED高速高精度自動測試分揀設備研制[J].中國計量學院學報, 2011, 22(2):120-123.

[2] A.L. Yuille. Com pu ter v ision needs a co re and foundations[J]. Image and V ision Com puting. 2012,30:469-471.

[3] Fuqiang Z, Yi C, Bin P, Yexin W. A novel optim ization m ethod o f cam era param eters used f o r v ision measurement[J]. Optics & Laser Technology. 2012,44:1840-1849.

[4] 陳驥,王鑫,曹久大,周兆豐.高速CCD激光位移傳感器[J].光學精密工程.2008,16(4): 612-616.

[5] 艾莉莉,袁峰,丁振良.應用線陣CCD的空間目標外姿態測量系統[J]. 光學精密工程. 2008, 16(1):161-165.

[6] 倪小芳,吳平輝.利用線陣CCD對物體尺寸測量的研究[J].光學儀器.2011, 33(6):11-13.

[7] Wei W, Zheng L, Mo C, X iaom ing Y, X iaohai H. An automated vision system for container-code recognition[J].Expert Systems w ith Applications. 2012, 39:2842-2855.

[8] 郭強生,靳衛國,周慶亞.集成電路粘片機視覺檢測技術研究[J].電子工業專用設備. 2005, 34(7):34-40.

[9] Vassilis M P, Iannis E P, Fani L, A lexios G, Maroudio K.A compter-vision system and methodology for the analysis of fish behavior[J]. Aquacultural Engineering. 2012,46:53-59.

[10] PING C,YAN H. The Algorithm of Vehicles Trajectory Extraction Based on Video Image Sequences[J]. CISP’10.2010: 1018-1022.

[11] 唐啟敬,田行斌,耿明超,周游,趙鐵石.CCD視覺檢測系統的整體標定[J]. 光學 精密工程. 2011, 19(8):1903-1908.

[12] G.C.H.E. de Croon, C.De W agter,B.D.W. Remes,R.Ruijsink.Sub-sampling: real-time vision for m icro air vehicles[J].Robotics and Autonomous System s. 2102,60:167-181.

[13] 關澈,王延杰.CCD相機實時自動調光系統[J].光學精密工程.2008, 16(2):358-365.

[14] 湯伊黎,于敏,戴振東,楊松祥.基于多線程技術的運動控制與數據采集程序設計[J].工業控制計算機.2007, 20(3):46-47.