雙線陣CCD青豆在線篩選系統設計

吳陳陳 王永強 周聰玲

(天津科技大學機械工程學院，天津 300222)

青豆殘次品主要特征為表面霉變形成的明顯色差，或者嚴重破損成非球形的顆粒。人工篩選方式耗時耗力, 容易產生錯檢、漏檢且檢測標準難以統一。隨著機器視覺檢測技術在農產品自動檢測中的廣泛應用[1-2]，崔欣等[3]利用灰度閾值法提出了一種基于機器視覺對破損玉米種粒進行檢測的方法；吳杰[4]利用機器視覺設計了圣女果分級分選機構，實現了圣女果的等級分級；鄧立苗等[5]設計了基于機器視覺的馬鈴薯自動分級系統。但針對青豆殘次品的在線篩選，尤其是針對青豆雙面缺陷進行在線篩選技術的研究尚未見報道。

文章擬利用機器視覺檢測技術，研究設計基于雙線陣CCD的青豆在線篩選系統。通過硬件系統對青豆進行分列排序，軟件系統獲取青豆的完整圖像，利用多線程圖像處理方法，通過提取青豆顆粒的顏色特征和形狀特征檢測出殘次品并生成剔除編碼，驅動控制裝置并完成剔除，旨在為青豆的自動化篩選提供依據。

1 系統結構與工作原理

1.1 系統結構

系統結構主要包含硬件系統與軟件系統兩部分(圖1)。硬件系統由機械結構與控制系統組成；軟件系統由殘次品剔除信息編碼，多線程與圖像特征識別方法組成。

1.2 工作原理

實際應用中，為保證青豆篩選效率，對硬件系統和軟件系統進行設計，青豆先通過帶有導槽的振動篩板實現初步整理，在進入分列導向機構后被分割成若干單列，呈瀑布式有序下落至圖像采集區域。通過分布在下落青豆前后兩面不同高度上的兩套線陣CCD視覺采集系統分別獲取青豆的正、反面圖像，并實時完成基于顏色和形狀特征的在線檢測，通過控制系統驅動剔除噴嘴篩選出殘次品青豆，其工作原理如圖2所示。

圖1 系統結構圖Figure 1 System structure diagram

2 硬件系統設計

青豆篩選系統的硬件系統設計主要包含機械結構和控制系統兩部分(圖3)，機械結構主要通過對系統振動送料機構、分列導向機構、圖像采集機構和剔除機構進行設計以實現預期功能，控制系統主要通過控制多通道高壓氣流噴嘴完成剔除動作，實現殘次品青豆的在線篩選。

2.1 機械結構設計

硬件系統的機械結構設計主要是對分列導向機構與圖像采集機構進行設計。分列導向機構(圖4)由分路漏斗和若干條分流導向軌道組成，分路漏斗將青豆進行有序分流，通過該漏斗下方的分流通道依次排出，并隨導向軌道呈瀑布式有序下落通過圖像采集區。其中，導向軌道內設計有微小凸起，同列青豆能在導軌內進行一定程度的分離。

圖像采集機構分布在下落青豆的前后兩面，且安裝在不同高度上。該機構包括兩臺線陣CCD傳感器、線性光源、背景板和對射式光電開關(圖5)，當青豆經軌道下落至圖像采集區時觸發相機采集青豆的正反兩面圖像。

1. 電磁閥 2. 單片機 3. PC機 4. 背面相機 5. 背面連體噴嘴 6. 高壓氣泵 7. 正面連體噴嘴 8. 正面相機 9. 光電開關 10. 導向軌道圖2 系統工作原理Figure 2 Working principle of the system

1. 振動入料篩板 2. 分路漏斗 3. 分流導向軌道 4. 正面圖像背景板 5. 正面連體剔除噴嘴 6. 背面線性光源 7. 背面線陣CCD 8. 右廢料收集導槽 9. 合格品收集箱 10. 右殘次品收集箱 11. 氣源 12. 左廢料收集導槽 13. 連體式電磁閥 14. 背面連體剔除噴嘴 15. 背面圖像背景板 16. 廢料收集導槽 17. 對射式光電傳感器 18. 正面線性光源 19. 正面線陣CCD圖3 硬件系統整體結構圖Figure 3 Overall structure diagram

1. 分路漏斗 2. 若干條分流導向軌道圖4 分列導向機構Figure 4 Sorting mechanism

2.2 線陣相機選型

線陣相機的選型主要是對相機分辨率M、采樣頻率k和鏡頭焦距f進行選擇[6]。系統檢測的青豆平均直徑d=10 mm，一張采集圖片包含一行n列下落青豆，設計圖像采集工作區域寬度D=400 mm，單粒青豆在圖像中反映像素個數P=40。按式(1)計算分辨率M。

1. 背面圖像背景板 2. 背面連體剔除噴嘴 3. 背面線性光源 4. 背面線陣CCD 5. 正面連體剔除噴嘴 6. 對射式光電開關 7. 正面圖像背景板 8. 正面線性光源 9. 正面線陣相機圖5 雙線陣CCD圖像采集裝置Figure 5 Image acquisition system

(1)

式中：

D——圖像采集工作區域寬度，mm；

P——單粒青豆反映像素個數；

d——青豆直徑，mm；

M——相機分辨率。

系統設定的下落青豆檢測位置距離分流導槽出口h=300 mm，可按式(2)計算青豆的運動速度v。

(2)

式中：

g——重力加速度，m/s2；

h——檢測位置距離青豆下落點的高度，m；

v——青豆下落速度，m/s。

根據式(2)可知青豆下落速度v，據此可計算出線陣相機所需行頻k。

(3)

式中：

v——青豆下落速度，m/s；

M——相機分辨率；

D——圖像采集工作區域寬度，m；

k——相機行頻，Hz。

相機至青豆掉落位置距離L=350 mm，根據式(1)～式(3)可確定相機的CCD芯片尺寸S。已知拍攝圖像的總寬D=400 mm，從而根據三角成像的基本原理按式(4)獲得鏡頭焦距f。

(4)

式中：

L——相機至青豆掉落位置的工作距離，mm；

S——相機的芯片尺寸，mm；

D——圖像采集工作區域寬度，mm；

f——焦距，mm。

根據式(1)～式(4)即可確定相機型號。系統選用大恒公司的LA-GC-02K05B-00-R相機，焦距f=18 mm的鏡頭。

2.3 控制系統設計

控制系統(圖6)主要由單片機、繼電器、電磁閥等元件組成，每個電磁閥口與繼電器相連，受單片機控制。經圖像處理后，PC將特征識別結果以特殊信息編碼格式發送至下位單片機，單片機對其進行解碼，并控制對應位置的電磁閥閥口打開，利用高壓氣流完成剔除。每一路繼電器模塊控制對應電磁閥，完成單通道的殘次品剔除工作，其工作流程如圖7所示。

圖6 控制系統電路示意圖Figure 6 Circuit diagram of control system

3 軟件系統設計

系統的軟件功能主要是對殘次品的剔除信息進行編碼，多線程和圖像特征識別方法進行設計。系統開始運行后，利用多線程方法提高系統運行效率，通過圖像特征識別方法檢測殘次青豆，并以特殊信息編碼格式發送至下位單片機控制電磁閥完成剔除動作。軟件結構圖如圖8 所示，其數據流圖如圖9所示。

3.1 殘次品剔除信息編碼

試驗設定合格青豆信息碼為“0”，非合格青豆信息碼為“1”，對應所連接噴嘴的高壓氣流管路中的電磁閥門“開”與“關”，即可實現剔除。以16路分流導向軌道為例。信息碼可由16位二進制數生成，也可表示為十六進制數，如圖10所示。軟件系統通過串口通訊[7]將該信息編碼發送至下位單片機中即可完成剔除操作。

3.2 多線程技術

系統利用多線程處理技術來滿足圖像采集處理的實時性要求[8]。利用遞歸的內存訪問方法在系統內部先開辟一定數量的內存空間用于存儲數據，利用時間差的方式，使采集線程與處理線程依次訪問內存，交錯讀寫數據完成實時處理[9]。具體編程方法為：在系統內部開辟K個不同的存儲空間，開始圖像采集后，按時間順序將采集到的數據放入該空間，并對其進行標記；當數據量達到K+1時，再返回至內存1內重新開始寫入數據；同時，數據處理線程也同步運行，按標記順序依次處理標記內存內存儲的數據，待處理后對該空間進行清空，用于后續的數據存儲。利用兩個線程間的時間差對K塊內存數據進行處理，如圖11所示。

圖7 單通道剔除工作流程Figure 7 Single channel culling workflow

圖8 軟件結構圖Figure 8 Software structure diagram

3.3 殘次品青豆特征識別

青豆產品如圖12所示，分為合格青豆、腐壞青豆及破損青豆[10]。

青豆殘次品特征或為顏色特征，或為形狀特征，二者有一即判定為殘次品，分別對兩種特征進行檢測，獲得包含青豆顏色特征檢測信息的數組A與包含青豆形狀特征檢測信息的數組B，并將其對應元素進行或運算計入數組C，形成剔除編碼發送至下位單片機完成剔除。特征識別流程如圖13所示。

圖9 數據流圖Figure 9 Data flow diagram

圖10 青豆殘次品剔除信息編碼Figure 10 Information coding conversion

圖12 青豆類型Figure 12 Green bean type

3.3.1 顏色特征識別方法 將采集到的圖像進行RGB通道分離并轉為灰度圖以便于特征識別[11]。由圖14可知，合格青豆為綠色，在G通道下合格青豆和非合格青豆的顏色區別較為明顯，R空間與B空間下對二者的顏色特征區別表現較差。因此，選用G分量對圖像進行處理，提取灰度特征。

提取G通道下的完整青豆圖像，并將該圖像分割成若干個小窗口，每個窗口只能容納單粒的完整青豆，如圖15 所示。

利用灰度直方圖確定閾值獲取單粒青豆的二值圖像，如圖16所示。計算單粒青豆的黑色像素占比[12]。試驗結果表明，腐壞青豆黑色像素數量占比>10%，由此可區分出腐敗青豆。將非合格品位置編碼設置為“1”，其他設置為“0”，計入數組A。顏色特征識別流程如圖17所示。

3.3.2 形狀特征識別方法 選擇圓形度Cr作為青豆形狀特征的判斷依據[13]。圓形度Cr指青豆投影與標準圓形的接近程度。

(5)

式中：

S——青豆面積，mm2；

C——青豆周長，mm；

Cr——圓形度值。

圖13 特征識別流程圖Figure 13 Feature recognition flowchart

圖14 RGB通道下的青豆處理效果Figure 14 The effect of green beans under the RGB channel

圖15 青豆單?；指钍疽鈭DFigure 15 Green bean single granulation flow chart

圖16 圖像二值化Figure 16 Binary image

圖17 顏色特征檢測流程圖Figure 17 Color feature detection flow chart

形狀特征識別流程如圖18所示。經試驗統計，將圓形度>0.6的青豆判定為合格品，如圖19所示，參數均值見表1。將破損青豆位置編碼設置為“1”，合格品位置編碼設置為“0”，計入數組B。

4 實驗驗證

選取20 000粒青豆(10 000粒合格青豆，5 000粒腐敗青豆與5 000粒破損青豆)分別進行篩選試驗，對合格青豆進行顏色特征和形狀特征篩選，對破損青豆僅進行形狀特征篩選，對腐敗青豆僅進行顏色特征篩選，其數據統計如圖20所示。由圖20可知，系統對合格青豆的檢測未發生錯誤，對外觀殘次的破損青豆篩選準確率>99%，對顏色異常的腐敗青豆檢測準確率>98%。

由表2可知，混合后的20 000粒青豆的檢測準確率>98%，誤差產生的主要原因是青豆在下落過程中自身旋轉對提取其形狀特征有影響；外界光線的變化不利于青豆顏色特征的提取。通過對硬件系統進行完善，可進一步提升系統篩選的準確率。

圖18 形狀特征檢測流程圖Figure 18 Shape feature detection flow chart

圖19 合格青豆與破損青豆輪廓對比Figure 19 Contrast between qualified green beans and damaged green beans

表1 合格青豆和破損青豆形狀參數均值

表2 試驗結果

圖20 合格青豆與殘次青豆試驗數據統計圖Figure 20 Statistical graph of experimental data of qualified green beans and defective green beans

5 結論

設計了青豆在線篩選系統，利用錯位安裝的雙線陣CCD相機實時采集多通道自由下落青豆的雙面圖像，實現了對青豆顆粒的全方位檢測，解決了現有自動檢測設備只能進行單面檢測的問題，有效提高了檢測裝備的篩選精度。針對殘次品青豆所開發的顏色以及形狀特征檢測算法簡便、實用性強、處理效率更高。系統圖像處理算法中，基于各類青豆樣本統計特征得到的閾值受樣本數量的影響，其魯棒性還有待增強，以及在生產實際運行過程中進一步提高軟硬件的穩定性。