FPGA圖像處理系統在棉種分選中的應用實現

劉艷麗 余淑華 杜鴻運 王世璞

(天津光學精密機械研究所，天津 300384)

?

FPGA圖像處理系統在棉種分選中的應用實現

劉艷麗 余淑華 杜鴻運 王世璞

(天津光學精密機械研究所，天津 300384)

為滿足新疆脫絨棉種對外觀品質如紅種、破碎棉種、開口棉種及癟籽異型的檢測分選要求，以FPGA為核心處理器構建棉種圖像處理系統的硬件平臺。具體通過建立樣品圖像的HSV色彩空間模型，分析正常種、紅種在色相H、飽和度S特征量的差異，以及破碎粒、開口粒在色度H的差異。同時建立面積-外圍周長比因子及相應的不合格品分離度量參數，進一步通過閾值分割算法實現對異色、破碎、開口物料的判定。試驗結果表明，該方法對棉種中的不合格品識別率達99%，為進一步完善種子類外觀品質檢測提供了理論依據。

FPGA 圖像處理 HSV色彩空間 閾值分割 棉種分選

0 引言

優質棉種是先進技術的載體，是新疆生產建設兵團推廣精量播種技術和發展精準農業的基礎。近年來，新疆棉種的成熟度明顯降低，發芽率較低，外觀呈紅褐色的脫絨棉種(紅種)所占的比例增大，而棉種在加工過程中經過軋花機、剝絨機、離心滾筒、提升機、拋光機等工序，造成了棉種的大量破損。紅種和破碎棉種將嚴重影響棉種的質量，明顯降低棉種的發芽率，阻礙了精量播種技術的發展。而由于紅種顏色差異作為一個分選的定性指標，人工評判很難達到統一的評判原則。目前市場上主流的棉種色選機分選精度較低，尤其對破裂、裂口的識別分選效果有限。本文針對原料中紅種、破碎、去皮、裂口等的加工分選需求，建立基于FPGA硬件平臺的嵌入式高速圖像處理平臺，完成 HSV彩色空間模型的搭建，并利用對色相、飽和度、亮度分量的具體分析，實現對紅種、碎種、開口粒的圖像判定，為進一步提高棉種精選設備的外觀品質檢測提供了理論依據[1-2]。

1 系統檢測方案及原理

棉種分選系統利用光電原理，采用高速線陣CCD相機把高速流動的物料信息轉換成RGB彩色圖片數據信息，并利用FPGA圖像處理平臺，通過實時分析瑕疵產品與正常產品表現出的特征數據差異確定剔除規則，實現對不合格品的分選。以新疆棉種為例，不合格品與合格品差異分為顏色差異與形狀差異兩類。顏色差異主要體現在針對不成熟紅種的特征識別上，利用紅種與正常種對光線吸收與反射強度的不同，采用CCD光電傳感器將光信號轉換成電信號，并傳送到圖像處理系統，通過數字信號處理系統實現異色判定分析。形狀差異缺陷主要針對破碎、開口等不正常形狀，由于這些表面缺陷都表現為棉種表面存在較亮的區域，因此在算法分析上與異色識別具有一定的互通性。處理平臺針對彩色線陣CCD數據格式的RGB空間分量對顏色描述不符合人們對顏色感受的特點，以及每個分量的特征與物料外部信息的相關性，提出了建立物料的HSV色選空間模型。通過對棉種圖像在HSV空間向量特性的分析，采用色相H、飽和度S作為種子顏色判定的特征向量，實現紅種的判定。而對形狀缺陷包括破碎、開口等不正常形狀，采用色相H作為輸入向量，通過利用閾值分析及面積-周長比作為特征量分析，實現判定規則[3-4]。

2 硬件平臺

測試系統相機采用東芝CCD彩色線陣相機,其核心感光芯片為TCD2566，5340×4像素，支持高達40 MHz的像素時鐘，采樣行頻10.5 kHz,光源采用白光LED，色溫5 000 K,聚光設計，物料檢測線照度超過20 000 lux，雙面檢測。測試樣品為新陸早32號，原料中異色率10%～15%，破碎及開口率5%～10%。通過CAMLINK 電纜將FPGA圖像處理平臺與采樣相機連接，實現RGB彩色成像數據及控制指令的傳輸。因此，硬件設計處理平臺包括Camera link 接口模塊、SRAM 外部數據緩存模塊、FPGA核心處理模塊以及執行和通信接口控制單元等。Camera link通信接口采用LVDS差分傳輸保證圖像數據傳輸的帶寬及穩定性，SRAM外部數據緩存模塊采用乒乓存儲機制解決嵌入式圖像的采集及存儲問題，FPGA核心處理模塊采用硬件處理算法架構，實現物料特征信號的分析及控制操作。FPGA圖像處理系統硬件架構實現框圖如圖1所示[5-6]。

圖1 FPGA處理平臺系統框圖

Camera Link信號包括圖像數據信號、相機控制信號及異步串行通信信號3部分。圖像數據信號由24位彩色圖像數據和4位圖像數據同步信號組成，利用28位Channel Link芯片DS90CR286實現，FPGA通過其端口的28位數據信號和1位時鐘信號實現線陣相機圖像的采集。

相機控制信號包含4路LVDS信號，由DS90LV031實現FPGA控制指令對相機的操作。異步串行通信信號用于相機和FPGA圖像處理平臺的串行通信，由DS90LV049實現。Camera Link原理如圖2所示。

圖2 Camera Link 原理圖

SRAM 外部數據緩存模塊作為圖像數據輸入和輸出的高速緩存，系統采用兩片ZBT SRAM進行乒乓數據采集。ZBT SRAM為系統提供最大的吞吐量及系統帶寬，不存在總線延遲，利用FPGA內部時鐘管理模塊產生控制時鐘。具體操作為：當FPGA接收到CAMLINK圖像數據時，將該數據根據FPGA內部地址控制器存儲于外部SRAM1中，待指定行數接收完畢后，向FPGA處理單元傳送。同時，把后續行數據暫存于SRAM2中，等待后續行數接收完成發送到處理單元，依次循環。測試用CCD相機像素5 340×3,單通道行頻達到10.5 kHz,數據通量1.2 GB/s，ZBT SRAM在250 MHz的操作頻率下，最大數據流通量可達4.5 GB/s,足夠滿足系統數據存取速度需求。

FPGA核心處理模塊控制芯片采用EP4CE30F23C6N,片上資源包括594 kB片上SRAM，28 848個邏輯單元，1 803個LABS，時鐘處理頻率可達200 MHz。FPGA作為主控制器實現數據處理平臺與相機的數據傳輸、控制及通信等任務；將Camera link接口傳來的圖像數據采用乒乓操作的方式，暫存于外部SRAM中，在預定的時間將數據輸入到圖像處理單元;由圖像處理單元通過對采樣數據的HSV空間轉換、閥值分割等算法實現物料外部特征的判定，并發出控制指令控制相應的執行機構剔除動作[7]。

3 軟件平臺

FPGA圖像處理平臺的基本功能包括CCD相機圖像數據的讀取、相機控制，圖像數據的高速緩存，圖像空間的轉換，特征提取，閾值分割及剔除指令的控制等。棉種圖像信號的處理流程如圖3所示。

圖3 棉種圖像信號處理流程圖

系統處理平臺啟動CCD檢測相機工作后，首先采用乒乓操作對CCD視頻數據進行高速讀取緩存;然后對進入處理通道的數據進行預處理濾除背景及雜散波;下一步對RGB格式數據進行HSV空間轉換，在HSV彩色空間下，利用H、S分量建立顏色特征向量模型，實現原料中紅種的識別；同時利用H分量二值化分析實現特征區域面積、周長的提取，利用預先建立的形狀模型庫實現破碎、開口、癟籽等異形的提取；最后將特征向量綜合到執行控制器完成不合格品的剔除控制[8-9]。

3.1 顏色特征信息提取

由于彩色線陣CCD輸出紅色R、綠色G、藍色B分量間的不獨立性，使得在進行圖像處理時會造成各個屬性間的串擾，影響分選結果；HSV空間模型基于視覺原理建立，能符合人們的視覺習慣。尤其針對色選系統的顏色判定中，色度屬性H能準確地反映顏色種類，對外界光照條件的變化靈敏程度低，對同一顏色屬性物體，具有較穩定和較窄的數值變化范圍，且可同時借助飽和度S作為輔助判定條件，能很好地實現棉種分選系統中對不成熟紅種的識別。HSV顏色空間模型如圖4所示，為六棱錐體，其中色相H用圓錐中心軸角度表示，即所處光譜顏色的位置，范圍從0～360°，紅、綠、藍分別間隔120°，互補色分別相差180°，即紅色對應角度0°，綠色對應角度120°，藍色對應角度240°；飽和度S用圓錐橫截面的圓心到該點距離表示；明度V用圓錐橫截面圓心到頂點的距離表示。RGB空間圖像到HSV 顏色空間轉換公式如下[10]。

圖4 HSV空間模型

(1)

G'=G/255

(2)

B'=B/255

(3)

Cmax=max[R',G',B']

(4)

Cmin=min[R',G',B']

(5)

Δ=Cmax-Cmin

(6)

(7)

(8)

V=Cmax

(9)

式中：R,G,B分別為CCD相機輸出的RGB通道像素值；H∈(0°,360°)，是角度的色相角；S∈(0,1)為飽和度；V∈(0,1)為亮度；Cmax為亮度最大值；Cmin為亮度最小值。

本文對脫絨棉種部分樣品圖像在Matlab下進行了RGB到HSV的顏色空間轉化，并同時給出了RGB空間對應的直立方圖及HSV空間對應直立方圖進行對比，如圖5所示。由圖5可以明顯看出，HSV空間在色度及圖像分析上具有明顯優勢。其中，橫坐標依次對應灰度值及相關HSV值，縱坐標為相應的計數值。從HSV轉換結果可以看出，正常棉種A與紅種B在色度H的區別比較明顯，因此可以將H作為主要特征向量，S作為輔助向量來實現物料中紅種的判別。

我們也可以在HSV空間通過形狀模型算法,實現破碎、裂口、掉皮等種子的判別。

圖5 物料RGB和HSV直立方圖效果比對圖

由于在FPGA的硬件圖像處理平臺下， FPGA作為一個二進制數字系統使用角度計算存在不便性，因此，設計采用2的冪表示60°(如64)來簡化乘法運算。考慮到用硬件語言完成HSV空間轉換，除必須通過差值計算得到H、S算式中的分子外，還需要用多路復用器來選擇分母中的最大最小量，而更重要的復雜度是用來歸一化色度和飽和度的兩個除法器。本文中我們直接調用ALTER 自身提供的硬件除法器IP核來實現，以減少資源的損耗；在計算色度偏移量時，最大像素為紅色時，色輪被旋轉以使得0色度與品紅色對應保存求模歸一化。因此，色度偏移量可按照如下公式計算：

偏移量 = 256×Bmax+128×Gmax+64

(10)

經過HSV顏色空間轉換后，下一步就需要對像素點的顏色進行判定，檢測目標像素是否符合次品顏色要求；本文采用基于HSV空間的閾值分割法實現顏色特征的判斷。假如有N個像素點：P1，P2，P3,....,Pn分別代表出現的N種顏色的各分量范圍，理想情況下，它們的交集為空。但在實際應用中，由于相機成像質量及物料下落中光照角度的變化，每種顏色的閾值往往不是一個定值，為避免誤判每個分量由兩個閾值Pa,Pi界定，位于閾值之間的值可判定為該顏色;在HSV模型中對應的每個像素點使用6個閾值：Ha,Hi,Sa,Si,Va,Vi,識別某種特征顏色設定閾值應滿足：

Hi≤Hn≤HaSi≤Sn≤SaVi≤Vn≤Va

滿足上述條件則判定為該顏色。而在系統具體實現中，我們僅選取H、S特征量足以實現顏色判定。

3.2 形狀信息提取

破碎及裂口棉種最基本的特征體現在邊緣長度急劇的變化，而對應面積變化甚小，尤其裂口棉種，在邊緣長度急劇增加的情況下，有效面積基本不變或反向減小。因此，在破碎、裂口棉種的檢測中，可采用特征區域的面積-周長平方比作為一特征參數定義為圓弧度。通過對實驗樣品中合格種子及開口種子的特征參數的提取，發現合格種子的圓弧度集中在0.72～0.78之間，破碎、開口棉種的圓弧度集中在0.5～0.6之間，存在明顯差異，因此可以作為一有效特征參數。在FPGA硬件處理平臺上，有效面積的計算可通過在HSV空間對H分量的背景分割閾值化后對像素個數的累加計算獲得，邊緣長度的獲取看似相對復雜。本文中，我們充分利用FPGA的并行性及流水線處理方法，利用線陣CCD行掃描優勢，僅僅通過物料連通區域的判定，利用線陣CCD在單粒棉種行掃描斷點像素個數的判定計算獲得。線陣CCD行掃面模擬圖如圖6所示，左側為正常棉種，右側為裂口棉種。

圖6 正常棉種與裂口棉種行掃描模擬圖

邊緣長度計算公式如下：

(11)

式中：Si為單行掃描遇到連通區域斷點的次數。連通區域斷點的判定可以通過有效特征區域內是否有N×N個連續像素值為非物料像素值確定，可以簡化為閾值化后的脈沖個數計算。如圖6為行掃描對應的完整種子與裂口種子模擬圖，其中白線部分表示裂口區。由于裂口處內核的外露導致裂口處相對像素值會有明顯的梯度變化，因此我們利用種子邊緣及裂口處都同時存在像素值的梯度變化現象，將存在較大梯度變化的像素個數累加和作為圓弧度對應的邊緣周長。

體現在硬件編程語言可以通過信號二值化后邊沿脈沖計數的方式實現，如：

Always@(edgelim_corposedgeacle)

Begin

Fig.1if(acle)Cnt_l<= 1'b0;

elseCnt_l<=Cnt_l+ 1'b1;

end

其中，lim_c表示色度H信號閾值分割后的二值化信號；acle表示單粒棉種掃描完成后計數復位信號；Cnt_l表示H信號二值化后脈沖邊沿計數器。

4 結束語

本文針對棉種分選系統研究實現的嵌入式高速圖像硬實時處理平臺，充分利用FPGA并行分布式處理系統的高效性，在滿足物料從檢測到執行的時間約束前提下，最小處理速率可控制在30粒/s，處理系統的算法分析將被檢測棉種的表面特征信息中區域內部像素的色度特征(如顏色、飽和度等)、形狀特征(破碎、裂口等)作為一個多維特征向量，輸出一個二元檢測判定方案：接受或者拒絕，并同時完成對相應執行機構的驅動控制，實現棉種優劣品的分選。該硬件平臺及算法設計已在實際的棉種分選系統中得到驗證，實驗測試原料中紅種及破碎、開口物料含雜率15%～20%，精度達到99%。同時，文章建立的FPGA硬實時圖像處理平臺及提到的HSV色度判定算法、形狀模型提取算法可同時使用于其他物料如茶葉、果品等的外觀品質檢測分選過程中。

[10]彭江南,謝宗銘,楊麗明,等.基于Seed Identification軟件的棉籽機器視覺快速精選[J].農業工程學報,2013,29(23):147-152.

[11]邵魯浩,坎雜,李景彬,等.基于形狀特征的脫絨棉種品種識別[J].農業工程學報,2011,12,27(S2):86-89.

[12]李景彬,坎雜,江英蘭,等.基于機器視覺的脫絨棉種外觀質量檢測裝置的研究[J].石河子大學學報：自然科學版,2006,24(6):761-764.

[13]陳立國,王庫.基于TMS320DM642的嵌入式棉籽識別系統[J].農機化研究,2007(2):178-181.

[14]李偉,于振東,陳濤,等.基于形態學的棉花種子破損檢測[J].農業機械學報,2009,40(4):169-172.

[15]劉韶軍,王庫.基于機器視覺的棉種破損檢測技術[J].農業機械學報,2009,40(12):186-189.

[16]Zhou YuBin,Yang YuNing.Real-time Multi-channel Vision Processing Based on DSP&FPGA[C]．The 2013 AASRI Winter International Conference on Engineering and Technology:2013:162-165.

[17]Gao Jingang,Zhang Shuang,Men Yuzhuo,et.Journal of Theoretical and Applied Information Technology,2012,45(1):315～319.

[18]Li Jingbin,Chen Bingqi,Shao Luhao,et al.Variety identification of delinted cottonseeds based on BP neural network[J].Transaction of the Chinese Society of Agricultural Engineering,2012,28(2):265-269.

Application and Implementation of FPGA Image Processing System in Cottonseeds Sorting

In order to meet the detecting and sorting requirements for appearance quality of Xinjiang cottonseeds,e.g.,red seeds,broken seeds,openings seeds and profiled shriveled seeds,the hardware platform of the cotton seeds image processing system is constructed with FPGA as the kernel processor.Through establishing the HSV color space model of the seeds image,the difference between normal seeds and red seeds in H and S feature amount; and the difference between broken seeds and openings seeds in H are analyzed; and the ratio factor of area - periphery perimeter is setup,then the separating metrics parameters of the unqualified products are established; and thus the judgment of the different color,broken,and openings materials is implemented through threshold separation algorithm in further.The test results show that the recognition rate of the unqualified products in cottonseeds is up to 99%; the method provides theoretical basis for detecting appearance quality of various seeds.

FPGA Image processing HSV color space Threshold separation Cottonseed sorting

國家科技支撐計劃基金資助項目(編號：2012BAF07B04)。

劉艷麗(1981-)，女，2008年畢業于桂林電子科技大學控制理論與控制工程專業，獲碩士學位，工程師；主要從事嵌入式圖像處理系統的開發研究。

TH86;TP391

A

10.16086/j.cnki.issn1000-0380.201601010

修改稿收到日期：2015-04-23。