基于機器視覺的柑橘果形測控系統設計

王志宇,文 韜,李 浪,聶齊毅,劉 豪,龔中良

(中南林業科技大學 機電工程學院, 長沙 410004)

0 引言

柑橘果形特征中圓度和果徑是柑橘外部品質檢測的重要指標之一。傳統柑橘果形的產后檢測通常利用人工分揀或采用固定間隙的輸送裝置進行檢測[1-2],勞動強度大,受人的主觀意識影響,檢測與分選精度低,且檢測過程中易造成柑橘外部損傷。為此,需要研發一種自動化無損檢測與控制系統。

目前,機器視覺檢測技術作為融合計算機信息與傳感器檢測的新興交叉技術,可通過相機將實際物體轉化為數字圖像信號,已經廣泛用于材料的表面缺陷和農產品外形檢測。在藥材無損檢測中,趙旭東等[3]提出了基于BP神經網絡天麻質量分級模型,分級準確率為89%。在馬鈴薯、草莓、蘋果等農副產品外形檢測方面,ElMasry等[4]通過計算機算法采集馬鈴薯圖像,并提取面積、周長、質心、長度和寬度等形狀參數,基于逐步線性判別對圓度和范圍兩個形狀特征進行有效分類,使移動馬鈴薯的在線分類準確率達到96.2%;同時,對形狀良好的馬鈴薯按大小分類,正確率可達到100%。此外,Su[5]等通過深度圖像處理算法對不同彎曲程度的馬鈴薯外觀質量預測顯示出較高的準確性,能有效促進不規則農產品的高效分級。張青等[6]提取草莓輪廓的低頻橢圓傅里葉系數作為其形狀分級的模型。宋怡煥等[7]采用雙樹復小波變換對蘋果圖像分解,可實現對每幀果梗圖像定位與分類。由于上述研究檢測單一姿態的果形特征,盡管具有較高的正確率,檢測結果具有片面性和偶然性。

本研究以柑橘為檢測對象,研發嵌入式果形在線檢測與分選軟件,并搭建柑橘多姿態檢測與分選平臺,以提高柑橘類水果檢測與分選的穩定性和可靠性。

1 工作原理及硬件設計

1.1 工作原理

果形測控系統主要由工業相機、控制器、光電傳感器、LED燈、電磁鐵、變頻器及電機等元器件組成,如圖1所示。

工作時,工業相機通過光電傳感器產生的高低電平信號,實時采集圖像數據;由千兆網口傳輸計算機(PC)按照設定的圖像處理算法,捕捉柑橘的果梗,作為果形檢測的基準點,測量果梗輪廓形心與柑橘質心的位置關系,識別姿態端正時柑橘的圓度和果徑。為了增加柑橘果梗被相機捕捉的概率,檢測區域內設置多個檢測工位,實時檢測每幀圖像中果梗與柑橘質心圖像的匹配關系,并篩選相關圖像,如圖2所示;同時,將特征計算的結果經過串口發送至STM32控制芯片,按設置的程序生成高低電平控制指令,經光電耦合器與MOSFET場效應管輸出控制系統的光源和電磁鐵。單片機采用高低電平控制變頻器的M0和M1,實現電機的啟停、正轉功能。同時,柑橘進入檢測區域,由光電傳感器對柑橘的位置進行實時監控,確保果形檢測完后,柑橘可被電磁鐵推送到相同的等級區域內,完成柑橘果形的檢測與分級控制。

圖1 系統結構框圖Fig.1 The block diagram of system structure

圖2 柑橘果梗的位置與目標模板圖像的匹配關系Fig.2 The matching relationship between the position of the citrus stem and the target template image

1.2 系統硬件設計

平臺總體(見圖3)采用上、下位機串行通信分層控制:計算機作為上位機,主要負責遠程控制分級機工作,完成圖像的處理與人機交互功能;STM32單片機作為下位機,負責接收上位機發送的果形數據,并與設定閾值進行比較,驅動相應元件工作,完成柑橘果形在線分選。

1.上果機構 2.排果機構 3.光電傳感器 4.翻果機構 5.光源與暗箱 6.工業相機 7.電磁鐵 8.送果機構圖3 分級機結構圖Fig.3 Structure drawing of classifier

柑橘果形檢測系統微控制器選用STM32 F103VE單片機(MCU)處理器。光源選用尺寸為800mm×40mm,功率為65W,色溫為5000～9000K的LED燈。工業相機選用200萬像素,分辨率為1600×1200,幀數為60FPS的相機。光電傳感器選用BM3M-TDT1型對射式傳感器。電磁鐵選用工作電壓24V,工作電流8mA,推力為60N。

2 系統圖像誤差檢測

2.1 圖像半徑誤差

半徑誤差產生的原因:由于相機成像時,光線無法從水果的最大截面點處通過,從而造成捕獲的半徑r小于水果實際半徑R,如圖4所示[8]。鑒于柑橘是一種近球形水果,選用標準球代替柑橘進行分析。因此,在實際檢測中,常將像平面OA′作為實際水果半徑R。

圖4 半徑誤差Fig.4 Radius error

根據柑橘在5個不同工位下的檢測試驗(見圖5),結合式(1)采用畸變程度Δ計算圖像的半徑誤差。

(1)

式中R1、R2—標準球在像平面的投影半徑(mm);

R—標準球的半徑(mm);

HC—鏡頭中心點O1到O2O3水平面的垂直距離H與標準球半徑R之比;

x—標準球中心點O2到鏡頭中心點O1的水平距離O2O3與標準球半徑R之比(O2O3=200mm為極限檢測工位)。

圖5 柑橘在5個工位下的視覺檢測區域Fig.5 The visual detection areas of citrus under five different stations

標準球的最大畸變程度與相機垂直高度的對應關系如圖6 所示。由圖6可知:隨著相機安裝高度的增加,處于極限位置的標準球體畸變程度逐漸減小,當處于檢測系統的垂直高度900mm時,其畸變程度最小,為1.8%,HC值最大為23.62(H>>R),此時,圖像半徑誤差最小,極限位置的測量半徑可近似代表實際球體半徑,視覺系統的畸變程度控制在1.8%范圍內。

圖6 畸變程度與拍攝高度變化關系Fig.6 The relationship between the degree of distortion and the shooting height

2.2 圖像形狀誤差

形狀誤差是由標準球形心O2與透鏡中心O1在像平面的投影不重合導致[8],如圖7所示。在實際檢測中,相機透鏡發射的光線與標準球體的表面分別相切A、B兩點,經過A、B兩點形成的實際面積為S1。A、B在像平面中投影為A′、B′,其在像平面中形成的面積為S2。根據圖7可知,由于標準球在視覺檢測模塊中投影關系的變化,在像平面的形狀不再是一個標準圓。因此,檢測系統的形狀誤差,可測量標準球的實際面積S1與像平面投影面積S2之間的大小關系。

圖7 形狀誤差Fig.7 Shape error

標準球的多工位形狀誤差如表1所示。當標準球處于工業相機正下方時(見圖5),其平均輪廓面積為4663mm2,與實際面積的誤差為2.71%。而相鄰兩側工位與實際面積相比,誤差分別為3.67%、3.12%、3.09%、3.69%。由此可知:隨著檢測工位與透鏡中心的水平距離增加,像平面內所成輪廓面積逐漸減小,多工位圖像的形狀誤差范圍在2.71%～3.69%。

表1 不同檢測工位下標準球的形狀誤差Table 1 The shape error of standard ball under different detection station

3 果形特征提取與軟件實現

3.1 圓度和果徑特征的提取

工業相機將RGB圖像傳入計算機中,使用OpenCV庫中的高斯濾波函數、二值化、數字形態學開操作和Canny邊緣算法對原圖像進行處理,得到含有果形特征的圖像,如圖8(a)～(d)所示。

(a)

(b)

(c)

(d)圖8 圖像處理Fig.8 Image processing

根據圖8中出現果梗特征的柑橘輪廓,按照式(2)提取果梗和外形輪廓Hu矩中的零階矩(m00)和一階矩(m10,m01),并采用式(3)計算柑橘外形輪廓質心坐標(xi,yi)與果梗質心坐標(ai,bi),即

(2)

(3)

若果梗和外形輪廓質心坐標滿足式(4),計算該工位上柑橘輪廓的圓度和最大果徑特征,有

(4)

柑橘的圓度采用式(5)計算,即

(5)

其中,S為柑橘投影輪廓的面積(mm2);L為投影面輪廓的周長(mm)。若C越接近1表示柑橘輪廓越接近圓形。

柑橘的最大果徑di依據提取柑橘輪廓最初外接矩形的4個頂點(box[i0,j0],box[i1,j1],box[i2,j2],box[i3,j3]),按照式(6)進行旋轉,獲得新的4個頂點,計算矩形的面積,即

(6)

其中,i為像素點橫坐標;j為像素點縱坐標;θ為圖像旋轉角度。

當面積達到最小時,得到輪廓的最小外接矩形,將輪廓上距離最遠的兩個點P1(x1,y1)和P2(x2,y2)按照式(7)計算當前姿態下柑橘的最大果徑di,即

(7)

3.2 軟件實現

為了實現設備的自動化檢測與控制,基于Microsoft Visual Studio. NET 2017平臺開發控制軟件,如圖9所示。軟件主要包括視覺檢測模塊與物流控制模塊:視覺檢測模塊主要采用OpenCV庫開發的算法處理柑橘圖像;物流模塊主要由STM32單片機控制外接設備的啟停。

圖9 測控軟件控制界面Fig.9 Control interface of measurement and control software

4 果形檢測與分級試驗

4.1 試驗材料與方法

試驗材料:根據國家柑橘行業標準NY/T 1190-2006柑橘等級規格[9],隨機挑選100個柑橘實施在線分選試驗。人工檢測時,使用精度為0.02mm游標卡尺測量赤道面的最大果徑;果徑d劃分為:S(55mm≤d<60mm)、M(60mm ≤d<65mm)、L(65mm≤d<75mm)。圓度C是在人為判定基礎上,挑選相同的柑橘歸為一類(見表2),將柑橘圓度與標準球相比較,設定比較值在1%以內、1%～2%、2%～5%及超過5%的圓度值,分別劃分為特等品、一等品、二等品和不合格品。試驗方法:在5個/s檢測速度下,參照設定的分選標準將100個柑橘進行圓度和果徑分類。

4.2 分選試驗

將人工分揀結果與機器視覺檢測結果通過混淆矩陣方式進行比較分析,系統分級正確率為81%,如表3所示。由表3可知:在線分級正確率隨著柑橘圓度等級的降低,呈現減小的趨勢。其中,特等品的正確率最高,為100%;而不合格品的分級正確率為50%,主要是由于在投影面中柑橘輪廓邊界具有不規則性,且圖像存在半徑誤差和形狀誤差,處于檢測邊緣的工位影響較大。當圓度值較低的柑橘途經翻滾機構受摩擦力翻滾時,整體輪廓浮動較大,輪廓發現只能統計邊界像素點的變化,無法對柑橘外形輪廓上的凹陷或凸起紋理進行統計,造成不合格的柑橘產品分級正確率降低。

表2 柑橘圓度等級描述Table 2 Description of citrus roundness grades

表3 人工分揀與機器視覺檢測的柑橘圓度分級結果Table 3 Citrus roundness grading of manual detection and machine vision detection

通過混淆矩陣方式對人工測量與機器視覺檢測的柑橘果徑結果進行比較分析,如表4所示。其中,在機器視覺檢測中,一個柑橘果徑檢測值不在劃分區間(55～75mm),故總的柑橘數量為99。整體來看,柑橘果徑分級正確率為91.92%,是由于多工位圖像存在1.8%以內半徑誤差和2.71%～3.6%的形狀誤差,果徑檢測時無法避免這類誤差。在線分級正確率隨著柑橘果徑等級的降低呈現減小的趨勢,L果的系統分級正確率最高,為95.96%;S果分級正確率最低,為77.78%。這是由于果徑為L的柑橘與固定間距為60mm的圓臺式滾子接觸面積大于果徑為M和S的柑橘,因此受到圓臺式滾子的摩擦力大[10],翻滾更容易,能獲取較全面的柑橘果形信息,減小了分級錯誤率。

表4 人工分揀與機器視覺檢測的柑橘果徑分級結果Table 4 Citrus fruit diameter grading of manual detection and machine vision detection

5 結論

1)搭建了機器視覺檢測平臺,測控系統在光源穩定的情況下對柑橘圖像利用高斯濾波、數字圖像形態學開操作、Hu矩和Canny邊緣算法,可準確地測量果梗輪廓形心與柑橘質心的位置關系,計算多姿態的柑橘圓度和果徑特征。

2)基于機器視覺和STM32單片機微控制技術,動態下對100個柑橘樣品進行檢測與分級控制,結果表明:柑橘的識別率為100%,柑橘的圓度和果徑分級正確率分別為81%和91.92%,達到多姿態柑橘的快速、準確、多指標分級的目的。