基于偏好免疫網絡和SVM算法的油茶果多特征識別

李 昕，陳澤君，李立君，譚季秋，吳發展

（1.湖南省林業科學院，長沙 410004；2.中南林業科技大學機電工程學院，長沙 410004；3.湖南工程學院機械工程學院，湘潭411104；4.株洲豐科林業裝備科技有限責任公司，株洲 412000）

0 引 言

油茶是中國南方重要的經濟作物之一，其籽粒可以榨油后食用及工業用，具有巨大的經濟價值。中國油茶種植面積和產量有了較大的提升。在油茶全產業生態鏈中，油茶果實的采摘、脫殼、榨油等環節已經產業化，成為了鄉村農業振興的重點工程與支柱產業。在油茶產業鏈自動化研究領域，中南林業科技大學與湖南省林業科學研究院課題組在油茶果采摘、脫殼自動化升級環節做了大量的工作。課題組研發了油茶果采摘機器人[1-4]，油茶智能脫殼設備[5-6]等自動化產品，為油茶果產業鏈的自動化進程打下了堅實的基礎。

目前國內外學者在農產品的智能分選識別領域已經做出了大量的研究與應用[7-24]，Wang等對櫻桃圖像的RGB特征值進行了分析，設計了一套基于RGB的櫻桃色選分級系統[25]；Pearson等分析了RGB，HSV，Lab 3種顏色模型，提出了一套基于多特征顏色模型的玉米色選系統[26]；趙吉文等對瓜子的灰度特征參數進行了分析，采用灰度帶比例作為瓜子的分選特征參數進行分選[27]；宋彥等采用了基于形狀特征直方圖的LS-SVM模型識別并分類了 7個等級的祁門紅茶[28]。高震宇等使用卷積神經網絡對鮮茶葉進行了分選與分級[29]。王丹丹等將深度卷積神經網絡應用于機器人視覺系統之中，進行蘋果目標的識別[30]。

上述研究均集中于農業智能分選領域，并取得了一定的成果。油茶果殼與籽粒具有顏色、形態特征區分明細的特點，本研究內容集中于油茶果脫殼設備的智能分選環節，即在油茶果采摘脫殼后，如何針對油茶果的特點利用分選技術將油茶果殼與籽粒有效地區分出來。

本文研究內容基于油茶智能識別算法的研究基礎[31-33]，結合前人在農林業的分選領域的研究結果，充分利用油茶果殼籽粒形態與顏色特征的區分，提出了一種基于偏好免疫網絡與SVM結合的智能分選算法用于油茶果殼、籽粒的分選。本研究提出的智能分選算法可為油茶的果殼、籽粒智能分選提供參考。

1 試驗材料與方法

1.1 試驗材料

試驗采用的圖像采集時間為2019年10月至11月的油茶果脫殼后圖片，采集地點為湖南株洲豐科林業裝備科技有限責任公司內，分別選取存儲期為3、12 d的油茶果，經過油茶生產線進行脫殼后的圖片。油茶果脫殼后，對油茶果殼籽粒進行分析，從脫殼后油茶果圖片分析可以得出，存放3 d的油茶果經脫殼后的，果殼、籽粒特征區分較為明顯，而存放12 d的油茶果由于濕度和溫度等原因，果殼開始逐漸轉變為黑色，逐漸接近籽粒顏色。試驗共采集待分選圖片 350幅進行分析，像素分辨率調整為 1 682×1 430。

油茶果殼和籽粒的顏色形態特征有一定的不相同，從形態特征區分來看，油茶果殼相較籽粒偏長、呈扁狀，而油茶籽粒則較果殼更多偏向類圓形。從顏色特征區分可以得出，油茶籽粒顏色呈暗黑色，油茶果殼顏色特征則趨于淺白色，油茶果殼籽粒的形態顏色特征區分如圖1所示。本文對脫殼后的油茶果圖片進行采集并進行顏色與形態參數提取，建立油茶果殼、籽粒的顏色形態參數的SQL數據庫。

圖1 脫殼后油茶果殼、籽粒形態及黑白顏色特征Fig.1 Morphological and black white color features of the shell and seed of Camellia after shelling

本研究對圖片中油茶果殼、籽粒目標進行人工選取后建立顏色形態數據庫后，得到待識別的樣本目標特征圖如圖2所示。

圖2 提取的油茶果殼籽粒目標樣本Fig.2 Target sample of Camellia shell and seed

1.2 油茶果智能脫殼分選系統

本文采用的整體分選脫殼設備為揉搓型油茶果分類脫殼生產線，生產線由湖南省林業科學院與湖南株洲豐科林業裝備科技有限責任公司聯合研制生產。生產線的脫殼環節采用揉搓以及擠壓原理，通過利用分類滾動篩篩選大小不同的油茶果進入油茶果脫殼裝置，在運輸帶和柔性搓板相互配合運動的揉搓作用下進行脫殼。這種設備裝置可以有效對油茶進行分類脫殼、在保證果殼和籽粒分選的基礎上，同時不會對油茶籽粒造成破損。經過試驗，揉搓型生產線技術指標已經達到了：脫殼脫凈率＞97%，碎籽率＜5%，整體損耗率＜1%。全套油茶果脫殼分選設備如圖3所示。

經過揉搓脫殼后，油茶果殼、籽粒被傳送帶送往分選箱的第一層分選區，工業相機實時采集脫殼后的目標圖像，識別設備采用日本 computar-3s工業鏡頭。第一層分選區使用多特征形態免疫算法識別果殼物料，識別后，控制對應位置的噴氣嘴進行噴氣，改變果殼在傳送帶上的運行軌跡，吹飛油茶果殼物料。剩余的油茶果殼籽粒繼續進入第二層分選區，使用SVM算法識別剩余目標的顏色參數，再使用噴氣嘴吹飛剩余物料中的果殼物料，最終實現果殼與籽粒的區分。分選設備的工作與識別如圖3所示。

識別的效率對于分選系統來說至關重要，為了達到實時識別率要求，本研究選用安晶龍分選機作為分選識別設備，分選機結合脫殼傳送帶的輸送、識別能力，目前分選效率已經達到了毫秒級，已經廣泛應用于塑料分選、花生分選、辣椒分選、中藥材分選等領域，是一種十分成熟穩定的實用分選設備。安晶龍分選機的工控機分選軟硬件設備采用VC6.0系統與MATLAB2020仿真系統，工控機硬件升級為為Intel至強E5-2670 8核心16線程CPU，內存80 GB。軟硬件設備穩定且識別效率較快，適用于本研究的實時性要求。安晶龍分選機在本研究中具體承擔軟件視覺實時辨別分選工作，本文的研究算法是基于安晶龍分選機作為硬件搭載系統進行的二次開發與應用。

圖3 全套油茶脫殼分選設備Fig.3 Equipment of Camellia shelling and sorting equipment

2 基于偏好人工免疫網絡的形態特征分選

2.1 形態特征提取

油茶果實經過脫殼機脫殼后主要存在果殼、籽粒 2種目標物體，相較于自然環境下的圖像處理，分選設備的封閉環境下識別脫殼后的的油茶果殼、籽粒目標相對識別率更高、圖像的處理效果也更好。在封閉的環境中使用經典 OTSU分割算法足夠可以滿足圖像后續處理的要求，在分割后的圖像的基礎上，圖像的后期處理采用腐蝕膨脹的圖像形態學操作，在操作中設定圖像結構元素形狀為平坦型圓盤結構元素，半徑參數為 5像素。并對個別目標添加孔洞填充、中值濾波、邊緣優化等操作，后續也會根據圖像形狀和質量的變化對結構元素的形狀和大小進行動態調整。以得到更好的果殼、籽粒、樹葉雜質等目標物的形態學效果

在脫殼后目標的形態學分量分析中，本文采用的基礎特征要素為伸長度L，寬度W，周長S，面積A，形態學參數選取了延伸率S1，圓形度S2，圓滿度S3共3個分量作為輸入分量。如式（1）～（3）所示。選取油茶果殼目標對象的延伸率S1、圓形度S2、圓滿度S3屬性圖如圖4所示，通過對典型油茶果殼籽粒進行形態學測試分析得到的果殼籽粒目標形態學參數范圍如表1所示。為保證數據的范圍與辨識多樣化，本文設定了圓形度參數ε=1.25與圓滿度參數ω=1.98，后續可以根據實際圖像質量對參數進行調整，使輸入特征數據具有更強的自適應性。

圖4 油茶果殼目標形態學特征Fig.4 Morphological feature of Camellia shell

表1 油茶果殼籽粒形態分量范圍Table 1 Morphology component range of Camellia seed shape

2.2 多形態特征偏好免疫識別

本文采取偏好免疫網絡算法[33]對油茶果實的形態特征進行多特征識別，輸入特征參數為油茶果殼目標延伸率、圓形度、圓滿度3項參數作為形態偏好分選參數。形態偏好參數為前期采集的具有典型形態特征的目標圖片中的參數，選擇后將其輸入算法，在算法中，采用油茶脫殼后的果殼籽粒作為樣本參數作為算法中的初始細胞進行訓練，最終得到待識別的目標果殼樣本后進行噴氣嘴吹飛，本研究中的偏好免疫網絡算法分選流程如圖5所示。

圖5 多形態特征偏好免疫算法分選流程Fig.5 Multi-features preference immune sorting process

本文按照親和度計算公式添加免疫親和度計算模塊，并計算其適應度，如式（4）所示。

式中x'設定為輸入的油茶果延伸率、圓形度、圓滿度3項特征參數。x為待識別的油茶圖像數據矩陣，δ為親和度函數。設定抗體x'與抗原x的親和力越小， 待識別油茶數據與輸入數據越匹配。

在算法流程中，將待識別的油茶脫殼后的圖像數據作為初始細胞，油茶果殼的 3項典型形態學參數作為偏好參數，將 3項參數代入免疫程序中進行親和度與適應度計算，當滿足果殼參數閾值時，定義目標為果殼，并在生產線上使用噴嘴進行吹飛。當不滿足閾值時，定義目標為籽粒并在傳送帶進行后續傳送與顏色辨識。

多特征融合免疫算法的具體流程如下：

從樣本選擇待處理的3項形態學參數大數據，并在參數中選擇一部分具備典型形態學特征參數，并把這些典型參數定義免疫學中的抗原細胞，將其輸入免疫網絡進行運算分析。

1）將3項形態學參數輸入免疫網絡，對各抗原細胞之間的親和力水平進行運算比較。

2）按照算法中設定的克隆規則對網絡中的數據細胞進行克隆。

3）按照式（5）～（6）的方法對經克隆運算后的細胞進行變異操作，最后保留父代群體于網絡中。

式中C'為細胞C產生變異后形成的新細胞，N(0,1)是均值為0，偏差為1的高斯隨機變量，β為調節函數的指數衰減變量，f為經標準化處理后的細胞適應值，α為根據算法自設定的變異系數。

變異后，重新運算免疫網絡細胞親和力。

4）選擇親和力最高的網絡細胞組成新的網絡，并計算新網絡的細胞親和力。

5）計算網絡中所有細胞的親和力，如果小于閾值則且親和力高的細胞予以保留，其他細胞則進行抑制。

6）輸入一定比例的隨機網絡細胞數據，返回第二步。

7）輸出產生的網絡細胞數據。

免疫網絡算法流程圖如圖6所示。在輸入3項形態學參數的基礎上算法的平均識別時間為410 ms級，

圖6 人工免疫網絡流程圖Fig.6 Flow chart of aiNet (Artificial Immune Network)

3 基于Support Vector Machine（SVM）算法的顏色特征分選

3.1 顏色特征提取

從外部顏色特征得出，油茶果殼與籽粒差別較明顯，機器視覺分選系統原理基于同步人眼識別的要素對目標特征并進行區分，通常目標依據識別要素區分為形態、顏色、紋理、光譜特征等，本研究綜合生產線運行速度、圖像處理計算機計算量與計算效率決定分選方案，因此第二層分選區在第一層分選區選取形態特征的基礎上，進一步選取油茶果殼籽粒的顏色特征進行分選區分，以得到最優的綜合分選結果。

1）顏色特征選取

油茶果殼籽粒的RGB分量顏色特征如圖7所示，在采集的圖片中，油茶籽粒呈現為暗黑色，像素點的RGB分量顏色偏向于黑色至象牙黑之間，而暗綠色與白色則為果殼、樹枝葉等顏色特征，其他的顏色特征像素范圍可轉化為背景或雜質做全零像素處理。

圖7 油茶果殼籽粒的RGB分量Fig.7 RGB components of Camellia shell and seed

2）顏色特征值確定

選取顏色向量三維矩陣，依據油茶籽粒像素塊的RGB特征分量構造3個輸入顏色特征向量值。在RGB分量中，訓練樣本顏色選取原則依據油茶籽粒與果殼顏色，籽粒顏色，本文選取 0～114范圍之內的黑色像素區間作為籽粒區間，范圍區間為a= [ (0- 1 02),(0- 1 12),(0- 1 14)].而果殼區間數據范圍則依據樣本的RGB顏色特征值設定為b= [ (140 - 2 40),(140 - 2 40),(140 - 2 40)]，a,b中的數值分別對應油茶籽粒與果殼中的R分量、G分量、B分量的灰度值范圍，識別目標顏色特征范圍數據如表2所示。

表2 油茶果殼籽粒RGB分量范圍Table 2 Color feature components range of Camellia seed shape

為利于油茶果顏色識別，將提取的油茶果殼顏色特征數據輸入支持向量機算法進行顏色二分，作為顏色特征算子進行訓練，以便于為后續的圖像顏色特征識別。

3.2 SVM顏色特征分類

支持向量機算法是一種成熟的圖像識別處理算法，其算法特點是間隔最大化，能夠尋找分開 2類樣本數據且具備最大分類間隔的最優分類超平面。其優秀的分類特征特別適用于基于顏色特征的二分類處理或多分類處理。本研究以油茶果殼的顏色特征數據庫為訓練模板，并運用模板訓練所得的分類器對目標油茶籽粒與果殼進行再次顏色特征的再次分類處理。

在圖像處理中支持向量機的工作原理如下：假設存在向量集D={ (fi,li) } ,i= 1 ,2,...,k,li∈{-1,1}，其中，f為特征向量，l定義為樣本標簽，k為數據樣本的總數。對于可以通過線性區分的假設，可以讓最終結果最大間隔或求解凸二次規劃最優解獲得下面公式

式中w為權重參數，b1為偏移量，i= 1 ,2,...,k，C為懲罰因子，ξ為松弛變量。通過建立拉格朗日中值以獲得最優解的SVM分類器，并對參數模型進行訓練。同時，本文選取線性核函數作為訓練核函數。

給定支持向量機的顏色訓練樣本集和核函數，本研究選取油茶果殼的RGB 3個參數樣本作為支持向量機的輸入訓練樣本，即選取表2的果殼之間的顏色像素區間，本研究選取的訓練樣本 RGB像素集合與范圍區間為b= [ (140 - 2 40),(140 - 2 40),(140 - 2 40)].

SVM算法識別顏色特征的流程步驟如下：

第一步，輸入油茶果殼的RGB訓練樣本集合，選取訓練樣本 RGB像素集合與范圍區間為b= [ (140 - 2 40),(140 - 2 40),(140 - 2 40)]。

第二步，針對油茶果殼目標樣本的顏色特征進行SVM算法訓練。

第三步，油茶果殼樣本顏色特征訓練完畢后，進入第二層分選區，對目標數據進行SVM二分，以獲取目標油茶果殼籽粒目標，如圖8所示。在下一步使用噴氣嘴進行吹飛。

圖8 油茶果殼籽粒顏色特征區分Fig.8 Color feature difference of Camellia shell and seed

4 試驗與結果分析

本文采用偏好人工免疫算法及 SVM 算法對油茶籽粒、果殼目標進行了分選，用 2種分選算法進行綜合分選增加了整個分選系統的適應性，因為只用色選法雖然可以對顏色差異進行辨識，但是在顏色分別不明顯，色選不能完全識別樣本的情況下，形選可以彌補色選在顏色識別上的的分選缺點。同樣，果殼和籽粒的重疊、粘連可能造成形態誤識別，而色選可以在不同形態區域進行細分。因此，色選與形選結合的分選算法可以最大程度增加整個系統的實用性，提煉出 2種方法的優點，以增強整個系統的自適應性。

為計算本文提出算法的有效性，本研究編制MATLAB分選代碼并在油茶果脫殼生產線工控機設備上進行測試分析。

4.1 試驗結果

在仿真試驗階段，本文先選取形態、顏色特征數據庫的數據進行算法訓練，再選取脫殼后的油茶果殼、籽粒圖片進行分選本文算法的分選測試，測試圖片選取存放周期為3和12 d的圖片各10張，綜合2種算法模型的分選測試得到了不同存放時間下圖片的組合算法識別時間、識別率數據。由于最終噴氣嘴的吹飛目標為油茶果殼，因此應用算法模型將每幅圖片中的果殼個數、成功識別個數、識別率、識別時間進行了統計，最終得到了圖片中油茶果殼的各項識別參數，識別結果如表3所示.

表3 存放期3、12 d脫殼后油茶果殼識別效率Table 3 Recognition efficiency of Camellia shell after stored for 3, 12 days

由表3得到，存放期為3和12 d的油茶果殼識別率有較大的差別，存放期為3 d的識別率平均值為94.6%，遠大于12 d的識別率均值76.6%，識別率的差異的原因在于采摘后的油茶果實存放越久，其果殼收到溫度與濕度等外界因素影響，其顏色將逐漸呈現暗黑色，與籽粒的顏色差別逐漸變小，因此造成存放期12 d后的果殼識別率普遍降低，最低達到了 66.6%。而由于算法結構的原因，識別時間則基本不受顏色干擾影響，一般平均識別時間為600 ms左右。因此，為保證識別效率，油茶果采摘后不宜放置過久，應盡快進行后續的脫殼以及分選過程。

4.2 形態多特征免疫網絡聚類分選效果

在得到整體綜合算法識別效率后，對油茶果殼、籽粒的 3種形態特征的免疫網絡進行三維仿真以驗證目標形選的特征不變性。分別對上文中10張3 d存放期與10張 12 d存放期后脫殼的油茶果圖片進行形態多特征聚類，應用本研究的多特征偏好免疫網絡算法進行聚類，得到的籽粒、果殼多特征偏好免疫 3特征三維聚類效果如圖9所示。

圖9 存放期3、12 d果殼籽粒形態特征聚類效果Fig.9 Clustering effect of morphological feature stored for 3, 12 days

從圖9中可以得出，由于形態學特征不受油茶果顏色變化的影響，輸入形態特征參數后，經過多特征免疫網絡聚類識別后，3天存放期與12天存放期的油茶果殼、籽粒均可實現較好的形態特征聚類效果，這也證明了通過形態學參數分選目標可以不受果殼顏色變化干擾影響，進而增加了算法結構的自適應性。

4.3 不同算法分選對比

本文使用多特征免疫網絡與支持向量機的聯合算法解決了油茶果殼、籽粒在傳送帶上的動態多特征識別問題，本研究進一步使用了形態顏色特征融合的多特征人工免疫算法[26]、多維SVM算法[34]、傳統的色選閾值分選方法、傳統形態單特征閾值分選法在分選效率與分選時間上的進行了對比試驗，以測試本文分選算法的有效性。

試驗所選用的對比數據為上文試驗中使用的存放周期為3與12 d的的油茶果實、籽粒圖片各10張，提取SQL數據庫中的6個的形態與顏色參數進行試驗，上文已經使用了本文的算法進行了試驗，在對比試驗中，使用6特征免疫算法、6特征SVM算法、傳統顏色閾值法、傳統形態單特征法進行分選對比，得到的各算法平均分選效率與平均運算時間如圖10所示。

圖10 不同算法分選時間及識別率對比Fig.10 Comparison of sorting time and recognition rates in different algorithm

從圖10中可以得出，由于算法結構與輸入數據的因素，5種算法在3和12 d的分選時間上基本一致，其中傳統顏色閾值法與傳統形態單特征閾值法的分選時間最短，最低達到了平均 110 與 133 ms。傳統的閾值色選算法雖然執行時間較短，但由于其算法結構簡單，不具備多特征自適應性，導致識別率較低，當油茶的存放期達到 12 d，果殼與籽粒的區分已經不明顯時，傳統顏色閾值分選方法的識別率大幅度下滑，降低到了15.2%，基本不具備可用性；傳統形態單特征閾值法采用了判斷目標延伸率來判斷目標的方法，受到顏色變化的影響較小，但由于待識別目標的形態特征多樣化，導致整體識別率較低，平均只有 35%左右。而單獨使用多特征偏好免疫算法對形態、顏色的 6個特征進行識別容易造成識別時間過長的“維數災難”[35]，即當數據的輸入維度造成算法內部相關維度增大時，算法的整體運行時間會隨指數型增長，這在實時率要求較高的實際分選工作環境中是不適用的。即使識別效率達到了要求，但也會導致識別時間過長，不適用于生產線的實時識別率要求；SVM算法由于其算法結構的二分特性不適于多特征識別，改進的算法也會由于結構過于復雜導致分選時間長的問題，同時在12 d存放期顏色區分不明顯的情況下也會造成識別率的下降。而本文采用的多特征偏好免疫網絡與SVM結合的算法縮減了多維運算的復雜性，節省了運算時間。在縮小運算時間的基礎上，同時保證了分選效率，使油茶果在 3與 12 d的分選識別率分別達到了 97.4%和76.6%，識別時間達到了平均值600 ms，最低值510 ms，識別時間為 2種算法的消耗時間之和，其中免疫算法和SVM算法消耗時間的比例為2.3∶1，證明了本文的算法較其他算法在時間與效率上的優勢。

5 結 論

1）本研究通過人工免疫網絡與支持向量機的結合算法，使油茶果分選生產線實現了形態與顏色特征綜合判斷分選的效果。特別針對于存放時間較長導致果殼與籽粒顏色區分不強的油茶果實，本研究可以通過增加形態學識別的方法增強系統的可用性，進而增加了油茶分選生產線的魯棒性與實用性。

2）通過改進的自適應免疫算法進行了綜合識別，綜合識別算法綜合了2種識別算法的優點，試驗得到3 d存放期的平均識別率達到了97.4%，12 d存放期的平均識別率為76.6%，識別時間平均值為600 ms，最低值達到了510 ms。結果滿足了生產線的實用效率要求，進一步增加了分選系統的可用性。

本文在實地生產線上實時對油茶果分選的效率與速率進行試驗檢測，通過檢測驗證了本研究的計算方法的有效性。事實證明，本研究提出的多特征識別算法的應用，將使油茶果分選系統更加經濟，更加實用。

針對識別對象目標重疊后產生的實效問題，本研究先采用偏好人工免疫網絡對油茶果殼、籽粒的目標進行形態特征的識別，由于油茶果堆疊擺放較為密集，因此只采取形態學特征識別不可避免會對重疊目標產生誤識別，進而降低目標識別率。而第二步采用的SVM顏色分類識別則可以較好地利用顏色特征將形態特征誤識別的目標提煉出來，從而解決對象目標重疊、連接的問題。