開放環境下煙葉等級RGB圖像智能識別及判別模型的構建

童德文， 陳 鈺， 杜超凡， 雷 佳， 范 輝， 林雷通， 石三三， 沈 平*

(1.龍巖市煙草公司 武平分公司， 福建 武平 364300； 2.福建省煙草公司 龍巖市公司， 福建 龍巖 364000； 3.廣東中煙工業有限責任公司， 廣東 廣州 510310)

煙草(NicotianaTabacumL.)是我國主要經濟作物之一，其收購價格主要通過烤煙外觀質量等級確定。我國采用的是42級國家烤煙分級標準(GB 2635-1992)，共分為8個正組、5個副組，并通過煙葉的成熟度、葉片結構、身份、油分、色度、長度和殘傷等7個外觀品級因素將其區分為42個等級。目前，我國烤煙分級收購仍以人工為主，依靠分級人員的主觀評價及感官經驗定級，存在勞動強度大、工作效率低、人工成本高、等級純度不穩定等問題，而等級純度不穩定影響了卷煙工業的均質化生產及成品煙的質量控制[1]。隨著計算機技術的發展，采用自動智能技術替代人工對煙葉進行外觀等級劃分已成為煙草工業化發展的趨勢[1-4]。關于烤煙不同等級葉色、葉型和多光譜特征方面的研究已提出了系列的自動化分級方案。莊珍珍等[2]提出基于機器視覺及模糊綜合評判方法。劉劍君等[3]提出將煙葉的紅外光譜作為煙葉的分級特征。賓俊等[4]提出基于NIR 光譜技術及極限學習機(ELM)的初烤煙葉快速分級方案。已有研究所采用的圖像采集設備主要為紅外掃描儀和工業 CCD相機等，采集環境多為黑箱取樣或者純色流水線，而在開放環境中，這些方案均無法實現自動對葉片的識別，加之設備昂貴、體積大及分析運算所需時長較長，限制了智能化分級方法在煙葉初分及基層煙草站分級定級的推廣應用。為此，以龍巖煙區主栽品種云煙87為研究對象，綜合顏色閾值切割、邊緣識別切割、面積篩選和葉形篩選等算法[5-12]，提出開放環境烤煙RGB圖像自動切割算法，以此為基礎，比對分析B2F、C3F等級葉片在紅色(Red)、綠色(Green)、藍色(Blue)3個色彩通道及灰度圖像的色階均值的分布及葉型特征區間[13-21]，采用百分位數法確定其特征參數區間，以此確定云煙87的B2F和C3F等級煙葉的判定區間[21-25]，通過貝葉斯分類器構建判別模型，固化形成烤煙等級智能判定系統，并分析其判定準確度，以期為煙葉生產及分級人員提供高效、精確、方便和成本低廉的烤煙等級智能判定方法。

1 材料與方法

1.1 材料

1.1.1 煙葉樣品 烤煙品種為云煙87，供試煙葉共計220片，其中，B2F等級煙葉78片，C3F等級煙葉140片，其他等級葉片2片。B2F和C3F各50片作為分析與建模樣品，其余葉片作為判別樣品。選取同一田塊、鮮煙素質一致、成熟度一致的云煙87鮮葉為烘烤對象，烘烤工藝采用《龍巖市三長兩短保濕烘烤工藝》烘烤方法執行。烘烤結束后，分級技師對烤后煙葉進行逐片定級，挑選出試驗所需的B2F、C3F和其他等級煙葉樣品。

1.1.2 儀器 CANON EOS-550D高分辨率數碼相機，日本佳能公司。

1.2 方法

1.2.1 開放環境煙葉的圖像采集與圖像識別切割

1) 圖像采集。采集地點位于福建煙草公司龍巖市公司(中國福建龍巖市新羅區)，采集平面為煙葉樣品室瓷磚地面，其上均勻鋪設啞光A3打印紙(晨光，70 g/m2)；照明光源為室內20 W白色LED燈組9組，色溫為5 000 K；距離采集平面100 cm處用三腳架和云臺固定數碼相機，采用高分辨率進行垂直拍攝。圖像采集時將煙葉保持自然狀態(未展葉)水平放在A3紙上，采用M檔無閃光拍攝，ISO值為100，光圈f/5，快門1/60 s，焦距41 mm，白平衡設為自動，數字圖像為5 184 pixel×3 456 pixel。

2) 圖像識別切割。開放環境烤煙圖像自動切割算法主要通過MATLAB軟件實現。具體步驟：a) 將目標葉片根據研究提供的圖像采集方法進行拍攝，得到的原始圖像(圖1A)。b)通過背景差值法及HSV、RGB顏色混合算法進行背景分離。c) 運用邊緣切割、邊緣對象識別、填充邊緣空隙、菱形邊緣平滑、中值濾波和小面積碎片剔除等算法后，采用復原算法得到目標烤煙精確圖像處理效果(圖1B)，該算法可以有效消除拍攝邊角陰影、孔洞、小孔隙、圖像背景、葉片陰影、碎煙等的干擾。

注：煙葉為烤煙中部葉。

Note: Flue-cured tobacco means middle leaves.

圖1開放環境烤煙圖像自動切割算法的環境干擾消除示意

Fig.1 Diagram of environmental interference elimination for automatic cutting algorithm of flue-cured tobacco image in an open environment

1.2.2 計算機自動化葉色信息的提取 采用MATLAB對煙葉彩色圖像進行數據提取。

1) 不同色彩通道色階信息矩陣提取。讀取切割后的煙葉目標彩色圖像，分別提取葉片彩色圖像紅色(Red)、綠色(Green)、藍色(Blue)3個顏色通道及灰度圖像的像素色階矩陣，并將其轉化為雙精度數組。

2) 不同色彩通道色階均值提取。運用Mean函數分別獲取紅色(Red)、綠色(Green)、藍色(Blue)通道及灰度圖像的色階均值。

1.2.3 葉型參數信息的自動化提取與計算 采用MATLAB對煙葉彩色圖像進行葉型參數提取，Size函數獲取煙葉圖像的實際像素點數量(S1)，通過Regionprops函數獲取其最小外接矩陣的長度(L)和寬度(W)，計算最小外接矩陣面積(S2)、葉片長寬比和葉片有效面積占比。

S2=L×W

葉片長寬比=L/W

葉片有效面積占比=S1/S2

1.2.4 葉色參數的百分位數分布 選取B2F和C3F煙葉各50片作為分析樣品，運用MATLAB的prctile函數提取這些樣品的葉色參數和葉型參數四分位點(25%分位點、75%分位點)，在25%分位點至75%分位點的區間即為葉片圖像信息的百分位數區間，并采用Boxplot函數構建樣品葉色參數的百分位數分布圖，根據樣品葉色參數的百分位數的分布結果即可得出不同等級煙葉3個色彩通道及灰度圖像25%分位點和75%分位點的下限和上限色階值。同時，采用SPSS對各樣品的葉色參數、葉型參數進行獨立樣本T檢驗(雙尾)，明確差異顯著性(α<0.05)。

1.2.5 模型的構建與判別精度驗證

1) 模型的構建。選取無交集且具有顯著性差異的葉色參數及葉型參數百分位數區間作為煙葉等級判別區間。以煙葉等級作為判別結果，以煙葉等級判別區間作為判別因子，采用MATLAB的 NaiveBayes工具箱構建貝葉斯分類器作為判別模型。

2) 選取相同時間采收的B2F煙葉28片、C3F煙葉90片和干擾煙葉2片，對貝葉斯分類器判別模型的判別精度進行驗證試驗。

2 結果與分析

2.1 煙葉葉色及葉型判別區間的構建

2.1.1 葉色判別區間 B2F和C3F煙葉在葉色上具有較大差異。從圖2看出，B2F和C3F煙葉的紅色(Red)、綠色(Green)和藍色(Blue) 3個色彩通道及灰度圖像色階均值的百分位數區間變化。B2F與C3F煙葉在紅色通道25%分位點和75%分位點的下限和上限色階值分別為59.64～69.67和78.03～101.96，綠色通道分別為31.20～37.14和42.38～58.01，藍色通道分別為13.30～15.34和15.44～20.21，灰度圖像分別為37.93～44.45和49.81～67.16，其色階均值百分位數在25%～75%均無交集，呈分離狀態。從表1可知，經對B2F和C3F煙葉色階均值進行獨立樣本T檢驗，雙尾Sig值均為0.000，小于顯著水平0.05，說明B2F和C3F煙葉3個色彩通道及灰度圖像的色階均值均差異顯著。根據判別模型構建對煙葉等級判別區間的定義，將紅色(Red)、綠色(Green)、藍色(Blue)通道及灰度圖像的色階均值25%分位點及75%分位點作為B2F和C3F煙葉葉色判別區間的上限和下限。

Fig.2 Percentile distribution of three color channels and gray-scale image color gradation mean value of flue-cured tobacco with different grade

表1不同等級煙葉3個色彩通道及灰度圖像色階均值的顯著性檢驗

Table 1 Significance test for three color channels and gray-scale image color gradation mean value of flue-cured tobacco with different grade

等級Grade均值Mean value標準差Standard deviationT檢驗雙尾Sig T testing百分位數區間Percentile interval25%75%均值Mean value標準差Standard errorT檢驗雙尾Sig Ttesting百分位數區間 Percentile interval25%75%紅色通道綠色通道B2F66.4411.100.00059.6469.6735.026.450.00031.2037.14C3F90.9115.9078.03101.9651.0610.6442.3858.01藍色通道灰度圖像B2F14.541.880.00013.3015.3442.087.230.00037.9344.45C3F17.983.3215.4420.2159.2149.8167.16

注：顯著水平α=0.05，下同。

Note: The significance of difference is atα=0.05. The same below.

2.1.2 葉型判別區間 在實際生產過程中，部分煙葉烘烤后會產生皺縮和扭曲現象，從而影響葉型參數，B2F和C3F煙葉在葉型的差異較小。從表2可知， B2F和C3F煙葉的葉片長寬比百分位數25%～75%分別為4.54～5.53和3.88～5.02，其在4.54～5.02存在交集，只有部分分離；從葉片有效面積占比來看，B2F和C3F煙葉葉片有效面積占比百分位數25%～75%分別為0.49～0.57和0.48～0.56，其在0.49～0.56存在交集，百分位數區間基本完全相交(重疊)，交集范圍更大；經對B2F和C3F煙葉葉型參數獨立樣本T檢驗，其長寬比雙尾Sig值為0.000，小于顯著水平0.05，說明2個等級煙葉葉片長寬比差異顯著；其有效面積占比雙尾Sig值為0.835，大于顯著水平0.05，說明2個等級煙葉有效面積占比差異不顯著。根據判別模型構建對煙葉等級判別區間的定義，煙葉葉片長寬比及葉片有效面積占比不滿足判別區間的條件，因此，不選擇葉型參數作為判別區間。

表2 不同等級煙葉葉型參數的顯著性檢驗

2.2 煙葉等級的判別精度

結合煙葉等級葉色及葉型判別區間的研究結果最終確定B2F和C3F煙葉等級判別區間(表3)，并以煙葉等級判別區間作為判別因子，以煙葉等級作為判別結果構建貝葉斯分類器作為判別模型。從表4可知，構建的判別模型對B2F和和C3F煙葉判別的準確率分別為92.86%和95.56%，總體準確率為94.21%。

表3 B2F與C3F煙葉特征的參數區間

表4 B2F與C3F煙葉貝葉斯分類器模型判別的準確率

3 結論與討論

以散煙收購方式代替把煙收購方式是烤煙分級推廣的應用方向[1]。目前煙葉自動分級技術大多停留在論證和試驗階段，實際應用中還沒有成熟的高效分級技術，更沒有已經成熟穩定可推廣的系統。利用計算機視覺技術進行分級，具有簡捷、經濟、高效和可靠等優點，但該項技術不能對煙葉身份和油份進行判別。如何從圖像特征中獲取足夠多、足夠可靠的有效信息是研究中的難點所在。

研究提出一種開放環境下的計算機智能識別煙葉的算法，并通過對葉色和葉型的百分位區間估計，確定B2F和C3F煙葉的特征參數區間，并采用貝葉斯分類模型，構建判別模型，其判別的準確率達92.86%以上，大于人工分級判別的準確率(91.78%)[2-4]。該方法具有不受環境因素影響、設備要求低、分析速度快、可靠性高的優點，適用于煙葉初分級、基層煙草站定級使用。由于煙草工業的不斷發展，自動化煙葉圖像分級系統替代人工分級是大勢所趨，煙葉分級的合理化、高效化、簡捷化可以適應煙草工業的需要，對提高廣大煙農的積極性和促進煙草種植產業的發展均具有重要意義。由于取樣有限，僅研究B2F和C3F煙葉的判別，在以后的研究中，將進一步完善更多煙葉等級的判別參數區間在煙葉初分級中應用。