基于多分類器DS證據理論融合的水果識別研究*

蔡浩，郭宏亮

(吉林農業大學信息技術學院，長春市，130118)

0 引言

我國是水果產量大國，生產的水果種類繁多，生產總量占全世界的18%左右[1]。傳統的水果分類是通過人工方式進行的，這種方式不僅效率低，而且消耗大量勞動力資源[2]。隨著圖像處理和機器視覺技術的發展，國內外很多學者提出利用農產品的各類特征對農產品進行識別。趙玲等[3]通過提取草莓圖像在HIS顏色空間模型下的H分量的均值和方差，并結合草莓紅色著色面積比，使用BP神經網絡識別草莓的成熟等級，識別準確率達到90%。但是使用圖像的單特征并不能充分的描述圖像信息，識別結果會產生一定的誤差。Biswas等[4]在提取蔬菜顏色、形狀、紋理等特征的基礎上建立分類器實現蔬菜的自動分類，試驗表明該方法取得了較高的分類精度。陶華偉等[5]提出了一種利用顏色完全局部二值模式提取的圖像紋理特征并結合圖像顏色特征，采用匹配得分融合算法將圖像顏色和紋理特征融合，使用最近鄰分類器實現果蔬農產品的分類，該方法能夠實現對果蔬農產品的精確識別。Arivazhagan等[6]將HSV顏色空間中的H、S統計直方圖作為顏色特征，將小波域中的自相關矩陣作為紋理特征進行果蔬識別。陳雪鑫等[7]提出了一種基于多顏色特征和紋理特征的水果識別算法，該方法對水果圖像的識別率可達90%以上。但是以上方法都采用了單個分類器對水果種類進行識別，這將導致識別不均衡問題，造成識別的正確率降低。而融合多個分類器的識別結果，將多個分類器進行融合得到的最終識別結果，不僅可以提高識別準確率，同時有效的結合了各個分類器的優勢，解決各分類器的識別不均衡問題。

本文提出了一種結合多種分類器，利用DS證據理論對多種分類器進行融合的水果識別方法，均衡有效地實現了對水果種類的識別。相對于單分類器的識別，在識別準確率和穩定性上有明顯提高。

1 試驗材料

本文選取了香蕉、蘋果、桃子、草莓、梨5種水果圖像為研究對象，數據來源于kaggle上的fruits360數據集，在fruits360的訓練集上每類水果選取了30幅，共150幅作為訓練集。在fruits360的測試集上每類水果選取了50幅，共250幅用來測試準確率。又在fruits360的測試集上選取了10組測試集圖像，每組20幅，共200幅用來測試穩定性。本試驗5種水果的測試集和訓練集共600幅樣本，部分樣本集如圖1所示。

(a) 桃子

(b) 香蕉

(c) 杏子

(d) 蘋果

(e) 荔枝

2 圖像處理與特征提取

2.1 圖像預處理

圖像在采集的過程中，會受環境及采集設備的影響，而產生噪聲。噪聲會降低信噪比，對后期圖像特征的提取造成影響。中值濾波[8]是一種簡單的去噪方法，能夠在有效去除噪聲的同時保留圖像的細節，突出邊緣信息。

經過多次試驗后發現，圖像選用在3×3中值濾波模板上處理的圖像效果最好。通過預處理后的圖像結果如圖2所示。

(a) 灰度化后的圖像

(b) 中值濾波后的圖像

2.2 特征提取

2.2.1 顏色特征提取

不同的水果種類的外觀變化明顯[9]，水果圖像的顏色特征能很好的反映出水果的種類，是對水果種類進行區分的重要特征之一。表達顏色特征的特征參數有很多，不同的特征參數適用于不同的領域。而特征參數的描述需要基于對應的顏色空間模型，常用的顏色空間模型包括RGB模型、HIS模型、HSB模型等。相比于RGB模型，HIS模型更符合人眼的感知習慣，對光照影響的抗干擾性強，而且HIS模型比RGB模型的維度更低，所以表明HIS模型要優于RGB模型。所以本文選用在HIS模型下對水果圖像的顏色特征進行提取。

顏色矩[10]是一種常見的顏色特征表達方法，而且圖像的顏色特征信息主要分布在其低階矩，所以本文采用在HIS模型下提取的各個通道的一階矩(均值，mean)、二階矩(方差，variance)、三階矩(斜度，skewness)，共9個參數作為水果圖像的顏色特征參數。三個顏色矩的數學公式[11]如式(1)所示。

(1)

式中:pi,j——彩色圖像第j個像素的第i個顏色分量；

N——圖像中的像素個數。

2.2.2 紋理特征提取

紋理特征[12]是對圖像空間分布特征和圖像區域內像素變化的一種描述，其中包含了大量的像素空間分布信息。灰度共生矩陣是[13]一種常見的紋理特征統計方法，是對區域內像素灰度級空間相關性的一種描述。本文選用灰度共生矩陣上的能量、熵、相關性、對比度這4個參數作為圖像在紋理特征上的特征參數。其計算公式參考文獻[14]。

2.2.3 形狀特征提取

圖像的形狀特征能夠很好地描述圖像的輪廓信息以及區域信息[15]。本文采用輪廓信息作為圖像的形狀特征參數。首先將原圖轉換成灰度圖像，再選擇合適的灰度閾值將圖像轉化成二值圖像，最后通過邊緣提取算法提取圖像的邊緣。本試驗采用的灰度閾值為210，采用的邊緣提取方法為canny算子，提取之后的圖像如圖3所示。再根據所提取到的圖像輪廓計算輪廓的圓形度S1、矩形度S2、伸長度S3、形狀復雜度S4這4個參數作為圖像的形狀特征參數[16]。其計算公式如式(2)～式(5)所示。

S1=4πA/P2

(2)

S2=A/(H×W)

(3)

S3=P2/A

(4)

S4=H/W

(5)

式中:A——輪廓區域內面積；

P——周長；

H——與輪廓區域具有相同標準的二階中心矩的橢圓長軸長度；

W——與輪廓區域具有相同標準的二階中心矩的橢圓短軸長度。

(a) 二值化后的圖像

(b) 邊緣提取后的圖像

3 基于多分類器DS融合

3.1 DS證據理論

證據理論[17]是由Dempster在1967年提出，而后由他的學生Shafer完善的一種處理不確定性問題的理論。DS證據理論是一種解決多種數據融合的方法，被廣泛的應用于決策融合和信息融合上。DS證據理論主要包括識別框架，基本概率分配函數、信任函數、似然函數等。

DS證據理論中的識別框架是不確定性問題的所有可能性的集合，常用Θ來表示。識別框架內的元素之間互斥。它的冪集是2Θ,表示所有可能的問題組合，但本文的識別結果具有原子性和唯一性。所以本文中所有可能的結果只有5種，并不討論冪集的情況。

DS證據理論針對識別框架中的每一種可能的結果都分配了概率，稱為基本概率分配(BPA，Basic Probability Assignment)或者稱之為基本置信分配(BBA，Basic Belief Assignment)。一般將基本概率分配函數稱為mass函數，常用m來表示此函數。mass函數在識別框架的冪集2Θ滿足式(6)。

(6)

式中:U——冪集上的任意一個子集；

m(U)——U的基本概率分配函數。

DS證據理論中對命題多個證據的融合規則稱為DS證據理論的融合，Dempster合成法則，也稱證據合成公式是DS證據理論的核心，基于這一法則，多個獨立證據m1,m2,m3的合成結果為公式(7)。

(7)

式中:m——基本概率分配函數；

K——多個獨立證據m1,m2,m3的沖突程度。

3.2 構建BPA函數

DS證據理論融合的前提是獲取BPA函數，即mass函數，它表示的是證據對每種可能產生的結果的支持度[18]。本文中指的是BP神經網絡模型、K均值分類模型、SVM分類模型對5種水果分類結果的支持度。

本文首先對訓練集上的三種特征參數進行訓練確定這三種分類模型，然后利用這三種分類模型對樣本集進行測試，求得三種分類器對5種水果的識別準確率，并結合被測樣本的識別結果，通過全概率公式進行融合得到各分類器對5種水果識別結果的支持度，通過歸一化后可得到BPA函數。

利用構建的BPA對水果種類識別的算法流程如圖4所示。

圖4 算法流程圖Fig. 4 Algorithm flow chart

主要有以下幾個步驟。

第一，設Fi(i=1,2,3)分別表示BP神經網絡分類模型、K均值分類模型、SVM分類模型。將j(j=1,2,3,4,5)類水果圖像樣本集特征向量分別輸入到這三種分類器中，求得i類分類器對j類水果的識別準確率為Pi j。

第二，引入被測水果圖像，在三種分類器上分別進行識別，得到的識別結果為Ri(Ri=1或Ri=0)，當Ri=1時，表示識別結果是j類水果，Ri=0時，表示識別結果不是j類水果。然后通過全概率理論公式可以初步得到i類分類器對j類水果識別結果的支持度，具體公式如式(8)所示。

mi j=Pi j×Ri+(1-Pi j)×(1-Ri)

(8)

式中:P——識別準確率；

R——識別結果。

第三，根據BPA在識別框架冪集上的三種分類器模型的信度之和等于1的特點，可以將式(8)歸一化，歸一化后的公式可以表示為式(9)。

(9)

根據式(9)可以得到各種分類器對每種水果的信度值。通過DS整理理論融合規則和信度規則得到被測圖像的識別結果。

3.3 DS證據合成和決策級融合

利用BP神經網絡分類模型、K均值分類模型和SVM分類模型在5種水果上的BPA函數，對水果種類進行識別主要分為兩個步驟。

第一，將各水果上三種分類器的BPA函數，通過DS融合規則進行融合，得到各水果分類識別結果的聯合信度。

第二，根據信度規則來對水果種類實現最終的識別。

設最終識別的水果種類的聯合信度為l，則l應滿足以下信度規則。

1)l為5種水果聯合信度值的最大值。

2)l的值必須大于閾值x。

3)l與其他4種水果的聯合信度的差值總大于閾值y。

4) 若以上條件均不滿足，則輸出識別結果為“不確定水果類型”。

本文經過多次試驗，將x和y的值確定為0.83和0.52。

4 試驗與結果分析

4.1 融合多分類器水果識別試驗

為了驗證本文提出的模型算法對5種水果種類識別的有效性，針對上述算法在MATLAB上進行了仿真試驗驗證。本試驗以DS融合系統為主模塊，三種分類模型系統為子模塊，最終實現對被測圖像的識別。該試驗的系統流程結構如圖5所示。

試驗主要分為以下幾個步驟。

1) 首先，對采集到的水果圖像進行預處理和特征提取。

2) 利用訓練集特征集，得到BP神經網絡分類模型、K均值分類模型、SVM分類模型的模型參數，構建三種分類器模型。

3) 根據這三種分類器模型，對樣本集進行測試，得到各個分類器對各類水果分類的識別準確率。

4) 分別使用這三種分類模型對被測圖像進行識別，根據式(7)將識別結果和各分類器的平均識別準確率進行融合，得到各分類器對不同水果的基本概率密度函數(BPA)，即信任度。

5) 在DS融合系統中進行多分類器在各水果上的信度融合，得到待測圖像為j類水果的聯合信度。

6) 最后根據信度規則，對待測圖像進行識別。

圖5 系統流程結構圖Fig. 5 System flow structure diagram

4.2 試驗結果與分析

本文將采集到的5種水果圖像集，按照圖5的流程進行試驗，本文使用5種水果圖像的測試集進行了模型測試。

試驗的測試結果如表1所示，試驗對比了BP神經網絡分類模型、K均值分類模型、SVM分類模型和多分類器融合模型在測試集上的識別準確率和各分類器在各水果種類識別上的總體標準偏差。

表1 測試樣本集識別結果Tab. 1 Test sample set recognition results

從表1中可以看出，利用BP神經網絡、K均值、SVM分類模型對5種水果識別的平均準確率為82%，79.6%，83.2%，總體標準偏差為0.113 14，0.088 9，0.092 61。融合多分類器識別模型對5種水果識別的平均準確率為95.2%，總體標準偏差為0.029 93。

結果表明，通過DS證據理論融合多分類器的識別模型對5種水果識別的平均準確率比只使用單分類器模型的平均識別準確率高。而且多分類器融合后的識別模型在對不同水果的識別上比各單分類器更均衡。

本文又在fruits360的測試集上隨機的選取了10組測試集圖像，每組20幅共200幅作為測試集，在各測試集上利用各單分類器和融合分類器進行測試，測試結果如表2所示。

表2 在10組測試樣本集上的識別結果Tab. 2 Recognition results on 10 test sample sets

結果表明，在10組測試集上各單分類器識別結果的平均準確率為76%，70%，71.5%,總體標準偏差為0.106 77,0.116 19,0.089 58，融合分類器識別結果的平均準確率和總體標準偏差為93.5%和0.055。融合分類器對水果識別的準確率和穩定性更好。

5 結論

1) 水果識別是現代農業研究領域的熱點和難點，構建合適的識別方法是進行水果識別的關鍵步驟。傳統的水果識別算法主要是基于單分類器的，不同分類器對不同水果的識別效果不同，會造成識別結果不均衡。本文基于BP神經網絡、K均值、SVM分類模型，利用DS證據理論對三種分類器進行融合，構建各分類器對不同水果的BPA函數，最后根據DS融合規則得到聯合信度，最后根據信度規則得到識別結果。結果表明，融合分類器對每種水果的識別準確率分別為96%，98%，90%，98%，94%，5種水果準確率的總體標準偏差為0.029 93，低于各單分類器的總體標準偏差，且平均識別準確率為95.2%，高于各單分類器的平均識別準確率，融合多分類器識別模型能夠在提高識別準確率的同時有效的解決各個單分類器對不同水果的識別不均衡問題。

2) 本試驗又采集了10組水果種類均衡的測試集，通過DS證據理論融合多分類器得到的模型，對10組測試集進行測試，結果表明，融合多分類器在10組測試集上的平均識別準確率和總體標準偏差為93.5%和0.055，而各個單分類器在10組測試集上識別準確率的識別準確率和總體標準偏差分別為76%、70%、71.5%和0.106 77、0.116 19、0.089 58，進一步驗證了融合多分類器在提高對水果種類識別準確率的同時，也提高了識別準確率的整體穩定性。