基于改進PCNN的番茄植株夜間圖像分割算法

項 榮 張杰蘭

(中國計量大學質(zhì)量與安全工程學院，杭州 310018)

0 引言

果蔬采摘機器人是當前農(nóng)業(yè)自動化領域的研究熱點[1]。視覺系統(tǒng)是果蔬采摘機器人的重要組成部分。在現(xiàn)有視覺系統(tǒng)研究中，對果實識別的研究較多[2-3]，而對莖稈等器官識別的研究較少。在果蔬自動采摘過程中，果蔬采摘機器人精準識別并準確避開莖稈等障礙物的干擾，不僅可以有效提高生產(chǎn)效率，還可避免莖稈等障礙物對機械臂造成損壞。

果蔬植株圖像分割是實現(xiàn)果蔬莖稈等器官識別的前提。當前,果蔬植株圖像分割主要聚焦于日間自然光照條件[4-5]。為延長果蔬采摘機器人的作業(yè)時間，進行果蔬植株夜間圖像分割算法研究很有必要。近年來，國內(nèi)外學者開展了夜間果蔬圖像分割算法的研究[6-8]。果蔬植株夜間圖像分割的主要難點[9-10]：圖像采集距離的變化造成光照條件變化、夜間主動照明在相機視場范圍內(nèi)光照強度不均勻、枝葉遮擋形成陰影、主動照明形成光斑等。

脈沖耦合神經(jīng)網(wǎng)絡(Pulse coupled neural network,PCNN)被稱為第三代新型神經(jīng)網(wǎng)絡，以單個像素為神經(jīng)元，并在相似的神經(jīng)元間建立聯(lián)系，通過脈沖縮小相似神經(jīng)元間的距離，使目標和背景區(qū)域鄰域中相似像素都能保持很好的連續(xù)性[11-12]，從而可使目標像素更完整地被分割。PCNN的特點非常適用于果蔬植株夜間圖像分割，但傳統(tǒng)PCNN模型參數(shù)為人工設置，較為繁瑣，且PCNN迭代次數(shù)多。雖然部分研究應用最大類間方差(Maximum inter-class variance)算法(Otsu算法)對PCNN模型進行了改進，如胡蓉等[13]以Otsu算法所獲閾值作為PCNN模型閾值方程中的初始閾值，張松等[14]應用改進Otsu算法作為簡化PCNN模型迭代過程中最佳圖像分割結(jié)果評價方法，但PCNN網(wǎng)絡參數(shù)仍依賴人工設置，且PCNN迭代次數(shù)仍較多。為實現(xiàn)PCNN模型參數(shù)的自適應設置，提高算法運行速度，本文提出一種基于Otsu算法的改進PCNN算法，并將其應用于番茄植株夜間圖像分割。

1 試驗設備與方案

1.1 試驗材料與設備

圖1 夜間照明系統(tǒng)

試驗材料為大棚中種植的虹越大番茄植株。夜間照明系統(tǒng)的照明方式包括雙光源對角分布照明和雙光源上下分布照明。圖像采集距離分為300、450、600 mm。光源類型包括：2 W LED燈、5 W LED燈、10 W LED燈、15 W白熾燈、25 W白熾燈、18 W鹵素燈、28 W鹵素燈、3 W熒光燈和5 W熒光燈。為便于選擇光源布局和光源種類，參照文獻[7]，優(yōu)化和改進了一種光源支架，如圖1所示。通過開關控制不同光源布局，共可實現(xiàn)3種光源布局方式：四角布局CEDF(長×寬為700 mm×600 mm)、雙光源上下布局AB和雙光源對角布局CD或EF。試驗中選擇AB和CD兩種布局進行圖像采集。

圖像采集時間為2018年7月21、25、26日19:30—23:00。本研究主要是番茄植株莖稈識別和定位，使用Point Grey Research公司的Bumblebee2型雙目立體相機進行番茄植株圖像采集，后續(xù)進行番茄植株莖稈的定位研究。所采集圖像存儲為JPG格式(640像素×480像素)。雙目立體相機安裝于三腳架，通過1394連接線和采集卡MOGE 1394與計算機相連。計算機為 DELL E4300，內(nèi)存2 GB，CPU為Intel Core2 Duo P9400，Windows 7操作系統(tǒng)，編程環(huán)境為 Matlab R2016a。

在溫室大棚中分別采用9種不同的光照條件進行番茄植株夜間圖像采集，共采集圖像849幅，圖像采集條件及數(shù)量如表1所示。

表1 圖像采集條件及數(shù)量

1.2 番茄植株夜間圖像分割算法

傳統(tǒng)PCNN模型由于網(wǎng)絡參數(shù)較多，針對不同的圖像需經(jīng)人工多次試驗確定參數(shù)值。另外，對于復雜圖像，PCNN模型在圖像分割過程中迭代次數(shù)多且難以準確確定，使得該模型的有效性和實時性較差。因此，本文對傳統(tǒng)PCNN模型進行了改進。

1.2.1改進PCNN模型

PCNN模型在圖像分割過程中迭代次數(shù)的確定是關鍵問題之一[15]，迭代次數(shù)過少，則圖像分割結(jié)果不準確，迭代次數(shù)過多，則實時性較差。另外，由于決定不同神經(jīng)元激活時間的關鍵因素為外部激勵[16]，傳統(tǒng)PCNN圖像分割會由于過大的鏈接輸入項導致內(nèi)部活動項過大，從而導致圖像相鄰迭代分割時可點火的像素點過多，圖像分割易出現(xiàn)欠分割現(xiàn)象。為確保PCNN圖像分割正確率的同時，減少迭代次數(shù)，改進PCNN的實時性，本文對簡化PCNN模型進行了改進，將PCNN模型中鏈接輸入項進行加權(quán)。改進后的PCNN模型如圖2所示。改進后的PCNN數(shù)學模型為

Fij(n)=Sij

(1)

(0

(2)

Uij(n)=Fij(n)(1+βLij(n))

(3)

(4)

Eij(n)=e-αEEij(n-1)+VEYij(n)

(5)

式中Fij——神經(jīng)元的反饋輸入

Sij——輸入激勵信號，即圖像像素的灰度

Lij——鏈接輸入項

Uij——內(nèi)部活動項

Wijkl——L通道鏈接權(quán)值

Ykl——鄰域像素點(k,l)的脈沖信息

Eij——動態(tài)門限

Yij——脈沖輸出值n——迭代次數(shù)

i、j——像素的圖像坐標值

k、l——鄰域像素圖像坐標值

β——突觸間鏈接系數(shù)

VE——對應的鏈接權(quán)放大系數(shù)

αE——動態(tài)門限系統(tǒng)的迭代衰減時間常數(shù)

w——鏈接輸入項權(quán)值

圖2 改進PCNN模型

傳統(tǒng)PCNN模型的初始閾值為0，故在第1次點火前，Eij(0)=0，第1次迭代時，Uij(1)=Sij，故Uij(1)≥Eij(0)，所有神經(jīng)元全部興奮點火，均獲得脈沖，輸出圖像的像素值全為1。之后，動態(tài)閾值急劇增大，神經(jīng)元處于熄火狀態(tài)；然后，Eij(n)呈指數(shù)趨勢下降，直到Uij(2)≥Eij(1)，神經(jīng)元再次點火，完成一個周期。改進后的PCNN模型，第1次迭代與傳統(tǒng)PCNN模型一致。在第2次迭代分割時，改進PCNN模型中的Uij(n)會小于傳統(tǒng)PCNN模型中的Uij(n)，所以迭代結(jié)果背景像素誤分割成前景像素的情況會減少。因此，在改進PCNN模型中，鏈接輸入項Lij加入權(quán)值后，在每次迭代時比傳統(tǒng)PCNN的數(shù)值小，即將PCNN迭代的“跨度”減小。由于番茄植株夜間圖像整體亮度和顏色差異不大，因此，減小迭代“跨度”能夠有效預防欠分割現(xiàn)象。

為驗證改進的PCNN模型加入權(quán)值后的優(yōu)越性，對2 W LED燈CD布局條件下采集的圖像進行分割對比，如圖3所示。未加入權(quán)值的傳統(tǒng)PCNN模型對圖像進行分割，在第4次迭代后得到最佳分割圖像結(jié)果，如圖3b所示。改進的PCNN模型對圖像進行分割，在第2次迭代后得到最佳圖像分割結(jié)果，如圖3c所示。由圖3可知，改進鏈接輸入項使PCNN模型在減少迭代次數(shù)的同時，確保了PCNN圖像分割正確率。

圖3 鏈接輸入項加權(quán)前后分割效果對比

由于圖像采集距離的變化以及枝葉遮擋等因素造成夜間番茄植株圖像采集時光照條件變化，進而導致圖像灰度的變化。為實現(xiàn)鏈接輸入項權(quán)值的自適應設置，本文將Otsu算法獲得的閾值t作為權(quán)值設置的依據(jù)。同時，為實現(xiàn)權(quán)值的精確設置，本文設計了梯度比值K，并以K作為評價指標，進行權(quán)值選擇試驗。梯度比值K的計算公式為

(6)

式中Fp1——權(quán)值1對應的假陽誤分割率

Fp2——權(quán)值2對應的假陽誤分割率

Fr1——權(quán)值1對應的分割正確率

Fr2——權(quán)值2對應的分割正確率

當權(quán)值1修正到權(quán)值2時，若K減小，說明假陽誤分割率變化的幅度比分割正確率變化的幅度小，因此，權(quán)值可繼續(xù)按該趨勢變化；反之，則將權(quán)值1作為選定的權(quán)值。表2為基于K值的權(quán)值選擇試驗結(jié)果。

表2 權(quán)值選擇試驗結(jié)果

由表2可知，權(quán)值為t時的梯度比值K最小，故可將權(quán)值設置為t。

在改進后的傳統(tǒng)PCNN模型中，仍存在3個網(wǎng)絡參數(shù)需要設置，分別為鏈接權(quán)放大系數(shù)VE、閾值迭代衰減時間常數(shù)αE和突觸間鏈接系數(shù)β。對于不同的圖像在進行圖像處理時，需對VE、αE和β反復試驗獲取合適的數(shù)值，費時費力。故本文進一步研究了傳統(tǒng)PCNN模型參數(shù)自適應設置的方法。

1.2.2傳統(tǒng)PCNN模型參數(shù)自適應設置方法

在PCNN模型中，鏈接權(quán)放大系數(shù)VE決定著神經(jīng)元點火后的閾值幅度，其大小直接影響著神經(jīng)元的脈沖發(fā)放周期。閾值迭代衰減時間常數(shù)αE調(diào)節(jié)PCNN模型每次迭代后閾值的衰減量，控制著輸出的分辨率和迭代次數(shù)，αE越大，閾值衰減越快，分辨率越低，迭代次數(shù)越少；αE越小，閾值衰減越慢，分辨率越高，迭代次數(shù)越多。由式(5)可知，αE對Eij的影響較小。突觸間鏈接系數(shù)β控制著鄰域?qū)χ行纳窠?jīng)元提前點火的貢獻程度，β越大，神經(jīng)元的捕捉能力越強，引起脈沖同步發(fā)放的范圍越大[17-18]。

實現(xiàn)上述3個網(wǎng)絡參數(shù)的自適應設置將使得PCNN模型不再需要人工試驗獲取參數(shù)值。針對傳統(tǒng)PCNN模型，本文提出了基于Otsu算法的改進PCNN模型[19-20]，將Otsu算法所獲閾值作為參數(shù)VE、αE、β的值。

使用Otsu算法所得閾值將復雜圖像中差距大的像素進行初步分類，將閾值賦值給VE、αE和β。此時，改進PCNN模型分割的對象僅為復雜圖像中Otsu算法無法準確分類的像素，這將大幅度減少PCNN模型圖像分割的時間。因此，該賦值方式可避免參數(shù)選取中人為因素的干擾，同時也可減少圖像分割的計算量。

為驗證Otsu算法自適應參數(shù)設置的合理性，基于最大熵和視覺效果評價，將其與手動設置的最優(yōu)參數(shù)進行對比。將3個參數(shù)手動設置為相同值，且所設置數(shù)值遞增變化，將所獲圖像分割結(jié)果與Otsu算法自適應參數(shù)設置所獲圖像分割結(jié)果進行對比。由于番茄植株夜間圖像的Otsu閾值范圍為[0.2,0.5]，故在手動參數(shù)設置時，參數(shù)值在[0.1,0.7]范圍內(nèi)進行設置。以圖3a為例，當VE、αE、β值相同即三線重合時，對應熵的結(jié)果如圖4所示。不同參數(shù)對應圖像分割結(jié)果的熵變化如圖5所示。由圖4可見，當手動設置的參數(shù)值遞增時，最大熵遞減；Otsu閾值處于手動設置參數(shù)值的中間位置，對應最大熵也處于參數(shù)手動設置對應最大熵的中間位置。

圖4 自適應參數(shù)與手動設置參數(shù)為相同值對應的最大熵

圖5 自適應參數(shù)與手動設置參數(shù)組合對應的最大熵

為更全面地進行參數(shù)手動設置與Otsu算法自適應參數(shù)設置圖像分割效果對比，在[0.1,0.7]范圍內(nèi)以0.1為步長，分別手動設置VE、αE和β的值，即每個參數(shù)取7個可能值，合計共73(343)種參數(shù)組合。從343種參數(shù)組合對應的圖像分割結(jié)果中選出較優(yōu)的圖像分割結(jié)果，并將對應的參數(shù)及最大熵與Otsu算法獲得的閾值及相應的最大熵進行對比。選出較優(yōu)的基于手動參數(shù)設置獲得的分割圖像共77幅，其對應的參數(shù)及最大熵分布如圖5所示。其中，大于Otsu算法自適應參數(shù)設置所獲分割結(jié)果圖像最大熵的圖像有28幅，小于Otsu算法自適應參數(shù)設置所獲分割結(jié)果圖像最大熵的有49幅，即Otsu算法參數(shù)自適應設置獲得的圖像分割結(jié)果中有超過一半優(yōu)于參數(shù)手動設置所獲得的較優(yōu)圖像分割結(jié)果。其余的雖最大熵小于參數(shù)手動設置所獲圖像分割結(jié)果的最大熵，但基于視覺效果評價，其分割結(jié)果與參數(shù)手動設置所獲圖像分割結(jié)果相近。

綜上，當VE、αE、β手動設置為相同值且參數(shù)值遞增變化時，對應的最大熵遞減；而3個參數(shù)設置為Otsu算法閾值t時，對應的最大熵始終處于手動設置參數(shù)對應的較優(yōu)最大熵范圍內(nèi)。此外，當手動設置的參數(shù)值連續(xù)變化時，對應最大熵也連續(xù)變化，而Otsu算法閾值t始終在參數(shù)VE、αE、β手動設置較優(yōu)值的范圍內(nèi)。因此，該結(jié)果說明了使用Otsu算法對VE、αE、β值進行自適應設置的合理性。

1.2.3最佳圖像分割評價方法

在現(xiàn)有的關于PCNN模型的研究中，有效減少迭代次數(shù)從而提高圖像分割效率是關鍵。一般分割后圖像最大熵越大，說明分割后從原始圖像中得到的信息量越大，分割圖像細節(jié)越豐富，因而圖像分割效果也越好。本文基于最大熵對改進的PCNN模型進行分割效果評價，以確定迭代次數(shù)[21-22]。

圖6為應用改進的PCNN模型進行番茄植株夜間圖像迭代分割過程示例。圖6a～6e中，從上到下依次是圖像1、2、3、4。分別選擇在光照條件為2 W LED燈CD布局和28 W鹵素燈AB布局下采集的圖像作為示例，其中陰影及曝光區(qū)域已在圖6a中用標注框標出。由圖6可見，改進PCNN模型可實現(xiàn)陰影及曝光區(qū)域的正確分割，同時在第2次迭代時圖像分割效果最佳。表3為圖6中4幅圖像分割結(jié)果對應的最大熵。由表3可見，4幅圖像均是在第2次迭代時所得圖像分割結(jié)果的最大熵。可見，改進PCNN模型在不同光照條件下可實現(xiàn)番茄植株夜間圖像的正確分割，且能夠減少迭代次數(shù)，提高了算法的實時性。

圖6 基于改進PCNN模型的番茄植株夜間圖像迭代分割過程

表3 迭代過程中的最大熵

2 試驗結(jié)果與討論

為驗證改進PCNN模型對番茄植株夜間圖像的分割性能，應用本文算法對所采集的849幅番茄植株夜間圖像進行分割試驗。

2.1 基于目視及最大熵的圖像分割性能評價

由于番茄植株夜間圖像背景為較單一的黑色背景，因此，本文首先對比分析了基于固定閾值的黑色背景分割算法與改進PCNN模型的分割效果，如圖7所示。結(jié)果表明，通過閾值去除黑色背景實現(xiàn)番茄植株圖像分割存在如下缺陷：不同光照條件下需設置不同的閾值；陰影區(qū)域內(nèi)的番茄植株莖稈被誤分割為黑色背景像素，如圖7b中紅色矩形框內(nèi)所示。改進PCNN模型則可實現(xiàn)陰影區(qū)域內(nèi)番茄植株莖稈的正確分割，如圖7c中的紅色矩形框所示。

為檢驗本文改進PCNN模型的優(yōu)越性和有效性，對不同光照條件下采集的4幅圖像分別應用改進PCNN模型、Otsu算法、傳統(tǒng)PCNN模型進行分割性能對比試驗，圖像分割結(jié)果如圖8所示。

由圖8可知，Otsu算法無法實現(xiàn)陰影區(qū)域的正確分割；傳統(tǒng)PCNN模型對陰影區(qū)域的分割性能優(yōu)于Otsu算法，但分割不完整；改進PCNN模型可實現(xiàn)不同光照條件下番茄植株圖像分割，且對番茄植株莖稈的細節(jié)分割更完整，尤其是對于被陰影遮擋處的莖稈以及番茄植株莖稈的二級和三級分枝分割較好。

表4為圖8中4幅圖像分割結(jié)果對應的最大熵統(tǒng)計表。由表4可見，Otsu算法的圖像分割效果最差。傳統(tǒng)PCNN模型的圖像分割效果明顯優(yōu)于Otsu算法，但在圖像分割時需多次迭代得到最佳分割結(jié)果，耗時較長。相對于傳統(tǒng)PCNN模型，改進PCNN模型大大縮短運算時間。

圖7 基于固定閾值的黑色背景分割算法與改進PCNN模型的分割效果對比

圖8 圖像分割性能定性比較

表4 基于最大熵的圖像分割性能對比

2.2 基于分割正確率的圖像分割性能定量評價

為對改進PCNN圖像分割模型的有效性進行定量評價，基于分割正確率、假陰率及假陽率對圖像分割結(jié)果進行評價，并與Otsu算法及傳統(tǒng)PCNN模型進行對比分析。對不同光照條件下采集的849幅番茄植株夜間圖像進行對比試驗，試驗結(jié)果如表5所示。其中，假陰率為前景目標像素誤分割為背景像素的概率，假陽率為背景像素誤分割為前景目標像素的概率。由于本研究是為后續(xù)莖稈識別和定位提供圖像分割基礎，為驗證本文所提算法對番茄植株莖稈圖像分割的正確，表5為番茄植株圖像分割結(jié)果中莖稈的圖像分割結(jié)果。

表5 基于莖稈分割正確率的圖像分割性能對比

由表5可見，改進PCNN模型的正確率最高，假陰率最低。基于Otsu算法的PCNN網(wǎng)絡參數(shù)自適應調(diào)整方法不僅避免了繁瑣的參數(shù)手工調(diào)整過程，且確保了圖像分割的正確率。Otsu算法分割正確率最低是由夜間番茄植株圖像對應的色差灰度圖非理想的雙峰分布造成。

另外，改進PCNN模型的假陽率高于傳統(tǒng)PCNN模型和Otsu算法，可能是由于改進PCNN模型迭代次數(shù)減少，造成了部分像素欠分割。

為進一步分析本文算法對光照變化的適應能力，將改進PCNN模型對849幅圖像的試驗結(jié)果按光照條件進行歸類，如圖9所示。可見，改進PCNN模型對光照變化具有較好的適應能力。此外，由圖9可見，改進PCNN模型對圖像采集條件為28 W鹵素燈上下布局、圖像采集距離為45 cm時，圖像分割正確率最高，這為照明系統(tǒng)的設計及工作距離的確定提供了試驗依據(jù)。

2.3 圖像分割實時性評價

由表4、5可知，應用改進PCNN模型對849幅圖像進行分割，均在第2次迭代時獲得最佳圖像分割效果，每幅圖像的平均分割時間為0.994 4 s。比較而言，傳統(tǒng)PCNN模型達到最佳圖像分割效果的迭代次數(shù)約為6，平均每幅圖像分割時間為10.461 0 s。因此，與傳統(tǒng)PCNN模型相比，改進PCNN模型的實時性得到了顯著提升。與Otsu算法相比，改進PCNN模型的實時性稍差，主要原因是改進PCNN模型的運算量大于Otsu算法，且需進行兩次迭代。

圖9 在不同光照條件下基于改進PCNN模型的夜間番茄植株圖像分割正確率

3 結(jié)論

(1)對傳統(tǒng)PCNN模型的鏈接輸入項進行加權(quán)處理，可減小PCNN模型迭代的“跨度”，有助于提升PCNN模型的實時性。

(2)基于Otsu算法的改進PCNN模型可實現(xiàn)參數(shù)自適應設置，在避免手動設置參數(shù)的同時，確保較高的圖像分割正確率。

(3)基于Otsu算法的改進PCNN模型可實現(xiàn)番茄植株夜間圖像的有效分割。圖像分割正確率平均值為90.43%，優(yōu)于Otsu算法；每幅圖像平均分割時間為0.994 4 s，優(yōu)于傳統(tǒng)PCNN模型，略長于Otsu算法的分割時間。