基于深度殘差U型網絡的果園環境識別

商高高 朱 鵬 劉 剛

(江蘇大學汽車與交通工程學院 江蘇 鎮江212001)

0 引 言

《中國制造2025》對我國農業裝備提出新要求,需要不斷提高農業機械智能化和精準作業的能力[1]。園藝拖拉機是工作在果園、林園等環境的重要農機產品,實現園藝拖拉機智能化作業的一項基本任務就是對工作環境的識別。隨著科技的發展進步,環境識別的方法越來越多,例如采用激光雷達對周圍環境進行掃描識別,但是由于激光雷達成本過高,難以應用于農業產品,而采用普通相機作為傳感器,具有采集信息全面、價格低廉等優勢[2]。基于視覺的環境識別,主要根據所需要識別的目標,制定出相關算法,實現快速準確的識別。

在環境識別研究中,Radcliffe等[3]開發了一種基于機器視覺的桃園小型自主導航車輛,機器視覺系統以多光譜相機為基礎,用于捕獲實時圖像并且處理圖像獲得用于自主導航的行進軌跡線。Benson等[4]為農業收割機開發了機器視覺引導系統,引導算法將玉米與周圍的背景分開,對裁剪進行參數化設置,并計算引導信號。Lyu等[5]使用樸素貝葉斯分類來檢測果園果樹軀干和地面之間的邊界,并提出一種算法來確定果園道路的中心線,用于果園自主導航車輛的自動行駛。安秋[6]為了解決農業機器人在復雜的開放式非結構的農田環境下,提取出導航信息、光照變化使導航信息提取算法變得不穩定、陰影的存在嚴重干擾了圖像的處理與分析等問題進行了研究,提出了將顏色恒常性理論用于解決機器視覺導航中的光照問題。Zhao等[7]提出基于視覺的農用車輛制導系統,根據Hough變換提取制導參數的方法,設計了一種基于中心線檢測和侵蝕算法的路徑識別方法。

上述文獻的環境識別方法基本是為了解決在特定的環境下的識別問題,具有特定性。近年來,隨著深度學習的迅速發展,其在場景識別[8]和目標檢測[9]上表現出優異的性能,基于深度學習的環境識別算法具有強魯棒性、高精確度等優點。基于深度學習的環境識別研究中,Oliveira等[10]使用卷積神經網絡學習場景中的高階特征進行道路場景分割,通過在圖像數據集上的訓練,生成訓練標簽;然后使用基于顏色層融合的新紋理來獲取道路區域的最大一致性;最后將離線和在線信息結合起來對城市道路區域進行檢測。Badrinarayanan等[11]提出的用于道路場景理解的Segnet網絡,其網絡架構是基于編碼-解碼網絡,但是對道路邊界細節的分割仍有待改進。He等[12]使用空間金字塔池(ASPP)提取遙感圖像道路,利用結構相似性(SSIM)作為道路提取的損耗函數,可以刪除提取結果中的模糊預測,并改進提取道路的圖像質量。李云伍等[13]針對丘陵山區復雜的田間道路場景,構建了基于空洞卷積神經網絡的田間道路場景圖像語義分割模型。該模型包括前端模塊和上下文模塊,前端模塊為VGG-16融合空洞卷積的改進結構,上下文模塊為不同膨脹系數空洞卷積層的級聯,采用兩階段訓練方法進行訓練,模型對陰影干擾有良好的適應性。王毅等[14]采用YOLOV3卷積神經網絡提取果園道路圖像上的特征點,并通過最小二乘法擬合生成導航線,并在多種不同自然環境下進行試驗,導航線偏移偏差在3.5 cm左右。周繼苗等[15]在Mobile Net V2的基礎上提出了一種多層次特征融合的方法,使得網絡可以在實時運行的同時保證精度滿足實際應用的需求。

基于深度學習的環境識別算法在識別準確度上有較大提高,但是運用場景較為單一,而果園環境復雜多變,不同物體之間跨度較大,識別這些物體需要加深網絡深度,但是會產生梯度消失、參數增多、難以訓練等問題。因此本文將U型網絡作為網絡模型主體,發揮其參數少、識別精度高等優點,并在特征提取過程中加入殘差塊,加深網絡深度,提高物體邊緣信息的提取能力,最終構建基于深度殘差U型網絡的果園環境識別算法。對果園環境圖像實現像素級的語義分割,獲取果園環境中的各類信息,為后續園藝拖拉機的自主作業奠定基礎。

1 果園環境數據集建立

1.1 數據集獲取

根據園藝拖拉機在果園中的不同工作狀態(作業工況和運輸工況),可將果園環境分為作業環境和運輸環境,如圖1所示。作業環境的特點是園藝拖拉機工作在兩行果樹之間,環境變化較小,主要實施灑藥、采摘等工作;運輸環境特點是園藝拖拉機行走在非結構道路上,道路邊界不明顯且雜物較多。

(a) 運輸環境 (b) 作業環境圖1 果園環境劃分

實現果園環境的像素級分割,其首要一步是獲取真實的果園環境圖像,本文采用GoPro4高清攝像機作為果園環境采集工具,其像素分辨率為4 000×3 000。為提高網絡模型的魯棒性,適合多種環境特征,根據天氣和光線的變化,在多種條件下進行數據采集。采集的數據是以視頻的形式進行保存,需要截取視頻中的圖片,利用Python編寫腳本,按照30幀每秒的速度截取視頻中的圖片,為了降低計算機顯卡內存的消耗,將圖片像素調整為1 024×512,經過處理共獲得2 054幅果園環境圖像,并且將圖像按照對應序號進行排列。

1.2 數據集預處理

語義分割需要將獲取的圖像數據進行預處理,基于深度殘差U型網絡的果園環境識別屬于監督學習,在模型訓練時,需要輸入原始圖片和標注圖片,因此圖像需要進行人工標注。根據果園環境特征和園藝拖拉機自主作業需求,將果園環境中的對象分為4種類別,分別為:背景、可行駛道路、桃樹和雜物。本文采用語義分割標注工具labelme[16]對果園環境數據集進行人工標注,將不同的類別以不同的顏色標注出來,表1為果園環境類別標注信息。

表1 果園環境類別標注信息

為了解決訓練數據規模不足的問題,本文采用數據增強[17]的方法擴充果園環境數據集。使用Albumentations庫實現數據增強,該方法方便快捷且有效解決原始圖片和標注圖片增強方式不一致的問題。通過對圖像的翻轉、裁剪和縮放,將數據集擴充為原來的3倍。經過上述的處理后,將數據集進行劃分,采用隨機選取的方法將數據集按照7∶3的比例分為訓練集和測試集,共有4 313幅訓練圖片和1 849幅測試圖片,原始圖片和標注圖片的序號一一對應。

2 果園環境識別模型構建

近年來,隨著全卷積神經網絡(FCN)的應用,使得卷積神經網絡(CNN)在特征圖的基礎上生成任意大小的語義分割圖,能夠對圖像進行像素級分割[18]。基于此方法,后續衍生出諸多算法,例如深度分割網絡框架DeepLab系列[19-20]、使用金字塔池化模塊的場景解析網絡PSPNet[21]以及用于醫學圖像分割的U-Net網絡[22]等。

U-Net網絡在具有少樣本的條件下,依然能取得較好的模型分割準確率,而且首次利用跳躍連接(skip connection)將編碼特征加入到解碼特征中,創建一條信息傳播路徑,從而允許信號以更容易的方式在低級和高級特征之間傳播,這不僅有利于訓練過程中的向后傳播,還可以提高模型分割準確率。但是網絡對于獲取上下文信息的能力不足,特別是對復雜、類別尺度差異較大的場景數據表現不足,例如本文的桃園環境,類別的差異尺度較大。如何提高U-Net網絡對圖片樣本上下文信息的獲取,其中一個辦法就是進行多尺度融合,增加網絡的深度,使其對圖片特征的表達更加準確,但是隨著網絡深度的增加,模型識別精度在達到飽和后會迅速下降,識別誤差增大,根據這個問題,He等[23]提出深度殘差網絡,利用恒等映射(Identity Mapping)獲取更多的上下文信息,誤差不會隨著網絡深度的增加而增加,解決了訓練退化的問題。

2.1 殘差網絡

殘差網絡由一系列堆疊的殘差單元組成。每個殘差單元可以用一般形式表示:

yi=F(xi,wi)+h(xi)

(1)

xi+1=f(yi)

(2)

式中:xi表示第i層殘差單元的輸入;xi+1表示第i層殘差單元的輸出;wi表示第i層殘差單元的網絡參數;F(·)表示殘差函數;h(·)表示恒等映射函數;f(·)表示激活函數。

殘差神經網絡單元由兩部分組成,即恒等映射部分和殘差部分。恒等映射主要將輸入與經過殘差處理的輸出進行維度上的統一,方便后續特征信息融合;殘差部分一般由多個卷積神經網絡、歸一化層和激活函數組成。通過兩部分的相加實現信息交互,彌補殘差部分底層特征提取能力的不足。圖2顯示了普通神經網絡單元與殘差神經網絡單元的差異,圖2(a)為普通神經網絡單元結構;圖2(b)為殘差神經網絡單元結構。

(a) 普通神經網絡單元 (b) 殘差神經網絡單元圖2 普通神經網絡單元與殘差神經網絡單元的差異

2.2 深度殘差U型網絡模型的構建

根據深度殘差網絡和U-NET網絡的特點,本文提出深度殘差U型網絡模型(ResUnet),引入殘差層加深U-NET網絡結構,避免訓練時間過長、訓練參數過多以及過擬合現象的發生。在語義分割中,要獲得更好的結果,使用低級細節信息非常重要,同時還需要保留高級語義信息,而深度殘差U型網絡模型能夠很好地保留這兩者的信息。深度殘差U型網絡模型具體有兩方面的好處:(1) 對于復雜的環境識別,加入殘差單元將會有助于網絡的訓練,提高識別精度;(2) 網絡低層次信息和高層次信息的長連接以及殘差單元的跳躍連接將有利于信息的傳播,參數更新分布更均勻,網絡模型能發揮更好的性能。

本文中,將深度殘差U型網絡模型的9級架構應用于桃園環境中目標的識別,本網絡由三部分組成:編碼層、瓶頸層和解碼層。第一部分編碼層是提取圖像中的特征,形成一幅特征圖(Feature Map);第二部分瓶頸層是連接編碼層和解碼層,相當于橋梁,獲取圖像中的低頻信息;第三部分解碼層是將特征圖恢復為像素級分類,即語義分割。在編碼層和瓶頸層加入殘差單元,以獲取上下文信息,網絡中的卷積模塊都包含一個卷積層、批量歸一化層(BN)和激活函數(ReLU)。采用批量歸一化層可以使數據在激活函數之前不會因為數據過大而導致網絡性能的不穩定,有效解決梯度消失或梯度爆炸問題[24]。采用ReLU激活函數能有效減小計算量,增加神經網絡各層之間的非線性關系[25]。恒等映射連接單元的輸入與輸出,由于輸入圖像在卷積時維度發生變化,所以在進行恒等映射時,輸入圖像也需要相應的改變維度,本文采用尺寸為1×1,步長為1的卷積核和批量歸一化層作為恒等映射函數。

編碼層中具有四個殘差單元,每個單元中殘差函數和恒等映射函數相加之后通過ReLU函數激活,然后通過最大池化層(Maxpool)將特征圖尺寸縮小一半,最大池化層能有效減少參數,控制過擬合,提高模型性能,節約計算內存[26]。相應的在解碼層包括4個基本單元,利用雙線性插值上采樣(BilinearUpsampling)和卷積模塊進行解碼,該方法相較于反卷積方法,在工程上更容易實現,不會涉及過多超參數的設置[27]。同時通過跳躍連接將編碼層中的特征信息與解碼層中的特征信息進行融合,充分利用語義信息,提高識別準確率。在最后一層解碼層之后,使用1×1的卷積和softmax激活函數實現果園環境的多分類識別。本文中的網絡模型共有25個卷積層和4個最大池化層,網絡模型的結構圖如圖3所示。

圖3 深度殘差U型網絡模型結構

2.3 損失函數

分割網絡訓練時,將需要訓練的圖像經過分割網絡得到分割圖像S(Xn),S(·)為分割網絡模型,Xn為輸入圖像。分割圖像S(Xn)與相對應的標簽圖Yn相比較,通過損失函數最小化使得輸入圖像通過分割網絡得到的分割圖像接近于原始標簽圖,保證分割網絡能夠產生精確的預測且具有較好的魯棒性。本文中將采用標準交叉熵損失函數(Cross-Entropy Loss)作為損失函數,交叉熵損失函數的作用為檢測兩個分布,即分割圖像S(Xn)和標簽圖Yn之間的區別,并且對于最后一層權重的梯度不再跟激活函數的導數相關,權重矩陣的更新會加快,收斂也更快[28]。交叉熵損失函數的表達式為:

(3)

式中:Lce表示交叉熵損失函數;Yn表示標簽圖(Ground Truth,GT);Xn表示輸入圖像;S(·)表示分割圖像;h、w、c表示圖像的高度、寬度和通道數。

3 果園環境識別實驗

3.1 實驗實施細節

根據上文所提出的深度殘差U型網絡模型,使用深度學習框架PyTorch搭建果園環境識別分割模型。訓練圖像共有4 313幅,尺寸為1 024×512,這些訓練圖像是從原始數據集中隨機選取,且在訓練時打亂順序,隨機訓練。實驗的硬件環境為英特爾酷睿I7 9700K 8核處理器,顯卡采用GeForce RTX 2070,顯存容量為8 GB。

模型在訓練過程中,根據損失函數最小化原則,不斷動態調整網絡模型參數,隨著訓練的深入,模型容易陷入局部最小值問題,為了解決這個問題,本文采用均方根反向傳播優化算法(RMSProp)[29]。一般的隨機梯度下降算法(SGD)對于模型的每一個參數都是用相同的學習率進行更新,而均方根反向傳播優化算法則是引入衰減系數,對不同的參數采用動態調整的學習率,讓目標函數更快地收斂,加快訓練速度。均方根反向傳播優化算法中的初始學習率設置為0.4,權重衰減系數為10-8。訓練時,數據加載的批量大小為8,迭代次數為300,每次迭代記錄損失函數數值。

3.2 評價指標

如何評價網絡模型的好壞,需要評價標準來評判。語義分割的評價標準主要有三個,分別為執行時間、內存占用比和準確度。其中準確度是將人工標注圖作為基本標準,將分割網絡的預測圖與之比較,通過計算預測圖與真實標注圖的像素誤差進行評判。

假定一共有k+1類(k個目標類別和1個背景類),pij表示本屬于i類卻預測為j類的像素點總數。具體地,pii表示正確預測,pij和pji都表示錯誤預測。一般的評價指標有以下幾種:

(1) 像素準確率(Pixel Accuracy,PA)。計算分類正確的像素點數和所有的像素點數的比例,公式為:

(4)

(2) 平均像素準確率(Mean Pixel Accuracy,MPA)。計算每一類分類正確的像素點數和該類的所有像素點數的比例然后求平均,公式為:

(5)

(6)

在以上的標準中,運用最多的是平均交并比,由于最具代表性,且簡單易行,許多競賽以及研究者使用該指標來報告其結果[30],本文采用像素準確率和平均交并比作為不同類別分割和整體網絡模型的評價指標。

3.3 實驗結果與分析

深度殘差U型網絡模型訓練時,每迭代5次保存一次模型,在所有模型中選取平均交并比最高的模型作為測試模型。為了驗證所提出的網絡模型的優越性,將其和全卷積神經網絡模型,U型網絡模型進行比較。圖4至圖6為3種網絡模型每次迭代訓練的損失值和平均交并比,表2為類別分割最高像素準確率和最高平均交并比。

圖4 全卷積神經網絡迭代損失和平均交并比

圖5 U型網絡迭代損失和平均交并比

圖6 深度殘差U型網絡迭代損失和平均交并比

表2 不同網絡模型語義分割結果(%)

從圖4至圖6可以發現,三種網絡在經過一定次數的迭代訓練后損失值減小,平均交并比提高,這說明三種網絡模型都是可實現語義分割,沒有出現訓練時梯度消失或爆炸。從訓練效果來看,全卷積神經網絡出現浮動幅度較大且頻率較高,大約在迭代100次之后,損失值和平均交并比趨于穩定,但浮動區間較大。全卷積神經網絡舍棄全連接層,采用反卷積實現語義分割,在識別果園這種復雜環境下,網絡參數較多,對圖像中的細節不敏感,結果模糊,訓練時間長。圖5的U型網絡訓練效果較全卷積神經網絡有明顯改善,在迭代60次左右,網絡趨于穩定,U型網絡中采用上采樣的方式將特征圖進行映射,大大減小網絡參數;但前期訓練過程中仍有波動,這是由于網絡深度不足,在訓練時對于圖像中不同類別的邊界區分能力不足。圖6的深度殘差U型網絡訓練效果明顯優于前兩種網絡,在訓練前期無明顯波動,在迭代40次左右之后,損失值和平均交并比變化較小,整體訓練時間短且穩定。深度殘差U型網絡采用U型網絡結構,但在編碼層中加入殘差塊,融合圖像前后特征信息,更好地處理圖像邊界信息,在解碼層加入跳躍連接,增加約束條件,減小網絡參數。三種網絡中,深度殘差U型網絡的損失值最低,平均交并比最高,訓練效果最好。

從表2可知,在果園環境的類別分割中,三種語義分割網絡模型對背景和可行駛道路的像素識別準確率較高,而對于果樹和雜物的識別準確率都有所下降。本文提出的深度殘差U型網絡的平均交并比為83.3%,高于前兩種網絡模型,在果園環境識別中取得較好效果。

圖7是三種網絡模型在測試數據集中隨機選取的語義分割預測效果圖。全卷積神經網絡模型生成的分割圖相比其他兩種網絡模型存在以下不足:一是分割類別中有部分區域丟失,對于小物體,如細小的樹枝不能識別;二是對于大面積區域的分割,邊界細節信息處理能力不足,如圖中可行駛道路邊界分割不夠清晰。產生這樣的結果是由于全卷積神經網絡模型在解碼過程中使用反卷積,該方法雖然簡單易行,但是會造成暴力池化,分割圖像模糊,對圖像中類別的邊界細節不敏感,缺乏空間一致性。U型網絡模型生成的分割圖相比于全卷積神經網絡模型,平均交并比有所提高,分割效果圖更好。但是對于類別相交叉重疊部分,分割出的類別特征差異不明顯,重疊部分的邊界較粗糙,容易丟失交叉覆蓋區域,例如果樹與雜物交叉部分的細節信息。對于果園這種復雜環境,每種類別的差異較大,U型網絡由于深度不足,每種類別的細節信息不能充分利用,在訓練過程中產生過擬合。基于深度殘差U型網絡的果園環境識別模型,在分割結果圖中可以看出,在大區域和小區域類別分割中,類別的邊界信息都能更好體現,尤其是在每種類別的相交處和細小的樹枝部分,邊界細節的分割更優,整體的識別準確率比前兩個分割網絡模型更高。在保留U型網絡模型基本結構的同時,加深網絡深度,除了跳躍連接,發揮殘差網絡短連接的優勢,將不同層次的語義特征信息進行融合,提高網絡模型對不同類別邊界細節信息的處理。

(a) 采集圖 (b) 標注圖 (c) 全神經網絡分割圖 (d) U型網絡分割圖 (e) 深度殘差U型網絡分割圖圖7 不同網絡模型語義分割預測圖

綜上所述,本文提出的基于深度殘差U型網絡模型能有效地提高果園環境識別精度。對于復雜的果園環境,不同的類別能準確分割;對于天氣光線的變化,分割模型能表現出較好的魯棒性。因此,本文提出的深度殘差U型網絡模型能夠作為果園環境識別的語義分割模型。

4 結 語

基于視覺的果園環境的識別,通過對果園環境信息的采集,構建深度殘差U型網絡,實現對果園環境的識別。本文主要工作包括以下幾點:

(1) 通過對桃園環境的數據采集,制作語義分割數據集,并利用數據增強技術,擴大數據量,為分割模型提供必備的數據集;

(2) 分析殘差網絡和U型網絡的特點,結合實際果園環境識別需求,構建深度殘差U型網絡分割模型;

(3) 將全卷積神經網絡、U型網絡和深度殘差U型網絡進行對比實驗,從實驗結果可知深度殘差U型網絡分割準確率優于其他兩種網絡。

基于深度殘差U型網絡的語義分割模型在實際果園環境識別中表現出較高的識別準確度和較強的魯棒性,能夠為園藝拖拉機在果園中的自主作業提供環境感知。同時該方法也存在不足,例如:制作數據集中,需要大量標注,耗時耗力;在訓練過程中,消耗較多的顯卡內存;預測分割圖的后處理優化不足等。下一步工作將圍繞這些不足展開,進一步提高模型識別精度。