基于FCN的無人機玉米遙感圖像壟中心線提取

趙 靜，曹佃龍，蘭玉彬，潘方江， 溫昱婷，楊東建，魯力群

（1. 山東理工大學農業工程與食品科學學院，淄博 255000； 2. 山東理工大學交通與車輛工程學院，淄博 255000； 3. 山東理工大學國家精準農業航空施藥技術國際聯合研究中心，淄博 255000）

0 引言

遙感技術在農業領域的應用越來越廣泛，利用無人機遙感圖像進行農田現狀精準化制圖，輔助農業機械自動導航具有重要的應用價值[1]。農田壟中心線對于農業機器人的導航十分重要，也是當前基于機器視覺的田間導航需要解決的關鍵問題[2-3]。為減少對作物的傷害，田間機器人需要行駛在行間，通過一份田壟中心線柵格圖可以自動進行全局路徑規劃，提高作業效率。

目前田間機器視覺導航多先通過斜向照片提取到行中心點相關特征點，再通過直線或曲線擬合的方式提取作物田壟中心線或行中心線，然后生成導航參數輔助導航作業，研究者如姜國權等[4]利用窗口移動法獲取中心水平線上作物的定位點，再通過隨機方法獲得作物行線；袁佐云等[5]通過穩健回歸法對位置點進行線性擬合提取作物行；馬紅霞等[6-8]通過Hough變換提取行線；Zhang等[9]用大津法與粒子群優化技術相結合，實現雜草與農作物分離，確定特征點集后用最小二乘線性回歸法得到了作物中心線。

斜向照片對于壟中心線的提取存在視野范圍小、無法對整塊田地進行全局路徑規劃的問題，部分學者利用無人機遙感圖像提取種植壟或者種植行信息，蘇偉等[10]基于無人機影像超綠特征，利用影像分割投影法提取玉米壟線的中心點，再使用Hough變換提取壟數。de Souza等[11]通過使用歸一化植被指數（Normalized Difference Vegetation Index，NDVI）和像素最小/最大濾波算法增強無人機遙感影像作物行和行間的差異，分割裸地和作物，最終提取了甘蔗田的種植行線地圖；Osco等[12]基于卷積神經網絡（Convolutional Neural Networks，CNN）使用一種雙分支結構，同時對玉米和柑橘的無人機遙感圖像進行植物計數和種植行中心線的提取；Pang等[13]使用基于區域的卷積神經網絡（Region-CNN，RCNN）有效地提取了玉米行種植位置區域，通過無人機影像進行出苗率檢測。

目前利用無人機遙感圖像對田間作物線信息提取的研究多數是作物種植行中心線提取。作物種植行的中心線提取，便于統計種植和檢測苗木生長，通過這些信息可以用來評估作物的產量，對農場管理有一定意義[14]。相對于提取壟中心線，由于作物多數為中心向四周擴散，種植行中心線更易通過特征提取的方式獲得。如Miyoshi等[15]使用改進置信圖的多級模組來獲取目標中心，使用置信圖方式利用了植物中心到四周葉子分布均勻的特征，在密度圖中，值越高代表越靠近中心和，而壟中心線不存在這種壟中心向四周分布的特征。

目前對于可用于導航的無人機遙感圖像壟中心線提取研究較少，更多的研究為用于農田管理的行中心線提取服務。當前的衛星定位系統精度越來越高，完整詳細的壟中心線柵格地圖可以作為田間自動行駛的后臺柵格地圖，輔助前向的機器視覺導航，在自動作業時既能通過地圖進行全局路徑規劃，又能在探測到障礙時輔助進行局部路徑導航。農機全局路徑規劃算法中的柵格法，具有直觀、安全系數高的優點[16]。田間導航柵格的制作需要確定壟中心線的位置，傳統研究中壟中心線提取方法多使用直線提取算法，而Hough變換等方法可對直線或已知形狀曲線進行擬合，對連續彎曲的航線識別效果不佳，且傳統圖像處理算法對復雜變化的田間環境魯棒性不強，例如葉片遮擋和雜草干擾。深度學習語義分割網絡作為一種強大的圖像處理方法，近幾年在農業領域這種比較復雜的環境中有著較好應用效果[17]。語義分割網絡在農業中主要用于目標提取與分割，圖像源可分為無人機圖像和對地面拍攝圖像。張瑞瑞等[18]通過使用U-Net網絡對無人機影像中的松材線蟲導致的松材變色木進行提取；Zhang等[19]提出了一種結合遷移學習和Deeplab V3+網絡方法對小麥不同生長階段無人機影像中倒伏區域進行了提取。楊蜀秦等[20]為將農田進行精細化管理，對無人機遙感影像基于DeepLab V3模型進行了準確的作物分類；韓振浩等[21]使用U-net語義分割模型對地面拍攝的果園行間影像進行了道路分割，對分割后的區域使用樣條曲線擬合原理完成了導航路徑的識別。目前在遙感圖像道路提取研究領域，有大量的研究使用深度學習語義分割網絡進行處理，如Zhou等[22]對無人機圖像中的道路使用一種基于全局上下文的擴張卷積神經網絡進行了語義分割，提取了道路。Lan等[23]提出了一個由兩個編碼器到解碼器網絡構成的體系結構對道路進行了分割提取。

全卷積神經網絡（Fully Convolutional Networks, FCN）是Long等[24]在2014年提出的圖像分割算法，是深度學習應用在圖像分割的開創性作品。FCN是一種端到端的圖像語義分割方法，讓每個像素通過神經網絡做像素級別的預測直接得出真值圖[25]。FCN網絡中所有層都是卷積層，且通過跳躍結構融合了不同尺寸層的特征并最后通過上采樣還原成像素級的預測。語義分割網絡多用于復雜背景區域分割問題[26]，通過將全部像素點按語義進行分類可將圖像分為不同區域。已有文獻中對作物之間壟區域的提取是以作物和土壤作為邊界進行提取，再通過算法得到壟中心線。為更好地提取中心線可將作物壟線區域看作壟中心線周圍具有一定寬度的區域，此區域并不具有明顯的邊界。作物壟區域也屬于一種可進行語義分割的區域，針對行間壟區域的語義分割問題研究未見報道。

該研究基于農田玉米無人機遙感可見光正射影像，利用全卷積神經網絡，對整塊田地進行處理，以期得到整片田地的壟中心線區域。對壟中心線區域分布圖進行處理提取出中心線分布圖，為農業機器人在無人農場的路徑規劃提供技術參考。

1 材料和方法

1.1 玉米田塊無人機遙感影像獲取

無人機遙感數據采集試驗于2020年7月20日（玉米喇叭口期）在山東省淄博市臨淄區禾豐種業試驗田（118°12'48″N, 36°57'14″E）進行，總面積約12 hm2。淄博市屬半濕潤半干旱的大陸性氣候，年平均氣溫12.3～13.1 ℃。試驗采用大疆精靈4RTK無人機，最大飛行速度16 m/s，最大飛行時間30 min，搭載相機型號為DJI FC6310R，采用25.4 mm CMOS傳感器，數據格式為.jpg的單通道可見光圖像，分辨率為5 472×3 684像素。試驗時天氣狀況良好，晴朗無風，拍攝時間為12:00左右，溫度32 ℃，濕度43%，光照強度140 000 lx。大疆精靈4RTK無人機帶有RTK定位設備，可自動獲取高精度無人機POS信息（拍照瞬間的位置參數、姿態參數）。無人機飛行高度為70 m，飛行速度為6 m/s，旁向重疊為70%，航向重疊為80%。飛行覆蓋區域為整個試驗田，拍攝總數212張。使用無人機航拍影像拼接軟件Pix4Dmapper拼接，獲得試驗田的正射影像（圖1）。

玉米品種為金陽光六號，播種采用機器播種，壟寬60 mm，株距30 mm種植100行，玉米生育期為喇叭口期，此時玉米植株有11～12片葉子，但葉片未完全將地面覆蓋，尚未封壟，玉米種植行之間的玉米葉片只有少數葉尖發生交叉。

1.2 FCN網絡訓練數據集制作

壟中心線為兩行物行之間的中心線，為了方便對壟中心線進行提取，定義壟區域（Ridge Area, R-area）為長度為d像素的線段垂直于壟中心線移動掃掠得到寬度為d的區域。如圖2中橙色區域。

1.2.1 玉米田塊無人機遙感圖像壟中心線數據標注

由于遙感圖像較大，進行深度學習語義分割網絡訓練需要進行切塊，常規進行數據集制作需要先切塊再對需要進行語義分割的區域進行標注，但先切塊再標注時只能觀察到窗口區域內的作物壟走向，且對于連續缺苗不易進行判斷，造成標注錯誤，不能獲得正確結果。為此該研究數據集制作時采用先在原圖進行標注處理，再切分的方法。

為方便模型對壟線區域分割進行學習，先對圖1中的全部區域使用折線段進行標注。

壟中心線用折線段表示，壟的起點為S，終點為E，中間點為A，壟中心線總數量為N，則壟中心線L表示為

式中z代表從左往右的其中一壟，k代表每個中心線的折線端點從上到下計數。在進行標注時對以下四種情況定義標注規則：

1）玉米播種和出苗較為規整的情況下，如圖3a，選擇玉米苗生長朝向垂直于行線方向的葉子最外點，因此時玉米葉子剛有接觸，可通過此條件選擇壟中心線L的中間點A，如圖中紅點。

2）在行走向歪斜的情況下，如圖3b，按照實際走向選用符合條件的葉尖點進行轉折，因拖拉機行走歪斜導致壟寬變大處的折線點按照不偏移圖像進行標注，如圖3b左數第三根。

3）對于缺苗行，按照原有正常出苗進行標注，選用一側的葉間點進行標注，如圖3c左數第四、五根標注線。苗過小沒有葉尖相交時，按照兩行苗中心連線的中點進行標注。

4）對于多苗行圖3d，在行中間連續有作物時不進行標注，行中存在單獨苗時，可繼續進行標注不設斷點。

利用Arcgis標注得到了人工標注圖（圖3），圖中線元素為矢量元素，要用于語義分割模型進行訓練需要進一步處理，生成可用于訓練的帶有語義信息的真值圖。

先將人工標注圖中的線元素L按照拼接后的原圖像大小進行柵格化，使用柵格化函數R對L進行操作，得到柵格化的壟中心線I。

柵格化后的I中，原有線元素被轉化為一系列相鄰像元，柵格化后的人工標注線寬為1像素，像素值為255，其余像素值為0。此線位置為理論中心線位置，考慮到無人機圖像獲取精度，允許線的區域位置存在誤差偏移，所以使用式（3）[27]中的卷積規則對圖像進行卷積，H代表最終卷積完成的結果函數，可通過坐標(x,y)獲取某一像素的取值，G是二維高斯函數，卷積核大小選擇為ksize×ksize，式（4）中常數σ為1。設定壟區域左右偏差最大范圍為77 mm，超出此區域被認為偏離壟中心線，灰度值為0，試驗區原圖的像元大小為9.05 mm/像素，得出ksize的大小為17。

式中(m,n)代表高斯矩陣位置坐標。

指定閾值為T，將得到的壟線概率分布圖上的像素取值H(x,y)通過灰度值進行閾值分割，由式（5）得到用于語義分割網絡訓練的標簽圖的像素取值M(x,y)，灰度值為1的區域代表可能存在壟中心線的位置。

1.2.2 無人機原圖像和標簽圖切塊

將原圖像分為訓練集和測試集，訓練集和測試集劃分比例為3:1，訓練集和測試集田塊劃分方式如圖4。

使用滑動窗口法[28]進行訓練集切割，窗口大小224×224像素，將訓練集域按照等步長112像素進行切塊，將測試集按照等步長224像素進行切塊，經過數據清選刪除空白區域，最終得到訓練集5 100張，測試集807張。

1.3 壟區域提取模型網絡結構配置

該研究使用FCN網絡對玉米田地遙感影像切塊進行預測，編碼端通過卷積神經網絡學習壟線區域的位置和周圍植被分布的規則，解碼端將帶有位置不變性的熱力圖進行上采樣還原，得到最后壟線區域的語義分割圖。該研究采用的FCN網絡，前部分使用VGG16網絡并將全連接層替換為1×1卷積層，在進行反卷積時，采用了FCN-8s結構，此結構比FCN-16s和FCN-32s有更好的效果[24]。

1.4 測試田塊圖像拼接與壟中心線提取

將測試田塊按照224×224像素窗口大小，112像素步長進行切塊，得到圖像1 614張，使用訓練好的模型對圖像進行預測，將預測好的圖像按切塊窗口原位置放回，重疊區域的結果進行覆蓋保留。由于玉米種植方向基本一致，傾斜角度不大，按照此結構特點，使用影像分割投影法[10]對得到的行間壟區域圖像求中心點。設測試田塊原圖寬度為Ws，高度為Hs，該研究目的是得到一份壟中心線柵格圖，切條高度選取為h，切條寬度和原圖寬度Ws相同，此時得到的每條壟線的中心點個數為Hs-h個。

式中i=1, 2, 3, ...,h，j=1, 2, 3, ...,Ws，其中g(i,j)代表在切條中點(i,j)的像素值，其中s(j)為j處h個像素向下投影后得到的灰度值之和，ms為j處s(j)的平均值。對每個切條使用判定規則：當s(j)m>s(j+1)時為壟線區域右邊界，將所有得到的j進行排序，如果j為左邊界，j+1屬于右邊界，且為進行濾波，過濾噪聲點，當滿足式（7）時，標記為中心點。

1.5 模型訓練和中心線提取精度評價

1.5.1 FCN模型訓練

用于FCN模型訓練的電腦參數：Intel(R) Core(TM) i7-7700HQ CPU @2.80GHz，16 GB內存，2T硬盤，NVDIA GeForce GTX1070顯卡，8 GB顯存。FCN模型訓練使用Tensorflow 2.2.0，選用Adam優化器，損失函數使用交叉熵函數，訓練80次，批（batch）大小16，學習率0.000 1，ksize選為17，閾值T選為5。

1.5.2 中心線提取精度評價

壟區域以長度為d的直線掃掠后，得到壟區域寬度為d的標簽圖，壟區域寬度d的大小對模型訓練結果影響巨大，為探究壟區域寬度d對試驗提取結果的影響，設計了試驗，選用不同的分割灰度值閾值0、1、3、6、12、20按照相同的方法制作訓練集和測試集，并選用同樣的訓練參數進行模型訓練，在預測后進行拼接，分別得到6張壟區域預測圖和對應的標簽圖，對應的標簽中的壟區域寬度d分別為17、15、13、11、9、7像素。

對測試田塊的6張預測圖和標簽圖分別計算混淆矩陣[29]，評價模型對壟區域的分類預測結果，其中壟區域為正值，非壟區域為負值，并計算準確率（Ac）、精確率（P）、召回率（R）和調和平均值（F1）作為精度評價指標，準確率為正確預測壟線的數量與樣本總像素點個數的比值，總像素點個數為真正例（TP）、真負例（TN）、假正例（FP）、假負例（FN）的總和，精確率為真正例占所有預測正例樣本之比，召回率表示預測正例與正例樣本總數之比，F1值為精確率與召回率的調和平均值。

中心線提取是通過模型預測圖片后按照原窗口放回后的結果再計算得到的，模型訓練精度不代表最終中心線提取精度，為探究不同壟區域寬度d對最終中心線提取精度的影響，對選用不同壟區域寬度d得到的6張測試田塊的壟區域預測圖提取中心線，計算中心線像素在sizek取不同值時得到的壟線概率分布圖中非零區域的像素個數和中心線像素個數的比值，作為中心線在不同左右偏差范圍內的像素準確率，即通過不同的壟區域寬度d標簽圖得到的中心線，在不同左右偏差范圍的準確率，代表中心線靠近人工標注真值的程度。

2 結果與分析

2.1 FCN模型訓練結果

圖5為FCN模型每次迭代時在測試集和訓練集上的模型預測精度和損失值。由圖5可知，隨著訓練迭代次數的增加，模型的精度數值逐漸收斂，模型在訓練集和測試集模型預測精度分別為99.01%、97.19%，訓練集和測試集模型預測損失值分別為0.02、0.202。測試集像素點中預測是壟區域實際為壟區域的個數為3 086 504個，實際為非壟區域的是571 602個；測試集像素點中預測是非壟區域，實際是非壟區域為23 308 704個，實際是壟區域為2 536 678個，準確率Ac為98%，精確率P為84%，召回率R為54%，F1值為66%。說明在選用閾值T為5時模型可以被正確訓練。

2.2 壟區域預測精度評價結果

該研究選取不同壟區域寬度進行試驗，統計測試田塊預測圖像和標簽圖像，得出表1中混淆矩陣值，通過式（8）～（11）計算了評價指標值。由表1得出該壟區域提取方法在測試田塊上選用不同壟區域寬度進行模型訓練時，評價指標存在變化差異，各指標達不同范圍，精確率可達66.1%～83.4%，召回率可達51.1%～73.9%，F1值可達57.6%～78.4%。可以看出隨著壟區域寬度d變小，預測準確率上升，但精確率、召回率和F1值都有下降。

表1 不同壟區域寬度得到的測試田塊混淆矩陣值和評價指標值 Table 1 Confusion matrix value and evaluation index value of test field obtained from different Ridge area (R-area) width

2.3 測試田塊壟中心線提取及精度評價結果

測試田高度Hs為19 342像素，切條高度選為3像素，得到了19 339個切條，對每個切條求中心點，并將結果按切條順序排列，得到高度為19 339像素，寬度為Ws的中心點分布圖像。由于得到的壟區域較為平滑，相鄰切條得到的中心點像素左右偏差很小，多數中心點緊密相鄰，連接成線，每條壟的中心點的取值數量為原圖高度Hs減去切條高度h，并減去式（7）中過濾的點，最終結果為19 339個左右，若中心點的取值數量減少，則不可以直接形成柵格圖中的連線，還需算法對每壟再計算。通過該方法求得的中心線直接為當前分辨率下的柵格地圖，可直接用于機器人的田間導航。

表2是通過試驗對比不同壟區域寬度進行訓練對中心線提取的影響得出的，由像素寬度按照圖片像元大小可計算實際的偏差范圍，試驗分別選取7、9、11、13、17像素寬度，得出實際左右偏差范圍分別為31.5、40.5、49.5、58.5、67.5、77 mm。

從表2可以看出，隨著壟區域寬度d減小，提取到的壟中心線準確率在各個偏差范圍內有先增大再減小的趨勢，在訓練標簽圖壟區域寬度d選取為9像素時，在77 mm左右偏差范圍內可達到91.2%，在最小左右偏差范圍31.5 mm內也可以達到61.5%。

通過表1和表2的結果可知，當壟區域寬度d取值過小時，容易造成模型對玉米行間信息學習的不充分，使模型的學習效果變差，最后導致中心線提取效果不佳。當壟區域寬度d取值過大時，模型可學習到更多特征，模型訓練效果較好，但中心線提取精度不高，所以模型訓練及中心線提取的關鍵是選擇合適的壟區域寬度。

表2 不同壟區域寬度得到中心線不同偏差范圍下的準確率 Table 2 Accuracy of the centerline obtained by the width of different ridge areas under different error intervals

2.4 測試田塊提取效果分析

圖6為最終提取效果圖像，為清楚觀察提取結果，選取了部分測試田塊的原正射影像圖、標簽圖、預測中心線圖、預測壟區域圖，通過圖片可得出，該研究方法最后可得到一張和原圖相同像素尺寸大小的中心線分布圖，壟區域和其提取的中心線較為平滑。

通過圖7可看出模型對圖3中所示的四種特殊情況在測試田塊上都進行了有效的學習，具有較好的泛化能力。通過圖7b可以看出該方法對于缺壟現象可以按照標注時的規則進行學習，能將缺行的兩側也進行正確的預測；通過7c可以看出該方法對于歪斜行按照標注規則，在歪斜的兩行中間按照不歪斜的進行預測；通過圖7d可以看出該方法在遇到單棵多苗現象時可以按照正常標注進行預測，不會有斷點；通過圖7e和圖7d可看出式（7）提出的濾波算式對求壟中心線時拼接邊界產生的誤差有很好的過濾效果，可以過濾掉拼接圖像時產生的毛刺。

3 討 論

傳統的基于Hough變換的作物行提取方法大多使用閾值分割后的二值圖，對特征點進行提取[30-33]，通過直線提取算法對特征點進行擬合，得到最后的作物行線或壟線，其中多使用過綠特征對圖像進行二值化，結合大津法對作物和背景進行分割[34-36]。該研究對部分遙感影像使用過綠特征進行二值化，對二值化后的圖使用影像分割投影法，求得中心點，再使用Hough直線提取，以對比傳統方法和該研究方法，形成了對原圖中四個區域的識別結果（圖8），由圖8a可知，傳統方法對作物壟的提取，在長勢比較均勻，行線比較規整的情況下，有著十分不錯的提取效果，每行都可以被正確的提取出來；如圖8b，當作物種植處缺苗時，會導致Hough直線提取時曲線重合點的閾值確定困難，苗少的區域會提取不到結果，使用該研究方法得到的壟線，在缺苗處也有很好的提取效果；如圖8c，在作物種植時，由于拖拉機控制誤差等會出現行線彎曲的情況，此時使用傳統的直線提取就會出現行提取失敗問題，使用該研究方法得到壟線可以擬合作物種植過程中的彎曲壟線；如圖8d，作物種植過程中由于機械故障會出現缺苗的情況，傳統方法會將缺苗部分的兩個壟線合為一個，該研究在人工標注時會將此種情況認為兩壟，模型學習后可以對此情況進行正確預測；玉米種植初期田間隨著玉米出苗，生長了大量低矮雜草，圖8d中作物行間含有大量雜草，土地大片呈綠色，如果使用傳統方法，對這兩張圖進行二值化分割，會因雜草干擾而影響二值化分割效果。對比傳統方法和該研究提出的基于深度學習的語義分割方法的提取效果，基于深度學習語義分割的方法，對各種情況具有更好的適用性和魯棒性，減少使用傳統方法的人工調參工作，提取到的行線更符合實際。

通過訓練結果損失值可以看出，在測試集上的損失值隨著訓練次數增加有提高的趨勢，分析發現造成這一現象的原因是數據集中由于人工標注誤差而產生的噪聲，標注時人眼通過目視解譯對壟中心線的位置進行標注，導致標注時容易形成誤差，如圖9a中的第三根線標注的比較靠左，但是隨著訓練進行，模型學習到了正確的規則，計算出的區域在人工標注紅線的右側；該研究模型訓練和最終于圖像拼接采用的是滑動窗口法，但是在將圖片放回原位置時，由于圖像的大小固定，在壟線邊界位置預測有誤差，造成不同圖像拼接后壟線錯位的現象，如圖9b所示，第二根線中部存在著明顯的拼接痕跡，此錯位現象的存在使得計算中心線時，像素點不能很好的緊密相連，存在著跳動。如圖9c中第三根線，真值是連續的直線，但是由于切塊窗口尺寸問題，看不到此條直線的上下部分，所以模型僅通過兩側的圖像進行預測，因規則不明顯，導致預測結果失效（圖9d）。

該研究使用的深度學習語義分割網絡，在各種復雜背景下，有很好的提取效果，如圖10a中含有雜草和噴藥桿且較為明亮；圖10b中土地由于含較多有機肥，玉米生長狀況不優，且土地呈棕紅色；圖10c中最右一行，雜草和玉米顏色十分接近，且玉米苗較小；圖10d中含有空行、弱小長勢行、正常長勢行；圖10e中含有雜草和空行；圖10f中含有噴藥機的車輪。模型通過對復雜背景中標簽圖的學習，更加適用于實際環境，也具有更強的魯棒性。

4 結 論

1）深度學習語義分割網絡FCN可對壟區域這一沒有明顯邊界的語義區域進行分割提取，模型在測試田塊上精確率達66.1%～83.4%，召回率達51.1%～73.9%，調和平均值為57.6%～78.4%。

2）選擇9像素壟區域寬度進行訓練，最后得到的中心線在77 mm偏差范圍準確率為91.2%，在31.5 mm偏差范圍內為61.5%

該研究得到的中心線位置圖受無人機影像的精準度影響，且該方法沒有利用不同時期的玉米無人機遙感數據進行分析，只利用了葉尖稍有交叉時期的數據進行分析。未來的研究工作中，將針對不同生育期、不同光照條件下的玉米田無人機遙感圖像壟中心線提取進行研究，以期得到更加穩定適用性更強的壟中心線提取方法。