基于全卷積神經(jīng)網(wǎng)絡的云杉圖像分割算法

陳鋒軍 王成翰 顧夢夢 趙燕東

(1.北京林業(yè)大學工學院， 北京 100083； 2.城鄉(xiāng)生態(tài)環(huán)境北京實驗室， 北京 100083；3.德州農(nóng)工大學園藝系， 大學城 77843； 4.林業(yè)裝備與自動化國家林業(yè)局重點實驗室， 北京 100083)

0 引言

隨著城市建設和環(huán)境改善等方面需求的增加，花卉苗木行業(yè)近年來取得了飛速發(fā)展。根據(jù)中國經(jīng)濟網(wǎng)數(shù)據(jù)，2016年全國苗木花卉生產(chǎn)面積200多萬公頃，年產(chǎn)值達3 600多億元[1]。苗木生產(chǎn)中勞動力成本最高，約占總成本的50%，降低勞動力成本是苗木企業(yè)盈利的關鍵因素之一。傳統(tǒng)的苗圃庫存統(tǒng)計均是人工計數(shù)，存在勞動成本高、效率低、人力資源浪費嚴重等問題，且不能保證準確率。無人機航拍自動統(tǒng)計苗木數(shù)量是替代人工統(tǒng)計的理想方法。

圖1 分割算法框圖Fig.1 Block diagram of segmentation algorithm

利用航拍進行苗木庫存統(tǒng)計和計數(shù)受到很多客觀條件的影響，例如成像光照變化、苗木個體之間差別、地面雜草背景干擾以及苗木之間的粘連等因素，國內(nèi)尚未查到相關已解決該問題的研究文獻，國外研究也處于探索階段[2-8]。參考國內(nèi)外其他領域相關文獻[9]，涉及的方法主要包括基于形狀[10]和顏色特征[11]的方法、基于閾值分割的方法[12]和基于學習的方法[13-15]。其中基于形狀、顏色和閾值的算法受人為主觀因素影響大，不具有魯棒性。深度學習算法在農(nóng)業(yè)[16]和無人機[17]領域得到快速的研究和應用。美國賓夕法尼亞大學的Vijay Kumar實驗室利用深度學習算法，通過無人機拍攝圖像預測蘋果和柑橘的產(chǎn)量[15]。德國波恩大學CYRILL團隊，通過RGB+NIR圖像和卷積神經(jīng)網(wǎng)絡(Convolutional neural network, CNN)實時區(qū)分甜菜和田間雜草[18-19]。2015年CVPR會議首次提出全卷積神經(jīng)網(wǎng)絡(Fully convolutional networks，F(xiàn)CN)結構用于語義分割[20]。FCN的優(yōu)點是可以接受任意大小的輸入圖像，不要求所有訓練樣本和測試樣本尺寸相同，避免因使用像素塊引起的卷積計算問題，使運行更加高效。馬樹志[21]利用AlexNet框架搭建全卷積網(wǎng)絡結構，研究分割CT影像中的肝臟。毋立芳等[22]利用FCN和深度卷積神經(jīng)網(wǎng)絡(Deep convolutional neural network, DCNN)，實現(xiàn)毫米波雷達云圖快速精確分割。王鵬等[23]利用Caffe框架、在CNN的基礎上結合反卷積神經(jīng)網(wǎng)絡提出一種有效的人體圖像分割方案。相比傳統(tǒng)圖像分割方法，深度學習FCN的性能更優(yōu)。

本文以無人機拍攝的種植云杉為研究對象，提出一種應用FCN模型的分割算法，有效去除背景干擾，提取圖像中的云杉部分，實現(xiàn)云杉數(shù)量自動統(tǒng)計。

1 算法設計

本文提出的FCN模型對無人機航拍云杉圖像進行分割的算法框圖如圖1所示。首先利用無人機獲取云杉圖像，然后將圖像進行壓縮預處理，構建FCN模型并對其進行訓練，最終實現(xiàn)對圖像中云杉的有效分割。

1.1 圖像壓縮預處理

本文預處理的主要目的是減少FCN模型的計算量以及算法運行時間。無人機拍攝的云杉圖像為4 000像素×3 000像素的RGB圖像，如果不做壓縮直接輸入FCN模型，訓練過程計算量大，運行時間長。參考文獻[24]，設定FCN模型輸入圖像為224像素×224像素，在保證云杉分割效果的前提下，將云杉圖像從原圖的4 000像素×3 000像素壓縮至1 200像素×900像素，標注好云杉信息之后再壓縮到224像素×224像素，作為FCN模型的輸入。

1.2 構建FCN模型

CNN的主要功能是實現(xiàn)圖像分類，由卷積層、池化層、全連接層和softmax分類器層組成[20]。FCN與CNN相比，將卷積層后的全連接層換成了卷積層，添加反卷積層連接至softmax分類器；FCN首先提取圖像中的特征生成特征圖，再將特征圖進行反卷積操作，輸出與輸入圖像同樣大小的灰度圖像；FCN通過判斷圖像中每一個像素的類別完成圖像的語義分割。VGG16采用較小的卷積核提取圖像邊緣細節(jié)特征，可以通過增加卷積層的層數(shù)提高分類精度，本文以VGG16為基礎構建云杉圖像分割的FCN模型，如圖2所示。

圖2 FCN模型結構Fig.2 Fully convolutional networks architecture

其中conv、relu、pool和deconv分別表示卷積層、ReLu激活函數(shù)、池化層和反卷積層，F(xiàn)CN模型共有6組卷積層，每個卷積層后添加ReLu激活函數(shù)，各組卷積層之間由池化層相隔。輸入為224×224×3的RGB圖像，輸出為224×224×1的灰度圖像。

卷積層的參數(shù)以卷積核參數(shù)的形式存在，通過更新卷積核參數(shù)學習云杉圖像特征，特征復雜程度隨著卷積層數(shù)的增加而增加。本文FCN模型各卷積層中卷積核細節(jié)如表1所示。

表1 FCN模型各卷積層中卷積核具體情況Tab.1 Details about convolution kernel

為減少卷積層conv6_1和conv6_2過擬合現(xiàn)象，采用丟棄法，保持率設置為0.5，即每一次訓練過程中只隨機選擇50%的卷積核參與訓練。

為了提高訓練速率和增加網(wǎng)絡非線性能力，選擇ReLu函數(shù)作為激活函數(shù)，其表達式為

a=max(0,b)

(1)

式中a——激活函數(shù)的輸入

b——激活函數(shù)的輸出

為了保留主要特征并減少參數(shù)數(shù)量和計算量，選用2×2的平均池化作為池化層，經(jīng)池化層處理后的特征圖尺寸縮小至輸入圖像的一半。

(2)

式中yij——池化層在(i,j)處的輸出

xij——池化層在(i,j)處的輸入

r——池化層輸入行數(shù)

c——池化層輸入列數(shù)

反卷積層操作目的是使卷積層輸出圖像恢復到輸入圖像的尺寸并增強細節(jié)信息。設置一個比反卷積層輸入圖像尺寸更大的矩陣，使輸入圖像能夠均勻散布在所設置矩陣中做卷積操作。以3×3的輸入矩陣為例，先將其擴充至7×7的矩陣中，再與3×3的卷積核做步長為1的卷積操作，其結果輸出為5×5的矩陣，具體過程如圖3所示。本文反卷積層使用特征融合技術，通過將池化層的輸出和反卷積層輸出求和，融合卷積層得到的精細輸出和反卷積層得到的粗糙輸出，以提高云杉圖像分割精度。

圖3 反卷積過程示例Fig.3 Deconvolutional demonstration

1.3 分割結果評價指標

評價語意分割的效果有特定的標準[25]，具體為像素精度(Pixel accuracy, PA)、均像素精度(Mean pixel accuracy, MPA)、均交并比(Mean intersection over union, MIoU)和頻權交并比(Frequency weighted intersection over union, FWIoU)這4個評價指標。

1.3.1像素精度

像素精度為判別正確的像素數(shù)量在所有像素中所占的比值，即

(3)

式中RPA——像素精度

k——語義分割的類別，本文中k為1

pij——屬于類別i被識別為類別j的像素數(shù)量

pii——判別正確的像素數(shù)量

1.3.2均像素精度

先計算每一類內(nèi)像素的精度，再求得所有類別像素精度的平均值，即

(4)

式中RMPA——均像素精度

1.3.3均交并比

均交并比是語義分割的標準度量參數(shù)。計算兩個集合的交集和并集的比率，語義分割中交集可以看作判別正確的像素集合，并集為判別正確的(pii)和被誤判的(pij+pji)像素集合，即為真實值與預測值的比值。先計算出每一類內(nèi)交并比，再求得所有類別交并比的平均值，即

(5)

式中RMIoU——均交并比

pji——屬于類別j被識別為類別i的像素數(shù)量

1.3.4頻權交并比

頻權交并比是均交并比的一種升級形式，根據(jù)每一類出現(xiàn)的頻率設置其權重。

(6)

式中RFWIoU——頻權交并比

2 實驗與結果分析

2.1 圖像采集

2017年7月18—19日在內(nèi)蒙古苗圃基地(東經(jīng)111°49′47″，北緯40°31′47″，海拔1 134 m)選用大疆精靈4無人機采集圖像。無人機云臺可控轉(zhuǎn)動范圍俯仰-90°～30°，角度抖動量±0.02°；鏡頭為FOV 94°，20 mm(35 mm格式等效)；利用定點懸停的方式采集云杉圖像，圖像尺寸為4 000像素×3 000像素。采集時間為05:30—07:30、09:00—10:00和17:00—18:00。拍攝前確認無人機電池充電完成、無人機對應APP更新和無人機內(nèi)存清空；拍攝時首先調(diào)整無人機相機鏡頭與地面平行，采集云杉正投影圖像，采用蛇形飛行軌跡，飛行高度分別選取8、10、12、15 m和其他高度。以05:30—07:30為例，18日測量環(huán)境參數(shù)如下：光照強度42 800 lx，風速1.7 m/h，濕度68.0%，溫度為27.2℃，云杉地塊1面積為1 700 m2，云杉地塊2面積為825 m2。考慮到圖像后期拼接等操作，拍攝前在云杉種植地塊鋪設大小為1 m×1 m邊界二維碼4幅和中央?yún)^(qū)域二維碼2幅。

2.2 建立數(shù)據(jù)集

充分考慮樣本量充足和樣本具有代表性兩方面因素，構建的數(shù)據(jù)集分為訓練集和測試集。考慮云杉圖像在不同采集時間、不同采集地塊和不同飛行高度下采集的情況，選擇清晨、上午和中午不同拍攝時間，無人機飛行高度8 m和10 m兩個地塊的云杉圖像300幅共計13 028株云杉組成訓練集。云杉圖像壓縮預處理后，用Photoshop軟件進行人工標注，具體步驟為：①輸入壓縮后大小為1 200像素×900像素的彩色圖像。②灰度化輸入圖像。③設置云杉目標區(qū)域灰度為255，非云杉區(qū)域灰度為0。④壓縮標注后圖像至224像素×224像素，作為FCN模型的輸入。壓縮為1 200像素×900像素的彩色原圖和標注后的灰度圖像如圖4所示。

圖4 標注前后云杉圖像Fig.4 Examples of unlabeled and labeled images

測試集分為3組，共選取170幅云杉圖像共計7 312株云杉和90幅樟子松圖像共計3 218株樟子松。隨機抽取50幅云杉圖像共計2 154株云杉作為測試集A組； 05:30—07:30、09:00—10:00和17:00—18:00不同時間段選取的共120幅云杉圖像共計5 158株云杉組成測試集B組；同時所拍攝的樟子松圖像90幅，共計3 218株樟子松組成測試集C組。測試集示例如圖5所示，圖像尺寸為4 000像素×3 000像素。

2.3 實驗流程和工作環(huán)境

實驗硬件配置基于Intel Xeon E2-2620 v4@2.10 GHz CPU、NVIDIAGTX 1080Ti 11 GB GPU和32 GB內(nèi)存，Ubuntu 16.04操作系統(tǒng)下，利用Python語言編程，在Tensorflow框架下搭建基于VGG16結構的FCN模型，完成云杉圖像分割的訓練和測試。具體流程如圖6所示。

圖5 測試集示例Fig.5 Examples of test set images

圖6 基于VGG16結構的FCN云杉圖像分割算法流程圖Fig.6 Flow chart of spruce image segmentation based on FCN with VGG16

2.4 FCN模型訓練

輸入訓練集圖像，F(xiàn)CN模型將分割結果與標注文件進行對比計算損失函數(shù)值，經(jīng)過60 000次迭代，損失函數(shù)收斂于5.727 2×10-3，訓練過程持續(xù)5.78 h。其中批大小設置為2，訓練速率初值設置為1×10-4，選取Adam優(yōu)化算法，利用訓練好的VGG16網(wǎng)絡模型初始化前5組卷積層。訓練過程中損失函數(shù)的變化如圖7所示。

圖7 訓練過程中損失函數(shù)變化情況Fig.7 Loss function in training process

如圖7所示，前10 000次迭代過程中損失函數(shù)值迅速減小，20 000次迭代后損失函數(shù)基本收斂，損失函數(shù)值穩(wěn)定在5.727 2×10-3，雖然有擾動出現(xiàn)，但隨著迭代次數(shù)的增加，擾動的幅值逐漸減小。

2.5 算法測試結果與分析

2.5.1算法的效果驗證

測試集中的A、B、C 3組圖像分別為隨機挑選的云杉圖像、不同光照條件的云杉圖像和同時同地采集的樟子松圖像，將測試集圖像輸入到訓練好的FCN模型中進行分割測試。PA、MPA、MIoU和FWIoU的結果如表2所示，其中MIoU作為主要評價指標。

表2 FCN模型測試結果Tab.2 Test results of FCN model

FCN模型在PA和FWIoU這 2個評價指標上對于3組測試集沒有明顯的差異；對于MPA和MIoU這2個評價指標，F(xiàn)CN模型對于云杉圖像和非云杉圖像測試集上表現(xiàn)出明顯的差異，對于云杉圖像MPA達到0.86，MIoU達到0.75，對于非云杉圖像的樟子松測試集MPA為0.56，MIoU為0.47。測試整體的結果顯示FCN模型對云杉具有較強的分割能力，對于非云杉的樟子松分割能力較差，分析原因發(fā)現(xiàn)測試集中雖然云杉和樟子松采集正投影圖像，樹冠的投影都是形狀和大小近似的圓形，但是訓練集中沒有樟子松的訓練樣本，本文FCN模型不能有效分割沒有經(jīng)過訓練的其他苗木。

圖8 3種算法的分割結果Fig.8 Comparison of segmentation results by three kinds of algorithms

在晴朗天氣中的清晨、上午和下午不同時段采集云杉圖像的測試集B組，對于PA、MPA、MIoU和FWIoU 這4個評價指標的數(shù)值上沒有明顯差異，表明晴朗天氣下成像光照條件對FCN模型基本沒有影響。

另外，F(xiàn)CN模型加載過程耗時23.8 s，100幅224像素×224像素的云杉圖像批量測試耗時8.5 s。平均一幅云杉圖像的測試時間為0.085 s，F(xiàn)CN模型分割速率符合云杉計數(shù)的應用需求。

總之通過測試可知FCN模型對于云杉圖像具有較好的語義分割效果，對晴朗天氣成像的光照條件并不敏感，運行速率符合應用要求；但是對沒有經(jīng)過訓練的非云杉苗木語義分割效果較差。

2.5.2與其他分割算法的比較

圖像分割是由圖像處理到圖像分析的關鍵步驟，雖然已有上千種算法，但迄今為止沒有任何一種通用算法能夠有效地解決問題，圖像分割算法都是面向特定應用具體分析的結果。為驗證本文FCN模型的分割性能，選取農(nóng)林業(yè)常用的基于顏色特征的閾值分割算法和K均值聚類算法進行比較。隨機選取云杉圖像50幅，比較本文FCN模型分割、HSV顏色空間閾值分割和K均值聚類分割3種算法，部分分割結果如圖8所示。

從定性的角度比較3種分割算法，由圖8可知FCN模型分割效果最好，分割后的云杉輪廓清晰，細節(jié)完整，較好地解決了粘連問題；其次為HSV顏色空間閾值分割算法，分割后的云杉輪廓比較清晰，細節(jié)有些模糊，產(chǎn)生了粘連問題；K均值聚類分割算法效果最差，分割后云杉粘連嚴重。利用PA、MPA、MIoU和FWIoU這4個評價指標定量對比3種分割算法，結果如表3所示。

表3 3種算法測試結果Tab.3 Test results of three kinds of algorithms

對3種分割算法的測試結果進行定量比較，根據(jù)PA、MPA、MIoU和FWIoU這4個語義分割結果評價指標可以得到與定性比較3種算法一樣的結論：FCN模型分割效果最好，MIoU達到0.75；K均值聚類算法分割效果最差，MIoU僅為0.37，比FCN模型低了0.38。分析3種算法的分割結果，K均值聚類分割算法能夠有效分割地面鋪設二維碼等與云杉顏色相差較大的背景，對于與云杉顏色相近的雜草和云杉成像的陰影分割效果較差，導致分割結果云杉粘連不能有效去除背景。HSV顏色空間閾值分割算法通過調(diào)整閾值范圍一定程度上減輕了分割后云杉粘連問題，但是不能有效去除雜草背景。FCN模型因為卷積層云杉特征學習的強大能力和反卷積層云杉特征的融合輸出能夠很大程度上保證分割算法的魯棒性，分割后的云杉輪廓清晰，細節(jié)完整，有效地去除了雜草和陰影等背景干擾。

3 結論

(1)提出一種基于FCN模型的云杉圖像分割算法。訓練后測試FCN模型，PA和MPA的值達到0.86、MIoU的值為0.75、FWIoU的值為0.76，云杉分割后輪廓清晰、細節(jié)完整，實現(xiàn)了像素級精確的語義分割。通過挑選不同時段拍攝的云杉圖像進行測試，結果表明，F(xiàn)CN模型的分割算法對晴朗天氣下成像的光照條件具有良好的魯棒性能。分割云杉圖像每幅平均耗時0.085 s，完全滿足云杉數(shù)量統(tǒng)計的應用目的，具有良好的實時性。

(2)為進一步驗證FCN模型的效果，與HSV顏色空間閾值分割算法和K均值聚類分割算法進行比較。HSV顏色空間閾值分割算法分割后，云杉輪廓比較清晰，細節(jié)有些模糊，出現(xiàn)粘連問題，K均值聚類分割算法分割后云杉粘連問題嚴重；比較PA、MPA、MIoU和FWIoU這4個評價指標值，HSV顏色空間閾值分割算法比FCN模型分割算法低0.07、0.04、0.10和0.10，K均值聚類分割算法比FCN模型分割算法低0.31、0.31、0.38和0.38。對比結果表明，F(xiàn)CN模型效果優(yōu)于HSV顏色空間閾值分割算法和K均值聚類分割算法。