基于EasyDL樹木蟲害識別的人工智能實驗演示系統(tǒng)設(shè)計與實現(xiàn)

孟海濤，王 闖，王 越

（鹽城工學(xué)院信息工程學(xué)院，江蘇鹽城 224051）

0 引言

隨著人工智能專業(yè)的開設(shè)，相應(yīng)實驗與開發(fā)平臺也越來越多［1-2］。但人工智能演示實驗是人工智能專業(yè)學(xué)生接觸的第1 個專業(yè)實驗，要盡可能向?qū)W生直觀展示人工智能在行業(yè)中應(yīng)用，將學(xué)生引導(dǎo)入門。結(jié)合我國林業(yè)養(yǎng)護工人蟲害知識相對缺乏，害蟲的診斷方法主要是依靠人工識別、主觀因素大、實時性差，因此利用先進的百度AI人工智能技術(shù)自制了集專業(yè)性、實用性與趣味性的樹木蟲害識別的人工智能實驗演示系統(tǒng)。實驗演示系統(tǒng)涉及人工智能、自動化控制、機械制造等多學(xué)科，集圖像采集、智能識別、精確定位一體，能夠正確直觀地顯示出樹木蟲害信息。

1 機械裝置及控制系統(tǒng)

實驗系統(tǒng)由機械裝置、控制系統(tǒng)、樹木蟲害識別系統(tǒng)組成，如圖1 所示。其中機械裝置部分主要由C 形環(huán)、履帶式底盤和垂直升降機構(gòu)組成。垂直升降機構(gòu)由步進電動機、滑塊、絲杠和絲杠螺母組成。機械控制系統(tǒng)由工控機、垂直步進電動機驅(qū)動器、C環(huán)驅(qū)動電動機伺服驅(qū)動器、履帶直流電動機伺服驅(qū)動器組成。機械控制系統(tǒng)在控制垂直升降機構(gòu)由下向上運動的同時，還控制C 形環(huán)旋轉(zhuǎn)，使得C 形環(huán)上的高速攝像機對樹干做螺旋上升勻速運動。控制系統(tǒng)采用伺服閉環(huán)控制系統(tǒng)，通過對伺服電動機的速度反饋控制［3-5］，實現(xiàn)對旋轉(zhuǎn)圖像采集動態(tài)及穩(wěn)態(tài)的控制要求，實現(xiàn)實時采集樹干表面圖像信息，精準確定蟲害位置。

圖1 實驗系統(tǒng)示意圖

2 樹木蟲害識別系統(tǒng)

為了避免苦澀難懂的人工智能算法，識別系統(tǒng)核心使用了百度AI 的EasyDL 定制化訓(xùn)練和服務(wù)平臺［6-8］，通過上傳樹木蟲害圖譜訓(xùn)練模型獲取樹木蟲害，人工標注學(xué)習(xí)獲取蟲害識別模型，系統(tǒng)通過云端Rest API調(diào)用模型實現(xiàn)蟲害圖像智能識別。系統(tǒng)作業(yè)的主要流程：首先通過360°旋轉(zhuǎn)圖像采集獲取樹干表面原始圖像，經(jīng)過WiFi送至主機進行圖像拼接和蟲斑蟲洞分割；其次將分割后蟲斑蟲洞圖像送至樹木蟲害圖像識別系統(tǒng)識別；保存識別后的蟲害信息、位置信息，并在工控機屏幕顯示，實現(xiàn)樹木蟲害監(jiān)測、防治。樹木蟲害識別系統(tǒng)方案如圖2 所示。

圖2 樹木蟲害識別系統(tǒng)工作方案

2.1 圖像采集及拼接

（1）圖像采集。360°旋轉(zhuǎn)圖像采集原理示意圖如圖3 所示，圖像采集使用帶WiFi的高速高清運動攝像頭，30 幀/s 圖像，即旋轉(zhuǎn)12°拍照一次。圖4 為旋轉(zhuǎn)60°所采集的5 張樹木表面圖像。由于鏡頭視角是135°，因此相鄰圖像有重疊現(xiàn)象。

圖3 360°旋轉(zhuǎn)圖像采集原理

圖4 旋轉(zhuǎn)60°所采集的5張樹木表面圖像

（2）圖像拼接。圖像配準的精確度是圖像拼接質(zhì)量好壞的關(guān)鍵要點。拼接算法的設(shè)計思想是在配準精度高的前提下確保計算量不宜過大。基于特征點匹配的圖像拼接算法主要由特征點檢測、特征點匹配、空間變換3 個模塊構(gòu)成［9］，如圖5 所示。利用特征點匹配方法找到圖像間的重疊之處，角點是特征點的提取重點，作品采用成熟的Harris 角點檢測算法提取角點［10-11］。然后在重疊區(qū)域內(nèi)提取特征點取代全副圖像查找特征點，最終實現(xiàn)圖像拼接，圖像拼接原理示意圖如圖6 所示。

圖5 基于特征點匹配的圖像拼接算法框圖

圖6 圖像拼接原理示意圖

2.2 樹木蟲害識別

（1）百度EasyDL定制化圖像識別平臺。EasyDL基于Paddle Paddle飛槳深度學(xué)習(xí)框架構(gòu)建而成，內(nèi)置豐富百度用戶百億級大數(shù)據(jù)訓(xùn)練的成熟預(yù)訓(xùn)練模型，底層結(jié)合百度自研的AutoDL/AutoML技術(shù)，基于少量數(shù)據(jù)就能獲得出色效果和性能的模型［5］。用戶上傳自己的圖片進行訓(xùn)練，訓(xùn)練完成的模型存儲在云端，可通過獨立云端Rest API 調(diào)用模型，實現(xiàn)圖像識別。目前，Easy DL 平臺企業(yè)總注冊用戶數(shù)超過70 萬名，應(yīng)用企業(yè)覆蓋20 多個行業(yè)［6-8］。

（2）定制EasyDL 訓(xùn)練機器學(xué)習(xí)模型。定制EasyDL訓(xùn)練機器學(xué)習(xí)模型的流程，如圖7 所示，其詳細步驟如下：

圖7 EasyDL訓(xùn)練機器學(xué)習(xí)模型

Step 0選擇模型。在EasyDL 圖像識別頁面選擇【圖像分類】模型訓(xùn)練。

Step 1創(chuàng)建模型。在導(dǎo)航【創(chuàng)建模型】中，填寫模型名稱蟲害識別系統(tǒng)、聯(lián)系方式、功能描述等信息，即可創(chuàng)建模型。模型創(chuàng)建成功后，可以在【我的模型】中看到剛剛創(chuàng)建的蟲害識別系統(tǒng)模型。

Step 2上傳并標注數(shù)據(jù)。在訓(xùn)練之前需要在數(shù)據(jù)中心【創(chuàng)建數(shù)據(jù)集】，圖像分類【數(shù)據(jù)集準備與提交】，如圖8 所示。

①設(shè)計分類：首先設(shè)計分類，每個分類為希望系統(tǒng)識別出的一種結(jié)果，選擇懸鈴木常見樹干蟲害“天牛”“方翅網(wǎng)蝽”“黃刺蛾”［12-15］等分別作為一個分類。

②準備數(shù)據(jù)：基于設(shè)計好的分類準備圖片，一共3種分類，每個分類需要準備30 張，共90 張，如圖8所示。

圖8 懸鈴木天牛幼蟲蛀害圖片分類

③上傳數(shù)據(jù)：將所有準備好的圖片按分類順序放在不同的文件夾里，同時將所有文件夾壓縮為zip 格式，在【創(chuàng)建數(shù)據(jù)集】頁面直接上傳即可。

④上傳和標注圖片：（a）先在【創(chuàng)建數(shù)據(jù)集】頁面創(chuàng)建數(shù)據(jù)集；（b）再進入【數(shù)據(jù)標注/上傳】；（c）選擇數(shù)據(jù)集；（d）上傳已準備好的圖片；（e）在標注區(qū)域內(nèi)進行標注。

以“檢測圖片中的蟲害”為例，首先在標注框上方找到工具欄，點擊標注按鈕在圖片中拖動畫框，圈出要識別的目標如圖9 所示。然后在右側(cè)的標簽欄中，增加新標簽，或選擇已有標簽。

圖9 數(shù)據(jù)標注

Step 3訓(xùn)練模型。將待訓(xùn)練數(shù)據(jù)上傳后，可以在導(dǎo)航中找到【訓(xùn)練模型】，啟動模型訓(xùn)練。①選擇此次訓(xùn)練的模型；②勾選應(yīng)用類型，可選擇在線云服務(wù)和離線識別SDK；③選擇算法，以圖像分類為例，可以選擇通用算法或AutoDL Transfer，可以選擇訓(xùn)練方式，并進一步調(diào)節(jié)參數(shù)；④添加訓(xùn)練數(shù)據(jù)，先選擇數(shù)據(jù)集，再按分類選擇數(shù)據(jù)集里的圖片。可從多個數(shù)據(jù)集選擇圖片（相同分類的訓(xùn)練圖片會被合并）。

Step 4校驗?zāi)Ｐ托Ч？赏ㄟ^模型評估報告或模型校驗了解模型效果，如果對模型效果不滿意，可以通過擴充數(shù)據(jù)、調(diào)整標注等方法進行模型迭代。

Step 5發(fā)布模型。在線API，訓(xùn)練完畢后就可以在左側(cè)導(dǎo)航欄中找到【發(fā)布模型】，如圖10 所示，發(fā)布模型表單頁面需要自定義接口地址后綴、服務(wù)名稱，即可申請發(fā)布。

圖10 發(fā)布模型

在正式使用之前，還需要做的一項工作為接口賦權(quán)，需要登錄Easy DL控制臺中創(chuàng)建一個應(yīng)用，獲得由一串?dāng)?shù)字組成的appid，然后就可以參考接口文檔正式使用了，同時支持在EasyDL 控制臺-云服務(wù)權(quán)限管理中為第三方用戶配置權(quán)限。

3 蟲害識別測試

通過采集200 張懸鈴木、楊樹和香樟樹樹干原始表面圖像，其中蟲害圖片50 張，如圖11、表1 所示。設(shè)置不同置信度，計算查全率r和查準率p：

表1 測試數(shù)據(jù)匯總 棵

圖11 部分測試圖片

式中：FN表示在判定蟲害圖像中誤判張數(shù)；TP表示在判定蟲害圖像中正確張數(shù)；FP表示在判定非蟲害圖像中誤判張數(shù)；TN表示在判定非蟲害圖像中正確張數(shù)。

（1）將系統(tǒng)識別置信度設(shè)置為50%，輸入系統(tǒng)后測試結(jié)果，系統(tǒng)檢測出蟲害圖片78 張，其中50 張有蛀干害蟲圖片全部檢出，誤判28 張，如表2 所示。判定蟲害圖像78 張，其中FN=28 張誤判，TP=50 張正判；判定非蟲害圖像122 張，其中FP=0 張誤判，TN=122 張正判。

表2 置信度為50%測試結(jié)果 棵

（2）將系統(tǒng)識別置信度設(shè)置為75%，輸入系統(tǒng)后測試結(jié)果，系統(tǒng)檢測出蟲害圖片58 張，其中誤判11張，如表3 所示。判定蟲害圖像58 張，其中FN=11張誤判，TP=47 張正判；判定非蟲害圖像142 張，其中FP=3 張誤判，TN=139 張正判。

表3 置信度為75%測試結(jié)果 棵

（3）將系統(tǒng)識別置信度設(shè)置為85%，輸入系統(tǒng)后測試結(jié)果，系統(tǒng)檢測出蟲害圖片39 張，其中50 張有蛀干害蟲圖片檢出39 張，誤判0 張，如表4 所示。判定蟲害圖像39 張，其中FN=0 張誤判，TP=39 張正判；判定非蟲害圖像161 張，其中FP=11 張誤判，TN=150 張正判。

表4 置信度為85%測試結(jié)果 棵

由上檢測結(jié)果分析可以得出不同識別置信度的設(shè)置直接影響系統(tǒng)的蟲害識別率，如表5 所示。綜合考慮，設(shè)置置信度為75%，可得到系統(tǒng)的查全率為94%和查準率為81%。

表5 檢測結(jié)果分析表 %

4 樹木蟲害識別實驗演示系統(tǒng)樣機

樹木蟲害識別實驗演示樣機如圖12 所示，樣機可以實現(xiàn)獲取樹木位置、樹木胸徑、樹干蟲害等信息。

圖12 實驗演示系統(tǒng)樣機

（1）樹木地理位置信息采集。樹木地理位置信息是利用北斗模塊采集樹木坐落的經(jīng)緯度來實現(xiàn)。樹木地理位置可用可視化樹木地圖顯示，并且結(jié)合樹木蟲害信息、生長情況，實現(xiàn)數(shù)據(jù)關(guān)聯(lián)挖掘，可進行樹木蟲害預(yù)測、樹種選擇等。

（2）樹干直徑測算及表面圖像采集拼接。根據(jù)每周采集30 幀圖像，利用特征點，實現(xiàn)360°的樹干表面圖像拼接。根據(jù)樹干圖像可測算樹木直徑。

（3）蟲害圖像識別。利用在百度EasyDL 平臺訓(xùn)練得到的識別模型appid，系統(tǒng)通過API可實現(xiàn)云端調(diào)用模型，實現(xiàn)蟲害圖像精準識別、定位蟲害位置，同時顯示該樹木的名稱、經(jīng)緯度位置、樹木胸徑、樹齡預(yù)測等信息。界面如圖13 所示。

圖13 樹木蟲害識別界面

5 結(jié)語

本文開發(fā)基于百度EasyDL 平臺的樹木蟲害智能識別系統(tǒng)實驗裝置，通過校內(nèi)樹木蟲害現(xiàn)場測試驗證了本實驗裝置的有效性。在新生專業(yè)介紹中，利用本實驗裝置向2020 級人工智能專業(yè)學(xué)生展示了多學(xué)科交叉的人工智能應(yīng)用場景，激發(fā)了學(xué)生強烈的學(xué)習(xí)興趣，對學(xué)生深入學(xué)習(xí)人工智能專業(yè)開啟了良好的開端。