基于K210和YOLOv2的智能垃圾分類平臺

方梓鋒，張 鋒

（廣東石油化工學(xué)院 電子信息工程學(xué)院，茂名525000）

近年來，中國正從國家層面加速推進垃圾分類的進程，現(xiàn)已取得巨大成就，但有些民眾的分類意識和能力仍比較薄弱。在這個背景下各類垃圾分類平臺層出不窮，而如何實現(xiàn)全程智能化、自動化的高效精準分類成為了一個比較熱門的研究方向[1]，但受限于傳統(tǒng)MCU 的機器學(xué)習(xí)能力較低， 邊緣計算的概念在環(huán)保行業(yè)仍鮮為提及。

眾所周知，邊緣計算能帶來更快速的服務(wù)響應(yīng)和更優(yōu)質(zhì)的實時業(yè)務(wù)體驗，而目前環(huán)保領(lǐng)域主要的研究方向集中在圖像處理算法和過程自動化上，如文獻[2]通過CNN+ReLU 對垃圾圖像識別分類，擁有80%左右的準確率、文獻[3-4]均使用了vgg16 神經(jīng)網(wǎng)絡(luò)分類算法對日常垃圾進行識別分類，能夠?qū)崿F(xiàn)88%以上的識別準確率，文獻[5]則采用雙目立體視覺+DCNN 的方案。采用優(yōu)秀卷積神經(jīng)網(wǎng)絡(luò)進行垃圾的識別分類無疑能提高系統(tǒng)整體的分類準確值，但其訓(xùn)練與識別過程需要較高的算力支撐，這一部分往往采用云端算力進行彌補，在實際使用中可能會受制于網(wǎng)絡(luò)環(huán)境和云端負載，導(dǎo)致識別等待時間較長，而使用輕量級神經(jīng)網(wǎng)絡(luò)結(jié)合較高算力的邊緣終端[9]則能夠在實際使用中更具人性化和實用性。

本文結(jié)合國產(chǎn)芯片行業(yè)崛起的大背景，設(shè)計了一款具有垃圾種類判別、智能分類、語音播報、自動開合箱蓋、紫外線消殺以及人體靠近檢測、箱體負載云檢測等功能。這款智能垃圾分類平臺將不受制于上位機的整體負載和通信環(huán)境，能自主完成識別和分類操作，從而縮短整個垃圾回收流程的等待時間。

1 平臺框架與設(shè)計思路

本平臺采用基于RISC-V 框架的勘智K210 作為本地識別的邊緣計算模塊， 通過UART 與Arduino 相連接，能夠?qū)崿F(xiàn)本地?zé)o感識別分類。基本設(shè)計思路如下：

針對目前市面上的智能回收垃圾平臺的問題[9]進行了分析和研究，結(jié)合國外在垃圾分類的經(jīng)驗[6-7]。本文提出一款利用智能垃圾分類回收平臺，將邊緣計算、人工智能和互聯(lián)網(wǎng)+特性集于一體，最終達到垃圾智能化、自動化的分類回收。在設(shè)計箱體時，基于不同的使用場景，會有不同風(fēng)格的設(shè)計，例如在戶外場景，需優(yōu)先考慮惡劣環(huán)境適應(yīng)性，擁有不間斷電源和太陽能充電板的配置，而在室內(nèi)場景下本設(shè)計則重點考慮箱體占用體積和使用安全性等，如圖1所示。

圖1 投放于公共場所的平臺模型設(shè)計Fig.1 Platform model design for public places

2 硬件系統(tǒng)設(shè)計

本設(shè)計的實現(xiàn)主要依托于勘智Kendryte K210核心模塊、Arduino 控制模塊、工業(yè)級大扭力舵機等元器件。硬件框圖如圖2所示。

圖2 系統(tǒng)硬件框架圖Fig.2 System hardware framework

2.1 主控制板Kendryte K210 模塊

本設(shè)計所使用的Kendryte K210 模塊，搭載FreeRTOS 操作系統(tǒng)。K210 采用了RISC-V 雙核64 位處理器，并有專用電路實現(xiàn)CNN 加速，在400 MHz 的基準速率下，INT16 測試擁有300 GMAC/s 的性能表現(xiàn)，且整機耗能小于1 W。其優(yōu)秀的AI 性能，足以勝任本平臺的算力核心。

2.2 副控制板Arduino 模塊

本設(shè)計所使用的副控制板為Arduino UNO，采用ATmega328P 的IC。有14 個數(shù)字輸入/輸出引腳，其中有6 個可用于PWM 輸出、6 個模擬輸入引腳，一個16 MHz 的晶體振蕩器， 一個USB 接口， 一個DC 接口，一個ICSP 接口和一個復(fù)位按鈕。

2.3 攝像頭模塊

對于機器視覺來說，擁有一雙慧眼則如虎添翼。在攝像頭傳感器上選用了CSP3 封裝的OV2710，采用DVP-10bit 并行數(shù)據(jù)接口。能夠?qū)崿F(xiàn)1080p＠30fps的視頻捕獲，為后期KPU 處理提供了一個辨別度較高的輸入值。

2.4 箱蓋開關(guān)閉合模塊

采用了工業(yè)級40 kg 大扭力舵機，接入Arduino控制板的PWM 接口，由PID 算法進行控制，投放不同的垃圾時會采用相應(yīng)的PWM 波信號對舵機進行操作， 實現(xiàn)在開蓋速度和角度的人性化和智能化。為確保機械臂的高強度和耐用性，在材質(zhì)上選用了建材行業(yè)常用的6063 鋁合金， 擁有優(yōu)秀的抗風(fēng)壓性能、裝配性能、耐蝕性能和裝飾性能。且在頂部設(shè)置有太陽能電池板為箱體蓄電池組提供互補供電。

3 軟件系統(tǒng)設(shè)計

垃圾智能分類平臺的軟件設(shè)計主要包括K210和Arduino 上的分類算法設(shè)計、攝像頭控制、舵機控制、傳感器控制和通信協(xié)議。

3.1 分類算法的設(shè)計

垃圾分類的核心是圖像的處理和識別，本平臺以Darknet 為深度學(xué)習(xí)開發(fā)框架、利用YOLOv2 模型[8]對投放物進行檢測和分類，以達到智能化垃圾分類的目的。本平臺所使用的YOLOv2 模型，網(wǎng)絡(luò)簡單，處理量小，而且擁有不錯的mAP 和FPS 性能指數(shù)，如表1所示[4]。

表1 YOLOv2 性能指數(shù)Tab.1 Efficiency of YOLOv2

首先從模型建立開始，由于使用的是random 模式（多角度訓(xùn)練），需要采集不同種類垃圾多角度的圖像，并在相應(yīng)的樣本標注信息中記錄好各個角度下的5 組數(shù)據(jù)：對象索引號、對象中心坐標XY 軸、對象的寬和高。將YOLO 訓(xùn)練的batches、subdivision等參數(shù)配置完畢后， 便可以開始模型訓(xùn)練步驟，在平均損失率達到0.060730 avg 左右且不再下降時即可以停止訓(xùn)練，隨后開始進行模型的分類準確率測試，測試流程如圖3所示。

圖3 YOLOv2 模型分類流程Fig.3 Flow chart of YOLOv2 model classification

完成了模型的訓(xùn)練和測試，還需要考慮針對后期的模型優(yōu)化，以適合用于K210 等輕量級終端上，本平臺采用了剪枝項目[9]的理論基礎(chǔ)，對YOLOv2模型進行了稀疏訓(xùn)練[10]，其原理為每個通道引入一個比例因子γ，并將其乘以通道的輸出。將比例因子與訓(xùn)練網(wǎng)絡(luò)的權(quán)值相結(jié)合，通過稀疏的正側(cè)化處理，最后直接去除比例因子通道，得到微調(diào)剪枝網(wǎng)絡(luò)。

培訓(xùn)目標被定義為

式中：x，y 代表訓(xùn)練數(shù)據(jù)和標簽；W 是網(wǎng)絡(luò)可訓(xùn)練參數(shù)；第一項為訓(xùn)練的loss 函數(shù)；第二項的g（γ）為比例因子上的參數(shù)；λ 是稀疏系數(shù)。當選取即為廣泛應(yīng)用于稀疏化操作的L1-Norm （L1 正則化）。經(jīng)過優(yōu)化后的模型有效的降低了內(nèi)存占用和模型存儲空間[11]，將有利于在K210 上實現(xiàn)高效的部署、運行和維護。

導(dǎo)入訓(xùn)練完畢的模型到K210 上運行測試時，需要調(diào)用其內(nèi)置的神經(jīng)網(wǎng)絡(luò)處理器KPU，通過加載和運行內(nèi)構(gòu)建的算法模型來實現(xiàn)目標檢測，分類流程如圖4所示。

圖4 智能垃圾分類流程Fig.4 Flow chart of garbage classification

3.2 攝像頭控制

攝像頭與K210 通過DVP 并行接口相連接，在驅(qū)動中額外添加了超時待機和臨近喚醒的中斷函數(shù)，在空閑時段將攝像頭關(guān)閉，不進行實時捕獲，等待傳感器返回參數(shù)告知攝像頭開始工作。在實際工作中，攝像頭負責(zé)傳輸畫面至識別程序指定的接口上，識別程序在該接口內(nèi)進行逐幀的目標檢測。在K210 內(nèi)的主體函數(shù)中有一個鉤子函數(shù)，當系統(tǒng)級捕獲到屬于person 索引（主要為手部）中的內(nèi)容時，會對除person 索引內(nèi)容以外的進行目標檢測，從而指引Arduino 副主控對對應(yīng)箱體進行開關(guān)操作， 檢測流程如圖5所示。

圖5 攝像頭捕獲流程Fig.5 Flow chart of camera capture

3.3 舵機控制

舵機在本平臺中用于處理需要機械化控制的部分，對不同種類的垃圾以及不同體積的投放物采用不同的處理時間（即打開角度），通過PID 控制算法完成， 具體實現(xiàn)為在Arduino 控制板中編寫舵機的PWM 波函數(shù)，對K210 返回不同種的類參數(shù)進行對應(yīng)處理。由接口發(fā)生PWM 信號，與舵機相連，舵機再帶動井蓋控制臂，實現(xiàn)開蓋功能。控制流程如圖6所示。

圖6 舵機控制流程Fig.6 Flow chart of steering control

3.4 傳感器控制

傳感器的控制主要由Arduino 副主控板進行，負責(zé)采集箱體內(nèi)外的環(huán)境數(shù)據(jù)， 實現(xiàn)人體靠近檢測、聯(lián)動自動開蓋、箱體滿載檢測等功能。人體靠近檢測程序設(shè)定2 m 為標志位， 采用PIR 熱電傳感器，設(shè)定連續(xù)檢測模式，工作流程為當在檢測范圍內(nèi)捕獲到人體10 μm 紅外線時會保持持續(xù)高電平，K210 得到SensorState 參數(shù)為1 后通知攝像頭開始工作，同時Arduino 等待K210 分類結(jié)果，打開對應(yīng)箱體。

超聲波模塊放置在箱體頂蓋中，以箱內(nèi)垃圾最高面到頂部距離為檢測標準，消去內(nèi)箱體至頂層的距離N，實際的Distancce 應(yīng)該為［pluseIn（echo，HIGH）/60.00］-N， 設(shè)定Distance 閾值來實現(xiàn)對箱體的容量監(jiān)測，傳感器反饋流程如圖7所示。

圖7 傳感器反饋流程Fig.7 Flow chart of sensor feedback

3.5 通信協(xié)議

本設(shè)計使用的是DTU 模塊與上位機進行數(shù)據(jù)交互， 采用TCP 協(xié)議的串口數(shù)據(jù)流傳輸， 使用SOCKET 方式連接上位機， 實現(xiàn)上位機的通信。而K210 與Arduino 經(jīng)過UART 串口進行通信，編寫自定義通信協(xié)議， 當K210 發(fā)送AA0301020306 的數(shù)據(jù)，即告知協(xié)議首部AA，指令長度為03，控制指令010203，即為設(shè)備類別為01，第2 號設(shè)備，端口03，這三個校驗和06，然而還需要一個Protocol Parser類庫來解析字段義，才能實現(xiàn)通信，其流程如圖8所示。

圖8 設(shè)備經(jīng)由DTU 的上位機通信流程Fig.8 Flow chart of communication with DTU

4 系統(tǒng)測試

4.1 分類準確性測試

測試用的圖像數(shù)據(jù)集依照VOC 數(shù)據(jù)集格式構(gòu)建，通過labelimg 標記工具進行圖像目標區(qū)域登記，完成相關(guān)配置后使用darknet 對YOLOv2 進行訓(xùn)練，最終得到多次迭代后保存的訓(xùn)練權(quán)重模型，將train_log_loss 中的數(shù)據(jù)可視化得到圖9曲線，可見損失變化曲線在經(jīng)22 萬次迭代后基本達到平均損失率。

圖9 模型訓(xùn)練平均損失率結(jié)果Fig.9 Average loss rate of model training

將迭代權(quán)重模型導(dǎo)入SD 卡中， 放置入測試用的Sipeed M1 荔枝丹K210 開發(fā)板，使用KPU 加速YOLOv2 目標檢測算法， 對四類垃圾進行識別的準確率如表2所示，雖在過程中出現(xiàn)了個別物品名稱識別錯誤的情況，但所屬大類仍在正確的范疇之內(nèi)。

表2 識別準確率結(jié)果統(tǒng)計Tab.2 Statistics of recognition accuracy results

4.2 回收投放測試

同時舵機的響應(yīng)時間也在程序設(shè)定的范圍之內(nèi)，對不同尺寸的投入物響應(yīng)時間和箱蓋打開角度如表3所示， 設(shè)定了超時時間對箱蓋進行狀態(tài)檢查，人體傳感器保持高電平時設(shè)定為無效。

表3 舵機響應(yīng)時間Tab.3 Response time of steering engine

綜上圖像數(shù)據(jù)和表格結(jié)果表明，本平臺能夠準確識別人體靠近并開始工作，物品分類平均識別準確率達92.4%，并且能夠準確打開對應(yīng)種類箱體，并能夠判斷和上傳垃圾箱余量信息。箱體監(jiān)測的傳感器也能對高溫、煙霧等異常狀態(tài)正常告警。PIR 熱電傳感器維持高電平時，箱體開蓋后的防夾傷機制也正常工作，能夠確保使用的安全性，較好的完成設(shè)計初提出的各項功能指標。

5 結(jié)語

本文提出利用K210 開發(fā)板協(xié)同Arduino 進行智能垃圾分類的設(shè)計方案， 運用邊緣計算+機器視覺賦能傳統(tǒng)產(chǎn)業(yè)，充分發(fā)揮邊緣計算的優(yōu)勢，極大的縮短了分類等待時間，具有個性化、模塊化等特點，但目前在識別過程中對小種類的判別仍存在誤差，受訓(xùn)練參數(shù)的影響較大等問題，后續(xù)工作將繼續(xù)對目標檢測和剪枝算法進行優(yōu)化，尚有較大的改進空間。本設(shè)計通過套入不同模型亦可適用于其余的智能化分類領(lǐng)域，助力其余傳統(tǒng)行業(yè)升級轉(zhuǎn)型為互聯(lián)網(wǎng)+智能化的產(chǎn)業(yè)。