劉映群 黃嘉源 何卓恒 李創銘 陳日源



收稿日期:2023-10-09
基金項目:2023年廣東省科技創新戰略專項資金(“攀登計劃”專項資金)(pdjh2023b0845);2022年廣東省大學生創新創業訓練計劃(S202213919003)
DOI:10.19850/j.cnki.2096-4706.2024.07.024
摘? 要:針對近年野外露營存在的環境及安全隱患等問題,設計一種基于PaddlePaddle深度學習的野外露營安全裝置。首先采用卷積神經網絡訓練模型,然后通過圖像識別分類技術進行識別。文中以動物分類識別為例,通過對不同種類動物圖片進行訓練來改進模型,并對模型識別及分類的準確性進行驗證,最終精度為0.96以上。經測試,采用的模型在動物圖像分類中有較好效果,能滿足課題設計要求。
關鍵詞:PaddlePaddle;卷積神經網絡;圖像識別分類;野外露營安全裝置
中圖分類號:TP391.4;TP181 文獻標識碼:A 文章編號:2096-4706(2024)07-0113-05
A Field Camping Safety Device Based on PaddlePaddle Deep Learning
LIU Yingqun1, HUANG Jiayuan2, HE Zhuoheng3, LI Chuangming4, CHEN Riyuan1
(1.Guangdong Open University (Guangdong Polytechnic Institute), Guangzhou? 510091, China; 2.School of Intelligent Manufacturing and Electrical Engineering, Guangzhou Institute of Science and Technology, Guangzhou? 510540, China;
3.School of Electrical and Computer Engineering, Nanfang College Guangzhou, Guangzhou? 510970, China;
4.Zhongshan Camry Electronic Company Limited, Zhongshan? 528400, China)
Abstract: Aiming at the problems of environment and safety hazards in field camping in recent years, a field camping safety device based on PaddlePaddle Deep Learning (DL) is designed. Firstly, a Convolutional Neural Networks is used to train the model, and then image recognition and classification techniques are used for recognition. Taking animal classification and recognition as an example in the paper, the model is improved by training images of different types of animals, and the accuracy of model recognition and classification is verified. The final accuracy is above 0.96. After testing, the model used has shown good performance in animal image classification and can meet the requirements of the project design.
Keywords: PaddlePaddle1; Convolutional Neural Networks; image recognition and classification; field camping safety device
0? 引? 言
近幾年野外露營市場迅速擴張,野外帳篷需求也同步激增。目前,市面上多數野外帳篷以解決用戶“住”為主,忽略了“安全”問題,如霍少澤等[1]提出一種基于單片機的智能帳篷,實現露營環境狀態數據監測,武艷等[2]設計了露營帳篷安全監測系統,實現對帳篷周邊環境狀態進行監測,監測信息通過液晶屏顯示,并在危險時刻進入報警狀態。雖都使得帳篷更加智能化,但在安全方面還尚有不足,如缺乏對帳篷周圍具體環境狀態的智能視覺分析處理,用戶除了掌握基本的監測數據外,在野外露營的帳篷應該能夠達到保障用戶的基本安全。而在野外,潛在最大威脅為野獸,張雪瑩等[3]、楊銘倫等[4]與周文萱等[5]分別提出了對野生動物進行識別分類的方法。
本文設計一種基于PaddlePaddle深度學習的野外露營安全裝置,實現對露營周圍環境的監測,保證用戶安全。本文以物聯網傳感器實時監測環境狀態以及對圖像中的動物進行識別分類為例,通過PaddlePaddle深度學習平臺,構建基于卷積神經網絡訓練模型和導入動物數據集,將以此為例介紹野外露營安全監測裝置。
1? 裝置環境監測系統設計
基于PaddlePaddle深度學習的野外露營安全裝置外觀結構設計如圖1所示,通過使用伸縮桿對裝置進行體積壓縮,可大幅提升裝置其攜帶性。同時,通過對裝置進行斜面設計,可提高其雨水泄流能力。內部主要由環境監測系統與視覺處理單元組成,環境監測系統主要為傳感器集成電路板,通過多傳感器融合實現溫濕度檢測、移動物體距離檢測與驅趕等功能。視覺處理單元則對圖像進行收集與處理,針對移動物體進行分類處理,再根據處理結果判斷出的移動物體危險程度執行相關操作。
該傳感器集成電路板上以STM32f103ZET6為MCU,其配備64 KB SRAM、512 KB FLASH、2個基本定時器、4個通用定時器、2個高級定時器、2個DMA控制器(共12個通道)、3個SPI、2個IIC、5個串口、1個USB、1個CAN、3個12位ADC、1個12位DAC、1個SDIO接口、1個FSMC接口以及112個通用IO口[6],還有超聲波傳感器電路、DHT11溫濕度傳感器電路、照度傳感器電路、蜂鳴器電路與穩壓電路等;視覺處理單元采用Raspberry Pi 4B主板,4 GB的RAM,滿足對圖像高速處理的要求,并配備千兆以太網以及板載雙頻Wi-Fi/藍牙5.0,可進行設備之間無線高速數據傳輸。
2? 裝置電路設計
2.1? 視覺處理單元
本裝置視覺處理部分采用Raspberry Pi 4B,該主板擁有強大性能以及豐富的外設,其主頻最高可達1.5 GHz,并搭載4 GB內存容量可同時運行多線程任務。該主板具備攝像頭接口和無線網絡傳輸接口,可輕松連接攝像頭模塊并實現無線高速信號傳輸。同時,該主板可與主控MCU進行通信,以實現傳感器數據包的無線傳輸。本裝置將訓練模型部署于該主板,以實現端側AI視覺環境分析處理。視覺處理單元介紹如圖2所示。
2.2? 降壓穩壓電路
采用LMR14020SDDAR器件作為裝置降壓穩壓電路,該器件輸入電壓范圍:4~40 V;調壓輸出穩定3.3 V,2 A持續輸出電流,40 ?A超低工作靜態電流,非常適合電池供電類系統,并且在關斷狀態下具有1 μA的超低電流,可進一步延長電池使用壽命,符合本裝置供給降壓穩壓需求,電路如圖3所示。
2.3? 環境照度傳感器電路
本裝置環境照度傳感器電路采用BH1750FVI器件,用于采集環境光照數據。該器件擁有高精度數據采集以及低功耗能力,可精準測量1~65 535 Lux輸入光范圍,并通過IIC BUS接口與主控MCU進行通信,可實時讀取16位光照度數字信號,經過主控MCU邏輯分析后及時通過小程序反饋用戶當前環境光照變化情況。環境光照度監測電路如圖4所示。
2.4? 溫濕度傳感器電路
本裝置溫濕度傳感器電路采用DHT11數字型高精度器件,其溫度測量范圍為0~50 ℃,精度為±2 ℃、濕度測量范圍為20~90%RH,精度為±5%RH。該器件擁有體積小巧以及功耗較低的特點,可通過主控MCU對環境進行數據采集分析,實時監測當地溫濕度變化情況。環境溫濕度監測電路如圖5所示。
2.5? 物體測距監測電路
本裝置物體測距監測電路采用HC-SR04超聲波器件,該器件可達2~400 cm的非接觸式測距范圍,其精度高達3 mm。當傳感器監測到有物體靠近時,會向主控MCU發出信號,此時主控MCU下發指令驅動裝置電機,進而轉動至該物體位置,進行視覺分析處理。通過傳感器位置判斷后再喚醒攝像頭,可提供準確物體定位的同時進一步降低裝置整體運行功耗。超聲波監測電路如圖6所示。
2.6? 驅趕電路
針對視覺分析處理結果,聯調主控MCU發送特定的信號波,使得蜂鳴器發出相應鳴叫聲,實現有效地提醒用戶有物體靠近的情況,以及針對某種動物的特定頻率鳴叫聲驅趕,維護用戶露營區域安全。蜂鳴器電路如圖7所示。
3? 裝置電路設計
3.1? 圖像處理
PaddlePaddle基于百度多年的業務和技術,集深度學習訓練、基礎模型庫等技術、資源于一體,成為在主流深度學習框架中唯一完全國產化的產品[7],如孫玉梅等人提出的基于PaddlePaddle的遙感智能視覺平臺[8]、謝美英[9]和李玥瑤等人[10]提出的口罩佩戴識別等,國內也有很多企業基于PaddlePaddle研發出豐富的行業應用。本文基于PaddlePaddle進行圖像識別分類,而對于其中的圖像特征提取采用卷積神經網絡[11,12]的方式。
圖像識別分類結果分為幾種情況:1)檢測到危險程度低無威脅時,該裝置不會報警。2)檢測到危險程度中等時,該裝置進行自動驅趕并記錄相關信息,不提醒用戶。3)檢測到危險程度高且具有威脅性時,將識別數據傳輸到單片機主控板和用戶手機上,同時觸發報警提醒用戶,警示用戶做好相應的緊急應對措施。處理流程圖如圖8所示。
3.2? 控制端小程序
該裝置還配有控制端小程序,用戶可利用小程序控制照明燈板、獲取環境監測系統的數據以及控制視覺處理單元,極大方便用戶操控裝置。小程序如圖9所示。
4? 實驗框架設計
4.1? 數據集獲取來源
數據集主要通過網絡爬蟲執行,設定腳本對瀏覽器進行虛擬訪問,自動爬取滿足課題需求的動物信息,爬取的所有動物信息將被系統存儲,對信息進行分析、篩選、審查獲取其有效信息,并將爬取信息存放至設定文件夾中,最終形成數據采集閉環[10]。
4.2? 實驗方式的設計
本課題實驗組選取4類較為常見的野生動物物種作為實驗識別對象,分別是斑馬、大象、犀牛與蛇。使用PaddlePaddle平臺進行標注,對圖像進行框選標注,最終得到1 500張4類野生物種圖像。將數據集按照9:1的比例變成訓練集和測試集,其中90%的數據用于訓練,10%的數據用于測試[10]。
4.3? 部署PaddlePaddle平臺
使用PaddlePaddle平臺,創建新的動物訓練模型[13],導入網絡爬蟲爬取的動物信息,添加動物類別標簽,分別對不同標簽進行初次人工標注,當人工標注數量達到30%左右時,啟動PaddlePaddle平臺提供的智能標注功能對動物數據集進行自動預標注,通過主動學習等待一段時間后方可針對展示的預標注結果進行二次人工篩選調整,當標注數據符合預期后,選擇一鍵標注,導出標注好的數據信息。
啟動PaddlePaddle平臺中免費的訓練環境,對動物數據集進行分割及迭代訓練,選擇該模型下已訓練的基準模型版本,在數據應用場景不變的情況下,擴充數據提升模型訓練效率和精確度,根據已訓練版本的指標數據對下一輪次訓練及時進行數據調整。
獲取理想數據模型后,將訓練模型部署至設備端,選擇本地部署—通用小型設備—SDK(純離線服務)—通用ARM。
5? 訓練結果分析
5.1? 模型評估
精準度是檢測預測模型是否正確的重要指標,MAP(Mean Average Precision)是物體檢測(Object Detection)算法中衡量算法效果的指標。通過對數據集進行15輪次迭代訓練,以及將每一次訓練所得精準度值、MAP值和召回率進行記錄,最后將訓練好的模型與測試模型進行測試優化。
如表1所示,隨著輪次的增加,測試模型精確率也基本穩定在0.96以上,訓練模型、MAP數值符合最終課題要求。由本次舉例的動物識別實驗數據得出:訓練模型達到了野生動物高精度識別的要求,因此,識別效果達到課題預期的理想效果[10]。
2)MAP:不同閾值下的實驗得到P-R曲線,曲線下的面積為Average Precision(AP)值。“mean”意思為每類的平均AP值得MAP值,范圍在[0,1]區間,越接近1則表示模型效果越好。3)召回率:{某類樣本正確預測為該類的樣本數}占{標注為該類的總樣本數}的比率。
5.2? 模型預測
預測流程主要為:1)部署環境。2)放入標注好的訓練集。3)放入預測集到訓練模型中進行預測。4)將預測結果輸出。如圖10、圖11所示,對于具有迷惑性的動物圖像,模型依舊成功識別出了該動物類型,并且能夠隨著訓練次數與數據集的提升而不斷提高識別性能。因此,可以證明課題中高精度的野生動物識別實驗成功。
6? 結? 論
本文基于PaddlePaddle深度學習平臺,設計以圖像識別分類為主的野外露營安全裝置,介紹了裝置組成電路與軟件設計原理,并以某一類需要識別的物體(動物)進行舉例驗證,實驗采用PaddlePaddle平臺進行。經測試,識別精準度基本穩定在0.96以上,滿足設計要求。
其次,此次實驗只針對動物進行識別,暫未對其他物體進行實驗,但從實驗結果來看,該方法也適用于其他物體,下一步的研究目標為其他物體的識別。同時,該設計、識別原理也適用于安防或者需要對圖像進行處理的作業場景。
參考文獻:
[1] 霍少澤,胡立夫,袁育蒙,等.一種基于單片機的智能帳篷 [J].中國科技信息,2022(8):80-82.
[2] 武艷,崔凡輝,程文磊.露營帳篷安全監測系統設計 [J].江蘇科技信息,2016(35):67-68.
[3] 張雪瑩,張浩林,韓瑩瑩,等.基于深度學習的野生動物監測與識別研究進展 [J].野生動物學報,2022,43(1):251-258.
[4] 楊銘倫,張旭,郭穎,等.基于YOLOv5的紅外相機野生動物圖像識別 [J].激光與光電子學進展,2022,59(12):382-390.
[5] 周文萱,胡龍桃,張敏,等.基于YOLO的小型動物識別系統設計 [J].計算機時代,2019(3):22-25.
[6] 林玩杰,李水峰,毛立夫,等.基于STM32智能家居控制系統的設計 [J].電子設計工程,2019,27(24):176-180.
[7] 馬艷軍,于佃海,吳甜,等.飛槳:源于產業實踐的開源深度學習平臺 [J].數據與計算發展前沿,2019,1(5):105-115.
[8] 孫玉梅,劉昱豪,邊占新,等.深度學習PaddlePaddle框架支持下的遙感智能視覺平臺研究與實現 [J].測繪通報,2021(11):65-69+75.
[9] 謝美英.一個基于PaddlePaddle深度學習框架的口罩佩戴圖像識別模型 [J].現代信息科技,2022,6(4):111-114.
[10] 李玥瑤,周金治,王楊.基于PaddlePaddle和CNN的戴口罩人臉識別系統設計 [J].現代信息科技,2022,6(11):82-85.
[11] PaddlePaddle飛漿.卷積神經網絡基礎 [EB/OL].[2022-10-27].https://aistudio.baidu.com/aistudio/projectdetail/474522?channelType=0&channel=0.
[12] 顏冰.基于卷積神經網絡人臉識別實現策略 [J].網絡安全技術與應用,2022(6):47-49.
[13] 魏甫豫,張振宇,梁桂珍.基于卷積神經網絡下昆蟲種類圖像識別應用研究 [J].河南師范大學學報:自然科學版,2022,50(6):96-105.
作者簡介:劉映群(1978—),男,漢族,廣東潮州人,副教授,碩士,研究方向:物聯網應用技術;通訊作者:黃嘉源(2001—),男,漢族,廣東汕頭人,本科在讀,研究方向:電子信息工程;何卓恒(2002—),男,漢族,廣東佛山人,本科在讀,研究方向:電氣及其自動化;李創銘(1993—),男,漢族,廣東潮州人,學士,研究方向:物聯網應用技術;陳日源(2003—),男,漢族,廣東湛江人,研究方向:電子信息技術。