基于YOLO2模型的冰箱食品管理系統的研究與設計

劉琪琪 完瑪揚措

摘 要：在忙碌的生活中，并非所有人對食品的存儲都有著良好的習慣。這不僅會造成食物的浪費，還會導致人們（尤其是安全意識較低群體）誤食過期食品，而引發安全問題。本文圍繞如何有效解決冰箱的食品存儲問題為核心，主要講述了利用基于YOLO2模型的K210芯片，通過訓練冰箱食物模型，實現冰箱食物的智能管理。

關鍵詞：YOLO2;冰箱;K210

隨著電子信息技術的高速發展，人工智能、物聯網技術在人們生活中涉及的領域越來越廣泛，冷鏈系統的智能化因此得到高速發展。冰箱不僅活躍在人們的生活視野中，而且是連接冷鏈系統與家用電器的應用橋梁。它的推廣性高，用戶的使用頻率高，比其他冷鏈系統更加普及，為家用食品的存儲提供了很大的便利。該系統基于YOLO2模型，利用可推廣性和適用性高的圖像識別技術，通過卷積神經網絡的一般適用性解決不同食物存在的偏差;其本身處理精度和靈活性較高，適用面寬。本項目著眼于人們日常健康，同時達到減少人們日常生活中因繁忙忘記食物存放時間造成的生活垃圾的目的。

一、設計概述

該系統通過改裝的K210自身防霧攝像頭，識別使用者所放入和拿出的食物，對各類食物圖像進行采集，將各類食物利用神經網絡的方法，人工訓練對放入冰箱的食物圖像進行采集。利用數據庫技術，收集各類食物保鮮期信息，存儲常用食物的基本信息，通過Wi-Fi模塊反饋初次識別日期時間，并對不同食物放入起始點開始計時，在使用者拿出食物時，進行二次識別，比較食物存儲時長，判斷過期與否;利用TTS語音模塊及時反饋給使用者該食物的保鮮狀況等信息，從而實現冰箱對食品的存儲管理，避免食物的浪費和過期現象。

二、YOLO2模型

YOLO模型是一個先進的實時目標檢測系統，YOLO2模型在YOLO基礎上加以改進。YOLO2模型利用大型分類數據集ImageNet擴大目標檢測的數據種類，用高分辨率圖像訓練分類網絡，模型自動選擇合適的先驗框長、寬，將預測的偏移量限制在一個網格范圍內。多尺度輸入圖像，采用聯合訓練機制，混合來自檢測和分類數據集的圖像進行訓練。檢測網絡可分為三個階段：在ImageNet數據集上Finetune分類模型訓練;調整網絡輸入，繼續分類訓練;修改分類網絡為檢測網絡，繼續模型訓練。

本項目食物模型的訓練流程大致為：將不同種類食物圖像采集、訓練并制作初始樣本模型，需要盡可能多地輸入圖像，獲得多尺度特征圖，以提高精準度;對圖像進行分割、卷積運算、歸一化等操作來得到不同食物模型，達到目標檢測的目的;最后進行實物檢測，檢驗識別時間，精度是否合理，進行再次修改及調試。

圖1 YOLO2模型訓練大致流程圖

三、硬件設計

（一）KPU-K210

本項目采用kendryte k210芯片為主控芯片，是一個集成了機器視覺和機器聽覺的片上系統（SoC），采用雙核64位處理器，具有更好的功耗性能、穩定性和可靠性。其開發環境基于MicroPython，通過串口寫腳本，下載好一次固件，只用窗口和固件進行交互就能夠使用。該開發板開源項目少、體積小、十分簡便，可容納神經網絡模型。在本項目中它起著主要中央控制作用，通過它來調控冰箱識別管理系統的運行，對使用者放入、拿出食物的過程進行及時反饋，實現對食物圖像的檢測判斷作用。

（二）TTS語音模塊

該模塊將儲存的文件轉換成自然語音輸出，常與聲音識別程序一起使用。中文TTS系統包括語音處理和語音合成兩部分，利用中文韻律等相關知識對中文語句進行合理轉換，語音合成通過查詢中文語音庫得到語音。該模塊在本項目中起著對食物過期與否等信息的輸出作用。

本項目需要實現在冰箱中檢測食物種類，由于冰箱內外溫差較大會影響拍攝精度，則需在鏡頭前增加涂層防霧膜，在增加采光的同時減少霧氣對于圖像的干擾，增加圖像的清晰度和可見距離，延長攝像頭使用壽命。本項目需要實現對事物實時檢測，Wi-Fi模塊內置TCP/IP協議棧和IEEE802.11協議棧，能夠實現用戶串口到無線網絡之間的轉換。因此，使用內置Wi-Fi模塊聯網獲取更新時間。本項目使用SD卡存儲食物保鮮信息并記錄時間，SD卡以命令形式來控制讀寫操作，擁有高記憶容量、快速數據傳輸率、滿足基礎的數據存儲要求且成本低、極大的移動靈活性以及很好的安全性，對于本項目簡單的食物信息容量要求完全足夠。

四、總體流程

流程大致分為五個過程：

（1）不同食物模型的訓練;

（2）食物放入冰箱，進行檢測;

（3）檢測成功，存儲該食物信息并記錄初始時間點;

（4）使用者從冰箱中取出已檢測的食物，反饋二次時間點，得到食物新鮮狀態信息;

（5）通過語音模塊輸出。

五、項目特色

本項目程序可以在較短的時間內部署到用戶的產品中，給產品帶來人工智能，所涉及的冰箱食物不易分辨，而yolo2模型能夠直接同時輸出定位和分類結果，將目標檢測作為回歸任務解決。

（1）本項目切合現實需要，為冰箱的功能進一步優化。

（2）本項目著眼于人們日常健康也減少了人們日常生活中因繁忙忘記食物存放時間造成的生活垃圾。

（3）本項目利用智能識別、圖像處理等技術，貼近當前社會電子信息產品的發展趨勢。

基金項目：西北民族大學中央高校基本科研業務費資助本科生科研創新項目（項目編號：XBMU-BYL20202）