智能水果識別稱重系統設計

廣東海洋大學寸金學院 姚信光 舒秀蘭 李勤渝 呂品弘 周 煊 馬昌運

在普通超市的水果售賣過程中，傳統電子稱不具備視覺功能，需要人工輔助進行稱重，不僅效率低下，而且操作過程繁瑣。針對這種情況并綜合顧客體驗，本設計提出了一種由OPENMV視覺識別模塊、stm32f767主控芯片、語音模塊、RGB電容觸摸屏、稱重模塊構成的水果稱重識別系統，結合圖像處理技術自動識別水果種類并稱重計算相應價格后顯示在RGB電容觸摸屏上，再通過語音模塊播報，實現自動稱重、報價的功能。實驗結果表明，本系統操作方便，識別過程精準，在商場的水果銷售中具有一定的市場應用價值。

顧客在超市選購水果完畢后，需要由售貨員在傳統電子稱上選擇單價后稱重并粘貼條碼，操作過程繁瑣、人工成本高、效率低下。此外，還有半自助式電子稱，即由顧客自行選擇對應單價后稱重并粘貼條碼，也存在價格選擇錯誤等問題。

隨著計算機視覺的發展，圖像識別技術的不斷成熟，本設計將視覺功能與傳統電子秤相結合采用OPENMV模塊實現自動選擇識別，通過顏色、大小、相識度進行逐層掃描，高效的識別出對應的水果種類，通過電子稱重裝置，讀取水果重量，根據水果單價顯示在RGB屏幕上，并通過語音識別播報識別結果和稱重價格，從而實現自動化

圖1 RGB人機交互系統框圖

水果稱重，減少排隊，大大提升了顧客滿意度。

1 系統硬件設計

1.1 主控芯片

主控芯片為高性能ARM Cortex-M7系列STM32F767，具有2 MB Flash、216 MHz CPU、ART加速器、一級緩存，在系統接收到OpenMV識別結果信息后，通過人機交換，將識別到的信息，以UI圖像的形式傳遞到RGB電容觸摸屏，并與稱重結果和對應的水果價格進行語言報價。

1.2 電容觸摸屏

目前電極的形狀坐標的定位算法有三種引用：

電容觸摸屏的結構，設為正方形（1點為左下角，2點為左上角，3點右上角，4點右下角），其中以1、4電極的交點為坐標原點，觸摸屏的長、寬分別為：a、b，正方形左、上、右、下表示觸摸屏4個電極輸出的電流分別為：I1、I2、I3和I4。

RGB電容觸摸屏，總線為I2C總線，通過4個接口來實現對應的信息傳遞，降低接口使用，通過RGB電容屏實現彩色屏幕顯示，將對應的窗口顯示到觸摸屏，客戶使用觸摸屏后，系統感知對應的信息傳遞給主控芯片，將對應的信息和窗口打印到RGB電容觸摸屏上，實現人機交換。如圖1所示。

1.3 語音系統設計

語音系統將采集的聲音放入模塊中進行儲存，不需要用戶進行錄音訓練，只需要把識別的關鍵詞語以字符串的形式傳送進芯片，即可以在下次識別中立即生效。通過語音識別 ASR技術，將關鍵字形成鍵詞語列表識別的技術，通過語音數據進行語音模型分析來建模成數學模型，經過反復訓練提取基元語音的細節特征，以及提取各基元間的特征差異。得到在統計概率最優化意義上的各個基元語音特征。如圖2所示。

圖2 語言播報系統框圖

1.4 電壓稱重系統

通過電橋的受力，使電橋的應變片受到壓縮或著拉伸的形變，使電橋內的阻值發生變化，使得產生對應的差動信號，再通過芯片內部的ADC模塊計算出對應的電壓值，從而計算出對應的稱重物體的重量，從告知系統稱重水果的重量。

2 系統軟件設計

通過Openmv IDE和MDK keil5分別實現，視覺模塊信息控制和主控芯片人際交互控制，以及語言報價。

顧客在RGB電子觸摸屏上選擇對應的稱重模式后，系統感知對應的程序，先通過IIC協議對電子稱重模塊進行采集稱重結果，再使用USART接口協議對OPENMV進行水果識別功能選擇，將識別結果利用USART傳回STM32主控芯片，再通過已知水果當前價格，進行計算本次稱重水果的總價，將水果的總價通過語音報價和RGB觸摸屏顯示出來。如圖3所示。

圖3 系統軟件設計流程圖

結語：本系統采用的STM32、OPENMV分別作為主控芯片和視覺模塊，利用圖像處理技術對應水果的顏色、大小、相識度進行逐層分類，能快速識別出水果種類、稱重并且通過語音模塊進行報價。實驗結果表明，系統具有識別響應快，識別精度高的優點，有效縮短顧客的購買等待時間的同時也為零售連鎖店或大型賣場節約人力成本，提高管理效率。