基于圖像識別的果蔬自助結算系統

段中興，李偉哲，張亞俐，周 孟，丁青輝

(西安建筑科技大學 信息與控制工程學院，西安 710055)

0 引言

網絡技術和電子商務的快速發展，提高了線上購物的便捷性。由于在線上選購商品到實際收到商品所用時間較長，而蔬果類商品的保質期較短，因此消費者多選擇在線下商店選購此類商品。而目前線下商店售賣果蔬類商品大多需員工稱重后張貼條形碼[1-2]，然后由消費者前往收銀臺或自助結算終端掃描條形碼完成支付，無形中增加了商家的人力資源投入和消費者的購物流程，人流量較多時果蔬稱重區也會出現較嚴重的排隊問題。因此如何實現果蔬自動識別是當前超市自助結賬系統面臨的一個亟待解決的問題。

圖像識別技術的發展為果蔬自助結算提供了新的解決方案。羅承成等[3]通過改進單色塊及其領域算法提出了一種超市農產品圖像識別方法，能夠識別不同光照背景下的果蔬圖像；S.Arivazhagan等[4]通過提取水果的顏色和紋理特征提出了一種水果圖像識別方法，平均識別準確率達到了86%；S.R.Dubey等[5]提出一種基于圖像灰度值的紋理特征分類方法，實驗結果表明，圖像灰度值的紋理特征分類效果更好。但上述方法均需要人工設計圖像特征，其識別分類的效果往往依賴于算法工程師的領域知識和設計經驗。

自Alex Net[6]取得Imagenet競賽冠軍以來，卷積神經網絡[7]以無需人工設計特征的特點而得到海內外學者的廣泛關注并迅速發展，在人臉識別[8-9]、農作物識別[10]、交通標志識別[11-12]等領域得到了廣泛研究。在果蔬圖像識別領域，巨志勇等[13]利用柔性注意力算法改進Inception V3建立了果蔬識別模型，樊帥昌等[14]采用遷移學習方法訓練了一種基于Res Net的蘑菇識別模型，均得到了較高的識別精度，但深層卷積神經網絡的計算量較大，模型的響應時間也較長。

綜上所述，本文提出了一種基于改進Alex Net的超市果蔬識別方法，并結合硬件設計實現了果蔬自助結算系統。與Alex Net相比，該方法能夠提取不同尺度下的果蔬圖像特征，不同尺度的特征融合后表征能力更強；與Inception V3[15-16]、Res Net[17]等網絡相比，改進Alex Net的參數量和計算量較小，對硬件設備的處理器性能等要求較低，識別速率更快，更適合應用于果蔬自助結算系統。與現有自助結算設備相比，基于圖像的自助結算系統能夠在較短時間內完成果蔬的識別、稱重和計價，大大減少了果蔬類商品稱重標記的時間以及資源投入。

1 系統結構及原理

1.1 系統整體方案

果蔬自助結算系統無需人工操作即可識別出待檢測商品的類別及單價，并通過壓力傳感器等硬件采集商品重量信息，然后基于商品的類別、單價以及重量等信息通過硬件內置算法計算得出結算信息并在顯示器上顯示，最后消費者出示付款碼由掃描槍掃描完成支付，信息有誤時可通知管理人員修改錯誤信息，系統的整體方案見圖1。

圖1 系統方案示意圖

系統由重量采集、圖像采集、中央控制器和人機交互共4部分組成，其中中央控制器搭載有改進的果蔬識別方法。結算時系統的處理器首先檢測到重量采集部分接口的電平變化，之后啟動程序準備接收重量信號。檢測到重量采集部分接口電平變化的同時，系統啟動圖像采集部分，獲取待結算商品的圖像。之后中央控制器運行改進的果蔬識別方法判斷果蔬類別，將類別與重量信息融合得到商品總價并通過信息展示部分向消費者展示。若信息無誤則消費者可使用支付設備掃描付款碼完成支付；若商品信息有誤，可通知管理人員，由管理人員使用相應設備修正。

1.2 系統硬件組成及結構

現有自助結算設備通過掃描條形碼讀取商品信息，這一過程只需要處理少量數據即可實現商品信息的準確獲取及結算，因此現有自助結算設備的處理器性能往往比較低，而基于圖像識別果蔬類別需要經過大量計算，因此難以直接將果蔬識別方法部署于現有的自助結算設備。

而關于圖像識別的研究大多在實驗室等環境完成，該環境可以為識別模型的訓練與運行提供性能優越的處理器，大幅減少了模型訓練與運行的時長。但高性能處理器往往價格昂貴，用于自助結算系統具有極低的性價比，導致系統的應用價值降低。因此該研究一方面通過優化識別模型的網絡結構以降低對處理器性能的要求；另一方面綜合考慮處理器性能、性價比等因素對系統的硬件進行篩選。

考慮到實際應用時自助結算系統除了識別果蔬類別之外還需要補充多種商品識別方式和支付途徑，因此中央控制器需預留一定量的拓展空間；而圖像識別過程會涉及大量計算過程，因此中央控制器的處理器(CPU)要具有較高的性能。樹莓派4B集成了4核處理器Arm Cortex-A72，提供有Micro-HDMI、USB、CSI、GPIO等多種拓展接口[18]，具有無線/有線網絡和藍牙等連接方式，作為自助結算系統的中央控制器可以同時滿足拓展性和計算資源的需求，樹莓派4B擴展配件接口(GPIO)的具體分配方式見表1。

表1 GPIO接口分配方式

攝像頭是系統圖像采集部分最重要的硬件組成，其采集的圖像質量與識別的精度息息相關。系統使用的RaspiCam攝像頭通過CSI接口與樹莓派連接，啟用攝像頭的支持后可直接通過命令行驅動，相應更快且工作穩定性好，資源消耗低，圖像質量好，非常適用于圖像識別系統。

系統重量采集部分的輸出信號是啟動結算程序和計算商品總價的重要信息。重量信息的獲取首先由壓力傳感器將壓力值轉換為電量信號，之后再通過數模轉換芯片將之轉換成易處理的數字信號。應變式壓力傳感器由受壓時電阻值會改變的材料和電阻值固定的材料組成圖2所示的惠斯登橋，惠斯登橋的輸入為穩定的電壓源UIN，無外界壓力時惠斯登橋處于平衡狀態；受到壓力時，R1和R2的電阻值發生改變，惠斯登橋退出平衡狀態，輸出電壓值UOUT發生改變，經放大器、補償電路后產生與壓力值成線性對應關系的標準輸出信號。

圖2 惠斯登橋

考慮到人們在超市內消費時普遍不會一次性購入大量果蔬，因此該研究選用的應變式壓力傳感器的量程為5 kg，不受壓條件下惠斯登橋電阻材料的阻值為1 kΩ，電源輸入通過HX711數模轉換芯片與樹莓派的3.3 V接口連接，即UIN=3.3 V。

HX711數模轉換芯片[19]可以將傳感器輸出的模擬信號轉變為數字信號，應用于自助結算系統的重量測采集模塊可以很大程度上降低成本，提高系統性能和可靠性。芯片共有4個輸入輸出引腳，分別為VCC、GND、SCK、DT，其中信號傳輸主要通過SCK和DT引腳實現。將傳感器的模擬信號轉換為數字信號后，DT引腳將從高電平降至低電平，表明芯片已準備輸出重量的數字信息，之后SCK引腳輸出一串包含重量信息的時鐘信號。系統根據DT引腳電平的變化情況確定系統的工作狀態，使用SCK引腳的輸出信號計算商品總價，芯片與樹莓派的引腳連接方式見表2。

表2 HX711與樹莓派連接方式

系統人機交互部分包括用于展示商品信息的顯示器、用于支付的掃描槍和用于修正信息的鍵盤鼠標等硬件設備。系統硬件連接的原理如圖3所示，圖中隱去了硬件設備的內部電路。

圖3 硬件結構原理圖

2 系統軟件設計

系統軟件部分由果蔬識別算法和主程序組成，果蔬識別算法包括算法模型和模型參數兩部分，算法模型在Alex Net的基礎上進行改進，使用不同尺寸的卷積核增加特征的豐富度，使用“捷徑”連接方式增加特征的完整性，改進后模型能夠在性能相對較低的樹莓派等微型主機上運行并在較短時間內得到精準的識別結果；模型參數的訓練使用自建數據集以交叉熵值最小化原則訓練得到，訓練過程中根據交叉熵值的變化情況動態調整學習率。主程序按一定的時序將系統的外圍硬件和內部計算算法串聯起來，充分利用結算過程產生的不同信號，檢測托盤上是否存在待結算商品，并自行完成識別計價過程，無需人工參與。消費者完成支付后主程序可自行返回待機狀態，監測托盤上是否存在待結算商品；若商品信息或總價有誤，可通過管理人員修正支付信息，消費者支付成功后主程序重新進入待機狀態，系統軟件部分的設計思路見圖4。

2.1 果蔬識別方法

超市果蔬種類繁多，顏色紋理輪廓等特征多種多樣且部分品種間存在大量相似特征，因此識別網絡需具備足夠的復雜度以確保所提取的特征具備足夠的表征能力。同時由于自助結算系統的中央控制器的計算資源并不豐富，因此網絡模型的計算量和參數量應當盡可能小。對比Alex Net、Inception V3、Res Net等經典網絡模型發現，Alex Net的網絡結構簡單，特征的完整性與多樣性相對不足，但多數研究表明該網絡在圖像識別領域具有一定的應用潛力；而Inception V3、Res Net等網絡結構復雜，特征表征能力更強，但參數量和計算量巨大，對硬件設備的性能要求較高且網絡進一步優化改進的空間較小。因此選擇在Alex Net的基礎上進行改進，使網絡模型能夠以較小的計算資源需求完成對常見果蔬的準確識別。

圖4軟件流程圖

2.1.1 并行卷積通道

卷積神經網絡通過卷積計算提取圖像特征，得到輸入圖像的特征圖，特征圖尺寸與輸入尺寸之間的關系見式(1)：

(1)

其中:Sin為輸入圖像的尺寸，Sout是輸出的尺寸，P是圖像填充的尺寸，k為卷積核尺寸，s為卷積的步長。

假設輸入圖像的尺寸為5×5，卷積步長設置為1，圖像填充方式為無填充，使用3×3大小的卷積核提取圖像特征時，輸出尺寸Sout=3，如圖5(a)所示。輸出特征圖中數值與輸入圖像的固定像素值區域一一對應，如圖5(a)輸入圖像深色框線標注的3×3像素值區域與輸出特征圖的深色區域，特征圖數值對應的像素值區域即為卷積核的感受野，可見3×3卷積核的感受野大小為3×3；同理，使用5×5大小的卷積核時輸出的特征圖尺寸為1×1，該數值與全部的5×5像素值區域相關，即感受野大小為5×5，如圖5(b)所示。

圖5 感受野與卷積核對應關系

果蔬識別過程中，感受野的大小直接影響特征圖對不同尺度特征信息的表達。感受野較大時，特征圖數值對應較大的圖像區域，在這一區域，背景圖像與前景圖像的像素值差距遠大于前景圖像中紋理與葉片之間的像素值差距，因此更為細節的紋理等信息對特征圖輸出值的影響很小，甚至可以忽略不計，導致大感受野下圖像特征圖更多用來表達輪廓等較為明顯的特征而忽視細節紋理特征；感受野較小時，特征圖數值對應的圖像區域較小，多數區域不會同時包含前景、背景等內容，因此圖像輪廓等信息難以在小感受野內充分體現，而紋理等細節信息將對特征值產生較大影響，如圖6所示。

圖6 卷積核尺寸對提取特征的影響

將卷積神經網絡第l層卷積的輸出定義為xl，則改進前網絡各卷積層的輸入輸出關系見式(2)，改進后的輸入輸出關系見式(3)。

xl=f(w,h,xl-1)

(2)

xl=g(f(w1,h1,xl-1)，f(w2,h2,xl-1)，…)

(3)

其中：f代表卷積操作，w、h分別為卷積核的寬度和高度。g代表特征圖疊加操作，即將不同卷積通道的輸出在特征圖厚度(即特征圖的通道)上進行堆疊。

鑒于輸入圖像的尺寸相對較大，若網絡首層使用的卷積核尺寸過小，則易導致細節信息不能完整表達，使提取的特征帶有大量無效信息，網絡首層的改進為在原網絡結構的基礎上增加一條卷積核尺寸為7×7的卷積通道，改進前首層卷積的輸入輸出見式(4)，改進后的輸入輸出關系式見式(5)：

x1=f(11,11,x0)

(4)

x1=g(f(11,11,x0)，f(7,7,x0))

(5)

其中:x0為網絡輸入圖像，尺寸為224×224×3。

之后使用池化卷積降低輸出特征圖的尺寸，公式見式(6)：

xp1=pool(x1，3,3,2,valid)

(6)

其中:xp1為池化后第一層卷積的輸出特征，pool代表池化運算，包括最大池化和平均池化兩種，分別取池化范圍內的最大值或平均值作為輸出特征。pool的輸入為第一層卷積的輸出x1，之后兩個參數為池化卷積核尺寸的寬度和高度，第4個參數為卷積步長，本次池化的像素值區域與下次池化區域之間間隔的特征圖行列數，最后一個參數為圖像填充方式，包括same padding和valid padding兩種，same padding也叫0填充，即在圖像邊緣填充0像素，可以保持輸入與輸出維度相同；valid padding即不填充，輸出尺寸小于輸入尺寸。

經過一次池化后，特征圖尺寸已經相對較小，因此第二個卷積層取消了7×7等相對較大的卷積核，在原網絡5×5卷積的基礎上增加了更小的3×3、1×1兩種小卷積核，用于提取不同感受野的特征信息，疊加后使用池化層再次降低輸出特征圖的尺寸。改進網絡第二層卷積的計算公式見式(7)、(8)：

x2=g(f(5,5,xp1)，f(3,3,xp1)，f(1,1,xp1))

(7)

xp2=pool(x2，3,3,2,valid)

(8)

此時網絡輸出的尺寸已經較小，因此后三層卷積在3×3卷積的基礎上補充了1×1卷積，以滿足特征圖豐富度的要求。最后三層卷積的運算公式見式(9)：

xl=g(f(3,3,xl-1)，f(1,1,xl-1))

(9)

其中:l=(3,4,5)，l=3時卷積層的輸入為xp2。

并行卷積通道的存在使網絡使用了更多的卷積核，導致網絡參數量增加，不利于網絡在資源有限的終端設備上進行部署，為在保證感受野豐富度的條件下降低網絡的參數量，該研究使用多個連續的3×3卷積核替代較大卷積核。例如在圖5中，若再次使用3×3的卷積核對圖5(a)輸出的特征圖進行卷積計算，其輸出維度將降低至1×1，與圖5(b)的輸出特征圖維度相同，且最終輸出值與輸入圖像的5×5維數據相關，因此連續兩個3×3卷積核疊加后感受野與5×5卷積核的感受野大小相同。而兩個3×3卷積核的參數量為3×3×2=18，一個5×5卷積核的參數量為5×5×1=25，替換后參數量可降低28%，表明使用多個小卷積核替代大卷積核能夠實現在保持卷積感受野不變的前提下降低網絡參數量的目標。

2.1.2 “捷徑”連接

傳統Alex Net的卷積層僅與上下層連接，逐層的卷積操作將淺層卷積所提取的邊緣紋理等低層次特征逐漸映射為抽象的高層次特征，最后使用這些高層次特征進行分類。這種分類方法沒有考慮到低層次特征對分類結果的影響，用于分類的特征信息缺乏完整性；同時，網絡深度的增加也使網絡在訓練過程中易出現梯度消失或梯度爆炸問題，導致網絡的訓練難度增大。

K.M.He等[17]在網絡中引入了“捷徑”連接方式，即將本層網絡的輸出通過恒等映射等方式與更深層網絡的輸出相融合，使深層網絡的輸出特征中存在淺層特征的映射。前向傳播時，這種連接方式能夠直接將低層次特征映射到深層網絡所提取的高層次特征中，提高了特征信息的完整性；反向傳播時，深層網絡的梯度也可以通過“捷徑”連接直接傳遞到淺層，可以有效避免梯度消失和梯度爆炸等問題。與傳統網絡相比，這種連接方式有效利用了對邊緣紋理等信息保存較好的低層次特征，使得網絡輸出的高層次特征中的邊緣和細節信息得到一定程度的增強，網絡的輸出特征也更加完整。

增加“捷徑”連接后卷積層的輸入輸出關系見式(10)：

xl=f(w,h,xl-1)+xl-1

(10)

與式(2)相比，式(10)增加了上一層輸出的恒等映射，在該層的輸出中可以在一定程度上保留上層信息。

改進后的Alex Net網絡雖然增加了并行卷積通道，但依舊僅包含5個卷積層，網絡層數較淺，特征圖前向傳播和誤差反向傳遞過程較為簡單，因此在改進網絡中設置“捷徑”連接時主要考慮了前向傳播過程中低層次特征向深層網絡的映射問題。改進后的Alex Net前2層卷積感受野尺寸較為豐富，所提取特征包含不同尺度下的邊緣、紋理等低層次特征；后面3層卷積結構較為單一，功能上主要負責將上層輸出映射為更高層次的特征。因此改進網絡中通過“捷徑”連接方式和“與”操作將改進Alex Net的第一層、第二層網絡的輸出映射至第五層網絡的輸出，實現特征在不同尺度上的融合，增加特征信息的完整性。補充恒等映射后的網絡輸出xRes5與第五層卷積的輸出特征圖x5之間的關系式見式(11):

xRes5=Add(xp1,xp2,x5)

(11)

其中:Add表示“與”操作，實現低層次特征與高層次特征在相同維度內的融合。

改進Alex Net的網絡結構見圖7，參數設置見表3。

表3 改進Alex Net參數設置

圖7 改進Alex Net網絡結構

2.2 時序主程序設計

時序主程序負責將系統的各組成部分按一定順序串聯，其設計合理與否直接決定系統是否能夠有效利用結算過程中產生的各種信息自動運行，并盡可能減少冗余信息，同時避免組成部分間的時序沖突，是系統能否穩定有效運行的基礎。功能上主要包括監測重量信號、獲取商品圖像、識別商品類別、確認結算完成等部分，軟件的具體實現流程見圖8。

圖8 主程序流程圖

使用該系統結算時，首先需要商家在消費者結算前啟動主程序，預加載識別算法模型及參數，之后主程序進入待機狀態，時刻監測GPIO.3接口電平信號的變化情況。

消費者結算時，將商品放置于稱重托盤，托盤下方的壓力傳感器受壓后輸出模擬電量信號，經HX711數模轉換芯片轉換為數字信號，通過GPIO.2、GPIO.3接口輸出，輸出時GPIO.3接口首先由高電平狀態降低至低電平，主機確認接收之后HX711芯片的SCK接口發送存儲重量信息的數字時鐘信號至樹莓派。

樹莓派主機檢測到GPIO.3接口的電平變化后，首先開始接收GPIO.2接口的重量信息，之后打開攝像頭，采集待結算商品的圖像，并使用Image函數庫將圖像尺寸調整為224×224×3。之后將圖像輸入到果蔬識別算法，經處理器運算得到商品最大概率的所屬類別，融合商品重量和類別信息計算出商品總價并在顯示器上展示相關信息。

若商品類別及單價信息無誤，消費者結算后主程序返回待機狀態，等待下次結算；若商品信息有誤，可通過管理人員修改商品信息并結算，之后程序待機，等待下次結算。

使用該主程序完成果蔬自助結算系統設計，系統運行時僅最初啟動時加載一次識別算法的模型和參數，后續結算時可直接調用識別，大大減少了識別過程的時長；消費者結算時僅需將果蔬等商品放置于稱重托盤，之后等待系統出示結算信息，極大程度上簡化了消費者的結算流程，與當前超市普遍使用的結算方式相比更加方便快捷。

3 實驗結果與分析

3.1 果蔬數據集構建

搭建果蔬自助結算系統，除了要設計基于圖像的果蔬識別方法之外，還需要有相應的圖像數據集訓練識別算法。訓練集數據與實際情況的相符程度對識別方法的精度等有著重要影響，但目前關于果蔬識別的研究較少，國內外相應的數據庫還未建成，因此研究過程中需設計圖像采集方案建立相應超市果蔬數據集。對超市常見果蔬種類進行調研，篩選出24類常見果蔬(包括特征相似的國產香蕉、進口香蕉等類別)作為采集目標，使用模擬實際場景搭建的硬件設備采集果蔬圖像以增強數據集圖像與實際應用場景的相符程度。

實際應用過程中結算環境的光照等外部條件的變化以及結算時果蔬在托盤上擺放方式的不同等可能會影響果蔬識別的準確率，因此在采集果蔬圖像時設置了正常光照、強光照、弱光照3種光照條件，分別在3種條件下采集果蔬不同擺放角度的圖像，預訓練后建立數據集。

采集時使用額外光源、遮光窗簾等設備調節現場的光照強度，使用曲別針等制作簡易小型支架，使果蔬可以處于特定傾斜角度。采集時將果蔬放置于托盤固定位置，每旋轉一定角度采集一次圖像，之后使用支架使果蔬處于一定傾斜角度，再次旋轉采集圖像，直至充分采集果蔬任意角度下的圖像。最終采集到圖像共43 989張，各光照條件下的圖像數量在14 000張以上，相同光照條件下各類果蔬的圖像均在500張以上。

拍攝的原始圖像尺寸較大，存在較多無關信息，會影響網絡的特征提取效果，需要通過圖像預處理方法將目標圖像與無關信息分割開，即實現圖像前景區域和背景部分的分割。其分割過程如圖所示。首先將原始圖像轉換為灰度圖像，使用自適應閾值分割法[20]將圖像的前景與背景分割開，之后使用填充處理操作得到前景圖像，見圖9(a)、圖9(b)和圖9(c)。發現由于光照等條件的影響，圖像的部分前景區域呈現出與背景區域相近的灰度，導致分割后的前景圖像不完整，因此需要使用形態學膨脹處理方法進一步處理，之后再使用填充處理操作得到完整的前景圖像，見圖9(d)和圖9(e)。

圖9 數據預處理過程圖解

3.2 模型訓練與對比

為測試改進Alex Net的效果，設計了模型訓練和測試方法，使用超市果蔬數據集分別訓練改進Alex Net、Inception V3和Res Net，并記錄訓練和測試過程的指標參數。實驗平臺使用Windows10家庭中文版操作系統，中央處理器為Intel Core i5-8300H。

首先將數據集按照7∶2∶1的比例劃分為訓練集、驗證集和測試集；設置初始學習率、最大迭代次數等超參數，使用訓練集數據訓練模型參數。

之后依照交叉熵值最小化原則調節模型參數。模型參數保存條件為保留最近一次交叉熵值降低時的模型參數。訓練過程超參數的調節依據為交叉熵值連續未降低的迭代次數，若少于3次則保持超參數不變，直接開始下次迭代；大于或等于3次且小于7次則將學習率調整至當前學習率的0.5倍；連續7次未降低時提前結束訓練過程，保存最后一次交叉熵值降低時的模型參數。3種網絡的訓練過程如圖10所示。

圖10 網絡訓練過程

最后重新載入模型，測試參數加載時間，輸入測試集圖像測試模型的總體平均識別準確率和單張圖片識別用時。測試結果見表4。

表4 模型對比實驗結果

對比圖10準確率和交叉熵值的變化過程發現，雖然三種網絡最終的識別準確率接近，交叉熵值也很低，但Inception V3和Res Net訓練過程中存在訓練集準確率和交叉熵值平滑過渡但驗證集準確率和交叉熵值大幅變化的情況，認為在訓練Inception V3和Res Net時網絡模型出現了過擬合現象，表明在當前應用情形下模型復雜度高于實際所需，模型計算過程存在冗余的計算空間而部署果蔬識別方法的終端設備的處理器性能低于訓練平臺，運行深層網絡存在一定難度，因此訓練過程較為平滑的改進Alex Net更為適合果蔬自助結算系統。結合表4測試結果發現改進Alex Net的平均識別精度與Inception V3和Res Net接近，但參數量規模更小，模型加載和識別也更為快速。因此，基于改進Alex Net的果蔬識別方法更適合用于解決超市自助結賬系統面臨的果蔬識別問題。

3.3 系統測試結果與分析

經測試認為改進的果蔬識別方法能夠在資源需求更小的前提下保持相對較高的識別精度，符合果蔬自助結算系統的使用條件，因此將該方法部署到果蔬自助結算系統的樹莓派中，運行主程序測試系統單次的結算時長以及對各類果蔬的識別準確率。系統的運行環境如圖11所示。

圖11 系統運行環境

系統測試步驟如下：

1)配置程序運行環境，程序進入待機狀態。接通電源，打開樹莓派，啟動自助結算主程序。程序初次啟動時需要加載TensorFlow深度學習框架、改進果蔬識別方法的模型參數、OpenCV函數庫和WiringPi軟件包，作用分別是構建識別模型、加載模型參數、攝像頭調用和圖片處理、GPIO接口功能配置與實現。運行環境配置完成后程序進入循環部分，即待機狀態，此時程序通過監測GPIO.3接口的電平狀態判斷程序是否進入識別結算流程。

2)讀取商品重量信息。消費者將待結算商品放置到稱重托盤，壓力傳感器受壓后輸出商品重量信息，此時GPIO.3接口由高電平變為低電平，程序進入循環的識別結算部分。之后讀取GPIO.2接口的數字時鐘信號，換算后得到商品的重量值，單位為g，精度可達0.000 1，考慮到實際應用場景，計算后的重量數據僅保留到克。

3)采集待結算商品的圖像。GPIO.2接口的數字時鐘信號接收完成后，使用預配置的OpenCV函數庫調用攝像頭模塊，保存當前圖像并將圖像尺寸處理為識別方法所需尺寸維度。

4)識別商品類別。將采集圖像輸入果蔬識別算法模型，經特征提取與計算后得到待結算商品的類別。

5)計算商品總價，展示結算信息。根據識別結果讀取該類商品的單價等信息，與商品重量相乘得到商品總價，通過Image函數庫的相關函數將所采集的商品圖像、識別結果、商品編號及單價總價等信息在顯示器上顯示，見圖12。

圖12 單次運行結果

最后一步為信息確認與結算。這一階段程序讀取掃描槍和鍵盤鼠標的信息。若商品信息無誤，消費者出示付款碼，掃描槍掃描后將結果返回樹莓派，程序返回循環頂端，即重新進入待機狀態；若信息有誤可使用鍵盤鼠標等交互硬件選擇取消或聯系管理員修改商品信息，修改信息前需輸入正確的管理員信息，修改完成后消費者可通過掃描槍完成支付。

測試過程中系統啟動后可自動運行，需要人工操作的部分僅有放置待結算商品和出示付款碼兩部分，與現有自助結算設備相比結算流程更簡單；在實際應用過程中，系統完成結算的總用時約7.48秒，僅為人工結算所需時長的1/4[21]。

調整環境光照條件和果蔬擺放角度，重復上述實驗，測得系統在實際應用過程中對各類果蔬的識別率及全部類別的平均識別率，如表5所示。

表5 各類果蔬的識別率及數據集平均識別率

從表5中可以發現,網絡模型對國產香蕉、進口香蕉等特征相似度較高的果蔬均取得了較高的識別準確率，證明網絡能夠精確區分類間差異較小的果蔬品種；網絡的平均識別精度可以達到98.25%，表明網絡模型能在實際應用中取得較好結果。

4 結束語

本文提出了一種基于改進Alex Net的果蔬自動識別方法并設計了果蔬自助結算系統。通過增加卷積核尺寸不同的卷積通道和使用“捷徑”連接兩種方式改進網絡結構，增加了網絡提取特征的豐富性和完整性，優化了特征的表征能力；使用3×3卷積核替代較大的卷積核，進一步降低模型的參數量，使模型在資源有限的終端應用時加載、響應時間更短。搭建硬件平臺對果蔬自助結算系統進行實現，在實際運行環境下測試了系統性能，測得系統的整體識別率高于95%，除需要加載識別模型及參數的啟動時間之外系統響應時間不超過8 s。表明該方法及系統與人工結算相比更加方便快捷，與使用條形碼的自助結算設備相比具有更加廣闊的應用空間以及發展前景。