基于卷積神經網絡的菜品識別研究與實現

陳小娥，李慧敏，陳德濤

（福建船政交通職業學院信息與智慧交通學院，福州 350007）

0 引言

隨著“新零售”概念的提出，應用互聯網大數據、人工智能技術等方法，重構商圈構造與生態鏈，并對線上線下服務項目、線下推廣感受及其智慧物流開展創新發展的零售新方式，各銷售行業掀起了全新的發展浪潮。在校園餐廳、企業和政府餐廳、連鎖快餐等地方，餐飲消費時間段相對集中，高峰期的排隊大大降低了顧客就餐體驗。在餐飲行業中占比較大是中小商家，眾多中小商家面臨經營成本高、利潤低等問題。餐飲的信息化和自動化是餐飲“新零售”的重要體現，而自助結算實現的自動化可以有效地降低餐飲商家的人工成本和經營效率。

目前比較常見的餐廳自動結算系統主要有基于RFID 的射頻技術和圖像識別技術。基于RFID技術的系統主要是由一個顯示屏、讀寫器和讀卡器的智能自助結算終端構成，每一個根據不同菜品定制的餐盤內都植入一個RFID 芯片，結算時將裝有智慧菜碟的托盤放到能自助結算終端的“結算區”，讀取芯片信息，經過顯示屏向就餐顧客顯示本次飯菜份數、金額，由此進行結算，如文獻［1］選用STM 32 作為主控板，TFT-LCD 作為顯示模塊，實現了基于二進制算法的RFID 射頻技術的無人結算［1］。而圖像識別技術應用于自助結算，早期主要是采用傳統的機器學習方法，根據餐具的大小、形狀、顏色或菜品等圖像信息，先通過圖像分割，后提取相應的特征，再選取分類器進行分類。隨著深度學習的流行，現在逐步地采用深度學習中的目標檢測算法實現自助結算功能。當前比較主流的目標檢測方法有以RCNN、Faster R-CNN［2］系列為代表的Two-Stage 方法和以YOLO［3］和SSD［4］系列為代表的One-Stage方法。文獻［5］實現的系統通過餐盤的顏色和形狀對不同的菜品進行分類計價并算出總價,再進行自動扣款。文獻［6］通過對YOLOv3目標檢測模型進行改進，去除中小尺度的邊界框檢測，結合傳統圖像處理技術，實現了魯棒性更高的菜品識別算法。

本文主要采用MMDetection 框架［7］，通過Faster R-CNN目標檢測模型實現菜品定位、分類。在預測網絡的設計中，通過模塊化設計初篩+細分類的方式對一些易混淆的菜品類別單獨分類處理，避免多尺度環境下引起的誤識別，有效地提高了預測精度并且降低了數據集的需求量。

1 相關技術及原理

1.1 Faster R-CNN

Faster R-CNN 由兩個模塊組成。第一個模塊叫候選區域生成網絡（region proposal network，RPN），它是深度全卷積網絡，對于本文的應用場景，可以輸出可能存在餐盤的區域。第二個模塊叫Faster R-CNN 檢測器，判斷每個區域是餐盤或不是餐盤。RPN 使用近年來流行的“注意力機制”告訴Faster R-CNN 檢測器應該關注哪些區域。圖1引用文獻［3］中的圖3簡述RPN。

圖1 候選區域生成網絡（RPN）

在特征圖的每一片區域，我們并行地預測多個候選區域。用k表示每一片區域能預測的最大候選區域數量。每個候選區域要用4 個數字表示坐標軸位置，用2 個數字判斷這個區域屬于前景還是背景。所以reg layer 要輸出4k個輸出，cls layer 要用2k個輸出。這k個候選區域將根據k個“錨框”編碼。錨框位于每個3×3區域的中心，我們用3 組大小和3 組長寬比組合出9 個不同的錨框。

1.2 目標檢測框架MMDetection

當預測值與真實值一樣時，預測值為正樣本（真實值為正樣本）記為‘TP’,預測值為負樣本（真實值為負樣本）記為‘TN’；當預測值與真實值不一樣時，預測值為正樣本（真實值為負樣本）記為‘FP’，預測值為負樣本（真實值為正樣本）記為‘FN’。

1.3 評估指標

準確率（Accuracy）用分對的樣本數除以所有的樣本數，計算公式如下：

綜上所述，該區隱伏巖體埋藏深，上覆地層厚度大，區域重磁異常規模大，區域磁異常反映有NE和NW向構造存在，地表淺部有大范圍銻、汞等低溫熱液礦床存在，上述特征顯示該地帶找礦空間廣闊，具備尋找中大型低-中-高溫熱液礦床的條件。

MMDetection 是一個基于PyTorch 的開源目標檢測工具箱。它提供了多種視覺檢測核心模塊，我們可以組合這些模塊搭建出各種檢測框架。它的主要特性有：進行了模塊化設計，通過組合不同的組件，可以容易地構建定制的對象檢測框架；支持當前流行的檢測框架，如Faster RCNN、Mask R-CNN、RetinaNet 等；具有高效性，所有基本的bbox 和掩碼操作現在都在GPU 上運行。

2 基于卷積神經網絡的智能結算算法

2.1 算法基本思路

采用MMDetection 目標檢測框架進行模型構建、訓練。使用LabelMe 進行目標檢測數據標注。具體的步驟如下：①采集真實餐廳托盤數據，對采集到的圖片進行清洗、用LabelmMe進行圖片標注。②采用MMDetection 框架進行搭建，采用Faster R-CNN 目標檢測模型實現。③目標檢測模型的測試與應用。

在航道區域取18個采樣點，分析工程后沿深槽方向水流分布特征。將各采樣點橫流分布繪于圖5，同時由于篇幅有限，將部分采樣點的特征流速、流向統計值列于表3。

2.2 算法設計

2.2.1 改進的預測網絡

在預測網絡的設計中，我們通過模塊化設計粗篩+細分類的方式對米飯、炒飯等易混淆的類別單獨分類處理，避免多尺度環境下大托盤引起的誤識別，圖2是預測網絡流程示意圖。

圖2 預測網絡流程

實驗過程中，設置優化器的類型為SGD，學習率初始值為0.01，動量為0.9，權重衰減率為0.0001。圖4 為模型訓練的training loss 折線圖。圖5 為菜品識別實驗過程中獲得的accuracy top1的折線圖。

使用OpenCV 與攝像頭交互，由于OpenCV 不支持GBK 編碼的文件系統，所以采用NumPy讀取圖片，再用OpenCV 解碼的方式。由于OpenCV 默認使用BGR 顏色通道，而其他程序包大多使用RGB 顏色通道，所以我們為讀取圖片和保存圖片的函數都加上了”rgb”標志，用于指示圖片的顏色通道。以下為讀取函數的代碼。

2.2.3 數據集格式轉換

Accuracy=(TP+TN)/(TP+TN+FP+FN)

MMDetection 使用數據集是COCO 格式，所以先將LabelMe 格式的標注數據轉換為COCO 格式的數據。COCO 數據集可以分解為一個數據庫里的3張表，圖片表、標注表、類別表。

下面以關系模式描述這些表：

全固態離子選擇性電極因為不含內充液，極易微型化、陣列化和制備成一次性的紙質電極和塑料柔性電極，受到越來越多研究人員的關注。

選入“少兒萬有經典文庫”的原典在人類科學史上的重要性和經典性不容置疑，但其厚重的篇幅和深邃的理論體系，讓一般讀者都可能望而卻步，更不要說理解能力有限的少年兒童。而在這套文庫里，少兒彩繪版呈現出生機勃勃的氣息，吸引著小讀者從容地走進經典。

圖片表（圖片ID，寬，高，文件名）；

標注表（標注ID，圖片ID，類別ID，面積，x，y，寬，高，群聚標識）；

將數據集轉換成COCO 格式后，還需要編寫數據集類，具體做法為繼承COCO 類，然后將類別列表修改成我們數據集的類別列表。以下為部分代碼。

類別表（類別ID，類別名，超類名）。

（3）提升施工技術人員的專業素質。施工人員在工程施工建設中，是第一梯隊的人才，是工程質量的基本保障，因此施工技術人員的專業素質以及技術水平會對工程的質量以及工程的施工進度起到直接影響。所以建筑企業需要對管理人員、技術人員以及施工人員的專業素質培養進行關注。為了更好地提升工作人員的專業技能以及素質，企業可以定期分批對相關施工技術人員等進行培訓教育工作，幫助施工人員以及技術人員的專業知識進行提升，縮小隊伍內部的專業差距。建筑企業在對相關工作人員進行選擇的時候，需要提升要求，做好崗前教育以及后期的提升培訓，讓施工人員和技術人員積極主動的接受培訓和指導，使得企業人力資源配置達到最優。

3 實驗過程及分析

3.1 餐廳數據采集與處理

首先，采集真實的結算場景圖片。如圖3 所示，采集2302 幅托盤圖片，總計63 道菜。采集過程中，調整攝像頭的位置到結算臺面固定50厘米的高度，同時在攝像頭旁放置一個補光燈，避免由于不同采集時間引起的一些干擾因素影響實驗結果。采集完成后，我們進行一定的數據清洗并標注。

圖3 數據集樣本示例

3.2 模型搭建與訓練

2.2.2 圖像的讀寫設計

圖4 training loss結果分析

圖5 accuracy top1折線

3.3 模型應用

（六）藥敏試驗 按常規紙片法進行藥敏試驗，不同場分離的菌株，其敏感性有明顯不同，但多數的菌株對硫酸新霉素、恩諾沙星、氨芐青霉素、氯霉素、丁胺卡那霉素敏感，對常用的青霉素、土霉素、金霉素不敏感。

針對采集的結算場景，利用計算機視覺算法，利用標注的位置信息和類別信息，訓練多個能夠檢測圖像中菜品的模型。選擇精準度最高的模型作為應用程序使用的模型。設計的軟件界面如圖6所示。

圖6 結算界面

用戶只需將選好菜品的托盤放進攝像頭下，系統主顯示區最終顯示每道菜的價格，結算區顯示就餐者所有菜加起來的應付的總價格。程序運行過程中，會不斷讀取視頻幀，對每一幀進行預測，當圖片中出現餐盤時，識別接口會將餐盤區域裁剪下來，輸入到分類網絡進行分類。再將識別的結果繪制在攝像頭讀入的圖片上，最后再繪制到界面上。經過實測，菜品正確識別率達95%。如果能夠避免同一餐中出現過于相似的菜品，準確率更高。

[譯文1]Observing abnormal behavior of animals suggests a particular disease problem or bad feeding management.

4 結語

針對餐廳自助結算的應用場景，本文實現了基于Faster R-CNN 的菜品識別檢測算法。對于添加新菜，現階段我們仍需通過遷移學習訓練模型實現，在未來，我們考慮通過孿生網絡的方式實現更快更簡易的添加菜品，以更好地適用于自助結算等場景。