中餐主食圖像識別研究

王長冬

摘要：作者針對中餐主食圖像的識別問題研究提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的方法，完成對共計20類中餐主食接近2萬張的圖片進(jìn)行了訓(xùn)練和測試，得到了較為滿意的結(jié)果。將訓(xùn)練得到的網(wǎng)絡(luò)模型通過應(yīng)用框架進(jìn)行了安卓平臺的移植開發(fā)，實際應(yīng)用效果表現(xiàn)良好。

關(guān)鍵詞：中餐主食;卷積神經(jīng)網(wǎng)絡(luò);遷移學(xué)習(xí);圖像識別;安卓平臺

1 緒論

近年來圖像的分類和識別技術(shù)被應(yīng)用于各個不同領(lǐng)域，如衛(wèi)生、交通、智能機(jī)器人和食品加工等。對圖像進(jìn)行分類和識別的方法很多，其中最常用的為提取圖像的顏色、形狀、紋理等特征，然后將這些特征輸入到機(jī)器學(xué)習(xí)算法中進(jìn)行分類。對食品圖像的分類和識別，在全球?qū)W者不同的研究工作中有不同的發(fā)現(xiàn)。總體來說，有基于形狀的特征和關(guān)鍵點(diǎn)[1-4]，顏色和紋理[5-7]，以及深度學(xué)習(xí)算法[8-9]。

本論文旨在尋找一種可靠的食物識別方法應(yīng)用于中餐主食圖像識別，并落實于實際應(yīng)用。根據(jù)實際實驗條件，識別方法需滿足以下條件：小型食物數(shù)據(jù)集以及可接受的準(zhǔn)確率以及為移動平臺考慮的低運(yùn)算成本。基于這三點(diǎn)，最終選擇了InceptionV3網(wǎng)絡(luò)模型進(jìn)行遷移學(xué)習(xí)實驗，以更快地達(dá)到研究目的。

2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，它的各個層包含若干個相同神經(jīng)元的拷貝。它由一個輸入層、許多中間層和一個輸出層組成。中間層可以包含許多不同的層，如卷積層、池化層和全連接層。卷積神經(jīng)網(wǎng)絡(luò)的概念源于動物的視覺系統(tǒng)，即對觀察所得圖像的分割行為，通過局部特征的判斷整合得到全局的判斷結(jié)果。基于這個分解特征的思想，卷積神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺，尤其是圖像分類和識別方面應(yīng)用非常廣泛。

2.1 InceptionV3網(wǎng)絡(luò)

InceptionNet網(wǎng)絡(luò)的思想是找出用密集成分近似最優(yōu)的局部稀疏結(jié)構(gòu)的方法，在InceptionV2版本中作者提出了BN正則化方法，對輸出進(jìn)行正態(tài)分布的規(guī)范化，解決輸入輸出分布不一致對特征提取造成的阻礙。下圖給出的是卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型Inception-v3[10]的結(jié)構(gòu)示意圖，如圖1所示。每個小的圓角矩形代表一個神經(jīng)網(wǎng)絡(luò)層。Bottleneck瓶頸層輸出Bottleneck feature為所提取出的特征。

Inception V3的優(yōu)勢為在v2版本上的進(jìn)一步分解卷積操作，豐富了網(wǎng)絡(luò)中的Inception模塊，充分發(fā)揮了降低維度的優(yōu)勢，將原5*5卷積分解為兩個3*3卷積串聯(lián)，此改進(jìn)降低了參數(shù)量又降低了計算量，進(jìn)一步提高了網(wǎng)絡(luò)性能。

2.2 遷移學(xué)習(xí)

通常，卷積神經(jīng)網(wǎng)絡(luò)需要大量的圖片數(shù)據(jù)和很長的訓(xùn)練時間來獲得一個有效的模型，所以對于小型數(shù)據(jù)集來說，卷積神經(jīng)網(wǎng)絡(luò)無法和別的識別方法形成有效的對比。但經(jīng)研究發(fā)現(xiàn)，一個在大型數(shù)據(jù)集上已經(jīng)訓(xùn)練好的模型，在另一個小型數(shù)據(jù)集上進(jìn)行二次訓(xùn)練，可以得到一個較為不錯的結(jié)果。這個過程被稱為遷移學(xué)習(xí)。遷移學(xué)習(xí)的概念可以從圖1中直觀地表現(xiàn)出來。以InceptionV3模型為例，當(dāng)新數(shù)據(jù)集和網(wǎng)絡(luò)模型初始訓(xùn)練時所用的原數(shù)據(jù)集近似，且規(guī)模遠(yuǎn)小于原數(shù)據(jù)集時，此時模型在新數(shù)據(jù)集上進(jìn)行訓(xùn)練時可以把該模型作為特征提取器使用，只需微調(diào)參數(shù)訓(xùn)練分類器即可。該方法契合本論文的實驗背景和條件。

因此，基于遷移學(xué)習(xí)方法和InceptionV3的性能，結(jié)合現(xiàn)有實際實驗條件，決定采用InceptionV3網(wǎng)絡(luò)進(jìn)行訓(xùn)練實驗。

3 模型訓(xùn)練實驗

根據(jù)實驗預(yù)計進(jìn)行分類的種類，數(shù)據(jù)集由香港城市大學(xué)開源數(shù)據(jù)集VIREO FOOD-172提供部分，并通過在互聯(lián)網(wǎng)上收集實驗相關(guān)圖像擴(kuò)充數(shù)據(jù)集類別，再人工進(jìn)行數(shù)據(jù)清理，舍棄無用數(shù)據(jù)，統(tǒng)一歸一化為Inception V3輸入尺寸即299×299，構(gòu)建共計20類圖像組合成的數(shù)據(jù)集。

3.1 數(shù)據(jù)預(yù)處理

初步擴(kuò)展完的數(shù)據(jù)集中，因部分類別的數(shù)據(jù)規(guī)模存在較大的差異，部分類的數(shù)據(jù)量低于200，而部分類的數(shù)據(jù)量近似達(dá)到1000。因此為防止模型在訓(xùn)練時對部分特征產(chǎn)生依賴，影響模型的泛化性能，根據(jù)各類的數(shù)據(jù)量進(jìn)行對應(yīng)擴(kuò)展，最終使所有類的數(shù)據(jù)量達(dá)到近似或等于1000的規(guī)模。其中，對圖像主要進(jìn)行了以下方式的擴(kuò)展，左右水平翻轉(zhuǎn)，逆時針45°旋轉(zhuǎn)，亮度、對比度以及圖像銳度增強(qiáng)。

3.2 模型訓(xùn)練

本論文在采用InceptionV3模型進(jìn)行遷移學(xué)習(xí)的訓(xùn)練時，舍棄了網(wǎng)絡(luò)的后三層，并添加新的全連接層作為分類器，將該模型瓶頸層提取的特征向量輸出作為新的全連接層輸入，訓(xùn)練新的分類器。由于進(jìn)行遷移學(xué)習(xí)的訓(xùn)練，整體網(wǎng)絡(luò)的原有訓(xùn)練參數(shù)將不進(jìn)行大的改動，逐步微調(diào)學(xué)習(xí)率和訓(xùn)練次數(shù)以達(dá)到滿意效果。最終訓(xùn)練次數(shù)設(shè)定為8000次，學(xué)習(xí)率以指數(shù)形式衰減，起始學(xué)習(xí)率0.1，衰減后最小學(xué)習(xí)率限定為0.01，每次輸入數(shù)據(jù)量100，共進(jìn)行了10次實驗，最好正確率為95.5%，最低正確率為93.5%，平均正確率為94.21%，得到了較為滿意的實驗結(jié)果，且可以看出該模型具有較好的穩(wěn)定性。圖2所示為其中一次訓(xùn)練結(jié)果，驗證集正確率為94.1%。

3.3 移動端應(yīng)用

TensorFlow Lite是Google公司為應(yīng)用開發(fā)者提供的便于在移動平臺部署人工智能的框架，在該框架下可以部署用自己的數(shù)據(jù)集訓(xùn)練出的模型。

本應(yīng)用實現(xiàn)基于Android Studio平臺，SDK編譯版本為28，最低系統(tǒng)版本要求為安卓5.0。首先將前文中訓(xùn)練所得到的基于本論文數(shù)據(jù)集的新模型固定好網(wǎng)絡(luò)的參數(shù)后進(jìn)行轉(zhuǎn)換得到tflite量化模型。然后將模型導(dǎo)入新建的安卓應(yīng)用工程中，基于TensorFlow Lite框架在工程中實現(xiàn)目標(biāo)功能。主要實現(xiàn)功能包括：模型導(dǎo)入，圖片導(dǎo)入和預(yù)測功能。最終應(yīng)用識別效果如圖3所示。總計進(jìn)行了100張圖片測試，9張識別錯誤，測試正確率為91%，達(dá)到了預(yù)期的識別效果。

4 總結(jié)

本論文基于遷移學(xué)習(xí)方法靈活使用了InceptionV3網(wǎng)絡(luò)，調(diào)整了局部網(wǎng)絡(luò)結(jié)構(gòu)并優(yōu)化了參數(shù)，得到了理想的分類效果。構(gòu)建并擴(kuò)展了新的數(shù)據(jù)集使用，有效阻止了訓(xùn)練中模型對局部特征的依賴性，增強(qiáng)了模型泛化能力和穩(wěn)定性能。對遷移學(xué)習(xí)二次訓(xùn)練得到的新模型進(jìn)行了跨平臺移植，并基于此新模型開發(fā)了安卓端手機(jī)應(yīng)用，增加了模型選擇功能，有效增強(qiáng)了應(yīng)用的可拓展性，并在實際應(yīng)用效果上得到了較為滿意的結(jié)果。

參考文獻(xiàn)：

[1] 廖恩紅，李會芳，王華，等.基于卷積神經(jīng)網(wǎng)絡(luò)的食品圖像識別[J].華南師范大學(xué)學(xué)報（自然科學(xué)版），2019，51（4）：113-119.

[2] 何杰.基于集成深度卷積神經(jīng)網(wǎng)絡(luò)的中餐菜品識別[D].華南理工大學(xué)，2018.

[3] 董天驕.基于卷積神經(jīng)網(wǎng)絡(luò)的飲食分類與識別[D].杭州電子科技大學(xué)，2018.

[4] 梁華剛，溫曉倩，梁丹丹，等.多級卷積特征金字塔的細(xì)粒度食物圖片識別[J].中國圖像圖形學(xué)報，2019，24（6）：870-881.

[5] 蘇國煬.基于圖像的中餐菜品分割與識別[D].浙江大學(xué)，2019.

[6] 丁偉利，李勇，陳瑜.基于區(qū)域顏色特征的食物類別識別算法[J].電子科技，2016，29（6）：1-4.

[7] 汪聰.基于機(jī)器視覺的菜品智能識別技術(shù)研究[D].華南理工大學(xué)，2019.

[8] Fan-yu Kong，Hong-sheng He，Hollie A.Raynor，Jin-dong Tan.DietCam：Multi-view regular shape food recognition with a camera phone[J].Pervasive and Mobile Computing，2015，19（10）：10-16.

[9] KIM YONG SUK.Food Recognition and Diet Management System Using Deep Learning[P].KR20190091774，2019-08-07.

[10] Szegedy C，Vanhoucke V，Ioffe S，et al.Rethinking the Inception Architecture for Computer Vision[J].Computer Science，2015（12）.

【通聯(lián)編輯：張薇】