基于Faster R?CNN的無人超市商品自動化識別技術

摘" 要： 無人超市商品自動化識別過程中易受到背景復雜化、亮度不均勻、角度多變等的干擾。為此，提出一種基于Faster R?CNN的無人超市商品自動化識別方法。首先利用Haar小波提升模型，將商品圖像分為低頻圖像和高頻圖像；然后通過仿生彩色圖像法對圖像進行增強處理，并采用Faster R?CNN中的特征融合結構，將圖像深度信息與淺度信息融合到一起；最后將融合的特征輸入到自動化識別網絡中，輸出自動化識別結果。實驗結果表明，所提方法的識別效率高、圖像增強效果好、抗噪能力強。

關鍵詞： Faster R?CNN； 無人超市； 自動化識別； Haar小波； 商品圖像； 圖像增強； 中值濾波； 小波系數

中圖分類號： TN911.73?34； TP753" " " " " " " " " "文獻標識碼： A" " " " " " " " " 文章編號： 1004?373X（2024）12?0145?05

Automatic recognition technology of unmanned supermarket goods

based on Faster R?CNN

LU Qingmei

（College of Innovation and Entrepreneurship， North University of China， Taiyuan 030051， China）

Abstract： In the process of automatic identification of goods in unmanned supermarket， it is easy to be disturbed by the problems of complex background， uneven brightness， veriable angle and so on. Therefore， a method of unmanned supermarket goods automatic commodity identification based on faster R?CNN is proposed. The Haar wavelet lifting model is used to divide the commodity image into low?frequency image and high?frequency image， and then the bionic color image method is used to enhance the image. The feature fusion structure in faster R?CNN is used to intergate the image depth information and shallow information. The fused features are input into the automatic recognition network and the automatic recognition results are output. The experimental results show that the proposed method has high recognition efficiency， good image enhancement effect and strong anti?noise ability.

Keywords： faster R?CNN; unmanned supermarkets; automated identification; Haar wavelet; product images; image enhancement; median filtering; wavelet coefficients

0" 引" 言

隨著機器人和人工智能等科學技術的快速發(fā)展，商品零售模式[1]發(fā)生了翻天覆地的變化，無人超市、線上銷售等智能銷售方式已經普及化。商品自動化識別是智能服務業(yè)的基本要求，也是收集和分析超市商品銷售數據[2]的基礎信息的重要途徑，由實驗證明和理論依據可知，研究無人超市商品自動化識別方法具有重要意義。

劉照邦等人利用攝像機采集商品圖像，將圖像輸入到DNN模型中進行計算，獲得圖像的具體方位信息和庫存信息[3]。采用改進神經網絡中的目標檢測算法重新設計網絡結構，完成商品自動化識別。但是該方法沒有采取區(qū)域推薦網絡對圖像進行特征提取，導致識別效率低。

謝智偉等人在商品適應性識別方法的基礎上，首先建立一個客戶需求與商品功能的泛化匹配模型，借助拓展集方法將模型得到的匹配結果分成功能、行為、結構三個區(qū)域；然后細化各個區(qū)域內商品的特征層，構建特征層的可拓集合表達模型；最后以基元有向圖的傳導度作為商品自動化識別的依據[4]。但是該方法沒有對商品圖像采取圖像增強處理，導致識別精度較低。

劉瑩等人利用深度學習中的卷積神經網絡模型對貨架上的商品進行細節(jié)識別研究，并通過模型的自主學習能力獲取商品圖像的多層次特征，再對特征進行抽取和分析，將結果輸入到BP神經網絡中，獲取商品自動化識別結果[5]。但是該方法未對商品圖像進行降噪處理，導致識別結果抗噪聲能力差。

為了解決上述方法中存在的問題，本文提出一個基于Faster R?CNN的無人超市商品自動化識別方法。

1" 商品圖像預處理

1.1" 降噪處理

無人超市商品中存在大量椒鹽噪聲和高斯噪聲，為了避免噪聲對自動化識別結果產生干擾，利用中值濾波和小波系數變化來消除商品圖像中的噪聲，降噪流程如圖1所示。

商品圖像降噪步驟如下。

1） 椒鹽噪聲的存在會隨機改變商品圖像的像素值，首先采用4×4中值濾波技術對無人超市的商品進行降噪，并對其進行大規(guī)模的消噪。

2） 引入Haar小波提升模型，利用模型的可逆轉變化，提升小波系數，實現對商品圖像的分解[6]。將商品圖像分為高頻[rk-1，l]和低頻[tk-1，l]兩種圖像。其公式如下所示：

[rk-1，l=lek-12tk-1，l=lek-1+tk，2l]" " " （1）

式中：[e]為實際值與預測值之間的誤差；[k]為商品圖像中的像素點；[l]代表預測函數系數；[r]為圖像的高頻區(qū)域；[t]代表圖像的低頻區(qū)域。

3） 高頻圖像可以清晰地體現商品圖像特征細節(jié)，因此高斯噪聲主要存在于高頻圖像中。利用高頻圖像的小波系數來預測噪聲標準方差，然后利用小波系數降噪法消除高頻圖像中的高斯噪聲。去噪后的高頻圖像表示如下：

[?=Mrk-1，lYm，n0.674] （2）

式中：[M]為中間值；[Ym，n]為小波系數。

4） 低頻圖像可以表達圖像的輪廓特征，所以散斑噪聲大部分存在于其中。采用小波系數對改變后的低頻圖像進行閾值量化，去噪后的低頻圖像表示如下：

[U=?2tk-1，llnA·B·30]" " " " （3）

式中：[A]、[B]描述的是圖片尺寸。

5） 將處理后的高頻圖像與低頻圖像通過小波系數重新融合到一起，獲得去除噪聲后的圖像[7][P?，U]。

1.2" 圖像增強處理

無人超市由于光照不均勻、早晚溫差大等原因，導致商品圖像存在清晰度較低等情況，所以通過仿生彩色圖像法對去噪后的商品圖像[P?，U]進行增強處理，具體步驟如下。

1） 自適應全局調節(jié)亮度。根據圖像亮度的明暗等級，采用非線性映射算法完成圖像黑暗區(qū)域亮度增強[8]和區(qū)域動態(tài)壓縮。

首先設置亮度分量，公式如下：

[Jm，n=maxJR，JG，JBm，nP?，U]" （4）

式中：[Jm，n]為亮度分量；[JR]、[JG]、[JB]分別為紅、綠、藍的亮度分量；[m，n]為像素點。

2） 非線性映射算法。以原始商品圖像的明暗等級為基點，對圖像的整體亮度進行非線性調節(jié)，可以修正圖像中過亮或者過暗的區(qū)域，并且修正后的圖像的動態(tài)范圍被有效壓縮[9]，便于觀察。非線性映射算法公式如下所示：

[Jhm，n=Jom，nJm，n13+β3]" " " " " "（5）

式中：[Jhm，n]為調節(jié)亮度后的圖像；[Jom，n]為歸一化后的亮度；[β]代表原始圖像的明暗系數。

3）自適應局部增強對比度。經過亮度調節(jié)后的圖像陰暗區(qū)域變亮，但動態(tài)壓縮導致圖像對比度[10]減弱，因此引入當前點與鄰域亮度的雙邊濾波來增強圖像局部對比度。雙邊濾波是通過兩個高斯光滑函數來評測當前點與鄰域亮度之間的相似程度，公式如下：

[Jcm，n=GSGWJhm，nGSGWGS=expm2+n22α2GW=expm2-n22α2]" " " （6）

式中：[Jcm，n]為鄰域平均亮度；[GS]、[GW]為高斯光滑函數；[α]表示尺度參數；[m]、[n]代表像素點。

4） 圖像顏色恢復。采用原始圖像中的光彩表達信息，通過基礎的線性算法恢復增強圖像的色彩信息，可以完好地保存原始圖像的顏色特征。公式如下：

[Jkm，n=βm，n?Jcm，nk=R，G，B] （7）

式中：[Jkm，n]表示顏色恢復圖像；[k=R，G，B]，代表的是色彩恢復后圖像的三元色分量。

2" 基于Faster R?CNN的商品識別

針對去噪增強后的無人超市商品圖像，采用基于快速算法的卷積神經網絡提高模型計算速度的同時，增加了特征融合[11]功能，將商品圖像的深度信息與淺度信息融合后完成識別，具體過程如下。

1） 區(qū)域推薦網絡。對比其他神經網絡，Faster R?CNN的特點是使用區(qū)域推薦網絡替代原有的基礎網絡。區(qū)域推薦網絡的核心主題是利用卷積神經網絡直接生成建議區(qū)域。對比傳統(tǒng)的卷積神經網絡，Faster R?CNN模型增加了兩個卷積層，帶給區(qū)域推薦網絡更多的非線性處理問題的能力。

2） 卷積層運算。卷積層運算時，建議區(qū)域的邊緣長度與填充量均為1，運算后特征圖的尺寸保持不變，不僅可以充分地體現商品圖像各個層次的特征，也可以保證自動化識別結果不受干擾。公式如下：

[m1=1+m0+2r-lJkm，nt]" " " " （8）

式中：[m1]為圖像變換后的邊緣長度；[m0]為圖像變換前的邊緣長度；[r]為填充量；[l]為特征圖寬度；[t]為運算次數。

3） 激活層運算。在Faster R?CNN模型中，激活層的作用是為卷積層提供豐富的非線性運算功能。激活函數使用[ReLU]激活正函數，可最大程度降低運算錯誤率，并在圖像卷積運算時，可清理邊緣信息[12]。ReLU函數公式如下：

[ReLUa=0，a≤0a，agt;0] （9）

式中[a]為函數系數。

4） 特征融合。Faster R?CNN模型中存在若干個特征融合結構，針對不同的融合結構，卷積層和輸入層間可相互變換，完成多層次的反卷積層[13]計算。單元操作層將卷積層和輸入層連接到一起，在兩者間可執(zhí)行加減、取最大值等任務。在此基礎上，將卷積層和反卷積層的輸出特性結合起來，形成新的特征。

5）自動化識別網絡分為位置和類別識別兩種。將融合后的特征輸入到自動化識別網絡，預測出商品圖像的位置和類別。位置識別是將特征圖中任意一個像素坐標看作一個單元體，以所有的單元體為中心，生成多個候選檢測框；再根據每個候選框計算出所有類別的置信度及真實框的位置回歸函數，根據置信度和回歸函數重新計算神經網絡的權值參數[14]。在這個過程中會獲得匹配度最高的圖像候選框。公式如下：

[Mi，j=Mx，dm1N+μ?Mx，ym1N]" （10）

式中：[Mx，d]為置信度回歸函數；[N]為單元個數；[μ]為預測概率；[Mx，y]為候選框的位置回歸函數。

6） 在類別預測路徑中，各卷積層都與一個特征相對應，利用卷積層中的卷積核預測商品圖像的類別。卷積核的個數決定著特征圖中候選框的數量，每個卷積核可以輸出候選框信任度作為損失函數，對圖像進行類別預測。公式如下所示：

[b=b0+1?O]" （11）

式中：[O]表示候選框數量；[b]代表卷積核數量；[b0]表示預測類別數量。

7） 將自動化識別網絡的損失函數分為定位和置信度兩種損失函數。損失函數指引網絡更新權值[15]，以確定最接近真實框的檢測框，輸出商品自動化識別結果。損失函數計算公式為：

[M′x，y=ReLUa+bβ?M′x，yOM′x，d=ReLUa-f=1ObMqf，wlog d-wd] （12）

式中：[M′x，y]代表位置損失；[M′x，d]代表置信度損失；[β]為權重系數；[O]為候選框數量；[q]為類別；[d]為置信度；[f]為預測框個數；[w]為真實框個數。

3" 實驗與分析

為驗證基于Faster R?CNN的無人超市商品自動化識別方法的有效性，選擇文獻[3]方法、文獻[4]方法和文獻[5]方法作為對比方法。將識別效率、圖像增強能力和抗噪聲能力作為指標，分別對基于Faster R?CNN的無人超市商品自動化識別方法和三種對比方法展開對比測試。

3.1" 識別效率

隨機選取100張無人超市商品圖像，對比所提方法、文獻[3]方法和文獻[4]方法所用的識別時間。識別時間越長，識別效率越低，反之則效率越高。測試所得結果如表1所示。由表1可知，識別時間與商品圖像數量呈正比。隨商品圖像數量的不斷增加，三種所用的識別時間均呈現出上升趨勢。當三種方法同時對相同數量圖像進行識別時，所提方法所用的識別時間最少。且隨商品圖像數量的增加，三種方法中所提方法的識別時間增幅較小，而文獻[3]方法、文獻[4]方法的識別時間增幅較大，表明所提方法具有較高的識別效率。

3.2" 圖像增強能力

為保證實驗的直觀性，采用所提方法、文獻[4]方法和文獻[5]方法增強處理圖2a）的無人超市商品圖像，則三種方法的處理結果依次如圖2b）、圖2c）和圖2d）所示。

由圖2可知，對照原圖，所提方法的圖像增強效果清晰，視覺效果好；采用文獻[4]方法增強圖像時，顏色處理不當，導致圖像發(fā)白；采用文獻[5]方法增強圖像時，細節(jié)對比度失真，并且圖像下方變黑，影響視覺效果。因此，通過上述結果可說明，所提方法的圖像增強效果較佳，應用性較強。

3.3" 抗噪聲能力

首先采用所提方法、文獻[3]方法和文獻[5]方法自動化識別100張無人超市商品圖像，將準確率結果繪制成圖3a）；然后，將隨機噪聲加入商品圖像中，根據自動化識別準確率的變化情況，對比所提方法、文獻[3]方法和文獻[5]方法的抗噪聲能力。

低噪聲能力測試結果如圖3所示。對圖3分析可知，引入噪聲后，所提方法的自動化識別準確率沒有發(fā)生變化，表明所提方法的識別結果不受噪聲的影響；文獻[3]方法和文獻[5]方法的識別準確率在引入噪聲后出現了不同程度的下降，表明文獻[3]方法和文獻[5]方法的識別結果受噪聲的影響較大。所提方法在自動化識別商品圖像之前，通過中值濾波和小波系數降噪法對商品圖像進行了去噪預處理，進而在識別過程中不受噪聲的影響。表明所提方法具有良好的抗噪聲能力。

4" 結" 語

文章提出一種基于Faster R?CNN的無人超市商品自動化識別方法。該方法首先利用中值濾波和小波系數濾波消除了商品圖像中存在的噪聲；然后對圖像進行增強處理；其次采用Faster R?CNN網絡模型完成商品圖像的自動化識別，當同時對相同數量圖像進行識別時，所提方法所用的識別時間最低。實驗結果表明，所提方法的圖像增強效果較佳，且抗噪聲能力較強。本文方法能夠解決無人超市商品自動化識別方法存在的識別效率低、圖像增強效果差和抗噪聲能力差等問題；但是由于此次研究時間有限，所提方法尚未進行大量實際應用，在某些方面可能存在一些不足之處。今后仍會對該方面進行進一步探究，為無人超市商品自動化識別提供有力的理論支撐，同時促進智能服務業(yè)穩(wěn)定發(fā)展。

參考文獻

[1] 李佩，魏航，王廣永，等.基于產品質量和服務水平的零售商經營模式選擇研究[J].管理工程學報，2020，34（5）：164?177.

[2] 張瑞，劉立新，唐曉彬，等.大數據背景下基于網絡搜索數據商品零售價格指數預測研究[J].統(tǒng)計與信息論壇，2020，35（11）：49?56.

[3] 劉照邦，袁明輝.基于深度神經網絡的貨架商品識別方法[J].包裝工程，2020，41（1）：149?155.

[4] 謝智偉，趙燕偉，任設東，等.面向功能需求的產品適應性修改單元識別方法[J].計算機集成制造系統(tǒng)，2020，26（2）：426?436.

[5] 劉瑩，王曉宇，徐卓飛，等.基于卷積神經網絡的商品圖像識別[J].數字印刷，2020（6）：33?40.

[6] 曹天池，李秀實，李丹，等.基于圖像分解的光照估計算法[J].計算機工程與科學，2021，43（8）：1422?1428.

[7] 唐鑫，巫茜，鄒航，等.正交小波與紋理一致性融合的圖像識別算法研究[J].自動化與儀器儀表，2021（6）：26?30.

[8] 陳剛，劉言，楊賀超，等.低照度彩色圖像的自適應亮度增強[J].光學精密工程，2021，29（8）：1999?2007.

[9] 公志強，劉仁軍，汪利慶，等.一種基于紅外對比度提升的高動態(tài)范圍壓縮技術[J].紅外技術，2021，43（8）：792?797.

[10] 王冰雪，劉廣文，劉美，等.輪廓波域內局部對比度增強的彩色圖像灰度化算法[J].液晶與顯示，2020，35（2）：151?160.

[11] 郝志峰，李俊峰，蔡瑞初，等.面向圖文匹配任務的多層次圖像特征融合算法[J].計算機應用研究，2020，37（3）：951?956.

[12] 秦宇幸，羿旭明.結合顯著性和邊緣信息的水平集圖像分割方法[J].圖學學報，2021，42（5）：738?743.

[13] 程曉靜，牛慧瑩.基于時頻圖像的無人機信號檢測識別算法研究[J].信息技術，2022，46（4）：170?174.

[14] 徐里萍，侯玲，張建欣，等.利用改進型語義特征的Web商品信息挖掘方法[J].信息技術，2019，43（7）：142?145.

[15] 王紀軍，靖慧，馮曙明，等.基于Faster R?CNN的倉庫視頻監(jiān)控目標檢測方法研究[J].信息技術，2019，43（7）：92?96.