基于TensorFlow 的商品陳列貨架目標檢測算法研究與實現

廖珈藝，張新陽，代娛樂

（成都理工大學，成都610059）

0 引言

目標檢測是一種基于圖像特征的計算機視覺算法。它結合了目標識別和定位。它在智能交通系統、智能監控系統、軍事目標檢測、醫療導航等領域有著廣泛的應用價值[1]。深度學習等人工智能方法已經廣泛地應用于生活的方方面面[14]。

傳統的目標檢測中，多尺度形變部件模型是出類拔萃的，多尺度形變部件模型在行人檢測、人臉檢測等檢測中得到了很不錯的效果，可是其結構比較復雜，檢測的速度相對較慢，因此也出現了很多改進的方法。

TensorFlow 是一款人工智能學習系統。Tensor 意為張量，即N 維數組，Flow 意為流，代表著基于數據流圖的計算[6]。TensorFlow 是用C++實現，用Python 封裝，在未來將提供更多的編程語言接口。

1 基于候選區域提取的目標檢測模型——Faster R-CNN

Faster R-CNN 在一個網絡中將圖片特征抽取、提取候選區域、邊框回歸和分類整合在一起，目標檢測的總體性能有了很大的提高，在速度上尤為明顯[11]。圖1為Faster R-CNN 整體的網絡結構，下面將從Faster R-CNN 的四個部分介紹該模型。

圖1 Faster R-CNN模型整體結構

1.1 卷積神經網絡部分

Faster R-CNN 中使用的卷積神經網絡VGG16，其中是由13 個卷積層，13 個ReLU 層，4 個池化層組成。所有的卷積層卷積核大小都為3×3，填充大小都為1，即在卷積運算之前填充一圈0，所有的池化層窗口大小都為2×2，步長都為2。類似的，網絡中的池化層的窗口大小和步長都為2，這樣每個經過池化層的輸入矩陣其輸出大小的寬和高都為原來的一半。因此，一個M×N 大小的矩陣經過卷積神經網絡部分大小固定變為（M/16）×（N/16），這樣生成的特征圖容易與原圖對照起來，為后邊的步驟提供了便利。

1.2 區域生成網絡部分

區域生成網絡部分有兩條線，先介紹第一條線。

首先產生預選窗口。選取預選窗口的方法本質上是用不同尺度大小的窗口遍歷最后一層卷積層的特征圖。以1000×600 的輸入圖片大小為例，先人為給出一個基準窗大小，再給出三種倍數8、16、32 和0.5、1、2 三種長寬比，這樣能夠得到9 種尺度的預選窗口。經過所有卷積層后，寬和高變為原來的1/16，最后得出的特征圖大小約為60×40，在特征圖上進行滑窗，在每一個點上都構造這9 種預選窗口并映射回原圖。在特征圖上每一個像素構造的預選窗口如圖2，映射回原圖的預選窗口如圖3。

圖2 特征圖每個像素構造的預選窗口

圖3 映射回原圖的預選窗口

預選窗口產生之后，送入Softmax 判斷是前景還是背景。如圖4，在進入Softmax 之前，先進行了一個輸出為特征圖個數為18 的1×1 卷積，對應了特征圖的每一個像素都有9 個預選窗口，每一個預選窗口都有前景和背景兩種可能。進入Softmax 的兩個reshape 操作都是為了程序實現時數據結構存儲的需要而設置的。

綜上，區域生成網絡用判斷為前景的預選窗口作為候選區域。下面進行邊框回歸。如圖5，綠色框為可口可樂的正確標注框，藍色框為提取出的候選區域。

即便藍色框最后的分類為可口可樂，也會因為定位不準確而被判定為沒有正確檢測。所以需要對候選區域進行邊框回歸來讓它接近標注框，這就是區域生產網絡的第二條線完成的任務。

圖4 Softmax判斷是前景/背景

對于窗口一般用4 維向量(x,y,w,h)來表示，(x,y)表示窗口的中心坐標，(w,h)表示窗口的寬和高。用A表示候選區域，G 表示標注的真實區域，需要找到一種關系，使得原始的候選區域A 經過映射后得到一個接近標注區域G 的回歸區域G' 。即給定候選區域A=(Ax,Ay,Aw,Ah)，標注區域G=(Gx,Gy,Gw,Gh)，尋找一種映射關系F，使：

其中(Gx',Gy',Gw',Gh')≈(Gx,Gy,Gw,Gh)。

圖5 邊框回歸示意圖

對于尋找映射關系F 有式（2）到式（5）的思路，即先平移，再縮放。需要學習的參數是dx( A) 、dy( A )、dw(A)、dh(A)這四個變換。

設置平移量因子（tx,ty）和尺度因子（tw,th），具體計算方法根據式（6）與式（7）。

其中，帶有下標a 表示候選區域，帶有上標*表示真實標注值。

線性回歸就是給定特征向量X,學習一組權重向量W,使得得到的輸出值與真實值Y 非常接近，即Y=WX。針對這個問題，輸入是經過卷積的特征圖，定義為φ，同時還有訓練傳入的真實標注，輸出是dx( A) 、dy( A) 、dw(A)、dh(A)這四種變換。因此目標函數可以表示為式（8）。

為了讓預測值盡量接近真實值，設計式（9）的損失函數：

函數優化的目標：

考慮到以上的回歸模型的設計，區域生成網絡部分的第二條線只有一個輸出特征圖個數為36 的1×1卷積層，如圖6。36 對應了特征圖上每個像素的9 個預選窗口，每個窗口都有dx( A) 、dy( A) 、dw(A)、dh(A)這四個變換量。

圖6 區域生成網絡部分的兩條線

至此，區域生成網絡部分結束。總結一下，區域生成網絡負責綜合所有dx( A )、dy( A) 、dw(A)、dh(A)變換量和前景預選窗口，計算出較為精確的候選區域，送入模型的后續部分。

1.3 ROI Pooling層

對于傳統的卷積神經網絡，如VGG 和AlexNet，網絡的輸入和輸出尺寸必須是固定的。如果需要輸入網絡的圖片和規定大小不一致，有兩種傳統的解決方法：裁剪和縮放，如圖7。但是縮放會改變原始圖像的形狀，裁剪會損失一定的信息。

圖7 縮放成指定大小

區域生成網絡計算出的候選區域正是一系列大小和形狀都不相同的矩形區域，Faster R-CNN 采用了ROI Pooling 的方法將它們統一成同樣的大小。將每一個候選區域都映射回卷積神經網絡的最后一層特征圖，將它們對應的特征圖水平和數值都分成7 份，并且對分割后的都做最大值池化，因此大小不同候選區域最后的輸出都是7×7。

簡而言之，ROI Pooling 層的作用就是將大小不同的候選區域統一成相同大小，以便輸入到模型的后續部分。

1.4 獲得精準檢測框及分類

模型的最后一部分利用已經獲得的7×7 大小的候選區域特征圖，通過一個全連接層和Softmax 計算候選區域的分類，同時再次利用區域產生網絡部分的邊框回歸計算出更加精準的檢測框，模型這一部分的結構如圖8。至此，模型便得出了目標的位置即分類。

圖8 模型末端結構

2 基于無需候選區域提取的目標檢測模型——SSD

基于候選區域提取的目標檢測的Faster R-CNN雖然具有比較高的準確率，但是由于計算量過大，很難達到實時計算所要求的速度。為了解決這一問題，出現了一系列無需候選區域提取的目標檢測模型，其中SSD[12]能夠在精度接近Faster R-CNN 模型的前提下大大提升目標檢測速度。

2.1 先驗框

與Faster R-CNN 類似，SSD 也基于卷積神經網絡，首先也要產生類似預選窗口的先驗框，不同的是SSD在不止一層的特征圖上產生先驗框，如圖9。卷積神經網絡中，在不同層的若干特征圖中的每個像素設置不同寬高比和大小的先驗框。

圖9 SSD模型的先驗框

先驗框按照如下規則產生：

（1）確定在哪幾層特征圖上產生先驗框，以及先驗框的大小和寬高比。一般來說，在越深的層先驗框的尺寸應設置的更大，于是按照式（11）決定每層特征圖先驗框的最大和最小尺寸。

其中，m 為要產生先驗框的特征圖的總層數加1，smin與smax為設定好的先驗框的基準最大值和最小值，第n 層特征圖對應的最小尺寸為sn，最大尺寸為sn+1。寬高比的設置例如(1,1/2,1/3,2,3)，記為ri。

（2）如圖10，以特征圖上每個像素為中心，生成一系列同心的先驗框。對于第n 層特征圖，正方形先驗框的最小邊長為sn，最大邊長為。每設置一個寬高比，若寬高比不等于1，會生成兩個調換寬高的長方形，寬高為：和。

圖10 先驗框大小示意圖

由于后續的結構不產生候選區域，針對每個先驗框不僅要得出位置偏移量，還要計算出屬于各個類別的概率向量，相當于將Faster R-CNN 的邊框回歸與分類預測合并在一起。相應的，損失函數是邊框回歸損失與分類置信度損失的加權和。

2.2 多尺度特征圖檢測

圖11 SSD結構圖

SSD 模型用卷積神經網絡作為基礎網絡，如VGG16，將特征提取層添加到基礎網絡之后。如圖11，黃色框為添加的特征提取層。特征提取層的尺寸逐漸減小，得到多尺度檢測的預測值。先驗框不僅在后添加特征提取層上生成，也要在基礎網絡的最后兩層生成。通過組合不同先驗框的預測結果覆蓋各種位置和尺寸的對象。例如圖9 中，由于4×4 的特征圖與8×8的特征圖具有不同的先驗框尺寸，對象可能被匹配到前者的先驗框，而匹配不到后者的先驗框中。

2.3 獲得目標位置和分類

設先驗框共有k 個，目標分類共c 類。對于所有的先驗框，需要得出其相對于正確標注的(x,y,w,h)這4個偏移量以及屬于每個分類的概率。因此，對于m×n大小的 特征圖，共產生(c+4)?k?m?n 個輸出。這些輸出結果即包含了計算出的所有目標的位置和概率，但是部分輸出結果由于分類結果的置信度不高而不準確。所以需要綜合分析這些輸出結果，通過設置閾值、非極大值抑制等方法得出最終的檢測結果。至此SSD 目標檢測模型結束。

3 實驗與分析

3.1 數據采集和處理

本文的實驗數據選取了商品陳列貨架的圖片數據，所有的數據均來源于百度圖片的數據爬取，由于數據來源不足，采用了共計6 個分類857 張圖片，從中隨機選取20%作為測試集合，其余作為訓練集。

3.2 算法流程

如圖12 與圖13 分別是Faster R-CNN 與SSD 兩種目標檢測算法的流程圖，兩種算法的結構大體上一致，都先通過基礎卷積神經網絡獲得圖片的特征圖，Faster R-CNN 通過候選區域提取和兩次邊框回歸得到精準的檢測框，而SSD 在不同尺度的特征圖上產生先驗框，只進行一次邊框回歸獲得最后的檢測框。最后，需要通過非極大值抑制的方法過濾掉效果較差的檢測框。

圖12 Faster R-CNN目標檢測算法流程圖

圖13 SSD目標檢測算法流程圖

3.3 實驗結果

（1）Faster R-CNN 實驗結果

表1 Faster R-CNN 模型訓練參數

圖14 Faster R-CNN訓練曲線

表1 為訓練Faster R-CNN 模型時設置的參數，圖14 為訓練曲線，橫坐標代表迭代次數，縱坐標代表損失函數值。通過觀察，損失函數值在迭代次數為12000次后趨于平穩，即訓練過程收斂。保存模型，使用測試集進行測試，結果如表2 所示，每張圖片的檢測速度平均為118 毫秒，圖15 為部分圖片檢測效果圖。

表2 Faster R-CNN 模型測試結果

圖15 Faster R-CNN檢測效果圖

（2）SSD 實驗結果

表3 為訓練SSD 模型時設置的參數，圖16 為訓練曲線，橫坐標代表迭代次數，縱坐標代表損失函數值。通過觀察，損失函數值在迭代次數為8000 次后趨于平穩，即訓練過程收斂。保存模型，使用測試集進行測試，結果如表4 所示，每張圖片的檢測速度平均為62毫秒，圖17 為部分圖片檢測效果圖。

表3 SSD 模型訓練參數

圖16 SSD訓練曲線

表4 SSD 模型測試結果

圖17 SSD檢測效果圖

（3）算法效果對比

在性能方面，SSD 的檢測單張圖片的耗時約為Faster R-CNN 的一半；在精度方面，通過對比表3 與表4，在各個分類上，Faster R-CNN 的檢測準確率均略高于SSD。對比分類之間的準確率，商品“王老吉”和“雪碧”的準確率與其他分類相差較大，通過查看測試集數據的檢測框推測原因。如圖18，綠色框是檢測框，商品“王老吉”與“加多寶”外觀相似度較大，且訓練數據集中沒有商品“加多寶”的數據，所以當圖片中同時出現上述兩種商品時會很難區分。如圖19，左側為商品“雪碧”的300ml 型號，右側為商品“雪碧”的500ml 型號，黑色框代表正確的標注框，淺藍色框代表檢測框。由于數據不足，訓練集中為將“雪碧”的各型號混合，此類數據之間本身存在一定差異，因此準確率較低。

圖18 相似商品

圖19 不同型號商品

4 結語

本文介紹并實現了兩種目標檢測算法，最后通過對測試結果對比出兩種算法的優缺點和共同的不足之處。實驗證明，Faster R-CNN 和SSD 兩種目標檢測算法，前者的速度慢于后者但準確率高于后者，對于常規的商品圖片，目標檢測算法的準確率能達到90%以上，但是對于肉眼能夠識別的遮擋商品以及外觀非常相似的商品，目標檢測算法的表現較差。因此如果要達到生產需要的標準還需要作更多的改進，例如對遮擋商品進行檢測和推理、對相似商品二次分類等。