基于深度學習的復雜場景中卷煙煙盒檢測與識別方法

單宇翔，龍濤，樓衛東，陸海良，胡紅春，李軒

1 浙江中煙工業有限責任公司信息中心，杭州市上城區中山南路77號 310008；

2 深圳愛莫科技有限公司，深圳市南山區國際創新谷1期2棟A座 518000；

3 中國煙草總公司職工進修學院，鄭州 450008

零售終端是煙草產業鏈的重要組成部分，是煙草實現最終銷售的關鍵環節。隨著控煙政策日益趨緊，煙草品牌宣傳途徑愈發狹窄。終端陳列對于卷煙品牌培育、產品動銷的作用愈發凸顯，決勝終端對煙草企業而言更多了一份特殊的意義。煙草工商業企業各項工作開展和針對零售終端的眾多營銷活動，都需要對卷煙煙盒（本論文中的卷煙煙盒指的是卷煙陳列場景中的卷煙小盒，簡稱煙盒；煙盒圖像指的是對該場景進行拍照得到的煙盒外觀圖像）進行識別和分析，以進行卷煙市場表現評估（陳列分析、上柜率檢查）、零售終端評價、庫存盤點、零售終端信息采集等。

傳統的流程采用人工對圖片中的每一個卷煙煙盒圖像進行辨識、判斷，工作量巨大,且難以對市場上的數量巨大的所有卷煙煙盒實現準確的辨別，容易導致識別和判定結果出錯。近年來，圖像識別算法得到了快速的發展，特別是基于深度學習的方法[1]，在很多場景得到了廣泛應用，例如根據圖像內容進行分類[2-3]，無人駕駛場景進行車輛或者行人的檢測[4-9]，以及廣泛應用的人臉識別[10-13]。在上述這些領域，深度學習技術極大降低了人力成本，提升了任務精度和速度。但在煙草領域，除了在工業生產[14-15]和零售支付場景中的傳統的煙盒條碼識別，深度學習技術并未得到廣泛和有效的應用。

造成這一局面的主要原因，在于深度學習的主流應用場景與煙草應用場景存在著較大的差異，現有技術無法有效應用到煙草的相關場景中。以陳列場景的煙盒識別為例，由于不同業務場景的差異，卷煙煙盒會以各種形態出現。比如在終端陳列時，卷煙煙盒會在零售店鋪的前柜和背柜中成行成列地密集擺放，在宣傳樣品中會獨立存在于宣傳陳列架里。由于零售終端本身業態情況復雜，包含了街邊店、超市、便利店、煙草直營店等多種類型。店鋪條件差異大，使得煙盒圖像本身的差異巨大；加之受到拍攝人員、拍攝設備、拍攝條件等影響，使得拍攝的煙盒圖像無法標準化，出現較多的玻璃反光、遮擋、不同角度擺放等；另外煙盒規格本身數量多，新品更新迭代快，某些品牌不同規格之間在外包裝上差異非常小，不同品牌的規格之間也有很多具有較強的相似性。圖1 和圖2 展示了一些比較典型的煙盒陳列圖片和相似性規格的煙盒情況，從圖中可以看出卷煙煙盒識別所需要支持的復雜程度非常高。

圖1 零售終端復雜的煙盒圖片場景Fig. 1 The cigarette packs placed in complex retail stores

圖2 部分規格之間的外觀差異非常小，上面一行為同一品牌，下面一行為不同品牌Fig. 2 Visual similarity in appearance of cigarette cases. Top row: the same brand. Bottom row: different brands

采用主流的深度學習圖像識別方法（如人臉識別的框架模型）來進行卷煙煙盒識別，面臨以下幾個方面的挑戰：1）卷煙煙盒外觀圖像的角度隨意性更大，人臉識別、車輛識別這類問題，目標對象的呈現姿態相對固定，基本都以正立的方式出現在圖片中。主流的目標檢測算法例如Faster R-CNN[16]、YOLO[17]，對于大部分處于正立狀態的目標對象，經過大規模的數據對深度學習模型訓練后，都可以實現較好的檢測。而對于任意擺放和拍攝的煙盒對象，這些方法都存在著檢測能力弱的問題；2）煙盒圖像往往會密集出現，相鄰擺放，使得檢測和識別的難度增大。在一般圖像識別任務中，即使對物體沒有進行很好的定位，目標周圍基本都以背景為主。陳列條件下的煙盒識別中，相鄰煙盒對識別會產生較大干擾，是準確煙盒識別的一大挑戰。因此，煙盒檢測和識別的關鍵在于如何對屬于該煙盒的區域信息進行有效的提取，保證屬于本煙盒的外觀圖像內容包含在內又不引入相鄰煙盒圖像的干擾信息；3）基于深度學習訓練煙盒識別模型需要大量的訓練樣本。而煙盒的陳列場景環境復雜，煙盒與周圍商品很難區分，該情況極大地增加了人工標注的難度，對構建煙盒識別深度學習模型帶來了巨大挑戰。

為了解決在復雜場景下的煙盒識別問題，應對以上提到的實際挑戰，本論文首次提出了三個核心步驟的卷煙煙盒識別框架：1）卷煙煙盒可視區域檢測；2）卷煙煙盒圖像幾何正則化；3）基于仿真圖像訓練的卷煙煙盒識別。其中，煙盒可視區域檢測將目標檢測問題轉化為實例化區域分割問題，有效的應對多角度拍攝和煙盒相鄰太近的挑戰；然后根據實例分割結果，擬合煙盒可見圖像關鍵點，根據可見區域的關鍵點實現圖像變換，將煙盒視區域變換到正立的煙盒圖像模板，實現煙盒圖像的正則化；最后，為了應對訓練數據不足的問題，本論文采用基于人類知識的煙盒圖像仿真增強方法。對于單一規格的單張圖片，實現各種復雜場景的圖像模擬和數據的大規模增廣，基于增廣后的仿真圖像大數據實現深度學習模型的訓練。

綜上所述，本論文將煙盒實例化分割和煙盒圖像幾何正則化步驟結合起來，消除了拍攝角度對識別的影響，并通過圖像仿真方法解決了煙盒真實數據相對匱乏和深度學習需要大量訓練樣本驅動之間的矛盾。通過以上設計的新型架構和方法，最終有效構建了復雜場景下的煙盒圖像識別系統。

1 煙盒識別系統

本論文設計了完整的煙盒識別系統，如圖3 所示，包含煙盒可視區域檢測-煙盒圖像正則化-基于仿真圖像訓練的煙盒識別三個基礎步驟。

圖3 煙盒識別系統的流程Fig. 3 The flow of cigarette cases recognition system

1.1 煙盒外觀可視區域檢測

煙盒可視區域檢測的目的是將屬于煙盒的圖像從背景圖片中區分出來。在行人、車輛、人臉等通用檢測任務中，被檢測目標通常比較稀疏，角度旋轉情況較少。通常采用Faster R-CNN 或YOLO 等檢測算法來預測目標的左上、右下兩個頂點坐標。

但在卷煙煙盒圖像檢測任務中，由于環境的復雜多變，卷煙煙盒的密集擺放、陳列角度的多變都會顯著降低上述算法對非正立的煙盒檢測效果，且容易遺漏部分有效區域，或者誤包含其它規格煙盒區域。如圖4 所示，由于煙盒拍攝角度有傾斜，導致3 個示意框都無可避免地將不屬于自己的區域劃入了示意框范圍內。這種干擾引入勢必影響到煙盒識別的精度。如右上角的“紅塔山”紋理將右邊的“云煙”包了進來，在識別過程中，“云煙”紋理帶來的干擾信息識別影響“紅塔山”紋理的正確識別。

圖4 用主流檢測算法檢測卷煙煙盒得到的結果（如紅框所示）Fig. 4 The cigarette cases detection results obtained by using traditional algorithms

為了克服上述問題，本文利用實例分割來精確檢測出每個煙盒的有效區域。為了訓練模型，本文收集并標注了30 萬張煙盒陳列圖片，每張圖片都對每一個像素點進行了標定，指明該像素屬于前景，還是屬于背景。本系統采用了Mask R-CNN[18]模型作為檢測模塊，在8 塊RTX 2080Ti 顯卡服務器上，利用手工標注的30 萬煙盒對其進行訓練。與YOLO、Faster R-CNN 等算法相比，Mask R-CNN 不再是輸出一個典型的正立矩形框，而是將目標檢測問題轉化為一個實例分割問題，對于每個圖像的像素點進行賦值實現區域分割。Mask R-CNN 的結構如圖5 所示。

圖5 Mask R-CNN 的處理流程Fig. 5 The main process of Mask R-CNN

當陳列圖像輸入Mask R-CNN 網絡后，網絡首先檢測出每個煙盒的最小外接矩形，而后對每個煙盒的最小外接矩形進行像素點級別的分割，將煙盒區域和其它干擾像素完全分開。與主流的正立矩形框目標檢測算法相比，本文的檢測模型不受煙盒旋轉、排列、朝向等因素的影響，對相互交疊的煙盒也能給出較為精準的判斷，部分結果如圖6 所示。從圖中可以看出，本文的檢測結果不受煙盒擺放的影響，能夠準確預測出每一個煙盒的位置。

圖6 卷煙煙盒檢測結果，其中綠框表示檢測得到外接矩形，不同顏色的色塊表示煙盒的實際區域Fig. 6 Cigarette cases segmentation results. The green rectangles represent the predicted bounding boxes, and blocks of different colors indicate the actual area of the cigarette case

1.2 煙盒圖像幾何正則化

由于通過檢測模型得到的卷煙煙盒圖像位置是不規則的分割結果，如果直接進行識別，即使同種煙盒的外觀都會呈現出多種變化，影響識別效果。這種問題如圖7 所示。

圖7 同一種煙盒在不同角度成像，外觀會有很大差異Fig. 7 The appearance of the same case varies greatly under different angles

為了消除這種差異性，本文設計了卷煙煙盒圖像正則化模塊，將每一個煙盒的形狀修正為正方形，再進行后續的識別。正則化模塊的主要流程有三步：計算煙盒頂點，計算透視矩陣，進行透視變換。

首先，本文對檢測模塊的輸出的煙盒圖像分割結果的前景區域進行輪廓檢測，提取出所有輪廓點的坐標，再通過對圖像輪廓點進行四邊形擬合，從而得到煙盒的四個頂點。具體流程如圖8 所示。

圖8 卷煙煙盒頂點的獲得流程Fig. 8 The process of calculating the key points of the cigarette case

而后，本文定義了邊長為256 像素的正方形，則正方形的四個頂點坐標分別為（0，0），（0，255），（255，255），（255，0），通過計算求解出煙盒屏幕和正方形屏幕之間的透視變換矩陣。

根據透視變換原理[19]，在3D 空間中兩個平面上的點進行變換滿足下列關系：

而空間中的點（x，y，z）在屏幕上的投影（x'，y'），可通過下列公式計算：

令煙盒四個頂點的3D 空間坐標為（xoldk，yoldk，zoldk），屏幕投影坐標為（xoldk'，yoldk'），正方形四個頂點的3D 空間坐標為（xnewk，ynewk，znewk），屏幕投影坐標為（xnewk'，ynewk'），k= 1，2，3，4。則易知：

根據公式（1）（3），進一步推理出煙盒屏幕頂點坐標與正方形屏幕頂點坐標之間的關系：

進一步化簡得：

為了方便計算，引入8 個新變量β11，β12，β13，…，β32，最終方程表示為：

其中：

因為煙盒和正方形4 個頂點之間映射關系構建了8 個方程（x 坐標和y 坐標分別都有映射關系），而方程中的未知數a11～a32剛好也是8 個，易得知：通過煙盒與正方形頂點的映射關系可以求解出β11～β32這8 個未知參數。

最后，本文根據計算得到的透視變換參數β11～β32，對整個煙盒紋理進行透視變化，就能得到最終正則化的煙盒紋理，部分效果圖9 所示。可以看出：幾何正則化的煙盒在相似度上有了很大的提升，更利于后續的識別任務。

圖9 原始煙盒圖像與正則化后的煙盒圖像的對比Fig. 9 Comparison of original case image and cigarette case image after regularization

1.3 基于仿真圖像訓練的煙盒識別

煙盒識別模塊是本系統的最后一個模塊，將正則化后的煙盒圖片送入煙盒識別模塊，就能得到煙盒圖片的識別結果。本論文采用了在人臉識別領域性能優異的DocFace[20]模型，將該模型提出的diam_softmax方法用于卷煙煙盒識別器的訓練中。DocFace 的優點在于對非同源數據的訓練上有著較好的性能，能夠充分利用生成樣本存在的多樣性，提高模型在真實場景上的識別性能。

通過自主研發的數據仿真引擎進行樣本增廣，構建煙盒3D 模型和設定不同的光照、角度、反光、遮擋等控制參數，從而獲得各種外觀不同的訓練樣本，有效解決訓練數據不充足的問題。部分仿真引擎生成的圖片效果如圖10 所示。與深度學習領域常用的對抗生成網絡技術（Generative Adversarial Nets）[21]相比，我們的數據仿真引擎能保證生成的每一張樣本都嚴格歸屬于特定類別，不會出現模棱兩可的訓練樣本。利用仿真引擎，生成了1000 個暢銷煙品近1000 萬張煙盒圖像樣本。

圖10 通過仿真引擎生成的虛擬訓練樣本Fig. 10 Virtual training samples generated by simulation engine

將得到的數據，利用DocFace 框架在GPU 服務集群（8 片英偉達RTX 2080Ti 高性能顯卡）上進行訓練。得益于仿真引擎生成的大量有效仿真數據，訓練得到的算法模型可以準確地區分不同規格的煙盒，識別效果如圖11 所示。無論是在外觀上只有細微的差異，還是實際場景中造成了煙盒部分的遮擋，智能圖像識別系統均可以進行準確的識別。同時與構建的規格數據庫實現關聯，準確的輸出產品屬性信息，包括廠商信息、品牌信息、規格名稱信息等。識別范圍覆蓋中國市場上流通的國內卷煙品牌規格和國外進口的卷煙品牌和規格。同時還可以處理各種復雜的陳列情況，包括光照變化、遮擋、角度大等實際情形。

圖11 卷煙煙盒識別結果展示Fig. 11 Demonstration of cigarette cases recognition result

2 實驗驗證

本論文設計的深度學習方法采用PyTorch 框架進行訓練，硬件環境配置為2 個Intel? Xeon? E5-2650處理器，8 塊NVIDIA GeForce RTX 2080Ti-12G 計算顯卡，服務器硬盤為100TB，內存為512GB。其中檢測模型訓練的時間為1 周，識別模型的訓練時間為1 周。然后對訓練的模型進行測試。從真實的煙品陳列場景中挑選出200 張圖片作為測試集，部分測試樣本如圖12 所示。

圖12 測試數據集圖片樣本Fig. 12 Image samples of test data set

運用手工方式標注每個煙盒的區域與類別，一共得到10000 個左右的標注煙盒和品名。通過對比系統輸出與人工標注結果的差異來測試煙盒檢測與煙盒識別的性能。

2.1 卷煙煙盒檢測實驗結果

用公式（8）評估單個卷煙煙盒的檢測精度：

其中areapred表示預測模型給出單煙盒前景區域預測值，areatruth表示人工標注的單煙盒前景準確值，通過對二者的交集除以二者的并集，就得到了單煙盒的檢測準確率。容易理解：當預測結果和真實結果完全不重疊時，精度為0；當預測結果和真實結果完全重疊時，精度為1。

按照公式（9）計算整個測試集的平均檢測精度

最終本系統的檢測模塊在測試集合上獲得了95.1%的平均精度，精度分布情況如圖13 所示。可以看出，檢測結果在絕大多數樣本上都取得了很好的檢測精度，只有極少數樣本的檢測精度低于0.2 左右，通過觀察得知：這部分樣本存在嚴重遮擋、不完整、模糊等問題，即使手工標注出了煙盒區域，但其內容也無法支持后續的品名識別，屬于無效數據。如果除去這部分數據，本系統的平均檢測精度達到了96.9%，完全滿足了煙盒自動化檢測的需求。部分無法識別的數據如圖14 所示。

圖13 檢測結果的分布直方圖。橫坐標代表檢測精度，縱坐標代表對應精度樣本的數量Fig. 13 Histogram of the test results. The horizontal axis corresponds to the recognition accuracy,and the vertical axis corresponds to the number of samples

圖14 部分檢測失敗的煙盒圖像樣本，本身紋理因為遮擋、反光和殘缺等因素而被破壞Fig. 14 Some image samples of cigarette cases that failed in detection were destroyed in different degrees due to occlusion,reflection, and mutilation

2.2 卷煙煙盒識別實驗結果

將200 張測試樣本中9874 張煙盒圖像根據其真實標簽進行分類，共780 個煙品類別對設計的圖像識別模型進行測試，使用圖像識別領域常用的命中率（True Positive Rate）和錯誤命中率（False Positive Rate, FPR）組成的ROC 曲線[23]對系統識別模塊的性能進行評估。最終結果如圖15 所示。可以看出，當FPR=0.01 時TPR 約為0.95。這個實驗結果表明了本文提出的模型在煙盒識別上取得了較高精度，可滿足煙盒自動化識別的需求。

圖15 識別ROC 曲線對比：本論文方法（樣本正則化+DocFace）與傳統深度學習方法（樣本未正則化+mobilenetV2[22]分類）的結果對比Fig. 15 The ROC curve of cigarette case recognition result

3 結論

本研究利用人工智能圖像識別方法來實現圖像中的煙盒區域分割、煙盒圖像變換與煙盒識別的完整系統。由于在實際中的煙盒圖像存在遮擋、隨意擺放、玻璃反光、拍攝角度大等眾多挑戰，直接采用深度學習目標檢測的方法存在較大的難度。本文提出的方法將煙盒檢測問題當成可視區域分割問題，實現了不同角度、不同遮擋程度的煙盒的圖像區域定位；然后將分割出來的可視區域進行圖像變換，變換到正則位置；最后將變換到正則位置的煙盒圖像區域輸入到深度學習圖像識別模型，實現了高精度的煙盒規格分類識別。采用大量仿真數據對識別模型進行訓練，并從實際的卷煙柜臺陳列圖像中隨機挑選了各類卷煙煙盒圖像進行人工標注，采用標注圖像對設計的檢測和識別方法進行檢驗。測試結果表明：本論文方法精度高，魯棒性強，抗干擾能力強。對于包含100 個左右煙盒的陳列圖像，在單顯卡（NVIDIA GeForce RTX 2080Ti-12G）的計算服務器上完成所有煙盒的檢測和識別，本文提出的整體框架推理時間為300ms 左右。

該智能化煙盒識別技術可以為煙草營銷數字化智能化轉型提供有力的技術支撐，該技術已在浙江中煙互聯網營銷活動場景中進行了試點應用。后續將對條煙的圖像識別開展深入研究，通過信息技術和大數據分析，賦能煙草營銷業務的創新。