基于大數據驅動的農村電商產品自動化識別系統

崔 巍，李 慧

（1.太原科技大學，山西 太原 030024；2.山西工程職業學院，山西 太原 030009）

0 引言

隨著農村電子商務的發展，面向農村的電商產品已經涉及到了生活的方方面面，既包括米、面、油糧等各種食物，也包括手機、計算機等各類電子產品。電子商務的出現，拓寬了農村面向多種多樣類型商品的購買渠道，為人們購物提供了便利條件。但當前電商平臺的商品多數以圖像的方式進行展示，這就導致商品參數獲取并不便利。快速清晰地找到商品數據，依據商品數據去快捷便利地選取商品，都需要對電子商品的圖像進行處理，將其識別成為清晰明了的文字參數。

以往的表格識別以及定位的方式仍然存在較大的局限性。如：正對表格識別的四角定位法需要預先進行表格的模型設置，這種方式的應用范圍較小，且人力成本較高；抽取矩形塊的方法將表格線作為導引，這種方式雖然不需要預先設置模型，但是表項內容的提取只限于框線內部，局限性很大。上述方法并不能為表格數據的提取提供更高的精度。同時，電商產品中的表格往往表現出不規則性，這也為表格識別增加了難度。日益增長的電商產品規模也導致電商產品中圖片信息復雜化和多樣化，在這種情況下需要識別系統具有更高的性能和更快的識別速度。改進系統以YOLO 模型為基礎依據進行目標圖像的提取與切割，并進行相應的文字識別，將其拼接成可供瀏覽和編輯的表格文字。

1 YOLO 模型概述

YOLO 模型以神經網絡為基礎，基于回歸思想，輸入圖像之后能夠依據網格劃分的圖像進行回歸檢測，以得到目標需求的定位以及類別，在保證目標檢測時效性的同時，也能夠保證檢測的精確度相對較高。該模型具有兩個特點：一是作為端到端的模型，回歸以及分類工作在一次圖像輸入之后即可完成；二是位置的生成直接通過神經網絡實現。

具體地，圖像在輸入之后，先進行規格為M×M的網格劃分，若目標中心點落到對應的網格當中，則該網格對目標進行檢測。網格針對目標中的N個區域位置進行回歸預測，并得出一個能夠反映網格進行區域預測的精準度以及該網格內目標置信度的得分。得分表示為，其中：Pr（Object）的取值由目標是否落在相應的網絡單元格判定，若是則值為1，否則為0；為預測區域和目標區域交并比，當網絡單元格中落有目標時，該值即為對應的IOU 值，否則，值取0。

YOLO 網絡層結構設計圖如圖1 所示。

圖1 YOLO 網絡層結構示意圖

圖1 的網絡層結構示意圖中，共包含2 個全連接層以及24 個卷積層。其中，inception modules 結構通過3×3 的卷積層前加1×1 的規約層進行替代，則每進行一個區域的查找，需要求的預測值為5 個，分別為x、y、w、h、c。其中：x、y表示目標中心點在網格當中所處的相對位置，x、y的取值范圍為[0,1]，當中心點處于右下角時，x=1、y=1，處于左下角時，x=0、y=0；w、h為相對于實際圖像高度和寬度的像素比值，取值范圍為[0,1]；c表示對應的置信度。

區域目標分類的得分等于條件概率以及上述預測量的積，公式如下：

同時，輸出向量的維度為M×M×(N×(4+1)+C)，其中C為預測類的個數。至此，完成目標定位以及分類的工作。

2 改進的自動化識別系統

2.1 識別系統簡述

識別系統包括對電商產品的圖像進行定位、商品參數識別以及進行表格還原的整套動作。一般來說，電商產品當中設計的產品參數表現為表格形式或文字塊形式。對電商產品進行圖像識別的過程就是表格或者文字塊進行參數提取的過程。首先，需要定位目標提取參數的位置，定位完成后對提取參數區域進行檢測。針對檢測結果可能存在文字檢測重復的問題，通過置信度較高的閾值對其進行過濾，使假陽性的比率降低，再采用非極大值的方式對其進行抑制。具體步驟為：通過檢測表格的對應位置對文字塊區域中交并比大于0.1 的位置選擇一直進行檢測，完成后輸出圖像識別結果，并通過OpenCV 對檢測后的圖像識別區域進行切割，同時做出進一步的對比度增強、二值化以及灰度處理，保證其易于識別。識別完成后通過OCR 工具識別圖像信息中的文字，并將文字按序進行排列，拼接為可清晰分類閱讀的表單信息。進行文字識別處理時，需要借助tesseract這一開源工具。識別流程如圖2 所示。

圖2 圖像識別系統流程

2.2 圖像表格檢測

2.2.1 改進點及損失函數

以YOLO 模型為基礎的圖像識別系統仍然存在較大的局限性：一是存在召回率較低的問題；二是容易出現定位誤差。因此以該模型為基礎，針對其局限性進行改進，得到新的自動化圖像識別系統，解決召回率低以及易出現定位誤差的問題。主要改進如下：

1）在數據訓練時，做出Batch Normalization 層的添加，每個卷積層之后做出批量歸一化項的添加，在減少依賴其他正則化方式的同時，保證網絡收斂性更高，即不需要dropout優化也能夠避免過擬合。

2）進行維度聚類。Faster R?CNN 中，固定區域的比例以及大小通常是手動確定的，與先驗區域維度相比，代表性不足，網絡學習難度較大。本文通過對數據集進行K?means 聚類來分析。聚類個數k為單個網格中包含的區域個數，聚類中心對應的高、寬的維度表示區域維度。

3）全卷積網絡的搭建。搭建網絡DarkNet?19，該網絡中包含5 個最大值池化層以及19 個卷積層，采用3×3 大小的濾波器后接池化層，同時特征圖的數量需求加倍。

4）卷積在固定區域內進行。在YOLO 模型中，包含1 個全連接層，但在改進系統中，舍棄了全連接層，通過固定區域進行預測，在提取區域中執行相應的預測任務。由此導致的mAP 下降很小，但可以使召回率提高很多。

5）細粒度的提高。在深層特征圖當中，連接26×26 的淺層特征圖，添加passthrough 層（細粒度特征），通過該層將高分辨率特征圖層與后續特征圖進行聯系，并將相應的特征進行多個feature map 劃分，得到提高4 倍的特征圖通道數。

模型的損失函數包括3 個部分，即模型的置信度損失、類別損失以及位置損失。模型的置信度損失定義如下：

式中：首項表示的IOU 誤差為區域內包含object 的置信度損失結果；第二項表示的IOU 誤差為區域內不包含object 的置信度損失結果。其中：表示當前object 的中心點落在網格i的區域j中，且此時區域和實際框之間的IOU 值保證最大，此種情況下值取1，否則取0；表示當前object 的中心點不處于網格i的區域j中。

模型的類別損失公式如下：

模型的位置損失公式如下：

式（4）中對圖像的高寬比開根號會更加有利于實際情況的判斷。損失比較示意圖如圖3 所示。

圖3 損失比較示意圖

圖3 中，實線方框表示預測值，虛線方框表示相應標準框。理論上，直接進行差平方，C與B以及B與A二者的損失等同；但實際上，其面積比并不相同，C與B的面積比大于3，B與A的面積比為25。當加根號，C相比B的損失值是1.17，B相比A的損失值是3.06，更切合實際情況。綜合以上三個部分，模型的損失函數可以表示為：

2.2.2 圖像檢測

要實現輸入圖像的表格準確檢測，就需要通過模型對相應的數據進行訓練。實驗過程中，輸入圖像來自電商軟件，選擇圖片數量為100 張，同時人工標注相應的參數位置。坐標標注時，進行區域寬高比坐標（w，h）以及相應的中心點坐標（x，y）的歸一化處理，以備后續檢測。檢測模型在進行訓練時，網絡權重的初始化以Imagenet 數據集當中預訓練模型為基礎依據，網絡迭代次數為45 000，動量設置為0.9，權值衰減率設置為0.000 5。在檢測模型當中，thresh 參數設置為0.85，通過高閾值過濾再進行模型疏忽，在確保召回率的同時，也能夠更好地減少假陽性的出現，既能保證較高的準確度，也能夠避免誤檢情況的出現。圖像檢測效果如圖4 所示。

圖4 圖像檢測效果

2.2.3 區域切割

表格區域的凸顯檢測完成之后，需要切割檢測得到的表格圖像。在此步驟中，需要分離表格圖像中的各個參數以及涉及到的表頭。將切割后的圖像生成為便于進行文字識別的單行文字，字符識別采用光學識別的方式，表格圖像參數圖形的分割通過投影分割的方式完成。

采集到的RGB 圖像為三通道彩色，需要將其向灰度圖像轉變，本文通過加權平均的方式完成。提取RGB 圖像當中R（紅色）、G（綠色）、B（藍色）三個通道對應像素值，設定相應的權值進行加權平均，得到對應的單通道圖像也即灰度圖像。其計算公式如下：

式中：WR、WG、WB分別為紅、綠、藍三個通道的權值。實驗中WR的值設置為0.299，WB的值設置為0.114，WG的值設置為0.587。同時，灰度圖像的對比度通過直方圖均衡化的方式進行提高。通過變換其相應的累積分布函數修正圖像的直方圖，使得分布的方式變為均勻密度的分布方式，以便于選取圖像二值化對應閾值。直方圖均衡化示意圖如圖5 所示。

圖5 直方圖均衡化示意圖

二值化處理相應的圖像時，自適應閾值的求取通過OTSU 算法實現，而后通過中值濾波對二值圖噪點進行消除。將8 個相鄰像素點對應的中值替換為當前位置像素值，此時可以分別處理更為清晰的背景以及文字。問題是：當文字顏色和背景顏色不同時，二值圖當中呈現出來的圖像也不相同，會出現黑底白字或者是白底黑字的情況。

為保證后續切割表格便利，需要對圖像當中所有二值化的顏色進行統一，這主要通過判斷相應的顏色分量來實現。通常當字體顏色較深時，圖像中通道值B＞R；當字體顏色較淺時，圖像中通道值B＜R，通過反色處理就能夠保證二值圖在輸出時均黑底白字，示意圖如圖6所示。

圖6 表格區域二值化處理后圖像

對于應當具體在哪個位置進行切割，主要通過垂直以及水平方向的二值圖投影實現，根據其空白間隔判斷切割位置。垂直以及水平方向的投影如圖7、圖8 所示。

圖7 垂直方向二值圖投影

圖8 水平方向二值圖投影

同時，為了保證切割準確，需要設置相應的閾值，以避免在連貫相鄰文字中間造成切割。具體的，將水平切割閾值設定為3，垂直切割閾值設定為8，通常表格圖像中邊緣不設文字，因此設定投影量的值為0。先填充圖像4 個方向（上、下、左、右）投影連續不超過4 的位置，填充值設定為40，這既能減少噪點出現，也能夠保證在邊緣位置上不會出現誤切。切割二值圖之后的圖像如圖9 所示。

圖9 二值圖切割后圖像

2.3 圖像文字塊檢測

圖像的文字塊檢測與圖像的表格檢測步驟大致相同，不同點是標記數據的方法存在差別。相比表格檢測而言，文字塊當中的文字包含不同的種類，在進行檢測的過程中需要對短文字塊進行檢測，該短文字塊應當只包含一種尺度和字體。在進行文字塊檢測時，選取代表性圖像100 張，同時只標記相同字體以及單行樣本參數，以保證更高的召回率以及更好的魯棒性。圖像文字塊檢測結果如圖10 所示。

圖10 圖像文字塊檢測結果

圖10 中文字塊檢測完成后，文字塊的切割通過OpenCV 完成。而后按照類似表格檢測的步驟進行灰度圖像處理、直方圖均衡化、圖像的二值化以及濾波等，并將圖像進行拼接，得到類似表格的結果。

3 實驗結果及分析

系統實驗使用的圖像均來自電商軟件，精確度的估計通過mAP 衡量，檢測的覆蓋率通過Recall（召回率）來衡量。其中，AP 表示各個分類以正確率和召回率為依據繪制得到的P?R圖形面積，mAP 表示不同分類中AP的平均值，Recall（召回率）表示檢測所得目標數量同測試目標數量的比。實際系統實驗中，測試表格參數的輸入圖像為100 張，測試文字塊參數的輸入圖像為100 張，包含的表格塊數量為137 個，文字塊數量為443 個，測試集包含的表格圖像為30 張，包含的文字塊圖像為30 張，包含的表格塊數量為40 個，包含的文字塊數量為90 個。實驗將改進系統、初始的YOLO 模型、加入Batch Normalization 層的YOLO 模型以及Darknet?19 網絡的YOLO 模型進行對比。各模型實驗在微調時，采用的權重迭代次數為20 000 次，檢測結果如表1 所示。

表1 不同模型檢測結果 %

表1 中，從檢測效果來看，除添加了Batch Normalization 層的YOLO 模型檢測所得的mAP 稍顯下降，其余模型迭代均呈上升趨勢，改進系統的檢測結果mAP 最高，說明改進系統效果顯著。改進系統在表格區域檢測中，mAP 的值高于90%，召回率達到95%；在文字塊區域檢測中，mAP 的值高于85%，召回率接近95%；同時，輸入圖像的檢測時間均在0.03 s 內，在提升識別精確度的同時，也極大地提高了識別的速度。文字識別是通過對OCR 開源工具tesseract 的調用，進行文字塊以及表格的檢測，樣例圖分別如圖11、圖12所示。

圖11 表格識別文字樣例圖

圖12 文字塊識別文字樣例圖

通過圖11、圖12 不難看出，改進系統通過有效的區域抑制，能夠將表格以及文字塊進行明確區分，得到清晰的檢測結果。

4 結語

本文以大數據驅動為基礎前提，并以YOLO 模型為基礎依據，進行檢測模型的改進，以實現電商產品的自動化識別，為深入農村的電商產品做到更好的統計和數據分析。改進系統依靠卷積神經網絡良好的魯棒性以及特征提取的能力，在自動化識別的過程中，極大地縮短了識別時間，提高了識別精度。