基于圖像識別的人流預測取件系統

鐘澤偉，李 祺，黃定航，曾穎瑄，周歡歡，鄧 超，2

（1.武漢科技大學 汽車與交通工程學院，湖北 武漢 430065；2“.運輸車輛檢測、診斷與維修技術”交通行業重點實驗室，山東 濟南 250357）

0 引言

隨著物流行業的高速發展，物流活動正逐漸滲透進每個人的日常生活中，對于大學生而言，與物流活動的直接交互即寄件、取件行為。對于待取件人員而言，很容易出現取件過程擁擠、排隊時間長等問題，進而降低取件點出件的效率，人流量預測有助于他們提前計劃和安排時間，避開人流高峰期前往取件。如果在取件活動里基于數據挖掘，利用嵌入式設備識別人流量數據，就得到不同時段的人流量數據，在管理取件站點、提高取件效率等方面都有著不可忽略的意義。

Zhu，等在計算機視覺和模式檢測大會上提出了用來體現圖像局部方差信息的梯度方向直方圖HOG，同時使用支持向量機器（Support Vector Machines，SVM）來對人流進行特征分類。Dollár，等將標準的boosting算法和局部通道特征結合起來做人流檢測。Felzenszwalb，等提出了一種通過利用優先知識來設計用于多尺度形變對象檢測的模型DPM，該模型的通用性相較于Zhu等人的所設計的模型有所提升。Benenson，等利用積分通道特征ICF來實現人流檢測，并對能影響檢測效果的多重因子進行了詳盡的研究和討論。Prioletti，等一開始使用基于Haar的級聯分類器和基于HOG的濾波器等設備，在實際應用中通過生成可能存在人流的靶點區，從而進一步確認靶點區中是否存在人流。Zeng，等通過反向傳播的原理制作出多階段分類器，通過先分別保存再整體作為下一階段的參考材料。Benenson，等提出了一種名為Katamari的方法，此方法運用決策森林，并且聯合了其他許多方法進行人流預測。Nam，等提出一種將人流的兩個特征，即顏色和梯度特征分別做去相關處理的理論，通過這種方法可以增強分類器的類型甄別能力。Liu，等通過線性核函數同樣增加了其提取特征的應用能力。Baek，等級聯了一個附帶核支持向量器AKSVM作為特征分類器，并通過深度學習算法對AKSVM進行一定的升級優化。

本設計是對嵌入式設備處理與分析信息的應用。在嵌入式設備的Linux開發領域，將Linux系統科學的安裝在硬件設備上是實現運用嵌入式設備來解決現實問題的基礎。本設計研究在S5PV210處理器上應用基于Linux的程序來進行信息處理，提高公共區域取件的效率。

1 系統整體結構設計

整個終端系統可以視為由四個部分組成：中央處理器單元、網絡數據傳輸單元、信息采集單元和電源管理單元。中央處理器單元是整個系統的核心，負責處理來自數據傳輸單元的數據和統籌規劃各個單元的工作；網絡數據傳輸單元負責將終端系統的數據上傳至服務器；信息采集單元負責采集需要的開始拍攝的信號和獲取到的圖像數據信息；電源管理單元負責整個系統不同部分供電的平穩。本系統的軟件結構主要有嵌入式Linux操作系統、人或物識別應用程序和紅外人流量計數應用程序。圖1為該系統整體框架設計圖。

圖1 系統整體框架

2 硬件設計

本系統中央處理單元選擇了Samsung公司的S5PV210處理器。S5PV210是一款32位處理器，具有低功耗的特點，它集成了ARM Cortex-A8核心，實現了ARM V7A架構，數據傳輸速度最高可達400Mps，該處理器運行穩定時主頻可達1GHz、具有MMU功能、64位內部總線架構、4個USB接口、4路HS-MMC/SD/SDIO接口等。同時其內部集成MFC視頻編碼解碼器，支持多格式編解碼包含MPEG-4/H.264編碼，且Cortex-A8處理器應用NEON信號處理擴展指令集提高了G.264和MP3等媒體編碼效率。Android系統通過SD/TF卡燒寫到手持式終端，UART口負責系統調試，USB HOST負責與PC端通信，復位電路負責系統的重啟。

在本終端中的網絡數據傳輸單元，4G無線通訊模塊選用的是ZTE ME3760-V2 4G模塊，ZTE ME3760-V2是基于MiniPCI-E接口的LTE模塊，是中興自主研發的芯片，經過了3C型號核準認證，支持LTE雙模多頻和SIM卡業務，支持IPv4、IPv6協議和高速USB2.0接口，支持短信、數據、電話功能支持最大150Mbps的理論上下行數據傳輸速率。WIFI模塊采用Redpine Signals公司的RS-9110-N-11-02，該模塊支持IEEE802.11b/g/e/i標準以及IEEE802.11n，工作頻段2.4GHz，工作電壓介于3.1V到3.6V之間，處理器采用SDIO接口與該WIFI模塊進行通信。

信息采集單元采集圖像數據是通過Basler acA1920-155uc工業相機完成，該攝像頭配有Sony IMX174 CMOS感光芯片，每秒164幀圖像，230萬像素分辨率，SP5V210處理器通過IC總線訪問與修改Basler acA1920-155u內部寄存器來控制攝像頭功能。紅外檢測電路選用E18-D80NK紅外模塊，當檢測到有人通過的時候，觸發一個高電平，通過模塊內部自帶的放大電路放大接收的信號，并將其傳輸到單片機進行處理，從而觸發圖像收集的功能。紅外模塊使用UART口與處理器進行通信，最終完成數據的采集并顯示到Android UI上。

首先使用以下命令來安裝攝像頭標定功能包：

然后將制作紙質標定靶備用，然后繼續開始標定攝像頭：

打開終端輸入以下命令啟動工業相機：

然后輸入以下命令啟動標定程序：

標定程序啟動完畢后，將打印好的標定靶放在工業相機視野范圍中。為了提高標定工作的嚴謹性和準確性，需要使標定靶放置在工業相機攝像圖畫中的所有區域，通過上下左右前后傾斜移動等操作，直到“CALIBRATE”按鈕變色，表示標定程序的參數采集結束。參數計算結束后界面恢復，點擊“SAVE”按鈕保存標定參數。最后點擊“CMMIT”按鈕，提交數據并退出程序，然后從標定結果的壓縮文件中解壓出標定結果文件，復制并重命名就可以使用了。

本終端的電源管理單元選取了對鋰電池具有充電功能的電源芯片，并配備了合理的LDO穩壓芯片進行電壓變換,且根據模塊需求提高供電電流。在電源管理模塊中，同一供電電壓不同模塊之間使用磁珠隔離，同時使用濾波電容來提高電源的穩定性。電源選型上，采用了兩塊TI公司生產的鋰電池專用電源管理芯片BQ24032，BQ24032芯片充電安全性高、充電速度快且充電電流可調節，并能保證充電的同時系統工作的穩定性。

3 軟件設計

3.1 YOLO算法原理

本系統的圖像識別方法采用YOLO算法原理，YOLO算法的提出者沒有考慮繼續優化兩階段算法，而是創造性的提出“一步法”，實現了對待檢測圖像數據中所有目標對象的框架和類型預測，而且推理速率有了大幅度提升，完全可以滿足實際生產生活中實時對象檢測的需要。YOLO算法創造性地提出了將輸入圖片進行M*M的網格化，由圖像中目標對象核心位置的網格邊框來負責該對象的預測結果輸出。它只需要掃描一遍，就可以將位置預測和種類分辨結合到一個CNN網絡，從而獲取到圖片中所有對象的位置和種類信息。綜上所述，YOLO預測算法進行目標檢測的過程中，是具有相對較快的檢測速率和檢測精度的。而且該算法不僅可以很好地應用于人流等活體對象，還可以應用在如書畫作品、桁架、儲物筐等無生命物體。

YOLO算法通過損失函數成功做到了把這應用問題轉化為數學問題，直接輸入圖像信息就能判斷出每個網格單元附近是否有某個對象，然后預測出具體的邊框位置。關于損失函數，需要了解三個：錨框、置信度和對象條件類型概率。在預測的結果中，每個網格對應邊框的輸出結果有三種：框架的核心點坐標（x,y）和框架的高和寬數據（h,w）；一個是置信度；最后一個是一組取值[0，1]的條件概率。

在預先練習的過程中得到一個準確框架集之中，首先通過統計得出的一些頻率較高的邊框樣式，即錨框。YOLO的解決辦法是將形狀用寬和高兩個維度數字表示。YOLO采用k-means算法，通過聚類練習集中所有練習圖像的準確框架，得到具有一定代表性的形狀的寬高數據。在有了可以數學化的錨框后，如何在應用中加入錨框的先驗經驗呢，這一解決方法是讓一個網格預測多個邊框，然后每個邊框負責輸出不同的形狀。以錨框為例，我們的一個網格會輸出三個參數相同的邊框，第一個邊框負責輸出形狀與錨框一類似的框架，其他兩個邊框同理。然后求出網格中每個錨框與準確框架的IOU（交并比），交并比最高的錨框對應的邊框就負責預測該對應的準確對象，以此提高預測結果的準確度。

如何使模型的邊框與其負責預測的錨框對應。YOLO的解決方法是將預測的寬和高數據分別與錨框的寬和高數據對比，這樣無論一開始邊框輸出的寬高尺寸如何，經過轉化后都與錨框的寬和高相關。關系公式如下：

其中，和為錨框的高和寬，和為邊框直接預測的高和寬，和為轉換后預測的實際高和寬。

以上是相對值，轉換成最終輸出的絕對值，還需要一個轉換公式：

其中，()是sigmoid函數，和分別為網格左上角相對于檢測樣本圖像的位置數據。

對象條件類型概率其實是一個數組，數組的內容是一群概率，數組中有多少個數值表明圖像數據中的檢測對象類型數量。

在YOLO中，會把一張圖像劃分為M*M個網格，每個網格會對應固定數量的錨框，假設存在B個錨框，又因為每個邊框內有四個位置參數，一個置信度，C個類別概率，可計算輸出維數為：M*M*[B*5+C)]。

3.2 模型訓練

基于YOLO v3算法，采用darknet53預訓練權重，在此基礎上針對取件點如菜鳥驛站等取件環境下的圖像訓練集進行訓練，得到權重文件。在訓練過程中可分為3個步驟：

（1）根據損失（Loss）函數計算預測框的誤差。YOLO的損失由四部分組成：預測的中心坐標損失、預測邊界框的寬高損失、預測的類別損失、預測的置信度損失。預測的中心坐標損失公式為：

預測邊框的寬高損失公式為：

損失類別損失公式為：

（2）由誤差計算卷積核中每個權重的梯度。

（3）根據優化算法更新權重，生成權重文件。

4 系統工作流程

系統工作流程圖如圖2所示。

圖2 系統工作流程圖

系統開機工作后，會首先運行引導加載程序，進行硬件設備的初始化并引導加載Linux內核，隨后加載設備驅動程序(包括攝像頭驅動、紅外驅動、4G模塊驅動、Nand F1ash驅動等)。當紅外設備檢測到人員到來，輸出高電壓信號時，通過$cheese指令打開視頻采集設備文件，開始發送采集信號，讀取視頻緩存數據，可以根據需求進行數據的處理。

首先，將某取件點營業時間中的人流圖片保存于darknet文件夾下的data文件中。然后在Ubuntu環境中，按下Ctrl+Alt+T組合快捷鍵打開終端，編譯Makefile文件，轉到darknet目錄，在darknet調用cfg目錄下YOLO v3程序，然后采用訓練好的權重參數，識別需要預測的對象圖像x.jpg，輸入以下命令：

得到結果如圖3所示。

圖3 識別效果

隨后發送采集停止信號，釋放內存映射，關閉視頻設備，Basler acA1920-155uc采集到的圖像信息通過IC總線與SP5V210處理器通信，處理器通過內部集成的MFC多格式編碼器將圖像信息進行H.264編碼壓縮，視頻圖像再基于USB無線網卡構建的WLAN網絡和實時傳輸協議RTP發送給視頻監控PC客戶端，由客戶端進行解碼和數據處理（人、物的識別統計），再將得到的數據顯示到目標的Android UI上。

5 結語

本設計主要采用工業相機和S5PV210處理器，在Ubuntu環境下利用基于深度學習YOLOv3算法，在特定的快遞取件點場景下收集圖像數據，將其制成訓練集并生成權重文件，對取件點一天中人流量進行統計，并依據此結果指導取件行為，解決當下取件點高峰期人流擁擠、取件難、排隊久的問題。實驗結果表明在測試集的1 000個圖像樣本中可以獲得92%以上的準確率，快速識別出快遞取件點的具體人流量信息，證明了基于YOLOv3的人流統計方法的有效性。同時，根據得到的實驗數據，對有快速取件需求的人提供了實用的取件引導方案。