基于FPGA和卷積神經網絡的人臉識別系統(tǒng)

范世朝，鄭國強，孫國慶，韓旭

（河南科技大學信息工程學院，河南 洛陽 471023）

0 引言

常規(guī)的基于FPGA的人臉識別系統(tǒng)大多是利用HDL語言來實現，這就要求開發(fā)者熟悉硬件之間的邏輯關系。為了使軟件開發(fā)者能更方便的參與FPGA開發(fā)，Xilinx公司推出了HLS高層次綜合工具和PYNQ系列FPGA開發(fā)板。對于軟件開發(fā)者可以在HLS平臺利用C語言實現邏輯功能，之后高層次綜合會自動將C語言轉化為Verilog語言，生成相應的IP核。而PYNQ系列開發(fā)板ARM端內置Jupyter notebook網絡服務器，Linux系統(tǒng)和IPython內核，可以十分方便的利用Python對生成的IP核進行調用，大大降低了開發(fā)門檻[1]。

1 人臉識別系統(tǒng)的流程

本文利用PYNQ-Z2開發(fā)板為基礎，設計出一個基于卷積神經網絡的人臉識別系統(tǒng)，該系統(tǒng)能夠識別輸入的人臉圖像的面部特征，并判斷目標是否是訓練庫中的用戶，如果是會在結果中標識出目標的名字。該系統(tǒng)的總體架構如圖1：

圖1 系統(tǒng)總體架構圖

2 主要流程分析

2.1 數據集制作

利用Python調用PC端的攝像頭，實時采集圖像數據，并進行人臉識別，當識別出人臉時，會自動抓取圖片并進行保存。這里對人臉進行識別的方法是調OpenCV的cv2級聯(lián)分類器haarcascade_frontalface_alt2.xml，同時在調用級聯(lián)器時，對級聯(lián)器的detectMultiScal函數中minNeighbors參數進行設置，來設定需要達到的檢測有效點數，本文需要達到的檢測有效點數是2，意味著只有連續(xù)兩次識別成功時才會認為識別出了人臉數據。同時為了保證后續(xù)進行模型訓練時圖像的大小相同，在識別時設置保存的人臉圖像大小統(tǒng)一為64×64[2]。

整個數據集的制作流程如下：

圖2 數據集制作流程

2.2 模型訓練

訓練主要采用的是TensorFlow框架。訓練時，系統(tǒng)輸入層大小是64×64，卷積層有32個3×3大小的卷積核，并使用same方式卷積。池化層與卷積層交替循環(huán)，三次池化均為最大池化，大小為2×2。第三層池化層之后是一層全連接層和一層輸出層。經8個輸出端的輸出層輸出預測結果。訓練時選用的激活函數是ReLU函數,使用TensorFlow自帶的AdamOptimizer優(yōu)化器對模型參數進行訓練。模型訓練完畢后將生成的模型文件導入Jupyter notebook[3][4]。

2.3 生成bit文件

卷積神經網絡的重點在卷積層，池化層和全連接層，其中，全連接層我們通過復用卷積模塊的方式來使用，這樣可以節(jié)省片上資源，只需要將卷積核的大小從3×3改為16×16，但是也要注意一些參數維度的改變。設計方案如下：

通過HLS設計平臺，利用C語言或者C++設計子函數實現卷積層和池化層，之后進行高級綜合將其轉化為Verilog語言，封裝成IP核。IP核設計完成后需要設計block design以使IP核與ARM端通信。這里卷積模塊與池化模塊都通過AXI總線與PYNQ連接，在導入IP核后VIVADO會自動進行連接，連接后的結果如下：

圖3 block design 設計

之后將設計好的block design導出為bit文件和tcl文件，并將導出的bit文件和tcl文件下載到PYNQ開發(fā)板的SD卡中就可以復現人臉識別系統(tǒng)。

2.4 Jupyter notebook設計

將訓練好的模型文件和生成的bit和tcl文件導入Jupyter notebook后就可以編寫Python代碼復現人臉識別系統(tǒng)。首先需要在Python代碼中導入Overlay以便于調用制作的卷積層和池化層的函數,之后利用OpenCV識別待檢測圖像的人臉部分，提取出來人臉特征與模型文件進行比對，之后將比對結果進行輸出即可。

3 硬件仿真和資源占用

本設計用的仿真策略是通過HLS工具編寫test bench文件對卷積模塊和池化模塊進行仿真驗證。

對于卷積層模塊仿真如下圖所示，使用same方式進行卷積，所謂same方式卷積，即在進行卷積運算會在輸入四周補零之后再進行運算，可以保證輸入和輸出的矩陣大小是等同的，仿真結果如下：

圖4 卷積模塊仿真

資源占用情況如下，其中DSP：主要用來進行數字信號處理。LUT是查找表，但是本質上就是一個RAM，它把數據事先寫入RAM后，每當輸入一個信號就等于輸入一個地址進行查表，找出地址對應的內容，然后輸出。FF：觸發(fā)器，一種時鐘信號觸發(fā)時才能動作的存儲單元電路。

圖5 資源占用

對于池化層模塊,使用3×3最大池化，即在3×3的區(qū)域內選擇一個最大值進行輸出：

圖6 池化模塊仿真

其中資源占用情況如圖所示：

圖7 資源占用

4 結論

本文提出了一種基于PYNQ-Z2的FPGA人臉識別系統(tǒng)，同時構建其軟硬件平臺，使用OpenCV級聯(lián)器進行人臉檢測，使用卷積神經網絡訓練模型，利用HLS生成卷積層和池化層的IP核，并利用其仿真工具編寫test bench文件對結果進行了仿真測試，經過測試可知，本文提出的方法能夠滿足實際需求，并無需考慮硬件的邏輯結構，顯著降低了開發(fā)難度，同時資源占用較低。