基于ZYNQ的高清圖像顯示及檢測系統設計

林振鈺，張志杰，劉佳琪

(中北大學 儀器科學與動態測試教育部重點實驗室，太原 030051)

0 引言

圖像包含大量的信息，對于人類而言視覺信息利用率最高，人類對數字圖像顯示的效果的判斷會受到各種外部環境和主觀意識等因素的影響。隨著信息技術的飛速發展，在工農業生產中通過加入圖像系統提取有用信息進行處理[1]，從而輸出檢測結果或者控制信號，來提高系統的智能化和自動化。在某些特定場景下，如交通運輸、精密測控、顯微醫學操作、工業探傷以及農田作業等領域[2]，對圖像有實時性和高精度檢測要求，而在圖像顯示及處理的過程中要占用大量資源和時間，例如，尺寸為1 920×1 080的8/24 bit 的BMP圖像大小為 5.93 MB[3]，連續的圖像數據頻帶較寬，數據量大，像素相關性大。傳統的DSP或ARM處理器取樣速率較低，且系統使用浮點，很難對其進行直接的處理，且成本較高。FPGA適用于高速采樣頻率且任務比較固定或重復的情況，系統使用定點，可靈活試制樣機。本文基于Xilinx公司ARM + FPGA 體系結構的Zynq高性能芯片，在AXI協議框架下設計了自定義數據存儲傳輸的IP核，實現了處理速度與帶寬最大化。利用HLS工具將圖像預處理算法快速打包生成IP核[4]，為各種中端圖像處理算法提供了可擴展的 FPGA 硬件加速通道，利用軟硬協同設計的方法完成了HDMI接口的高清圖像顯示系統平臺的原型機設計。有效解決了低延時低功耗與高數據帶寬和處理速度之間的矛盾[5]，為后端結果處理與應用提供了良好支持。

1 系統硬件電路框架

基于ZYNQ的實時視頻高速采集處理系統原理如圖1所示，系統平臺主要由圖像采集模塊、數據存儲模塊、硬件加速模塊、內部傳輸互聯模塊、HDMI高清顯示模塊組成。Zynq-7000SoC可擴展平臺作為整個實時處理系統的核心，上方矩形為FPGA可編程邏輯(PL，programmable logic)部分，下方矩形為ARM處理系統(PS，processing system)。其中PS部分的高性能DDR3存儲單元通過AXI內部互聯與PL端進行大吞吐量的高速數據通信，其片內帶寬足夠大，消除了芯片間互聯存在的帶寬瓶頸問題[6]。

圖1 系統結構原理框圖

根據系統讀取外界視頻數據信息的數據流向，從軟硬件功能層面具體劃分為：

1)采集部分：視頻通過位于PL側的500萬像素的cmos攝像頭進行采集，PS側引出EMIO引腳通過軟件模擬SCCB協議對cmos攝像頭進行配置。將采集到的圖像數據送入PL中使用Verilog HDL編程封裝的圖像采集模塊將數據位寬整合成24位。

2)硬件加速部分：將RGB數據格式傳送到圖像預處理模塊，實現對RGB像素信息的各種預處理，如灰度化、濾波、邊緣化等，此模塊利用Xilinx的HLS工具，通過C語言編程實現各種圖像預處理IP核的快速定制。在PL端實現硬件加速功能，提高圖像處理的實時性。

3)存儲傳輸模塊：自定義AXI_DMA_WR寫模塊將數據通過HP口與PS端的DDR進行高數數據交互，將處理后的視頻數據傳輸至DDR3內存芯片中存儲，最后由PS端發出讀信號控制AXI_DMA_RD讀模塊將DDR3中的圖像數據讀出并緩存到PL端的FIFO模塊。

4)高清顯示模塊： 實現HDMI接口驅動邏輯，完成圖像顯示功能。根據差分信號高速數據傳輸技術TMDS(transition minimized differential signaling)，編碼驅動圖像輸出到 HDMI 接口，實現較傳統VGA接口更為高清的圖像實時顯示功能。

2 系統關鍵部分實現

2.1 視頻采集模塊

視頻采集模塊選用OmniVision公司OV5640攝像頭作為數據采集前端，它是一款1/4英寸單芯片圖像傳感器，其感光陣列2 592*1 944(即500 W像素)，能實現最快15 fps QSXVGA(2 592*1 944)或者90 fps VGA(640*480)分辨率的圖像采集。具有高靈敏度、低串擾和低噪聲的優質性能。傳感器內部集成了圖像處理的功能，包括自動曝光控制(AEC)、自動白平衡(AWB)等。同時該傳感器支持LED補光、MIPI(移動產業處理器接口)輸出接口和DVP(數字視頻并行)輸出接口選擇、ISP(圖像信號處理)以及AFC(自動聚焦控制)等功能[7]。本系統中選擇 DVP 接口模式[8]，在PS端通過 SCCB協議將傳感器視頻分辨率配置為1 920×1 080，視頻幀率配置為30 f/s。時鐘頻率為74.25 MHz(2 200×1 125×30)。

為了匹配適應顯示模塊HDMI接口輸入端RGB888格式，在PL端使用Verilog HDL描述圖像采集模塊實現將8位原始圖像數據轉換為24位RGB數據的功能。攝像頭采集模塊在像素時鐘的驅動下將傳感器輸出的場同步信號、行同步信號以及8位數據轉換成讀寫控制模塊的寫使能信號和24位寫數據信號，完成對CMOS傳感器圖像的采集。對圖像采集模塊進行測試仿真效果如圖2所示，在幀同步信號激勵下RGB顏色分量各占8位位寬輸出。

圖2 圖像采集模塊測試仿真圖

2.2 數據讀寫模塊

數據讀寫模塊即FPGA與ARM的數據交換，不同工藝特征的處理器與FPGA融合在一個芯片上之后，片內處理器與FPGA之間的互聯通路就成了ZYNQ芯片設計的重中之重。如果Cotex-A9與FPGA之間的數據交互成為瓶頸[9]，那么處理器與FPGA結合的性能優勢就不能發揮出來。在ZYNQ-7000AOSOC器件中， PS和PL之間的主要連接是通過一組AXI(Advanced extensible Interface)接口， AXI協議是基于猝發式傳輸機制的一種高性能、高帶寬、低延遲的片內總線，總線由5個獨立的通道構成：1)讀地址;2)讀數據;3)寫地址;4)寫數據;5)寫響應。5個通道都有各自的源端產生的VALID信號和目的端產生的READY信號組成的握手機制，如圖3所示。

圖3 AXI協議的握手信號對

在地址通道上，每個交易有地址和控制信息，這些信息描述了需要傳輸的數據性質。在主從設備之間傳輸數據，分別使用從設備的寫數據通道和到主設備的讀數據通道。在主設備到從設備的寫數據交易中，AXI有一個額外的寫響應通道。從設備通過響應通道向主設備發出信號表示寫交易完成。

2.2.1 AXI_DMA_RD讀模塊

由于實時連續圖像數據量大，本設計利用片內提供的的HP口即AXI的高性能端口(high performance ports)進行數據交互，對DDR3進行直接存儲映射訪問，其可設FIFO緩沖來提供“批量”讀寫操作，數據寬度是32或64位，適用于大塊數據的高性能傳輸，帶寬高。吞吐量最高，由于4個HP接口中PL都是做主機的，故創建一個master接口的AXI_DMA_RD讀模塊。主機首先在讀地址通道給出讀地址和控制信號，然后從機由讀數據通道返回讀出的數據，如圖4所示。突發讀操作主機只給出一個地址，從該地址連續突發讀出數據。

圖4 突發讀操作過程

通過編輯IP保留模塊接口信息，將AXI_DMA_RD讀模塊突發長度M_AXI_LAST改為256，數據位寬設為64，從而提高AXI訪問DDR3的效率，將帶寬做到最大，通過AXI總線把DDR3的數據讀出來進入FIFO緩存。

圖5 AXI_DMA_RD讀模塊時序圖

具體設計時序如圖5所示，在PS端控制讀數據初始化脈沖TXN后，進入讀數據階段，使read_cycle_fl-ag拉高并一直保持。Read_cmd_flag開始發送讀地址給從機，從機反饋數據read_data_flag,數據接收完畢后產生一個flase結束信號。256個數據讀完之后讀結束rea-d_data_flag拉低，地址清零，每個像素點占4個字節，則有結束地址READ_END_ADDR為8 294 400(1 920*1 080*4)。在read_cycle_flag一直保持高電平狀態下循化再讀。內部生成位寬為64，深度為4 096的異步FIFO。為了保證FIFO內部一直有數據，在FIFO緩存接口添加count計數器，當FIFO數據小于2 047就開始從DD-R讀數據。由于突發長度為256，故將地址遞增參數b-urst_size_bytes設為2 048(256*8)。最后通過添加例化RGB時序模塊，將讀模塊封裝成以RGB時序輸出的模塊，顯示模塊給內部FIFO讀使能，當FIFO內數據量大于2 047時候讀使能信號拉高，將讀出數據緩存到F-IFO送給顯示器。

2.2.2 AXI_DMA_WD寫模塊

同理，在編輯AXI_DMA_WD寫模塊時例化一個位寬32，深8 192的FIFO。圖像采集模塊幀同步信號作為內部FIFO寫使能，讀端口則設置為64位位寬，當FIFO讀counter大于2 047時把W_axi_flag拉高開始寫數據。

圖6 寫傳輸過程

寫傳輸過程如圖6所示，它用到了寫地址、寫數據和寫響應3個通道。主機在寫地址通道給出寫地址和控制信號，然后在寫數據通道連續突發寫4個數據。從機在接收數據之后，在寫響應通道給出響應信號。

2.2.3 讀寫傳輸測試

在VIVADO工具中創建一個BD文件，添加ZYN-Q7處理系統IP，通過配置ZYNQ7處理系統IP進行讀寫傳輸功能測試，引出一個GPIO接口作為AXI_DMA_RD讀模塊的啟動信號，在PS端設定一個TXN啟動脈沖信號，內存基地址即訪問DDR3的起始地址設為0X01000_000。PS端通過C代碼模擬生成從1開始累加的測試數據寫入DDR3并讀出，PL端添加邏輯分析儀監測IP 檢測，從而實現通過軟件觸發硬件運行，抓取片內實時信號的自回環測試功能，如圖7所示。

圖7 邏輯分析儀抓取的實時信號

在SDK工具中添加Memory監視器，可實時查看DDR內存測試數據動態，如圖8所示。結果表明，該模塊可實現預期功能。

圖8 DDR3中的實時數據

2.3 高清顯示模塊

顯示終端采用帶有HDMI接口的設備，HDMI既高清晰度多媒體接口(high definition multimedia inter-face)，是新一代的一種數字音視頻接口，較傳統的V-GA接口有數據傳輸帶寬高、色彩度高及傳輸速度快等顯著優點。本設計僅使用 HDMI 接口顯示圖像，不傳輸音頻，因此只實現 DVI 接口驅動邏輯完成圖像顯示功能。DVI 和 HDMI 接口協議在物理層都使用 TM-DS 標準傳輸音視頻數據。TMDS(transition minimized differential signaling)是一項使用差分信號高速數據傳輸技術[10]。

由于每個像素點的顏色深度為24位，即RGB每個顏色分量各占8位，通過添加一個 RGB2DVI 模塊，將 RGB888 格式的視頻圖像轉換成TMDS 數據輸出。每個通道上的顏色數據通過一個8B/10B的Encoder編碼器來轉換成一個10位的像素字符。10位的字符通過Serializer并串轉換器轉換成串行數據，最后經過信號輸出時的OBUFDS差分信號緩沖器由TMDS數據通道發送出去[11]，OBUFDS模塊在 FPGA 內通過添加例化原語實現，將內部邏輯信號轉換成差分信號輸出。上述過程的具體實現流程如圖9所示。

圖9 RGB2DVI 模塊框圖

需要注意的是，10∶1的并轉串過程所生成的串行數據速率是實際像素時鐘速率的10倍，實現的是10∶1的轉換率。整個系統需要兩個輸入時鐘，一個是視頻的像素時鐘 Pixel Clk(74.25 MHz)，另外一個時鐘 Pixel Clk x5(371.25 MHz)的頻率是像素時鐘的5倍。在此頻率基礎上實現雙邊沿采樣，即在5倍時鐘頻率的基礎上又實現了雙倍數據速率。

在支持HDMI接口的1 080 p分辨率的顯示器上對高清顯示模塊進行測試，測試結果如圖10所示。測試過程中，系統內部產生三基色、棋盤格圖像數據源，結果表明，顯示效果符合系統要求。

圖10 高清顯示模塊測試效果圖

2.4 圖像特征提取IP核的實現

對圖像預處理的算法常見的有中指濾波，均值濾波，高斯濾波，直方圖均衡化等[12]。在工業生產中，圖像的特征信息顯得尤為重要。工業電子顯微鏡單一的圖像顯示對焦，不能實時迅速地對其進行處理與特征提取。通過某種方式對圖像中的每一個像素點進行遍歷，判斷每個像素點是一個圖像特征，從而減少冗余信息，可直觀地評估圖像為后續提供有效信息。

邊緣檢測即可標識數字圖像中亮度變化明顯的點，大幅度地減少數據量，剔除不相關的信息，保留圖像重要的結構屬性。在邊緣檢測算法中，Sobel邊緣檢測算子采用2個方向的3*3模板檢測水平和垂直方向的邊緣，如表1、2所示，其計算簡單、速度快，滿足實時性的要求。

表1 濾波模板

表2 濾波模板

將上述3*3濾波模板與圖像作平面卷積，即可分別求得橫向和縱向的亮度差分近似值。以A代表原始圖像，GX和GY分別代表經橫向和縱向邊緣檢測的圖像灰度值[13]，其卷積因子計算公式如下：

(1)

以f(x,y)表示圖像(x,y)點的灰度值，則有：

(2)

(3)

圖像的每一個像素點的橫向和縱向灰度值均通過以下公式來計算：

(4)

通過將數值與提前設定好的合理閾值比較來判定該點是否為邊緣信息點。

Xilinx推出的高層次綜合工具HLS中包含大量的視頻庫函數，大部分圖像處理模塊函數和OpenCV庫函數一致。本文利用視頻處理庫中的sobel函數，通過C++代碼綜合、仿真生成RTL電路，將其快速封裝生成IP核，在PL端對圖像處理算法進行硬件并行處理加速。

其具體開發流程中的關鍵語句如圖11所示。首先，將視頻流格式數據轉換成mat類型，mat類型的RGB888格式的彩色圖像再轉換成單通道的灰度圖像，用灰度數據與Sobel算子卷積；其次，將灰度數據轉換成3個通道的灰度圖像；最后，將mat類型的圖像數據轉換成視頻流格式輸出，完成處理功能。經仿真、綜合完成后，將其打包生成IP核在PL中調用。在視頻處理功能和數據結構方面，被綜合后的代碼與OpenCV基本對應，該方法極具靈活性、可擴展性，加快了圖形處理模塊設計的開發時間。顯著提高了設計效率。

圖11 基于HLS實現Sobel算子的設計流程

3 實驗結果與分析

用Vivado工具的IP集成器將上述生成的IP核添加到系統Block Design中，對本設計進行最后的綜合、實現、并生成比特流文件。導出最新的硬件平臺即BSP板級支持包后啟動SDK開發平臺進行設計，利用C語言編程依次配置GPIO輸入輸出端口信息，設定系統初始化脈沖TXN。并通過SCCB協議配置攝像頭參數信息。在SDK中對其進行單步調試，直到程序進入while主循環，周而復始地對DDR中起始地址0×1000000開始不斷進行讀寫操作，處理連續的完整圖像數據。

功能測試：采用兩種不同場景對系統平臺進行功能測試。

1)關閉圖像處理通道，顯示原始高清圖像，采用一支偶絲直徑為0.25 mm的高溫熱電偶對系統平臺的高清顯示功能進行測試，測試結果如圖12所示。結果表明，該系統可直接對焦熱電偶結點，清晰地顯示肉眼不方便觀察的偶結狀態，對熱電偶頭部的損壞程度做出評估。

圖12 原始圖像高清顯示的測試結果

2)開啟圖像預處理硬件加速通道，采用帶有激光燒蝕痕跡和受電火花侵蝕而形成槽形缺陷的特殊板材奧氏體鋼對系統平臺的圖像實時處理功能進行測試。結果表明，通過調整檢測閾值，可有效辨別出激光燒蝕痕跡與板材裂縫，如圖13(c)中的小圓點為激光燒蝕痕跡，圖13(d)為調整閾值后板材裂縫缺陷的檢測效果，該結果可為板材的完好性評估提供有效參考價值。

圖13 圖像處理功能測試結果

性能測試：在兩種不同的平臺上對系統平臺的性能進行對比測試，即將在ARM處理器上通過軟件的方式直接調用由 OpenCV自帶函數處理的結果和在本系統硬件平臺上進行處理的結果進行速度比對。其性能比對效果如表3所示。

表3 軟硬件邊緣檢測耗時比較

對系統占用資源進行匯總，片內資源使用情況如表4所示。

表4 片內資源使用情況

通過資源占用比和檢測耗時比對結果可以看出, 軟硬件協同處理與純軟件處理相比，速度提高了6倍左右，且片內資源使用合理，留有豐富剩余資源為后續開發提供支撐。可見本文提出的系統硬件平臺實時視頻圖像處理的實時性和實用性較好。

4 結束語

針對傳統處理器平臺對圖像數據采集與處理存在高時延與低吞吐量的問題，設計完成了集圖像高速采集、特征提取硬件加速、圖像實時高清顯示為一體系統平臺。系統充分結合FPGA與ARM的優勢，減小了體積和功耗、降低了設計風險。通過自定義IP核有效提升數據帶寬，并采用典型的圖像處理算法驗證了其高效可行性。硬件加速部分可以顯著降低圖像數據的處理耗時，使圖像處理原型驗證更具靈活性。系統平臺資源利用合理，易于擴展，可為邊緣終端數據處理加速和更復雜的圖像處理應用系統提供可靈活配置的基礎平臺。系統可應用于工業監控探傷系統、民用多媒體系統以及醫學等領域。