軟硬件協同的圖像放大系統設計

樊 榮，柴志雷*

（1.江南大學人工智能與計算機學院，江蘇無錫；2.江蘇省模式識別與計算智能工程實驗室，江蘇無錫）

引言

圖像放大是指將低分辨率的圖像放大到高分辨率圖像，現在也被稱為圖像超分辨率重建，圖像放大應用范圍很廣，在醫學影像[1]、衛星圖像[2]、視頻監視[3]等領域，在數字相機、智能手機、監控攝像頭、智能家居等嵌入式[4]設備也常常需要對圖像進行放大操作，以更好地觀察細節。圖像放大技術的應用，可以幫助用戶更好地理解圖像信息，提升圖像觀察體驗。

傳統放大算法是以插值為基礎的放大，其計算簡單，但是放大效果有限。在插值算法中一般以三次卷積插值放大效果最好，而基于卷積神經網絡的圖像超分辨率重建效果常常要遠超三次卷積插值，但是基于卷積神經網絡的圖像放大方法，其網絡結構較深、網絡體量較大[5]，其處理速度遠遠達不到三次卷積插值，針對這種情況本文提出一種輕量圖像放大加速器，設計了一種軟硬件協同的圖像放大系統，在放大系統中，其放大速度要比三次卷積插值快，放大的效果要比三次卷積插值要好。

1 圖像放大模塊介紹

本文使用如圖1 所示基于卷積神經網絡的雙層模型放大。首先，由初始特征提取模塊(如圖1 中的綠色塊)從低分辨率輸入圖中提取出的低分辨率的特征，然后將其輸出至反卷積模塊(如圖1 中的橙色塊)中，反卷積模塊將提取的特征圖融合上采樣為最終生成放大后圖。雙層模型結構特點，輸入彩色圖像需要先進行顏色空間轉換，將其從RGB 顏色空間通道轉變為YCbCr 通道，經過雙層模型對Y 通道進行放大，通過線性插值對CbCr 進行放大，合并得到YCbCr 三通道，最終轉換為RGB 彩色圖。conv(m，n，o)代表著輸入通道為m，輸出通道為n，卷積核尺寸大小為o×o 的卷積計算，deconv(p，q，r)代表著輸入通道為p，輸出通道為q，卷積核尺寸大小為r×r 的反卷積計算，在圖1中特征提取的卷積層的輸出通道數為16，在上雙層模型中反卷積核大小與放大倍數S 相等。

圖1 雙層模型結構圖

2 雙層模型加速器介紹

本文通過FPGA 設計的雙層模型加速器如圖2所示，雙層模型加速器輸入數據和輸出數據均為數據流的方式，為了使卷積層和反卷積層能夠以數據流的方式并行運算，在卷積層和反卷積層之間添加了中間緩沖，當卷積層處理一批數據后，可將數據存儲中間緩沖，反卷積則從中間緩沖中獲取數據。

圖2 雙層模型加速器

當數據入流卷積層時，為了提高數據的并行本文設計實現了窗口緩沖加行緩沖的組合，如圖3 所示，當外部數據feature(i,j)流入輸入特征模塊時，此時需要先對linebuffer 中的數據進行更新，先將linebuffer 第j列的數據向上移動，隨后將流入的數據插入linebuffer第5 行的j 列處。linebuffer 更新結束后需要對windowbuffer 進行更新，先將windowbuffer 中的數據按照5 行5 列的排布方式整體左移1 格，而后取出linebuffer 第j 列數據，插入到windowbuffer 的第5 列。最后將windowbuffer 中的數據一次性全部取出，流向卷積乘模塊。

圖3 窗口緩沖+行緩沖結構示意圖

將卷積乘、卷積加、偏置、激活、數據存儲五個步驟進行流水，由于每個卷積層數據計算是相互獨立的，故而可以對16 通道進行流水展開。其展開結構如圖4。

圖4 卷積流水展開示意圖

反卷積與卷積計算方式類似，但是在雙層模型中反卷積計算比卷積更適合流水，本文針對反卷積并行特點設計了在進行反卷積展開+雙重流水的結構，如圖5 所示，其中一個反卷積基本操作對16 個通道和反卷積核寬（與放大倍數相同，本文設計了6 放大）進行展開，該結構大大提高了反卷積并行計算力度，加速了反卷積計算。

圖5 反卷積流水展開示意圖

3 放大系統設計與分析

本文設計的放大系統如圖6 所示，該系統分為軟件部分和硬件部分，軟件部分是PC 在Web 頁面書寫代碼調動雙層模型加速器進行處理，硬件部分是在PYNQZ1 板卡上搭建的SoC 系統。

軟件上使用Python 讀取需要放大的LR 圖像，將其轉化為YCbCr 顏色空間，提取出其Y 通道值，對Cb、Cr 通道通過三次卷積插值進行放大。在輸入前需要通過PYNQ 系統自帶Overlay 類從而調用PL 端設計的模塊，設置輸入LR 圖像高、寬以及需要放大倍數，目前支持放大6 倍，然后指定Overlay 中的DMA類，將填充好的圖像數據傳輸至放大模塊加速器對其進行放大，然后等待DMA 模塊接受放大后Y 通道數據，將Y、Cb、Cr 通道數據融合為RGB 圖像。

硬件上為SoC 系統，該系統由PS 和PL 組成，其中PS 主要實現與PC 通過以太網進行數據交換，同時對PL 部分進行參數配置、數據傳輸。在整個RIP 系統中控制指令在PC 端通過以太網傳輸至PS 部分，PS中的APU（Application Processor Unit）在介紹到控制指令后，通過中央總線傳輸將控制指令通過通用GP口，將實現對DMA 控制器進行控制配置、對雙層模型接口進行配置。需要放大處理的LR 圖像數據在PC 端通過以太網傳輸至PS部分，PS 將數據存儲至DDR 中，DDR中的數據通過HP 口在DMA 模塊控制下從PS 段傳輸入PL 中雙層模型加速處，雙層模型加速器內部分為卷積層和反卷積層，其中數據通路在第四章介紹過，根據圖中模塊依次通過卷積層，中間緩沖，反卷積層，最后反卷積層流出的數據通過DMA 控制下經過HP 寫入DDR 中，最后通過以太網口，傳輸至PC端。

表1 為系統在PYNQZ1 上資源消耗情況，由表可知，本設計由于最終將卷積計算和反卷積計算都進行展開，因此其消耗的DSP48 資源損耗較多，最終總共使用132 個，其中conv 占用了35 個，卷積層計算為5×5 大小的卷積核，deconv 占用了97 個，LUT 資源消耗最多，總共消耗達到了49 748 個，已經接近PYNQ-Z1 板卡的總量。

表1 系統資源消耗

本文使用放大前圖像為180*320，放大6 倍，即放大后圖像大小為820*1 920 對放大系統進行測試評價，對比雙層模型與三次卷積插值的處理效果，雙層模型通過FPGA 加速器實現，三次卷積插值是在ARM9 上用python 調用opencv 庫實現，如表2 所示。

表2 處理時間和PSNR 對比

其中，就處理時間而言，本文設計比三次卷積插值放大的處理時間要快22.7%，PSNR 能夠衡量圖像效果，PSNR 要高0.76，處理效果更好。

4 結論

本文采用一種輕量化的雙層模型，并通過數據流的方式實現雙層模型加速器，通過窗口緩沖和行緩沖、流水展開等優化方式加速雙層模型卷積層、反卷積層，在PYNQZ1 通過軟件與硬件協同設計方式，調用雙層模型加速器進行放大，實現一種軟硬件協同的放大系統，經測試在該系統上實現圖像放大比三次卷積插值處理速度快22%，PSNR 高0.76，因此本文設計的圖像放大系統具有一定優越性。