基于HLS的色彩插值算法硬件設計與實現

潘曉英，李晨晨*，王 昊，薛玉鋒

(1.西安郵電大學 計算機學院，陜西 西安 710121；2.廈門優萊柏網絡科技有限公司，福建 廈門 361008)

1 引 言

圖像傳感器是獲取圖像不可或缺的一個重要組成部分。目前市場上常見的圖像傳感器主要有互補金屬氧化物半導體(Complementary Metal Oxide Semiconductor，CMOS)圖像傳感器和電荷耦合元件(Charge-coupled Device，CCD)圖像傳感器兩種[1]。由于制造工藝和原件成本等原因，市場上主流的傳感器多為CMOS圖像傳感器。為獲得彩色圖像，通常需要在CMOS圖像傳感器表面覆蓋一層彩色濾波陣列(Color Filter Array,CFA)，而Bayer格式的CFA是最常用的一種[2]，Bayer格式的圖像在每個像素位置上只有物理三基色(紅、綠、藍)中的一種色彩分量，要得到RGB彩色圖像就需要根據該色彩分量周圍的其他色彩分量插值計算出另外兩種色彩分量,這種處理方式稱為色彩插值[3-4]。

隨著圖像傳感器像素尺寸的增加，圖像數據量也隨之增大，使用軟件方式實現色彩插值算法存在實時性差、效率低下等問題，現場可編程門陣列(Field-Programmable Gate Array, FPGA)[5-6]在圖像處理應用上具有處理數據量大、處理速度快等特點，使用FPGA可以加速實現色彩插值算法。色彩插值算法在實際硬件實現中多采用計算簡單、實現較為容易的算法，比如鄰近插值算法和雙線性插值算法等[7-9]。文獻[10]提出在FPGA上采用鄰近插值算法實現色彩還原，但圖像色彩還原較差，細節丟失嚴重。文獻[11]提出在FPGA上實現一種四合一圖像插值算法，該算法FPGA實現簡單，實時性較好，但圖像邊緣鋸齒現象較為嚴重。上述文獻中插值算法的實現多使用硬件描述語言開發，對開發要求較高且開發時間較長。

針對上述算法存在圖像色彩還原較差、細節丟失嚴重、存在鋸齒現象以及開發周期較長等問題，本文提出了一種改進的色彩插值算法，該算法融合雙線性插值法和一階微分邊緣導向插值法實現色彩插值，使用Xilinx高層次綜合工具HLS完成算法開發。與傳統FPGA開發使用硬件描述語言實現相比，HLS使用C/C++進行開發[12-13]，可降低開發難度，縮短開發時間。最后本文在ZYNQ平臺上將HLS生成的色彩插值IP與圖像采集模塊結合實現了實時的圖像色彩還原。

2 改進的色彩插值算法

本文的色彩插值算法采用雙線性插值算法和一階微分邊緣導向插值算法相結合的方式實現圖像色彩還原。如圖1所示，在Bayer格式的CFA中，綠色分量占據所有像素信息的一半，所包含的圖像信息量相對較多，需要在插值計算中更加精確地進行還原。當被插值像素點為R分量或B分量時，對缺失像素的插值使用較為復雜的算法計算。紅色與藍色分量分別占所有像素信息的1/4，為減少算法復雜度與FPGA資源占用，當被插值像素點為G分量時，使用計算相對簡單的算法完成插值計算。圖1所示為Bayer格式的色彩濾波陣列。

圖1 Bayer色彩濾波陣列(CFA)Fig.1 Bayer color filter array (CFA)

在圖像色彩還原時，如果插值算法沒有考慮到圖像邊緣的特殊性，使用了跨邊緣的圖像像素信息進行插值，就會導致插值后得到的圖像邊緣產生模糊和鋸齒現象。改進后的色彩插值算法對以紅色和藍色分量為中心像素點的像素使用一階微分邊緣導向插值算法進行色彩插值還原，通過計算被插值像素點處水平(垂直)方向或對角方向的梯度值確定圖像邊緣，取梯度較小方向上的像素點作為估計點，從而避免了插值時錯誤地利用跨邊緣的鄰域像素信息，在插值計算時能有效還原圖像邊緣信息，改善圖像邊緣模糊以及鋸齒現象等問題。對以綠色分量為中心像素點的像素使用雙線性插值算法進行色彩插值還原，利用相鄰像素中同色分量的像素值信息進行平均運算得到當前像素的插值色彩分量，該算法運算量較小，可有效減少FPGA資源的使用。

圖2 不同分量為中心像素點的示意圖。(a)藍色分量;(b)紅色分量;(c)綠色分量Fig.2 Diagram of different compontnts as central pixols. (a)Blue component;(b)Red component;(c)Green component.

2.1 紅色與藍色分量處的色彩插值

如圖2(a)所示，當以藍色分量B22為中心像素點時，針對需要恢復的綠色分量和紅色分量，本文使用一階微分邊緣導向插值算法進行色彩還原。對需要插值的綠色分量，首先計算水平方向和垂直方向上的梯度大小，取梯度較小方向上的像素點作為估計點，計算當前缺失像素，ΔHg表示水平梯度，ΔVg表示垂直梯度。

(1)

缺失的G分量插值計算方式如式(2)所示：

(2)

對藍色分量B22進行插值求取紅色分量R，根據藍色分量B22周圍的紅色分量的值來確定對角梯度值，Hr表示主對角梯度，Vr表示次對角梯度。取梯度較小方向上的像素點作為估計點，對角梯度值定義如下：

(3)

R分量的插值計算方式如式(4)所示：

(4)

在圖2(b)中，紅色分量R22為中心像素，需要插值計算出綠色分量和藍色分量，其計算過程與以藍色分量B22為中心像素點時的計算方式相同，首先計算R22處水平與垂直梯度值，插值計算出缺失的G分量，再計算R22處的對角梯度值，插值計算出缺失的B分量。

2.2 綠色分量處的色彩插值

如圖2(c)所示，當以綠色分量G22為中心像素點時，使用雙線性插值算法進行色彩還原，首先對中心像素點鄰域內相同顏色分量求均值，然后將該值作為中心像素點缺失顏色分量值。

對圖2(c)中像素點G22進行插值，對應的紅色分量R和藍色分量B的恢復公式如下：

(5)

(6)

本文提出了一種改進后的色彩插值算法實現圖像色彩還原，對不同的顏色分量，使用相對應的色彩插值算法，利用圖像邊緣的梯度信息區分圖像的邊緣，恢復出的圖像邊緣細節較好，減少了鋸齒與模糊現象。

3 色彩插值算法的HLS實現

Vivado HLS 是 Xilinx 公司推出的高層次綜合工具。與使用硬件描述語言開發FPGA不同，HLS使用 C/C++進行開發，通過高層次綜合將其轉換成HDL代碼，并將程序打包成IP核，因此具有很強的靈活性，可大幅度縮短開發周期，同時也具有良好的加速功能。

3.1 使用HLS設計色彩插值IP核

使用Vivado HLS完成Bayer格式圖像色彩還原的流程如圖3所示。

圖3 HLS 硬件加速流程Fig.3 HLS hardware acceleration process

本文使用Sony IMX系列CMOS傳感器完成圖像采集，圖像尺寸為2 048×1 536。系統運行時，攝像頭完成取圖，原始Bayer格式圖像數據流進色彩插值IP，通過AXI4-Stream 協議將數據流轉換為HLS opencv庫下的 hls::Mat 格式，然后進行色彩插值運算，最后將處理完成的圖像再經過格式轉換流出色彩插值IP，完成Bayer格式圖像的色彩插值，最終得到RGB彩色圖像。

圖4 Vivado HLS實現色彩插值算法流程框圖Fig.4 Vivado HLS algorithm flow chart

使用HLS完成色彩插值算法的主要流程如圖4所示。首先對圖像進行格式轉換，根據AXI4-Stream協議將原始圖像數據流轉換為HLS視頻庫下的 hls::Mat 格式，使用hls::LineBuffer緩存大小為3×2 048的行緩存，將行緩存中的數據使用hls::Window再緩存到一個大小為3×3的滑動窗口，對該3×3的滑動窗的中心像素點進行插值計算，計算完成后窗口右移，當該窗口完成行遍歷后，行緩存下移，窗口繼續向右移動，直至完成所有像素點遍歷。

如圖1所示，在Bayer格式的CFA中，不同色彩分量有規律地分布，其中G分量處于奇行偶列與偶行奇列，R分量與B分量處于奇行奇列與偶行偶列。在色彩插值計算中，需要判斷該滑動窗中心像素點所處行列的奇偶性，當中心像素處于奇行偶列與偶行奇列時，對該像素采用雙線性插值算法進行色彩插值。當中心像素處于奇行奇列與偶行偶列時，對該像素采用一階微分邊緣導向插值算法進行色彩插值。

3.2 色彩插值IP硬件系統實現

在Xilinx高層次綜合工具中，將設計仿真通過的色彩插值算法打包成IP核，在Vivado開發環境中將色彩插值IP添加進整體的圖像采集系統完成色彩還原的硬件加速。圖5為圖像采集和色彩還原系統的整體設計。在整體系統設計中將攝像頭采集到的Bayer格式數據輸送到色彩插值IP中，完成實時的圖像色彩還原。

圖5 Vivado中圖像采集和色彩還原系統設計Fig.5 Image acquisition and color restoration system

4 實驗與結果分析

在對Bayer格式圖像進行插值運算過程中有可能會出現偽彩色、摩爾紋現象、鋸齒現象等問題。為衡量色彩插值算法的還原效果，需要對還原后的圖像進行圖像質量進行評價。衡量圖像還原質量可分為主觀評價和客觀評價，主觀判斷不具有量化標準，因此本文選用了客觀評價中評價重構圖像質量最常用的方法：彩色信噪峰值比(CPSNR)。CPSNR值越大，說明插值后得到的圖像質量越好。

式(7)所示為CPSNR的計算公式。其中：W表示圖片的寬度，H表示圖片的高度，Oi,j,k表示真實圖片的原始值，Ni,j,k表示經過插值算法恢復后的圖像，P表示像素的峰值，因為本文圖像格式為8 bits，因此P取值為255。

(7)

為驗證本文算法的圖像還原效果，隨機選取經典的Kodak圖像庫里的8幅圖像數據作為測試圖像，對選取圖像進行圖像還原處理，得到Bayer格式的圖像再使用色彩插值算法進行還原。

圖6 實驗結果Fig.6 Experimental results

圖7 Kodak測試圖像集Fig.7 Kodak image dataset

從圖6中可以看出，采用本文算法插值還原得到的圖像細節相較于雙線性法圖像細節更加豐富，色彩還原更好。相較于文獻[10]與文獻[11]，圖像邊緣細節還原較好，鋸齒現象較少。

表1 幾種算法的CPSNR值對比Tab.1 Comparison of CPSNR values of three algorithms

續 表

表2 硬件資源使用表Tab.2 Hardware resource usage table

從表1中可以看出，本文算法的彩色峰值信噪比(CPSNR)相較于雙線性插值算法、文獻[8]、文獻[9]所提算法平均高4～6 dB，使用一階微分邊緣導向插值算法得到的CPSNR值比本文算法平均高0.5 dB左右。從表2中可看出，本文算法的FPGA資源使用略高于雙線性法與文獻[10]、文獻[11]所提算法，其FPGA資源使用比3種算法平均高13.7%，相較于一階微分算法有大幅度下降，僅為一階微分算法的57.1%。

結合圖像還原結果、CPSNR數據以及FPGA的資源使用，改進后的色彩插值算法得到的圖像質量比常規插值算法還原出的圖像質量要好。相較于一階微分邊緣導向插值算法，其使用FPGA資源使用大幅度減少。在保證圖像還原質量的前提下，本文算法還原出的圖像更加清晰，邊緣細節較好，圖像色彩還原真實，細節豐富，FPGA資源使用較少。

最后，本文將設計驗證完成的色彩插值IP進行板級驗證，在Zynq平臺上結合攝像頭采集模組完成實時的圖像色彩插值計算，如圖8所示，圖8(a)為Zynq圖像采集平臺，圖8(b)為實際采集到的Bayer圖像，圖8(c)使用本文色彩插值IP在Zynq平臺上實際拍攝彩色還原圖像。

圖8 采集模塊與板上還原結果Fig.8 Acquisition module and restore results

5 結 論

提出了一種改進的色彩插值算法，該算法融合了雙線性插值算法和一階微分邊緣導向插值算法。由于綠色分量所包含圖像信息量較多，當被插值像素點為R分量或B分量時，使用一階微分算法插值恢復缺失的顏色分量，可有效減少圖像邊緣模糊與鋸齒現象。考慮到FPGA資源使用與硬件成本，當被插值像素點為G分量時，使用雙線性插值算法插值恢復缺失的顏色分量。實驗結果表明，本文算法的彩色峰值信噪比相較于常規算法高4～6 dB。使用HLS開發可快速完成算法的設計與實現，提高開發效率。將設計實現的算法打包生成IP核，可多次重復使用，提高了算法的復用性。