Bayer 圖像的無損壓縮算法及其硬件實現

黃文俊，元 輝，李富勇，魏錫彥

（1.創潤量子科技（上海）有限公司，上海 201203；2.山東大學控制科學與工程學院，山東濟南 250061；3.中國電信集團系統集成有限責任公司山東分公司，山東濟南 250101；4.中國電信集團有限公司山東分公司，山東 濟南 250101）

數碼相機的成像端采用單片CMOS/CCD 器件采集成像信息。為降低成本，通常在鏡頭與傳感器之間放置色彩濾波陣列（Color Filter Array,CFA），使得每一個成像單元僅需采集單一色彩信息。Bayer 格式[1-4]是目前應用最廣的CFA 像素分布格式，相機成像前端通常將采集到的Bayer 格式圖像插值為RGB彩色圖像[5-6]，之后進行各類處理，在該過程中數據量變為原來的3 倍。伴隨著各類攝像機分辨率的不斷提升，針對RGB 格式的圖像信號處理（Image Signal Process,ISP）芯片所需的內存空間也愈加龐大。Bayer 圖像的壓縮將大大降低成像設備的成本。由于Bayer 圖像的特性，主流的彩色靜態圖像無損編碼方案如JPEG-LS[7-8]與JPEG2000[9]對其進行壓縮的效果十分有限。

針對Bayer 圖像的壓縮，許多學者展開了較為深入的研究[10-12]。文獻[10]提出了一種分層預測方法，利用不同分量之間的相關性相互預測，然后根據像素周圍的梯度值和殘差大小來估計預測殘差的概率分布。文獻[11]提出將Bayer 圖像的各分量分別進行整數離散余弦變換，然后使用JPEG2000 對變換系數進行壓縮，在有損壓縮中取得了優良的性能。這些算法旨在提高壓縮性能，復雜度較高。

考慮到Bayer 圖像的生成與處理都由成像端硬件完成，過于復雜的算法會消耗更多硬件資源，同時也將降低系統在極端環境中的穩定性。該文針對Bayer 格式圖像設計了一套適用于硬件實現的無損編碼方法。在不使用變換和量化操作的前提下，設計圖像分塊預測和熵編碼算法，使得Bayer 圖像無損壓縮性能接近于JPEG2000 標準的性能，并基于FPGA 進行實現和驗證。

1 算法分析

1.1 編碼結構概述

Bayer 圖像的格式如圖1 所示，其將紅(R)、綠(G)、藍(B)3 種色彩分量間隔排列，對G 分量采取了更高的采樣頻率。

圖1 Bayer格式圖像

Bayer 圖像的無損編碼方案主要包括4 種專門設計的預測模式和改進的自適應Huffman 編碼算法，其結構如圖2 所示。首先初始化殘差符號的統計分布，存入頻數表，根據此頻數表對所有符號進行Huffman 編碼，得到碼字表；同時對輸入的Bayer 圖像進行分塊預測，選出最佳預測模式，將其預測殘差進行處理，得到待編碼符號值，計算符號值的分布情況并以此更新符號分布表，與此同時以符號值作為索引從碼字表中讀取碼字，至此完成一個圖像塊的編碼。

圖2 編碼方案框架

1.2 圖像分塊策略

直接對整幅圖像進行預測編碼，一方面會造成系統資源浪費，另一方面也會造成預測誤差的擴散，Bayer 圖像被劃分為若干個如圖3 所示的M×M子圖像塊，以此作為編碼單元。

圖3 Bayer圖像塊

對于一幅圖像，可以將其劃分為三類區域：上邊界區域、左邊界區域以及中間區域。上邊界區域為圖像上邊緣的所有圖像塊，左邊界區域為圖像左邊緣除去與上邊界重合的所有圖像塊，如圖4 所示，每個區域的尺寸都是圖像塊的整數倍。

在圖4 所示的圖像塊中，Pi,j(0 ≤i≤M-1,0 ≤j≤M-1)表示圖像塊第i行、j列的像素灰度值。P′i,j表示Pi,j的左鄰近圖像塊中的同色度像素值，P″i,j表示Pi,j的上鄰近圖像塊中的同色度像素值，i,j為Pi,j的預測值。考慮不同圖像的紋理特性，該文采用32×32和16×16兩種尺寸的分塊策略，分別記為Size A與Size B。

圖4 圖像區域劃分

1.3 預測模式

該文參考JPEG-LS 標準中使用的DPCM 預測模型，針對Bayer 圖像的特征，提出4 種跨像素預測模式，如圖5 所示，分別為垂直跨像素預測（模式0）、水平跨像素預測（模式1）、水平-垂直跨像素預測（模式2）、斜向跨像素預測（模式3），其中Xn為待預測像素，Pn為其預測值。

圖5 4種跨像素預測模式

若像素位于圖像塊上邊緣區域或者左邊緣區域，需要參照與之相鄰的圖像塊的同色度像素值來進行預測，預測方式如圖5(b)所示；若像素位于圖像塊的中間區域，則可以利用當前塊內與之相鄰的同色度像素值來預測，預測方式如圖5(a)所示。

4 種跨像素預測模式的具體執行方法如表1 所示。處于圖像上邊界和左邊界區域的圖像塊，對其邊緣處的像素的預測方式加以固定。當圖像塊位于圖像的整幅圖像的中間區域時，需要考慮當前像素是否位于圖像塊的邊緣，然后使用正確的預測規則。

表1 圖像各區域預測方式

對像素Pi,j進行預測的過程記為P(i,j)，其預測殘差為由于圖像的結構和紋理特性，同一個圖像塊在不同預測模式下的預測準確度往往有很大差別，為了提高整體的預測準確性，需要根據實際預測結果選用一個最準確的預測模式。考慮到系統延時和資源消耗，該文采用真實值與預測值的絕對差和(Sum of Absolute Difference,SAD)來評判各種預測模式的準確度。SAD 越小，預測準確度越高。

為了使解碼端獲知每個圖像塊所采用的預測模式，在碼流中需要額外增加2 bit 的頭信息，用以記錄預測模式。

1.4 自適應Huffman編碼算法

Huffman 編碼[13-14]作為一種可變長編碼，能夠根據信源中各符號出現的概率來分配碼字長度。通過構建Huffman 樹，給出現概率高的符號分配較短的碼字。在離散無記憶信源條件下，其編碼結果接近于信源熵。傳統的Huffman 編碼需要遍歷編碼信息以獲取所有符號出現的概率，但是存儲和傳輸這些符號的概率信息也將消耗大量資源。自適應Huffman 編碼[15]可以在數據流的傳輸過程中動態地收集并更新各符號的概率信息，據此不斷調整Huffman 樹，更新各個符號的編碼結果。該算法的缺點在于其時間復雜度的倍增，在數字圖像信號的編碼過程中，由于符號的分布范圍較廣，會使得該缺點愈加擴大。文中圖像編碼方案對自適應Huffman 編碼算法進行改進，將Huffman 樹的逐字符調整改為逐塊調整，以降低圖像編碼時延。

預測殘差ΔPi,j通常接近于0，大致服從拉普拉斯分布。為提高編碼效率，將ΔPi,j按照式（2）進行處理，得到待編碼符號Si,j(0 ≤S≤255)。

計算信源中各符號的概率會消耗大量乘法器資源，并且其結果為浮點型數據，在取值過程中的截斷會造成準確度降低。因此使用各符號的統計頻數替代概率，在編碼過程中同樣根據頻數構建Huffman樹。編碼之前，按照式（3）設置各符號的初始頻數，對Si,j的頻數分布F(S)進行初始化:

式中，k為常數，可設置為1。

為保證解碼端構造的Huffman 樹與編碼端完全一致，該文采用Canonical Huffman 編碼算法[16]對S進行編碼，其過程描述為：

式中，T(S) 為各符號的編碼碼字表，H(S,F(S))表示Canonical Huffman 編碼過程。

Canonical Huffman 編碼在經典Huffman 編碼的基礎上，對編解碼雙方增加了一些約束信息，其規定相同長度的碼字是連續的，當有多個符號的編碼長度相同時，其對應的碼字的數值大小必須按照符號值的升序連續遞增。同時，長度為i的碼字C(i)可以根據長度為i-1 的碼字計算獲得：

解碼器在解碼過程中依據各符號出現的頻數計算其碼字長度，然后按照Canonical Huffman 的編碼約定信息可以準確地重建T(S)，完成解碼。在編碼過程中，圖像塊總數為N，當前編碼塊的序號為n(0 ≤n＜N)，其中符號S的出現次數為f(S)，編碼輸出結果為O(S)，改進的自適應Huffman 編碼算法的偽代碼如下所示。

解碼器在啟動時同樣按照式（3）初始化F(S)，在解碼的過程中逐塊更新F(S)，因此編碼器無需向解碼端傳遞額外信息。該方案改進了傳統的自適應Huffman 編碼，使用已編碼圖像的殘差分布對當前圖像塊的預測殘差進行編碼。經過逐塊迭代后，殘差分布表將逐漸逼近完整圖像預測殘差的分布。

2 基于FPGA的硬件實現

2.1 頂層架構

該文使用Xilinx 公司的xc7z030 型FPGA 對所提出的無損編碼方案進行實現與驗證，該芯片最高工作頻率為667 MHz，片上RAM 大小為256 kB。開發平臺選用vivado 2018，編寫verilog 語言以完成模塊設計和仿真驗證。系統的硬件結構如圖6 所示。

圖6 系統硬件結構圖

編碼方案的實現結構包括預測控制模塊、圖像預測模塊、編碼控制模塊、Huffman 編碼模塊以及相關RAM 單元。圖像存儲ROM 為一個single port ROM 單元，使用20 bit 的地址總線以及8 bit 的數據總線，用于存儲測試使用的Bayer 圖像數據。預測控制模塊負責從ROM 中讀取數據，送入圖像預測模塊，并根據預測結果選用最佳預測模式；圖像預測模塊實現了該文提出的4 種預測模式，對預測殘差進行處理同時并行輸出。對于算法中所用到的符號頻數表和符號碼字表，采用片上的dual port RAM 進行存儲。編碼控制模塊用于控制Huffman 編碼模塊的啟動，同時從頻數表存儲RAM 中讀取各符號的頻數送入Huffman 編碼模塊，由后者完成編碼，編碼結果存入碼字表存儲RAM。在下一個圖像塊的編碼周期中，以殘差符號值為地址從碼字表存儲RAM 中讀取碼字，即作為該符號的編碼輸出結果。

2.2 圖像預測模塊

圖像預測模塊集成了4 種預測模式，每一種預測模式的結構如圖7 所示。首先從預測控制模塊中獲取8 bit 的像素值P以及像素位置坐標，行坐標與列坐標各5 bit 寬度。根據位置坐標計算預測像素的位置，從而得到預測像素在RAM 中的地址Address[5:0]，讀取該值并按照表1 方法計算預測值P′。將P與P′差分即得預測殘差ΔP，然后將ΔP進行處理得到待編碼符號S，同時計算該模式下ΔP的SAD，將其送入預測控制模塊。

圖7 預測模塊結構

2.3 Huffman編碼模塊

Huffman 編碼模塊結構如圖8 所示。

圖8 Huffman編碼模塊結構

模塊主要分為排序、構建二叉樹、計算碼字長度以及分配碼字幾個部分，實現了Canonical Huffman編碼算法的流程。首先從符號頻數表RAM 中獲取各符號及其頻數，對其進行排序，然后根據排序結果構建二叉樹，頻數越大的符號深度越小。遍歷該二叉樹，依次計算出所有符號的編碼長度，然后依據約束信息為各符號分配碼字，最后將其存入碼字表RAM。該模塊中對一些子流程同樣采用了流水線結構和并行方式，提高了編碼效率。

3 性能分析

該編碼方案的硬件實現消耗資源其各類資源的消耗情況如表2 所示。

表2 系統資源消耗

其中使用查找表（Look Up Table，LUT）2 217 個，觸發器（Flip Flop，FF）1 008 個，二者的等效門數約為3 萬個；使用塊RAM（Block RAM，BRAM）單元1.50個，消耗內存約54 kB。資源消耗遠低于基于通用處理器的軟件編碼方案。

為了評估該方案對于Bayer 圖像的壓縮性能，將RGB 彩色圖像按照Bayer 格式對所有像素點進行單一分量的降采樣，將得到的如圖9 所示的模擬Bayer圖像作為測試對象，測試圖像的紋理特性各不相同，其分辨率均為1 024×1 024。

圖9 降采樣后的部分Bayer圖像

將該文所提出方案與JPEG、zip、rar、7z、JPEG 2000多種主流無損編碼方案進行對比，評估參數為壓縮比，即原圖像的比特數與壓縮后數據比特數之比，壓縮比越大表明編碼性能越好。比較結果如表3所示。該文所實現的Bayer 圖像無損編碼方案的性能接近于JPEG2000。仿真過程中目標器件的時鐘頻率為250 MHz，編碼延時約為40 ms，滿足了實時性要求。相比于主流的靜態圖像編碼方案，該文根據Bayer圖像特性設計的無損編碼方案，適合于在FPGA平臺實現，在消耗資源更少，延時更低的情況下獲得了接近于主流圖像編碼方案的無損壓縮效果。

表3 文中方法與主流方法壓縮比

4 結論

該文考慮了攝像頭前端處理系統對于硬件資源成本的敏感性，設計了一種針對8 位Bayer 圖像的無損編碼方法，并基于FPGA 進行硬件實現與驗證。該方法摒棄了復雜度較高的變換編碼方法，通過多種預測模式有效降低圖像的空間冗余性；改進自適應Huffman 編碼算法，降低了時間復雜度與空間復雜度。結果表明，該方案以較低的資源消耗達到了接近于JPEG2000 的壓縮性能。