基于FPGA的九點插值自適應圖像縮放算法設計

朱明達， 辛鵬， 常嘉穎

（中國石油大學（北京） 信息科學與工程學院， 北京 102249）

1 引言

視頻圖像縮放技術目前在醫療、遙感、軍事等領域有著廣泛的應用［1-2］，多采用FPGA進行視頻圖像的實時處理。當前主流的視頻圖像縮放算法可以分為兩大類：第一類是基于傳統插值的縮放算法［3］，這類算法求得的插值點與圖像邊緣信息無關，而只與插值點周圍源像素點的像素值有關。最常見的有最近鄰域法、雙線性插值法、雙立方插值法等［4］。最近鄰域法簡單易實現，但生成圖像質量不高。雙線性插值法計算量大且本身有低通濾波器的特性，導致圖像高頻分量受損，圖像邊界變得模糊。雙立方插值法雖然計算精度高，但是計算量巨大，算法復雜度高，不易于硬件實現。第二類是基于圖像邊緣信息的插值算法［5-7］，常見的算法包括Sobel［8］、Prewitt［9］、Canny［10］等。這類算法求得的插值點與圖像邊緣信息相關，因此可以得到比傳統插值算法更好的視覺效果，但這類算法復雜度較高，很難滿足視頻實時縮放的需求。

基于上述分析，本文提出一種九點插值圖像縮放基本算法，該算法相比雙線性插值算法減少了邏輯資源消耗，有效提高了圖像縮放效果。由于最近鄰域法資源量消耗小，且具有高通濾波器的特性，可以較好地保留圖像邊緣的高頻信息，因此本文又提出一種自適應插值算法，將九點插值基本算法與最近鄰域法相結合。對處于非圖像邊緣的像素點采用九點插值基本算法，對處于圖像邊緣的像素點采用最近鄰域算法，在減少硬件資源使用的同時得到了比最近鄰域法、雙線性插值算法更好的圖像縮放效果。

2 算法設計

2.1 傳統縮放算法

最近鄰域插值算法如圖1所示，將插值點周邊4個源像素點分成4個區域分別設為Area1、Area2，Area3、Area4，根據縮放比例算出的插值點坐標落在哪個區域，其像素值就取該區域源像素點的像素值。

圖1 最近鄰域算法Fig.1 Nearest neighbor algorithm

設插值點與周圍4個鄰點的距離分別為d1、d2、d3、d4，則該插值點的像素值為：

其中：g(x，y)為插值點像素值，fi(x，y)為距離插值點最近的源像素點的像素值。

雙線性插值算法如圖2所示，該算法將周圍4個源像素點的像素值通過兩次線性插值求得插值點的像素值。

圖2 雙線性插值算法Fig.2 Bilinear interpolation

設插值點坐標為k(x，y)，周圍4個源像素點設為p1、p2、p3、p4，4個源像素點坐標為p1([x]，[y])、p2([x+1]，[y])、p3([x]，[y+1])、p4([x+1]，[y+1])。設插值點與p1像素點的水平距離為u，垂直距離為v，通過兩次線性插值計算可求得插值點的像素值。首先通過第一次線性插值求出f1、f2點處的像素值為：

再由f1、f2處的像素值經過第二次線性插值得到插值點處的像素值k(x，y)：

最近鄰域插值算法雖然運算簡單，在硬件實現上需要消耗的時間資源和邏輯資源都較少，但是會引入嚴重的圖像失真，縮放過后的圖像會產生馬賽克現象。雙線性插值算法的圖像縮放效果較好，能夠很好地恢復圖像的信息，但是其中包含許多小數乘法運算，即使使用定點數來代替浮點數，仍然需要消耗較多的時間資源和邏輯資源。

2.2 九點插值基本算法

針對最近鄰域插值縮放效果差、雙線性插值消耗硬件資源多的問題，本文提出一種九點插值基本算法。該算法無需計算小數乘法等需要消耗大量邏輯資源的運算，只需要進行加法運算和移位運算即可，最終縮放效果相較于最近鄰域法縮放后的圖像效果有了顯著提升，但略差于雙線性插值算法。算法的具體原理如圖3所示。圖3中黑色的點表示實際的源像素點，白色的點表示虛擬的像素點，虛擬點像素值由源像素點插值獲得：

圖3 九點插值基本算法Fig.3 Nine-point interpolation algorithm

將該圖像區域分為4個區域分別為Area1、Area2、Area3、Area4。當插值點落在某個區域中時，其像素值取其周圍4個源像素點的像素值均值，并由式（6）～（10）得到。例如當插值點落在Area1時，其像素值為：

同理可得插值點落在Area2、Area3、Area4區域內的像素值分別為：

將等式（11）～（14）兩邊同時乘以16，可以得到：

因此在算法實現上，將小數乘法運算改為移位相加運算，例如在計算F(Q1)像素值時，將式（11）中多個源像素點累加得到結果后，將結果右移4位，即將數值縮小16倍即可得到真正的插值點像素值，避免了小數乘法運算。減少了邏輯資源的消耗。

2.3 九點插值自適應縮放算法

根據像素點之間的相關性強弱可以將圖像分為平滑區域和邊緣區域。平滑區域像素點之間相關性強，用九點插值基本算法可以得到比最近鄰域法更好的縮放效果；而圖像邊緣的像素點之間的相關性較弱，由于最近鄰域法具有高通濾波的特性，在此區域使用最近鄰域法可以有效保護邊緣。因此，本文提出一種基于九點插值基本算法與最近鄰域法相結合的自適應縮放算法，根據判定像素點位于圖像平滑區還是邊緣區來自動選擇插值算法。

圖像邊緣區域檢測及方向角判斷采用行平均的思想，通過計算插值點所在區域4個角度的4個鄰點像素點的灰度和之差，取最大值設為Amax。若Amax大于某個設定的閾值，則判定此時Amax對應的角度為此點的方向角，采用最近鄰域法取該方向上源像素點或虛擬點的像素值為輸出值；若Amax小于閾值，則判定為平坦區域，采用九點插值基本算法來算出插值點像素值。方向角判定如圖4所示。

圖4 方向角判定Fig.4 Direction angel determination

4個角度分別為0°、45°、90°、135°，通過4個方向公式來計算每個方向對應的灰度和之差：

如圖5（a）所示，將一張分辨率為300×300的圖像按照此方法求出圖像邊緣，閾值設定的越小，圖像邊緣顯示得越清晰。邊緣檢測方法中閾值一般設置在60～90之間［11］，本文將閾值設定為70，實驗效果較好，得到的邊緣圖如圖5（b）所示。

圖5 圖像邊緣判定Fig.5 Image edge determination

3 算法分析

為了驗證本文算法的有效性，在MATLAB中對本文方法、最近鄰域法和雙線性插值算法進行圖像縮放實驗。選用大小300×300的灰度lena圖像作為原圖，先將圖片長寬分別縮小4倍，然后采用不同縮放算法對圖像長寬分別進行4倍放大，放大后的圖像與原圖尺寸相同。圖片經不同縮放算法處理得到實驗結果如圖6所示。

圖6 灰度圖像放大效果對比Fig.6 Comparison of grayscale image enlargement effect

由圖6可見，最近鄰域算法縮放的圖像出現了嚴重的馬賽克失真現象；雙線性插值縮放效果比最近鄰域法要好，但是圖像邊緣不夠清晰；九點插值基本算法在平坦區域縮放算法較好，但同樣在圖像邊緣不清晰；而九點插值自適應插值算法在圖像平坦區域效果較好，同時在圖像邊緣區域的馬賽克現象要好于前幾種算法。

峰值信噪比（PSNR）是最常用的評價圖像縮放效果的客觀指標之一，其具體公式如式（23）所示：

其中：I代表大小為M×N的原始圖像，K代表經過縮放處理后與原圖像大小相同的目標圖像。峰值信噪比的值越大，表示圖像損失的信息越少，圖像縮放效果越好。

對300×300 Lena、512×512 Baboon、480×480 Barbara、800×800 Goldhill和600×600 Peppers幾張圖像的長寬分別縮小4倍，然后采用不同縮放算法對圖像長寬分別放大4倍，放大后的圖像與原圖尺寸相同，計算幾張圖像與原圖像的峰值信噪比，結果如表1所示。

表1 算法的PSNR值對比Tab.1 Comparison of algorithm PSNR

由表1可以看出，第三列為本文提出的九點插值基本算法，其縮放效果要優于最近鄰域插值算法，但略差于雙線性插值算法；第四列為本文提出的九點插值自適應算法，由于其在圖像邊緣處對九點插值基本算法進行了算法優化，其圖像質量優于其他3種算法的圖像質量。九點插值自適應算法的PSNR值相比于最近鄰域插值與雙線性插值算法普遍高出0.5～3 dB。

4 算法硬件實現

4.1 系統組成

硬件系統由FPGA、SD卡、DDR3存儲模塊、HDMI輸出接口及外圍電路模塊組成。系統的硬件組成如圖7所示。其中主控芯片選用Xilinx公司xc7a35tfgg484-2型號的FPGA芯片。

圖7 系統整體框架Fig.7 Overall system framework

4.2 插值算法的硬件設計

本文設計的自適應圖像縮放算法可以根據圖像邊緣與平坦區域采用不同的插值算法。當插值點鄰域被判定為平坦區域時，通過九點插值基本算法進行插值運算；當插值點鄰域被判定為邊緣區域時，通過最近鄰域法進行插值運算。在進行九點插值基本算法的設計時，將小數乘法操作改為源像素點的移位操作，大幅減少了硬件資源消耗。在FPGA硬件平臺上進行了圖像的縮放算法實現，本文設計的九點插值自適應縮放算法流程如圖8所示。

圖8 算法邏輯框圖Fig.8 Algorithm logic diagram

首先生成目標圖像對應原圖像的坐標并輸入到數據緩存模塊。數據緩存模塊根據對應坐標從DDR3中讀取原圖像數據，存滿兩行圖像數據后，將數據輸入到虛擬點與方向角判斷模塊，此模塊將計算虛擬點坐標以及判斷圖像邊緣角度。將邊緣方向4個角度、不是邊緣點共5種模式用Mode的5個值來表示。當判斷為邊緣點時，根據邊緣方向將角度分為0°、45°、90°、135°，對應將數據輸入到最近鄰域插值運算模塊，Mode的值分別為0、1、2、3；當判斷為非邊緣點時，Mode的值為4，對應將數據輸入到九點插值運算模塊。具體FPGA功能模塊設計如圖7中FPGA內部功能框圖所示。

采用Modelsim對FPGA實現的自適應插值算法進行硬件仿真，結果如圖9所示。f11～f33分別為輸入到自適應插值算法模塊中的4個源像素點與5個虛擬點。Mode為不同角度對應的模式。當Mode為4時，代表此時插值點所處區域為平坦區域，通過九點插值基本算法計算輸出像素值；當Mode為0時，此時插值點所處區域為邊緣區且邊緣方向為0°，輸出像素值為此方向的像素值。通過與仿真所用圖像對比可以看出，Mode為0時所對應圖像位置的確是邊緣，初步證明了FPGA實現的正確性。

在實際驗證實驗中，將擬處理圖像存入SD卡中，系統讀取圖像并進行處理，將處理后的圖像存入SD卡并通過HDMI視頻接口顯示在顯示器上。對540×540 Baboon、540×540 Barbara、540×540 Goldhill和540×540 Peppers等圖像的長寬分別進行2倍的放大操作，圖像放大后尺寸為原圖的4倍，放大后的圖像大小為1 080×1 080。最終存儲到SD卡中，縮放后的圖片如圖10所示。將SD卡中的圖像讀出并顯示在分辨率為1 920×1 080的顯示器上，由于圖像為1 080×1 080，因此顯示器屏幕兩側有黑條，最終顯示器上顯示的圖像如圖11所示。

圖10 圖像縮放結果圖Fig.10 Image scaling result graphs

對最近鄰域插值、雙線性插值、九點插值基本算法、九點自適應插值算法進行硬件實現，分別統計各算法的資源用量，結果如表2所示。可以看出，九點插值自適應算法的硬件資源使用量比雙線性插值減少了約20%。

表2 硬件資源使用表Tab.2 Hardware resource usage table

計算幾張圖像與原圖像的峰值信噪比，結果如表3所示。可以看出在基于FPGA實現的處理算法中，九點插值自適應算法的處理效果最好，其PSNR值相比最近鄰域插值與雙線性插值算法普遍高出0.3～2.5 dB。

表3 SD卡中縮放后圖像的PSNR值Tab.3 PSNR value of scaled images in SD card

5 結論

本文提出一種九點插值自適應縮放算法，對原始圖像進行虛擬點的計算，通過計算插值點周圍鄰點0°、45°、90°、135° 4個方向上的像素變化值，并將變化值與設定的閾值進行比較，進而判斷選擇合適的插值算法計算得到目標像素值。通過對算法進行軟件仿真與硬件實現驗證得到該算法的峰值信噪比比最近鄰域、雙線性插值圖像縮放算法提高了0.3～2.5 dB，同時在資源使用量上本文算法比雙線性插值算法減少了約20%。本文算法復雜度不高，利于硬件實現。本文提出的九點插值自適應縮放算法在硬件資源極其有限的應用場景具有很高的實用價值。