基于HLS的自動白平衡算法實現

摘"要：隨著高品質相機的普及和圖像處理領域的不斷發(fā)展，人們對圖像質量提出了更高的要求。現有的工業(yè)相機采集到的圖像信息都存在一定的色偏現象，一般需要圖像處理器（Image"Signal"Processor，ISP）對圖像進行處理。白平衡處理作為ISP處理中一個非常重要的功能，直接決定著圖像信息的色彩效果。本文基于Vitis"HLS平臺實現了AXIstream視頻流接口的白平衡算法IP，同時基于ZYNQ的ARM+FPGA的片上系統(tǒng)對IP進行了上板驗證。本算法IP在1920×1080@60fps的視頻流下保證了算法的實時性，同時對圖像具有良好的校正效果。

關鍵詞：Vitis"HLS；白平衡；圖像處理器；ZYNQ

中圖分類號：TN46""""""文獻標識碼：A

Implementation"of"Automatic"White"Balance

Algorithm"Based"on"HLS

HE"Yu，PENG"Wei

（School"of"Physics"amp;"Electronics，"Hunan"University，Changsha，Hunan"410082，China）

Abstract：With"the"popularity"of"highquality"cameras"and"the"continuous"development"of"image"processing，"people"have"put"forward"higher"requirements"for"image"quality."The"Image"information"collected"by"existing"industrial"cameras"has"certain"color"bias"phenomenon，"which"generally"requires"Image"Signal"Processor"（ISP）"to"processnbsp;the"image."As"a"very"important"function"in"ISP"processing，"white"balance"processing"directly"determines"the"color"effect"of"image"information."In"this"paper，"the"white"balance"algorithm"IP"of"AXIstream"video"stream"interface"is"implemented"based"on"Vitis"HLS"platform，"and"the"onchip"system"based"on"ZYNQ"ARM+FPGA"verifies"IP"on"the"board."The"IP"address"of"the"algorithm"in"1920×1080@60fps"ensures"the"realtime"performance"of"the"algorithm"and"has"good"image"correction"effect.

Key"words：Vitis"HLS;"white"balance;"image"signal"processor;"ZYNQ

白平衡是指對白色物體顏色進行還原。物體在光照下之所以能夠呈現出某些特定的顏色，是因為物體反射的光在人的視覺系統(tǒng)可以呈現特定的顏色，因此我們使用肉眼觀察外界時對于相同顏色的感知是基本保持恒定的。但是CMOS或者CCD傳感器并沒有人眼的這種特性[1]，很難像人眼一樣實現自動白平衡，所以通常需要增加自動白平衡的功能，使其根據外部環(huán)境的光線變化特征進行色彩調整，使圖像顏色信息更接近于人的視覺系統(tǒng)。

白平衡處理是ISP處理中一個非常重要的功能，直接決定著圖像信息的色彩效果，其廣泛運用于攝影、視頻監(jiān)控等多個領域，具有很大的研究意義。目前的白平衡實現主要通過軟件算法完成，且計算過程復雜。本文從硬件實現的角度出發(fā)，基于Xilinx"HLS平臺，實現了一種實用性強、計算復雜度低的自動白平衡算法。

1"算法介紹

1.1"灰度世界算法（GW）

灰度世界算法（GW）[2-4]是自動白平衡的經典算法?；叶仁澜缢惴僭O認為：所有物理表面的平均反射都是灰色的，對應到圖像信息中就是對于一張有著大幅色彩變化的圖像，其中R、G、B三個色彩的分量的均值都趨向于同一個值[5]。

Rave=Gave"="Bave"（1）

其中，Rave、Gave、Bave為R、G、B通道中顏色的均值，如果當前R、G、B通道中顏色平均值并沒有趨向于同一個值，則需要對該通道中像素值進行矯正。

K=Rave+Gave+Bave3

Rnew=KRaveR;Gnew=KGaveG

Bnew=KBaveB"（2）

其中，Rnew、Gnew、Bnew為R、G、B通道中顏色的均值經過矯正后得到的值。

灰度世界算法作為白平衡的經典算法，適用于各種圖像與場景，能夠有效地提升各類圖像的質量。然而，灰度世界算法是針對于整個圖像區(qū)域的平均亮度進行調整，難以處理含有強烈光照變化或陰影的圖像的局部細節(jié)亮度差異。

1.2"完美反射算法（PR）

完美反射算法（PR）[2-4]認為在一副彩色圖像中最亮的一部分像素相當于物體最有光澤的點，包含了場景中的光線信息。完美反射算法還認為在有光澤的平面中，有光澤的平面本身不吸收光線，其反射的光線就是場景中真實的顏色信息，因此，如果場景中含有純白色的部分，就可以得到場景中的光源信息。

Rnew=255RmaxR;Gnew=255GmaxG;Bnew=255BmaxB（3）

其中，Rmax、Gmax、Bmax為R、G、B通道中顏色的最大值，通過基于白點的信息將R、G、B三個通道的數值進行調整，從而實現白平衡的效果。

相較于灰度世界算法，完美反射算法在處理主色圖像時可以很好地將主色圖像中的偏色圖像還原為原有的顏色，但是處理色彩豐富的偏色圖像時會存在一定色偏。

1.3"基于傳統(tǒng)算法改進

根據上述兩種經典算法的特點，許多學者提出了對兩種經典算法的改進。根據文獻[6]中利用人眼對于綠色較為敏感的特點，通過將灰度世界算法與完美反射算法的優(yōu)點相結合，使得算法能夠很好地對圖像進行白平衡處理。以R通道為例進行白平衡校正，算法的實現步驟如下：

首先求出R、G、B通道的均值以及最大值，根據綠色通道均值能夠使算法更適用于色彩豐富的圖像，綠色通道最大值能夠使算法更好地處理主色圖像的原理，得到像素校正系數的求解公式：

uR2ave+vRave=Gave

uR2max+vRmax=Gmax（4）

對式（4）進行求解，得到u、v的表達式如下：

u=（Gmax/Rmax）-（Gave/Rave）（Rmax-Rave）

v=GmaxRmax-uRmax（5）

求得u、v的值后，對R通道進行白平衡校正，Rnew為白平衡校正后R通道的值。同理可以使用同等的計算方式對B通道進行白平衡校正。

Rnew=uR2+vR（6）

2"算法的HLS實現

HLS（High"Level"Synthesis）是指使用高級設計語言如C或C++綜合后轉化為硬件RTL語言[6-8]。傳統(tǒng)的FPGA設計是以verilog或者VHDL語言進行電路設計，再經過仿真驗證、綜合、上板實現數字邏輯設計。因此，使用傳統(tǒng)的FPGA設計流程通常在邏輯設計與驗證環(huán)節(jié)需要花費較多的時間，對于一些邏輯設計以及時序要求較為寬松的設計，使用HLS工具進行FPGA開發(fā)可以大大減少開發(fā)成本與時間。同時，利用Xilinx公司提供的設計套件Vitis"HLS，并借助OpenCV的圖像處理函數庫，極大提高了圖像算法的開發(fā)設計效率。Vitis"HLS設計流程如圖1所示。首先編寫好算法源代碼以及測試平臺，然后使用C仿真來驗證源代碼中是否實現了算法的功能，如果驗證結果達到了算法的功能要求，通過Vitis"HLS將源代碼轉換為RTL代碼。

本系統(tǒng)通過相機采集原始數據，采集到的原始數據為Bayer類型排布的像素數據，然后通過顏色插值得到R、G、B格式的像素數據，在R、G、B像素數據的基礎上進行白平衡算法實現。算法的實現流程如圖2所示。

本設計采用AXIstream接口對IP進行封裝。AXIstream接口是由ARM和Xilinx公司提出的一種總線標準，其優(yōu)點為支持數據突發(fā)傳輸、數據量不受限制，因此可以有效地實現數據的高速傳輸。通過使用AXIvideo2xfMat函數將AXI-stream數據流轉化為HLS：：Mat格式，便于白平衡處理函數對數據進行處理。在設計統(tǒng)計函數中，計算每個通道的像素均值以及最大值。在一幀圖像循環(huán)中，如果輸入的像素值大于當前存儲在函數中的通道最大值，則將通道中最大值更新，同時對像素數據進行累加，在一幀圖像循環(huán)結束后對像素的均值進行求解。由式（5）可知，求解校正系數u、v時涉及浮點數運算，在傳統(tǒng)Verilog設計中，涉及浮點數運算需要設計專門的硬件電路完成計算，如果使用HLS就可以方便地進行浮點數運算。HLS中有著豐富的數據類型，可以類比于C語言中使用float類型進行u、v參數求解，在本設計中通過定義ap_fixedlt;gt;數據類型替代float類型進行計算可以有效地節(jié)省資源。得到校正參數后，將其傳入像素更新函數，將原通道中像素乘以u、v值進行像素更新，得到校正后的像素值。

為了更好地實現PS與PL端的數據交互，添加了AXIlite接口用于IP內部寄存器配置，AXIlite接口可以用于配置輸入IP圖像的大小以及IP的啟動，提升了IP的通用性。封裝好的IP核如圖3所示。

在IP的驗證方面，使用Vitis"HLS的C"Simlation對IP進行C驗證。通過聯合OpenCV將圖像數據轉化為AXIstream流格式，提取像素數據進行白平衡計算。通過C仿真得到的白平衡處理后圖像效果如圖4所示，可以看到處理后圖像的顏色更加豐富，也更貼近人眼的視覺效果。通過編寫測試文件聯合Vitis"HLS的RTL仿真可以對IP進行RTL驗證。圖5為頂層AXIstream接口的波形仿真圖。

3"硬件平臺設計以及實驗結果

本文選用Xlinx公司的ZCU102開發(fā)板作為硬件平臺來實現白平衡算法。ZCU102開發(fā)板是一款面向工業(yè)、圖像處理設計的專用開發(fā)板，其FPGA芯片為xczu9egffvb11562e，是Xilinx公司基于16"nm工藝的可編程邏輯器件，含有ARM"Cotex"A53實時處理器以及多種外設接口，同時含有大量邏輯資源，為后續(xù)IP上板評估提供了極大的便利。

該系統(tǒng)使用Sony"IMX274傳感器對圖像信息進行采集，使用ZCU102開發(fā)板上FMC接口與傳感器進行物理連接，通過Xilinx"Vivado設計工具進行硬件平臺設計。硬件部分設計采用數據接收模塊、ISP模塊、Vitis"HLS生成的白平衡IP核、數據轉存模塊、ARM處理器以及HDMI顯示模塊。通過Vivado設計平臺實現模塊之間連接，管腳約束綜合實現后生成比特流。軟件部分完成相機以及IP的相關配置后，可以通過外接HDMI顯示器觀察圖像的白平衡效果。圖6為添加白平衡IP前后內存中緩存的幀圖像，可以觀察到，通過白平衡IP后的幀圖像有效地解決了圖像中色偏的問題，圖像中的顏色更接近于物體本身的顏色。

4"結"論

利用FPGA以及Vitis"HLS實現了基于Xilinx平臺的自動白平衡IP的設計。使用HLS開發(fā)工具，有效地減少了算法的硬件開發(fā)時間。使用ZCU102開發(fā)板實現了圖像采集、自動白平衡校正并實現了IP的上板驗證。通過實驗結果對算法的正確性進行驗證，證明了算法能滿足實際工作的需求。本文充分發(fā)揮了FPGA在圖像處理領域的計算優(yōu)勢，對高速、高質量圖像處理FPGA設計具有較好的指導意義。

參考文獻

［１］"李華，蔡嘉燁.基于FPGA的自動白平衡算法設計[J].自動化與儀器儀表，2023（1）：53-56.

［2］"王達."基于FPGA自動白平衡算法的設計與實現[D].太原：中北大學，2022.

［3］"黃之豪."面向SOC的自動白平衡算法研究及實現[D].西安：西安科技大學，2020.

［4］"金黃斌."自動白平衡算法研究及軟硬件實現[D].杭州：杭州電子科技大學，2011.

［5］"韓強，戎蒙恬，劉文江.圖像信號處理器中自動白平衡的算法研究[J].信息技術，2009，33（11）：55-59.

［6］"王達，趙冬青，儲成群.Bayer彩色自動白平衡算法設計及其FPGA實現[J].激光雜志，2021，42（10）：74-77.

［7］"基于Vivado"HLS霧天圖像預處理IP核設計[J].電腦編程技巧與維護，2023（4）：158-161.

［8］"樊宇亮."紅外圖像艦船目標快速識別及HLS實現[D].哈爾濱：哈爾濱工業(yè)大學，2022.