反走樣字符圖形疊加算法與FPGA快速實現

全穎，夏偉杰，周建江

(南京航空航天大學 電子信息工程學院，南京 211100)

?

反走樣字符圖形疊加算法與FPGA快速實現

全穎，夏偉杰，周建江

(南京航空航天大學 電子信息工程學院，南京 211100)

為了提高機載平視顯示系統中反走樣字符圖形與背景視頻疊加輸出的顯示效果，提出一種反走樣字符圖形與視頻疊加算法并通過FPGA快速實現。疊加過程中增加反走樣字符圖形背景融合計算，使反走樣字符圖形與背景視頻疊加后邊緣光滑過渡，系統使用兩片DDR3分別存儲視頻和圖形數據，兩者并行處理，提高系統整體性能，優化背景融合算法DDR3實現流程，降低DDR3中斷復雜度。結果表明，該系統整體性能得到提高，疊加融合畫面效果良好，靈活性強，適用于機載座艙顯示系統。

視頻疊加；背景融合；反走樣；FPGA；DDR3

引 言

隨著機載座艙顯示系統的發展，對字符圖形與背景視頻疊加輸出時的顯示效果要求越來越高，尤其是反走樣字符圖形與背景視頻的疊加處理效果。常見的處理方式是采用字符圖形芯片直接生成反走樣字符圖形畫面，然后通過FPGA與采集的背景視頻進行疊加處理[1]。由于無法區分芯片生成的反走樣字符圖形數據，只能進行簡單的疊加處理，疊加后的字符圖形與視頻交接邊緣鋸齒明顯，影響顯示效果。

本文設計一種基于FPGA的反走樣字符圖形與視頻疊加處理系統，使用單片FPGA實現字符圖形生成、視頻采集處理以及兩者疊加輸出功能。對于反走樣字符圖形，在與背景視頻疊加前先做背景融合處理，使反走樣字符圖形與視頻疊加后邊緣光滑過渡，明顯削弱邊緣鋸齒效應。使用兩片DDR3并行存儲，加快了系統運轉速度，為更高分辨率做準備。整個系統采用單片FPGA實現，靈活性強，可以減少系統的體積和功耗。

1 字符圖形與視頻疊加系統框架設計

字符圖形與視頻疊加系統以Xilinx公司的Kintex-7 FPGA為核心[2]，實現視頻處理、字符圖形生成和視頻圖形疊加輸出等一系列功能。具體系統框圖如圖1所示，主要包括以下5個模塊:

① 主機接口模塊：通過PCIe總線接收來自CPU的視頻處理指令和字符圖形繪制指令，對各個指令進行解析，提供給子模塊進行處理。

② 視頻處理模塊：接收PAL和DVI兩種制式的視頻，選擇其中一路視頻進行縮放、旋轉處理后存入視頻DDR3存儲單元。

③ 字符圖形生成模塊：根據繪圖指令繪制相應字符和圖形，存入圖形DDR3存儲單元。

④ DDR3存儲控制模塊：實現DDR3的存儲中斷控制和中斷嵌套功能。

⑤ 疊加輸出模塊：將背景視頻數據和字符圖形數據疊加輸出，一路直接通過DVI接口輸出到顯示器，另一路經過畸變校正[3]后輸出到平視顯示器。

圖1 字符圖形與視頻疊加系統框圖

2 反走樣字符圖形疊加算法研究

2.1 字符圖形與視頻疊加原理

字符圖形與視頻疊加是指以字符圖形為前景，視頻作為背景，將字符圖形的有效數據覆蓋在視頻之上輸出[4]。字符圖形與背景視頻疊加輸出時，當圖形RGB數據為0時，表示該點沒有字符圖形輸出，則該點輸出背景視頻數據,否則輸出字符圖形數據[5]。具體比較如下所示：

(1)

式中，G表示字符圖形RGB值，Gbk表示背景視頻RGB值，Gout表示最終DVI輸出的RGB值。

反走樣字符圖形與背景視頻疊加的Matlab仿真效果圖如圖2所示。

圖2 反走樣字符圖形與背景視頻直接疊加示意圖

其中反走樣斜線是采用wu反走樣方式[6]繪制的單線寬斜線，反走樣字符是用FreeType字體引擎提取的256級灰度值位圖[7]。從圖2中可以看出，反走樣斜線和字符與背景視頻直接疊加時，邊緣有明顯的鋸齒狀，影響顯示效果，不利于飛行員識別，降低了人機功效。所以在反走樣字符圖形與背景視頻疊加前，需要對反走樣字符圖形數據做背景融合處理，在反走樣點中加入視頻信息，再與背景視頻按照式(1)進行疊加處理。

2.2 反走樣字符圖形背景融合算法

反走樣圖形以wu反走樣單線寬斜線為例，反走樣斜線繪制時每個點對應的顯示顏色值為Gorig×(1-d)，Gorig為理想斜線顯示顏色，d為斜線繪制點到理想斜線的距離[8]。為了消除反走樣圖形與背景視頻疊加時的邊緣鋸齒效應，在反走樣斜線繪制的顏色中需要加入背景視頻信息，兩者按一定的比例進行融合，使得反走樣點顏色信息與背景視頻相關。反走樣圖形背景融合公式如下：

(2)

其中Gmix為反走樣圖形與背景視頻融合后的顏色值。

反走樣字符通過FreeType字體引擎提取，直接提取出反走樣字符每個點的顯示顏色，將字符每個點的顏色值與背景視頻作如下處理：

(3)

(4)

如果視頻數據或者字符圖形數據中有彩色數據信息，則需要將對應的RGB值均按照式(2)或式(4)進行計算，得到新的RGB三個分量的值。

將反走樣字符圖形分別按照式(2)、式(4)作背景融合處理，處理后的數據按照后文第3.1節所述方式與背景視頻疊加，背景融合后的疊加效果圖如圖3所示。經過背景融合的反走樣字符圖形與視頻疊加后邊緣鋸齒明顯減弱，圖形和視頻之間光滑過渡，顯示效果明顯提高。

圖3 反走樣字符圖形背景融合后與視頻疊加示意圖

3 FPGA設計與快速實現

圖5 先背景融合再存儲DDR3用戶接口仲裁控制框圖

本設計采用兩片DDR3分別存儲視頻和字符圖形數據，兩者并行存儲和讀取數據，與使用單片DDR3相比，一幀畫面的存儲和讀取時間縮短為原來的50%，提高了系統的整體性能，可以處理更高分辨率的視頻圖形畫面。

硬件實現反走樣字符圖形背景融合計算與疊加時，需要同時用到兩片DDR3中的數據，降低兩片DDR3中斷復雜度并綜合實際字符圖形和視頻的存儲特點，是FPGA邏輯實現時主要考慮的問題。

針對本系統，背景融合處理有兩種實現方案，方式一先對反走樣字符圖形數據作背景融合處理后再存入圖形DDR3；方式二先將反走樣字符圖形數據直接存入圖形DDR3，再與視頻疊加輸出前作背景融合處理，然后與背景視頻疊加輸出。

3.1 先背景融合再存儲

圖4為先背景融合計算再存儲的邏輯實現框圖。反走樣字符圖形數據先與從視頻DDR3讀出的背景視頻數據作融合計算，然后將計算結果存入圖形DDR3，疊加輸出時直接使用從圖形DDR3中讀出的數據與視頻疊加輸出[9]。

圖4 先背景融合再存儲邏輯實現框圖

使用先背景融合再存儲的方式對應的DDR3讀寫中斷如圖5所示。圖形中斷處理模塊中，按照中斷優先級從高到底依次為：圖形輸出讀中斷處理、直接結果寫中斷、插值結果寫中斷。其中圖形輸出讀中斷則讀出字符圖形顏色值；直接結果寫中斷對應的是字符圖形數據中不反走樣點的顏色值寫操作；插值結果寫中斷對應的是字符圖形數據中反走樣點經過背景融合計算后的顏色值寫操作。視頻中斷處理模塊，按照中斷優先級從高到低依次為：視頻輸出讀中斷、視頻處理結果寫中斷、讀背景視頻中斷。其中讀背景視頻中斷對應背景融合計算時，需要從視頻DDR3中讀取相應視頻數據的操作。

圖形生成模塊寫請求對應的中斷處理框圖如圖6所示，當一幀圖形繪制結束后，圖形生成模塊發送圖形DDR3寫請求，此時先執行圖形直接結果寫中斷，同時申請插值背景讀中斷。插值背景讀中斷每讀回一個視頻數據，則和對應反走樣點做背景融合計算并存入新的FIFO，等所有反走樣點都作完背景融合計算后，再執行插值結果寫中斷。

圖6 圖形生成模塊寫請求對應的中斷處理框圖

先背景融合再存儲的優點是所有存入圖形DDR3的數據都是有效數據，疊加輸出時無需作多余處理，直接輸出即可。缺點是兩片DDR3之間處理有交集，增加了各自中斷處理的復雜度；當反走樣點較多，同時視頻處理結果寫效率較低時，可能存在不能在一幀圖形處理時間內將所有反走樣點都作背景融合處理并存入DDR3的情況；對于PAL格式的輸入視頻以DVI格式輸出時，需要進行幀速率提升[10]處理，導致與反走樣字符圖形做背景融合的視頻數據和最后疊加輸出的視頻數據可能不是同一幀數據，疊加后邊緣還會存在明顯鋸齒。

3.2 先存儲再背景融合

圖8 先存儲再背景融合DDR3用戶接口仲裁控制框圖

圖7 先存儲再背景融合的邏輯實現框圖

使用先存儲再背景融合方式對應的DDR3讀寫中斷如圖8所示。圖形中斷處理模塊中，按照中斷優先級從高到低依次為：圖形輸出讀中斷處理、直接結果寫中斷、插值結果寫中斷和插值系數寫中斷。視頻中斷處理模塊，按照中斷優先級從高到低依次為：視頻輸出讀中斷、視頻處理結果寫中斷。一幀圖形繪制結束，圖形生成模塊發送圖形DDR3寫請求，先執行直接結果寫中斷，然后執行插值結果寫中斷，最后執行插值系數寫中斷。視頻DDR3只需要完成視頻疊加輸出讀中斷和視頻處理結果寫中斷即可，無需增加讀背景視頻的操作。

對比兩種方式，方式一中增加了背景視頻讀中斷處理，方式二中增加了插值系數寫中斷，雖然中斷方式不同，但是兩者讀出或寫入的數據個數是相同的，即兩片DDR3總吞吐量不變。方式二中兩片DDR3各自存儲數據，互不影響，可以加快存儲速度；而且在疊加輸出前進行背景融合計算，可以保證和反走樣字符圖形作背景融合的數據就是將要疊加輸出的視頻數據，保證了疊加后的顯示效果。所以最終選擇先存儲再背景融合的方式用于硬件實現。

3.3 背景融合FPGA實現

經過比較，選擇先存儲再背景融合的方式用于反走樣字符圖形背景融合計算硬件實現。硬件實現時，FPGA內部邏輯時鐘為200 MHz，除了視頻采集模塊需要根據輸入視頻信號確定時鐘，其余模塊均使用200 MHz的處理時鐘。視頻輸入端輸入分辨率為720×576的PAL視頻信號，對其進行縮放處理，放大至1280×1024分辨率，然后存入視頻DDR3中。一幀圖形繪制結束存入圖形DDR3中，疊加輸出時將疊加后的視頻信號按照1280×1024分辨率對應的DVI視頻信號的VESA標準輸出到顯示器顯示，每秒輸出60幀畫面。圖9(a)為繪制的反走樣斜線與PAL輸入外視頻疊加輸出畫面；圖9(b)為繪制的反走樣字符與PAL輸入外視頻疊加輸出畫面；圖9(c)為繪制的標準測試畫面與PAL輸入的藍色視頻疊加輸出畫面。

圖9 反走樣字符圖形背景融合畫面測試結論

從實際顯示畫面中可以看出,反走樣字符圖形經過背景融合后與視頻疊加輸出邊緣光滑，無明顯鋸齒，顯示效果良好；繪制標準畫面圖9(c)時，對應每秒繪制60幀畫面，圖形DDR3一幀畫面的讀寫時間約為6.19 ms，占一幀畫面實際預留處理時間(1/60=16.7 ms)的37%，表明在一幀時間內，可以繪制更多的字符圖形或者繪制更高分辨率輸出的字符圖形畫面；現支持的最大輸出分辨率為1920×1080，適用于機載座艙顯示系統。

結 語

本文基于機載平視顯示系統項目，研究了反走樣字符圖形與視頻疊加時的背景融合算法，并通過FPGA快速實現與驗證。增加反走樣字符圖形背景融合計算，有效解決了反走樣字符圖形與背景視頻疊加后邊緣鋸齒狀明顯的缺陷，使兩者交接邊緣光滑過渡。在FPGA實現時，使用兩片DDR3并行存儲視頻和圖形數據，DDR3處理時間縮短為單片DDR3工作時的50%；結合DDR3中斷仲裁控制，選擇采用先存儲再背景融合的方式實現反走樣字符圖形的背景融合計算，有效地降低了DDR3中斷復雜度，優化了系統實現流程，便于硬件開發；繪制標準測試畫面時，圖形DDR3一幀畫面處理時間占預留時間的37%，可以支持更高分辨率的字符圖形畫面繪制和視頻處理。

[1] 王旭東,王新賽,李堅.基于FPGA的視頻圖像疊加系統的設計與實現[J].電子技術應用,2007,33(11):38-40.

[2] 吳連慧,周建江,夏偉杰,等.基于 FPGA 的機載顯示系統架構設計與優化[J].單片機與嵌入式系統應用,2014(8):31-34.

[3] 鄭春,周擁軍,溫永強.大視場光學顯示設備圖像畸變校正算法[J].電光與控制,2011,18(5):23-27.

[4] 萬鵬,楊大偉.基于FPGA的視頻疊加融合系統設計與實現[J].電子技術應用,2013,39(9):44-46.

[5] 劉施.基于FPGA的圖像視頻疊加系統的研究[D].西安:西安電子科技大學,2013.

[6] Wu X.An efficient antialiasing technique[J].Acm Siggraph Computer Graphics,1991,25(4):143-152.

[7] 沈夢杰,周建江,韋小杰,等.基于背景融合的機載字符生成[J].電子技術應用,2015,41(4):25-28.

[8] 張曉燕.基于FPGA的機載視頻處理與圖形生成系統設計與實現[D].南京:南京航空航天大學,2011.

[9] 吳連慧.機載平顯圖形生成與視頻處理算法研究及其FPGA實現[D].南京:南京航空航天大學,2014.

[10] 張磊.幀速率上變換算法研究[D].上海:上海交通大學,2010.

全穎(碩士研究生)，主要研究方向為機載信號處理、數字圖像處理及FPGA技術；夏偉杰(副教授)，主要研究方向為信號處理；周建江(教授)，研究方向為機載電子信息系統。

結 語

參考文獻

[1] 闞偉,董群,王東軍，等.氣固兩相流固體質量流量測量技術[J].測量與設備,2007(12):90-92.

[2] 趙會芝.濃相固體流量計在氣力輸送中的應用[J]. 石油化工自動化, 2010, 46(1):65-66.

[3] 徐苓安.相關流量測量技術[M].天津：天津大學出版社, 1988.

[4] 傅曉林.離散卷積和相關運算的快速傅立葉仿真研究[J]，重慶交逋學院學報，2003,22(4).

[5] 羅良玲,胡容華,黃雙江，等.互相關技術在動平衡測試中的應用[J].南昌大學學報：工科版,2000,22(4):25-28.

[6] 李良.氣固兩相流靜電相關流速測量研究[D].天津：天津大學，2008.

[7] 鄭君里.信號與系統(上冊)[M].北京：高等教育出版社,2009:341-342.

[8] 徐文波,田耕.Xilinx FPGA開發使用教程[M].2版.北京:清華大學出版社,2012:16-17.

[9] 加油.為你的USB設備“加把勁”[J].網絡與信息,2009,23(9):54-54.

(責任編輯：楊迪娜 收稿日期：2016-06-27)

Anti-aliased Character Graphics Overlay Algorithm and Fast Implementation on FPGA

Quan Ying,Xia Weijie,Zhou Jianjiang

(College of Electronic and Information Engineering,Nanjing University of Aeronautics and Astronautics,Nanjing 211100,China)

In order to improve the display effect of anti-aliased symbol and video superposition in the airborne head-up display system,a kind of anti-aliased symbol and video overlay algorithm is proposed and is realized on FPGA.By adding the background fusion calculation,the adjacent edges of anti-aliased symbol and video is smooth.Two DDR3 are used to store the video and graphic data respectively,both parallel process to improve the overall performance of the system.Optimization of the implementation process of background fusion algorithm,the complexity of the DDR3 interrupt is reduced.The experiment results show that the overall performance of the system is improved,and the overlay fusion image has good effect and high flexibility,which is suitable for the display system of the airborne cockpit.

video superposition;background fusion;anti-aliased;FPGA;DDR3

TP302

A

?士然

2016-06-13)