基于FPGA數字圖像字符疊加系統的設計和實現

摘 要：為了減輕數字信號處理器（DSP）在處理實時圖像字符疊加（OSD）任務中占用DSP大量運算時間和內存空間的問題，提出了一種基于現場可編程門陣列（FPGA）的實時OSD設計方案。該方案利用FPGA內部的嵌入式隨機存儲器（RAM）來存儲字符點陣信息，通過FPGA內部邏輯實現字符點陣的讀取與圖像數據流的疊加。研究選用AMD公司出品的Spartan 7 FPGA作為主芯片，通過Vivado工具支持的COE文件格式加載字符點陣信息。實驗結果顯示，該系統在1 024×1 024的分辨率下達到了100 FPS的實時圖像處理性能，有效減輕了DSP的負載，使其能夠專注于更復雜的算法處理，從而提升了系統的實時處理能力和整體效能。此方案能夠簡化字符顯示過程，降低系統成本，促進設備小型化。

關鍵詞：實時圖像處理；FPGA；字符生成；字符疊加；數字圖像；Camera Link接口

中圖分類號：TP37 文獻標識碼：A 文章編號：2095-1302（2024）12-00-03

0 引 言

實時圖像處理技術在物聯網顯控設備、機載顯控設備、導彈光學末制導導引頭、飛行器監控等眾多領域中發揮著極其重要的作用[1-2]。由于圖像處理算法通常具有較高的復雜度和計算需求，大多數系統都會選擇采用高性能數字信號處理器（Digital Signal Processor， DSP）與大規模現場可編程門陣列（Field-Programmable Gate Array， FPGA）相結合的硬件架構[3]，可充分發揮DSP和FPGA的優勢。在這種架構下，通常將實時圖像處理系統中的功能進行合理劃分，FPGA主要用于圖像接收、增強預處理等，同時還承擔了重復性強、計算量大的任務。

圖像字符疊加（On-Screen Display， OSD）是在實時圖像處理系統中常用的一項功能，如在光學末制導發射控制端實時圖像上疊加制導信息，幫助操作員實時掌握設備的工作狀態[4-5]。傳統的OSD依靠專用芯片或DSP與外部FLASH協作完成。字符的點陣信息存儲在FLASH中，處理器根據字符編碼從自定義的字符表中檢索相應的點陣信息，進而與顯示緩存區域的實時圖像進行運算疊加。由于實時圖像需要逐幀處理，這種方法不僅消耗DSP的運算時間，還大量占用DSP的內存空間，特別是在需要顯示大量字符時，DSP的負擔會顯著增加。因此，盡管基于DSP的OSD方案簡單直觀，但由于其高耗時和高資源占用的特點，不利于后續對算法的優化和運行。

相比之下，由FPGA實現OSD方案可以為DSP提供更多的處理時間來完成關鍵算法的運行，從而提高系統的整體實時處理效率。另外，盡管Intel和AMD等主流廠商提供了OSD的IP可供使用，但這些方案存在字符大小、圖像數據輸入輸出格式等方面的限制，并且通常占用較多的邏輯資源。

基于此，本文選用AMD公司的Spartan 7 FPGA作為主芯片，將待顯示的字符點陣信息轉換為官方軟件支持的COE文件格式，并加載到FPGA內部的RAM（Random Access Memory）中進行預存。FPGA的邏輯資源負責圖像字符的合成，并實現符合Camera Link標準時序的顯示邏輯，最終實現了圖像與文本的融合顯示，成功將OSD功能遷移至FPGA。FPGA采用全流水線架構，實測在1 024×1 024的分辨率下擁有100 FPS的實時圖像處理性能，可為DSP節約更多寶貴的處理時間。

1 基于FPGA的OSD技術

1.1 字符圖像的生成

基于Windows操作系統的MAX7456評估軟件是Analog Devices公司為其專用OSD發生器MAX7456提供的字符編輯工具[6]，該軟件可支持最多256個圖像字符的存儲，可以對每一個字符進行自定義編輯，用戶可創建顯示所需的所有控制信息，包括數字、字母、符號等，并將其內容轉換為可加載到FPGA片內隨機存儲器RAM中的存儲格式，如圖1所示。每個字符采用18×12的點陣表示。每個點陣的灰度值用2 bit表示，其中“00”表示黑，在示例中用來表示字符的描邊顏色，在顯示效果上，極大地提高了字符的目視識別效果；“10”表示白，在示例中用來表示字符的本體顏色；“01”表示背景，可以用來表示不疊加，實現字符本身背景透明，也可用來疊加固定顏色，使得字符顯示更加醒目。每個字符用54個字節表示，另外再加10個字節的無效數據以分開相鄰的字符。因此，一個字符點陣用64個字節表示。由于該系統只用到數字、字母、小數點和加減符號共計39個字符，所占用的空間為39×64×8，即2 496個字節的空間。該軟件產生的字符文件為*.mcm文件，該文件用文本編輯器打開后可看到其數據組織方式，第一行是器件型號，可以刪除。第二行開始存儲第一個字符的二進制字符表示的信息，每行8 bit數據表示4個像素點的信息，每64行表示一個字符。

按照字符在上述文件的組織方式，可通過MATLAB或Python編寫腳本程序。將文件轉為AMD公司FPGA開發工具Vivado支持的存儲初始化文件格式COE，推薦使用bin2coe開源Python小程序。

選用的AMD Spartan7 XC7S50有2 700 KB的內部RAM，足夠存放該系統的字符點陣庫。MAX7456評估軟件界面如圖1所示。

1.2 字符圖像疊加的基本原理

基于FPGA的字符疊加技術主要利用FPGA內部的RAM資源來存儲顯示字符的點陣庫。在字符疊加之前，需要確定字符顯示的具體行列位置，并通過內部邏輯實現對字符點陣的讀取，然后在原始圖像數據流中進行字符圖像的疊加。

疊加字符框圖如圖2所示。DSP處理器通過EMIF（External Memory Interface）總線對字符顯示位置、字符描邊顏色值、字符本體顏色值、字符背景顏色值（指定最小灰度級為不疊加，實現背景透明）實現初始化，對系統需求的16個字符分別寫入待顯示的字符索引值。FPGA在內部采用兩級寄存器對DSP的配置值進行寄存：第一級寄存確保DSP配置的數值被及時保存，在圖像場同步的下降沿再將第一級寄存的數據更新到第二級寄存器，避免了圖像刷新期間DSP更新字符，導致字符顯示割裂，確保字符完整顯示。另外，通過兩級寄存握手交互控制，可避免FPGA內部DSP時鐘域和FPGA時鐘域之間數據傳輸的亞穩態問題[7]。

FPGA內部的字符接收模塊根據所接收的字符索引值，通過乘法器或移位操作得到存儲在RAM中該字符點陣的首位置。根據首位置信息，讀取模塊從RAM中讀取點陣的灰度值。文件字符采用2 bit表示一個像素點陣，一個字節表示4個點陣的灰度信息。讀取模塊每次向字符疊加模塊發送一個點陣的灰度信息，每發送4次增加一個地址，再次從RAM中讀取數據。字符疊加模塊根據指定的行列位置產生的使能信號控制其運行和暫停，實現和對應圖像時序位置的一一對應，通過多路選擇器，根據字符點陣的2 bit數值，選擇對應的灰度（顏色）數值替換實時圖像視頻數據流中的數值，即可完成字符圖像的疊加。字符接收模塊采用狀態機視圖進行設計，在設計上進行安全狀態機設計和設置[8]。

1.3 Camera Link接口

Camera Link標準是由原美國國家半導體實驗室（National Semiconductor）開發的Channel Link技術標準發展而來，Camera Link標準由美國自動化成像協會（Automated Imaging Association）（https：//www.automate.org）于2000年推出，被廣泛應用于機器視覺行業的高速數字接口標準。該標準在LVDS（Low-Voltage Differential Signaling）信號傳輸技術的基礎上，采用了并轉串發送器和串轉并接收器，能夠將單線速率提高到4.8 Gb/s，大大提高了傳輸帶寬。它是一種可靠的視頻數據傳輸解決方案，特別適用于有高帶寬、長距離傳輸需求的場景。由于其優良的特性，在國防裝備設備上也被廣泛采用。

Camera Link標準中每條鏈為一對LVDS差分對。驅動器接收28個單端數據信號和1個時鐘信號，將信號按照標準進行組合后以7∶1的比例串化發送，串化后有4組LVDS數據和1組LVDS時鐘信號[9]。Camera Link協議信號傳輸時序如圖3所示。

在數據傳輸過程中，FPGA內部采用了多種視頻同步信號：幀同步信號（FVAL）、行同步信號（LVAL）以及數據有效信號（DVAL）。當FVAL處于高電平時，表示一幀有效數據的開始；當LVAL處于高電平時，則表明一行有效像素的開始。只有當FVAL和LVAL同時為高電平，并且DVAL也為高電平時，才有有效數據的輸出。SPARE信號為備用信號。

在FVAL和LVAL均為高電平期間，且像素時鐘信號（Pixel_clk）同步后逐一傳輸像素。具體的接口信號時序關系如圖3所示。Camera Link接口規范見參考文獻[10]。

1.4 字符圖像的顯示

根據標準的定義，Camera Link分為基本架構、中階架構及完整架構。基本架構可以滿足該實時圖像處理系統對1 024×1 024的分辨率下100 FPS實時圖像視頻的傳輸需求，所以本系統采用基本架構。系統顯示部分的電路結構如圖4所示。

芯片DS90CR285的接收端接收FPGA輸出的疊加字符后8 bit圖像視頻數據流、像素時鐘、場有效以及行有效信號，使其符合Camera Link標準的數據差分信號和時鐘差分信號格式。通過專用Camera Link 連接器MDR26接口引出。

驗證測試系統采用Camera Link專用電纜將數據傳送到Camera Link圖像采集卡。在計算機上用采集卡配套軟件配置圖像采集卡的分辨率、像素排列方式和像素深度，即可獲得實時圖像視頻數據流，進行字符疊加效果的調試和確認。

2 字符顯示在實時圖像處理系統中的實現

2.1 字符顯示的實現

在本設計的實時圖像信息處理系統中，FPGA芯片XC7S50搭配IS25LP064D作為配置芯片。當系統通電后，FPGA將配置芯片內的程序加載到FPGA內部，同時加載字符點陣信息到FPGA內部的RAM空間，以字符點陣列表的形式等待索引。DSP系統啟動后，能夠依據需求向FPGA發送寄存器配置值，決定是否將字符疊加到圖像視頻流中。此外，DSP系統還可以設定字符在顯示屏上的位置、顏色等參數。

FPGA根據接收到的字符信息及相關參數，利用內部邏輯電路生成字符索引，并據此讀取相應的點陣數據，將其疊加到原始的圖像視頻數據流中。通過DSP實時更新字符索引值，字符圖像生成模塊會在每幀開始根據最新的字符索引值獲取更新后的字符圖像，從而實現字符顯示的動態實時更新。

2.2 試驗結果

本文構建了一個基于DSP+FPGA協同工作的實時圖像信息處理系統。在此架構中，DSP模塊負責執行核心運算任務。FPGA模塊通過寄存器配置的方式協助DSP完成固定功能。如OSD功能，在運行過程中字符信息存儲于FPGA內部的RAM，并且圖像字符的生成與顯示邏輯均在FPGA內部實現，充分發揮了FPGA內存資源豐富及邏輯并行處理的優勢。通過DSP的實時交互，FPGA成功實現了字符顯示的動態更新，具體效果如圖5所示。圖5為16個字符組成的3個字符串的動態顯示，3個字符串分別表示系統的俯仰角、方位角、波門距圖像中心像素偏差3個關鍵數值，讓操作人員可以清晰、便捷地獲得產品的工作狀態。

通過將耗時的字符顯示任務從DSP遷移到FPGA，系統得以釋放DSP的部分計算負荷，使其能夠專注于更復雜的實時算法處理。此外，由于不再需要額外的RAM來存儲字符點陣數據，顯著降低了整體成本并促進了設備的小型化。

3 結 語

本設計采用FPGA內部的RAM資源存儲字符點陣庫，以實現字符的實時疊加與顯示。只需通過實時控制字符索引值寄存器，即可實現字符的動態顯示功能，滿足實時圖像信息處理系統的應用需求。

參考文獻

[1]李文軍.飛機航電綜合顯控計算機視頻顯示技術的研究與實現[D].西安：西北工業大學，2002.

[2]馬時平，齊韜，李兵飛.三層面分析法探究航空電子系統未來發展[J].電光與控制，2023，30（1）：69-77.

[3]王月新，劉明君.基于DSP+FPGA線性結構的計算機圖像處理系統設計[J].無線互聯科技，2023，20（14）：60-64.

[4]黃德天，劉雪超，吳志勇，等.基于Camera Link的高速圖像采集處理系統設計[J]. 吉林大學學報（工學版），2013，43（z1）：309-312.

[5]劉桂芬.圖像跟蹤器的FPGA設計和綜合跟蹤算法的研究[D]. 成都：電子科技大學， 2006.

[6]汪輝，王昌明，宋高順，等. 基于MAX7456的字符疊加系統設計[J]. 電子設計工程，2010，18（7）：181-183.

[7]黃隸凡，鄭學仁. FPGA設計中的亞穩態研究[J].微電子學， 2011，41（2）：265-68.

[8]楊宏亮，金炎勝，王剛毅. FPGA設計中狀態機安全性研究[J]. 黑龍江科學，2011，2（2）：16-19.

[9]白金成. 基于FPGA的多路Camera Link數字圖像光纖傳輸系統[J]. 液晶與顯示，2019，34（8）：787-792.

[10] Automated Imaging Association. Specifications of the camera link interface standard for digital cameras and frame grabbers [EB/OL]. （2011-02-10）. https： //www.doc88.com/p-9079718965981.html？id=5amp;s=rel.

作者簡介：王娟萌（1981—），女，陜西富平人，工程師，研究方向為計算機、自動控制及質量管理。