一種基于FPGA實現的視頻流可靠傳輸方案

姜興家+劉布民+何春梅+鄭劍鋒

摘 要：介紹了一種用FPGA實現的基于UDP協議的新型視頻流傳輸系統；分析了系統中各個組成部分的設計方法；同時結合測試方案得出實際的測試結果，測試結果表明，本系統能達到設計需求的目標；最后對系統做出總結并給出一種改進型方案及其應用市場的預測。

關鍵詞：FPGA；VLC；UDP；MicroBlaze

中圖分類號：TP393 文獻標志碼：A 文章編號：2095-1302（2014）02-0044-03

0 引 言

近年來，移動互聯網技術發展迅猛，人們希望在任何時間任何地點以任何方式進行通信，無線互聯網技術無疑至關重要，尤其對圖像及其傳輸的需求越來越迫切，其中視頻的實時傳輸越發受到人們的重視，基于視頻流的無線傳輸技術已形成新的研究熱點[1，2]。為了滿足市場需求，本文提出一種新型的視頻流傳輸方案：PC機發送的視頻流通過網卡發送到網線上，網線的數據通過PHY芯片以GMII格式發送到FPGA，FPGA緩存并處理數據后以串行數據形式發送到SMA口上，經過放大后的電信號被電光轉換模塊轉換成光信號，接收端的光電轉換模塊將接收到的電信號以SMA格式輸入到FPGA，經過處理后的GMII格式數據通過PHY芯片與PC的網口相連，PC上的VLC只要經過相應正確的操作就能顯示實時傳輸的視頻流。

1 系統結構及功能分析

1.1 總體需求方案

由于現在的無線通信技術中帶寬的限制，人們觀看實時視頻的時候經常出現卡屏的現象。為了達到流暢播放視頻流的效果，設計出的總體需求方案框圖如圖1所示，其中的第一路到第四路都是光路，這樣可以滿足無線傳輸的效果。

從圖1可以看到，圖中一共有4路輸出端可以接收到視頻流，但是輸出視頻的切換由發送方完成。每一路連接輸入與輸出的光路都會在前端加一個放大器，且為提高設計效率采用現成的光電轉換芯片完成光路的設計。

1.2 總體設計方案

為實現上述需求方案，這里以一路設計為例來進行說明。本設計在視頻流進入FPGA之前，先經過PHY芯片將視頻流轉換成GMII格式數據，這樣做的好處是FPGA可以直接處理這種格式數據而不需要再做任何變換即可。而之所以這么做是因為，視頻流數據做緩存和串并轉換處理沒有必要將數據包打開，即使是在報文解析拿出UDP端口號時也是僅僅用端口號做了判斷，沒有將數據包剝開或者打亂次序。通過引入現成的PHY芯片，我們大大降低了本方案的難度和工作量。

圖1 總體需求方案框圖

對于發送方和接收方FPGA之間的光路系統，包括放大電路、LED驅動電路、光路、電光轉換電路和放大整形電路。首先，要將輸出的串行數據流進行放大，放大后的信號耦合穩流電流源后再驅動LED驅動電路，這兩部分組成電光轉換模塊。光電轉換模塊則包括了光電轉換電路和放大整形電路兩大部分，其中的光電轉換電路用轉換芯片完成，由于光路衰減比較嚴重，需要進行放大，然后整形成標準的TTL電平，這樣之后才可以直接連接到FPGA當作數字信號進行處理。

接收方FPGA在接收到經過處理的串行信號后先從里面恢復出時鐘，再進行緩存和串并轉換處理，以GMII格式輸出到PHY芯片上，PHY芯片通過網線與PC相連。只要接收方PC經過正確操作，就可以無失真地接收發送方PC傳過來的實時視頻流。

對于多路輸出情形，只需在發送方FPGA的輸出端再添加一路接收系統即可。這些系統包括光路系統、接收方FPGA、PHY芯片、網線和帶有網卡的接收方PC。

2 系統硬件及各結構實現

2.1 硬件設計

以一路設計為例來說明，本系統的硬件框圖如圖2所示。

圖2 系統硬件框圖

圖2中，發送方PC和接收方PC要求主流配置即可，本設計采用的是：CPU為Intel Core i5-2450M，內存為4GB，顯卡為NVIDIA GeForce GT 630M，操作系統為64位Windows7。網卡也是主流應用的網卡，此處為Broadcom NetLink BCM57785 Gigabit Ethernet。

PHY芯片采用的是Marvell的成熟芯片88e1111。發送方和接收方FPGA均采用Xilinx的Vertex 6 芯片，型號為6vlx240t。電光轉換芯片采用的是S6968。

對于多路輸出情形，只需加一套發送方FPGA之后的所有硬件即可，唯一的差別就在于與發送方FPGA的接口不同而已。另外，為了能夠控制通道切換，增加USB控制電路和LCD顯示電路。在硬件上增加一片CP2103將USB轉換為Uart，然后連接到FPGA管腳上。LCD模塊則包括一片電壓轉換芯片ST2378E和LCD1602，用來顯示通道切換情況。

2.2 發送方FPGA的分模塊設計

將發送方FPGA的設計分成鎖相環、FIFO緩沖、DPRAM乒乓存儲、UDP報文解析、通道切換、MicroBlaze處理器和并串轉換共7個模塊。

（1） 緩存模塊

該模塊主要將接收到的來自PHY芯片的GMII格式數據經過FIFO和DPRAM后輸出，FIFO輸出數據送到報文解析模塊，經過DPRAM進行乒乓存儲后的數據傳送到通道切換模塊。

（2）報文解析模塊

該模塊的作用是在數據有效信號的上升沿開始接收發送來的數據，判斷為MAC頭并去掉MAC頭，判斷IP頭并去掉IP頭，判斷UDP報文并取出目的端口號鎖存，同時給一個Valid信號。

（3） Microblaze控制模塊

用于判斷Uart接口接收的字符串格式，給出4種不同端口號和對應的通道號，設置好LCD顯示，然后將對應關系通過LCD顯示出來。同時，MicroBlaze中的LwIP可以跑一個精簡的IP協議，對Mac地址、IP地址及UDP端口號可方便設置，也有利于在擴展中把裸數據打包成為以太網標準格式的數據。

（4）通道切換模塊

該模塊通過Microblaze的控制信號結合報文解析模塊的端口號判斷哪個端口號對應哪個通道進行傳輸，為保證報文不被截斷，在數據有效信號為低時進行切換。

（5）并串轉換模塊

該模塊主要包括以下幾部分：第一部分是FIFO：負責對來自外部的數據做緩沖處理；第二部分是DPRAM： 負責存儲來自FIFFO緩沖之后的Rxd；第三部分是核心控制模塊：用于控制時序，并串轉換，并將串行數據以7.35 MHz時鐘輸出，有效數據的輸出順序為32位開始信號、12位長度信號和數據。

2.3 接收方FPGA設計

由于接收到的是串行數據且沒有時鐘，所以首先需要由串行數據恢復出7.35 MHz時鐘。

根據時鐘接收32位開始信號，11位長度信號和8位數據信號，在開始信號匹配，長度信號滿足以太網要求時，將數據信號用DPRAM進行乒乓存儲后輸出到Txd給PHY芯片，PHY芯片轉換成RJ45格式數據送到網線上進行傳輸。

3 系統測試結果

3.1 測試方案

發送方PC通過VLC設置端口號并以廣播的方式發送數據流到網卡，視頻流通過本測試系統后在接收方PC上以VLC播放，播放的視頻流為720P高清電影，視頻位率在1Mb/s左右，最多同時播放4路，要求接收方PC上的視頻流穩定輸出無丟幀現象，且4路視頻可以自由切換。

3.2 測試結果

4路輸出除在剛剛開始的時候有一點花屏，也會丟失1～5幀數據，其他時間均正常顯示，無花屏且無丟幀。

4 改進及展望

本系統的緩存采用的是FPGA內部的DPRAM，大小只有4 Kb深度，對于比較大的視頻，緩存要達到數十兆甚至上百兆量級，所以，改進方案中可以考慮用DDR3來緩存數據，既可以解決FPGA內部RAM不夠的問題，又可以充分利用比較成熟的DDR存儲技術—— FPGA內部利用控制DDR的IP核，外圍接上硬件DDR3芯片。

當大視頻流傳輸于長距離時，整個光路系統的功率會大大增加，為了能夠正常接收實時視頻流，就必須改變現有的光路系統，但是架構無需改動，只要在硬件選型上改成大功率的芯片即可，同時，模擬電路部分也要重新進行設計。

Microblaze的加入有利于設計的擴展，包括將普通數據流打包成為以太網數據格式進行傳輸，或者增進控制邏輯等。

應用預測：本系統可應用在快餐店甚至候車廳里面，將現在的燈改成我們實驗里面所用的帶有視頻流信號的LED燈即可。其他類似領域也可以應用此系統，既可以提高視頻流傳輸效率，又可以節約能源，非常實用。

5 結 語

本文首先從現實出發提出一種實際的市場需求，然后結合現有的技術給出一個比較合理的設計方案。為實現該方案，從硬件軟件設計角度給出可行性設計。實際上，本系統已經在硬件上實現并通過FPGA的設計完成了視頻流的實時傳輸，限于篇幅僅對設計框圖及思路進行了描述。設計結果則如第三節所述，接收方的視頻流和發送方視頻流除了有0.4 s左右的延時外完全一致，丟幀率為零。

參 考 文 獻

[1] 趙源.基于網絡編碼的無線傳輸關鍵技術研究[D].北京：北京郵電大學，2012.

[2] 王少花.嵌入式視頻圖像采集和無線傳輸系統的設計[D].大連：大連海事大學，2013.

[3] 錢建生，程德強，田雋，等. IP網絡中實時視頻流的可靠傳輸控制[J]. 煤炭科學技術，2006（5）：53-55.

[4] 程德強，錢建生，田雋.基于覆蓋組播網絡的實時視頻傳輸方案的設計[J].電信科學，2006（8）： 63-67.

[5] 王菽蘭，趙東風.H.323視頻會議體系結構的應用研究[J].云南民族學院學報：自然科學版，2003（2）： 65-67，73.

A reliable transmission scheme of video stream based on FPGA

JIANG Xing-jia， LIU Bu-min， HE Chun-mei， ZHENG Jian-feng

（School of Microelectronics and Solid-State Electronics， University of Electronic Science and Technology of China， Chengdu 610054， China）

Abstract： A new type of UDP-based video stream transmission system implemented by FPGA is introduced. The design method of each part of the system is analyzed. The test result is obtained in combination with the test scheme， which indicates that the system can meet the requirement of the demand. Finally， the whole design is summarized， and a modified scheme and the prediction for the application market are proposed.

Keywords： FPGA； VLC； UDP； MicroBlaze

（4）通道切換模塊

該模塊通過Microblaze的控制信號結合報文解析模塊的端口號判斷哪個端口號對應哪個通道進行傳輸，為保證報文不被截斷，在數據有效信號為低時進行切換。

（5）并串轉換模塊

該模塊主要包括以下幾部分：第一部分是FIFO：負責對來自外部的數據做緩沖處理；第二部分是DPRAM： 負責存儲來自FIFFO緩沖之后的Rxd；第三部分是核心控制模塊：用于控制時序，并串轉換，并將串行數據以7.35 MHz時鐘輸出，有效數據的輸出順序為32位開始信號、12位長度信號和數據。

2.3 接收方FPGA設計

由于接收到的是串行數據且沒有時鐘，所以首先需要由串行數據恢復出7.35 MHz時鐘。

根據時鐘接收32位開始信號，11位長度信號和8位數據信號，在開始信號匹配，長度信號滿足以太網要求時，將數據信號用DPRAM進行乒乓存儲后輸出到Txd給PHY芯片，PHY芯片轉換成RJ45格式數據送到網線上進行傳輸。

3 系統測試結果

3.1 測試方案

發送方PC通過VLC設置端口號并以廣播的方式發送數據流到網卡，視頻流通過本測試系統后在接收方PC上以VLC播放，播放的視頻流為720P高清電影，視頻位率在1Mb/s左右，最多同時播放4路，要求接收方PC上的視頻流穩定輸出無丟幀現象，且4路視頻可以自由切換。

3.2 測試結果

4路輸出除在剛剛開始的時候有一點花屏，也會丟失1～5幀數據，其他時間均正常顯示，無花屏且無丟幀。

4 改進及展望

本系統的緩存采用的是FPGA內部的DPRAM，大小只有4 Kb深度，對于比較大的視頻，緩存要達到數十兆甚至上百兆量級，所以，改進方案中可以考慮用DDR3來緩存數據，既可以解決FPGA內部RAM不夠的問題，又可以充分利用比較成熟的DDR存儲技術—— FPGA內部利用控制DDR的IP核，外圍接上硬件DDR3芯片。

當大視頻流傳輸于長距離時，整個光路系統的功率會大大增加，為了能夠正常接收實時視頻流，就必須改變現有的光路系統，但是架構無需改動，只要在硬件選型上改成大功率的芯片即可，同時，模擬電路部分也要重新進行設計。

Microblaze的加入有利于設計的擴展，包括將普通數據流打包成為以太網數據格式進行傳輸，或者增進控制邏輯等。

應用預測：本系統可應用在快餐店甚至候車廳里面，將現在的燈改成我們實驗里面所用的帶有視頻流信號的LED燈即可。其他類似領域也可以應用此系統，既可以提高視頻流傳輸效率，又可以節約能源，非常實用。

5 結 語

本文首先從現實出發提出一種實際的市場需求，然后結合現有的技術給出一個比較合理的設計方案。為實現該方案，從硬件軟件設計角度給出可行性設計。實際上，本系統已經在硬件上實現并通過FPGA的設計完成了視頻流的實時傳輸，限于篇幅僅對設計框圖及思路進行了描述。設計結果則如第三節所述，接收方的視頻流和發送方視頻流除了有0.4 s左右的延時外完全一致，丟幀率為零。

參 考 文 獻

[1] 趙源.基于網絡編碼的無線傳輸關鍵技術研究[D].北京：北京郵電大學，2012.

[2] 王少花.嵌入式視頻圖像采集和無線傳輸系統的設計[D].大連：大連海事大學，2013.

[3] 錢建生，程德強，田雋，等. IP網絡中實時視頻流的可靠傳輸控制[J]. 煤炭科學技術，2006（5）：53-55.

[4] 程德強，錢建生，田雋.基于覆蓋組播網絡的實時視頻傳輸方案的設計[J].電信科學，2006（8）： 63-67.

[5] 王菽蘭，趙東風.H.323視頻會議體系結構的應用研究[J].云南民族學院學報：自然科學版，2003（2）： 65-67，73.

A reliable transmission scheme of video stream based on FPGA

JIANG Xing-jia， LIU Bu-min， HE Chun-mei， ZHENG Jian-feng

（School of Microelectronics and Solid-State Electronics， University of Electronic Science and Technology of China， Chengdu 610054， China）

Abstract： A new type of UDP-based video stream transmission system implemented by FPGA is introduced. The design method of each part of the system is analyzed. The test result is obtained in combination with the test scheme， which indicates that the system can meet the requirement of the demand. Finally， the whole design is summarized， and a modified scheme and the prediction for the application market are proposed.

Keywords： FPGA； VLC； UDP； MicroBlaze

（4）通道切換模塊

該模塊通過Microblaze的控制信號結合報文解析模塊的端口號判斷哪個端口號對應哪個通道進行傳輸，為保證報文不被截斷，在數據有效信號為低時進行切換。

（5）并串轉換模塊

該模塊主要包括以下幾部分：第一部分是FIFO：負責對來自外部的數據做緩沖處理；第二部分是DPRAM： 負責存儲來自FIFFO緩沖之后的Rxd；第三部分是核心控制模塊：用于控制時序，并串轉換，并將串行數據以7.35 MHz時鐘輸出，有效數據的輸出順序為32位開始信號、12位長度信號和數據。

2.3 接收方FPGA設計

由于接收到的是串行數據且沒有時鐘，所以首先需要由串行數據恢復出7.35 MHz時鐘。

根據時鐘接收32位開始信號，11位長度信號和8位數據信號，在開始信號匹配，長度信號滿足以太網要求時，將數據信號用DPRAM進行乒乓存儲后輸出到Txd給PHY芯片，PHY芯片轉換成RJ45格式數據送到網線上進行傳輸。

3 系統測試結果

3.1 測試方案

發送方PC通過VLC設置端口號并以廣播的方式發送數據流到網卡，視頻流通過本測試系統后在接收方PC上以VLC播放，播放的視頻流為720P高清電影，視頻位率在1Mb/s左右，最多同時播放4路，要求接收方PC上的視頻流穩定輸出無丟幀現象，且4路視頻可以自由切換。

3.2 測試結果

4路輸出除在剛剛開始的時候有一點花屏，也會丟失1～5幀數據，其他時間均正常顯示，無花屏且無丟幀。

4 改進及展望

本系統的緩存采用的是FPGA內部的DPRAM，大小只有4 Kb深度，對于比較大的視頻，緩存要達到數十兆甚至上百兆量級，所以，改進方案中可以考慮用DDR3來緩存數據，既可以解決FPGA內部RAM不夠的問題，又可以充分利用比較成熟的DDR存儲技術—— FPGA內部利用控制DDR的IP核，外圍接上硬件DDR3芯片。

當大視頻流傳輸于長距離時，整個光路系統的功率會大大增加，為了能夠正常接收實時視頻流，就必須改變現有的光路系統，但是架構無需改動，只要在硬件選型上改成大功率的芯片即可，同時，模擬電路部分也要重新進行設計。

Microblaze的加入有利于設計的擴展，包括將普通數據流打包成為以太網數據格式進行傳輸，或者增進控制邏輯等。

應用預測：本系統可應用在快餐店甚至候車廳里面，將現在的燈改成我們實驗里面所用的帶有視頻流信號的LED燈即可。其他類似領域也可以應用此系統，既可以提高視頻流傳輸效率，又可以節約能源，非常實用。

5 結 語

本文首先從現實出發提出一種實際的市場需求，然后結合現有的技術給出一個比較合理的設計方案。為實現該方案，從硬件軟件設計角度給出可行性設計。實際上，本系統已經在硬件上實現并通過FPGA的設計完成了視頻流的實時傳輸，限于篇幅僅對設計框圖及思路進行了描述。設計結果則如第三節所述，接收方的視頻流和發送方視頻流除了有0.4 s左右的延時外完全一致，丟幀率為零。

參 考 文 獻

[1] 趙源.基于網絡編碼的無線傳輸關鍵技術研究[D].北京：北京郵電大學，2012.

[2] 王少花.嵌入式視頻圖像采集和無線傳輸系統的設計[D].大連：大連海事大學，2013.

[3] 錢建生，程德強，田雋，等. IP網絡中實時視頻流的可靠傳輸控制[J]. 煤炭科學技術，2006（5）：53-55.

[4] 程德強，錢建生，田雋.基于覆蓋組播網絡的實時視頻傳輸方案的設計[J].電信科學，2006（8）： 63-67.

[5] 王菽蘭，趙東風.H.323視頻會議體系結構的應用研究[J].云南民族學院學報：自然科學版，2003（2）： 65-67，73.

A reliable transmission scheme of video stream based on FPGA

JIANG Xing-jia， LIU Bu-min， HE Chun-mei， ZHENG Jian-feng

（School of Microelectronics and Solid-State Electronics， University of Electronic Science and Technology of China， Chengdu 610054， China）

Abstract： A new type of UDP-based video stream transmission system implemented by FPGA is introduced. The design method of each part of the system is analyzed. The test result is obtained in combination with the test scheme， which indicates that the system can meet the requirement of the demand. Finally， the whole design is summarized， and a modified scheme and the prediction for the application market are proposed.

Keywords： FPGA； VLC； UDP； MicroBlaze