基于多核處理器的高清內(nèi)窺鏡視頻處理系統(tǒng)

何 燦,陳耀武

(1.浙江大學(xué)生物醫(yī)學(xué)工程與儀器科學(xué)學(xué)院,杭州310027;2.浙江省網(wǎng)絡(luò)多媒體技術(shù)研究重點(diǎn)實(shí)驗(yàn)室,杭州310027)

基于多核處理器的高清內(nèi)窺鏡視頻處理系統(tǒng)

何 燦1,2,陳耀武1,2

(1.浙江大學(xué)生物醫(yī)學(xué)工程與儀器科學(xué)學(xué)院,杭州310027;2.浙江省網(wǎng)絡(luò)多媒體技術(shù)研究重點(diǎn)實(shí)驗(yàn)室,杭州310027)

設(shè)計(jì)一個(gè)基于TILE-Gx多核處理器的高清醫(yī)用電子內(nèi)窺鏡視頻處理系統(tǒng)。該系統(tǒng)支持2路1080p60高清視頻輸入輸出,以及1路YCbCr422格式高清視頻的實(shí)時(shí)H.264編解碼,利用現(xiàn)場可編程門陣列為高清視頻數(shù)據(jù)提供輸入輸出接口,采用4片TILE-Gx多核處理器進(jìn)行H.264編碼解碼運(yùn)算,并使用1片TILE-Gx多核處理器完成系統(tǒng)控制、視頻拼接和數(shù)據(jù)存儲轉(zhuǎn)發(fā)功能。實(shí)驗(yàn)結(jié)果表明,該系統(tǒng)的編解碼性能滿足醫(yī)用內(nèi)窺鏡的高分辨率和實(shí)時(shí)性需求,圖像質(zhì)量達(dá)到了H.264的High Profile級別。

內(nèi)窺鏡;TILE-Gx處理器;多核處理器;高清視頻處理;現(xiàn)場可編程門陣列;H.264編解碼

1 概述

隨著計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)和芯片制造技術(shù)等的不斷發(fā)展,醫(yī)用電子內(nèi)窺鏡領(lǐng)域?qū)σ曨l處理系統(tǒng)的要求越來越高,目前最先進(jìn)的醫(yī)用電子內(nèi)窺鏡視頻處理系統(tǒng)之一是FUJIFILM公司的VP-4450HD［1］,其分辨率可以達(dá)到1080i(即1 920×1 080隔行掃描)。本文提出的系統(tǒng)在分辨率上可以達(dá)到1080p60(即1 920×1 080逐行掃描,場頻60 Hz),并支持YCbCr422格式實(shí)時(shí)H.264編解碼［2］,支持畫中畫和畫外畫顯示。

傳統(tǒng)的電子內(nèi)窺鏡視頻處理系統(tǒng)使用PC配合視頻采集卡［3］或者使用專門的DSP芯片(如TI公司的DaVinci系列)實(shí)現(xiàn)視頻編解碼［4］,無法滿足醫(yī)用內(nèi)窺鏡對于分辨率和實(shí)時(shí)性越來越高的要求,本文系統(tǒng)使用Tilera公司的36核處理器對YCbCr422格式的1080p60高清視頻進(jìn)行實(shí)時(shí)的H.264編解碼,系統(tǒng)具有視頻處理性能高、圖像質(zhì)量好、延時(shí)短等特點(diǎn)。

2 系統(tǒng)總體架構(gòu)和工作原理

系統(tǒng)的總體結(jié)構(gòu)如圖1所示。系統(tǒng)輸入源為兩路1080p60視頻,一路為醫(yī)用電子內(nèi)窺鏡,另一路為其他輔助醫(yī)療視頻設(shè)備或者高清攝像機(jī);輸出為兩路1080p60視頻,可以選擇為實(shí)時(shí)視頻輸出或者解碼輸出,支持畫中畫和畫外畫模式視頻輸出。

圖1 系統(tǒng)總體結(jié)構(gòu)

系統(tǒng)基本工作原理是:兩路視頻信號以3G-SDI格式進(jìn)入系統(tǒng),經(jīng)過3G-SDI均衡器和3G-SDI解串器后進(jìn)入FPGA,FPGA將其轉(zhuǎn)換為16位寬并行數(shù)據(jù)后通過PCI-Express總線傳送給TILE-Gx多核處理器,處理器將對視頻原始數(shù)據(jù)進(jìn)行編碼和存儲。TILE-Gx多核處理器將輸出視頻數(shù)據(jù)通過 PCIExpress總線傳送給 FPGA,FPGA將其轉(zhuǎn)換為SMPTE425M標(biāo)準(zhǔn)［5］的格式后輸出,經(jīng)過3G-SDI串化器后以3G-SDI格式輸出系統(tǒng)。

3 系統(tǒng)實(shí)現(xiàn)

本文系統(tǒng)包括1塊主板和4塊子板,主板主要負(fù)責(zé)系統(tǒng)控制、視頻輸入輸出、視頻拼接處理和視頻數(shù)據(jù)存儲等,子板主要負(fù)責(zé)視頻數(shù)據(jù)的H.264編碼和解碼。主板與各子板間使用高速連接器連接。下面分別描述主板和子板的設(shè)計(jì)與實(shí)現(xiàn)。

3.1 系統(tǒng)主板設(shè)計(jì)與實(shí)現(xiàn)

系統(tǒng)主板設(shè)計(jì)與實(shí)現(xiàn)如下:

(1)硬件組成

主板硬件組成如圖 2所示,可以分為2個(gè)單元——主控單元與采集顯示單元,2個(gè)單元通過PCI-Express高速接口互聯(lián)。

圖2 主板硬件設(shè)計(jì)

主控單元負(fù)責(zé)整個(gè)系統(tǒng)的控制,以及對視頻拼接處理。主控單元主要由TILE-Gx8036及外圍設(shè)備組成,TILE-Gx8036是Tilera公司推出的一款多核處理器,擁有36顆高性能RISC核心,核心工作頻率為1.2 GHz。該處理器支持豐富的擴(kuò)展接口,包括: 2個(gè)獨(dú)立的64 bit存儲 DDR3控制器,最高支持1 600 MT/s的DDR操作;3個(gè)Gen2 PCI-Express x4接口;最多4個(gè)萬兆以太網(wǎng)即XAUI接口或者16個(gè)10/100/1 000 SGMII以太網(wǎng)接口;2個(gè)USB2.0接口;4個(gè)I2C接口等［6］。

為實(shí)現(xiàn)本地存儲功能,選用 Marvell公司的88SE9120作為SATA控制器。88SE9120是一款基于PCI-Express總線的 SATA控制器,提供一個(gè)Gen2 PCI-Express x1接口,兼容SATA 3.0標(biāo)準(zhǔn),支持RAID。本文系統(tǒng)直接將其掛載在主板CPU的PCI-Express0總線上。

由于TILE-Gx8036處理器的PCI-Express接口有限,主板無法直接通過PCI-Express總線與各個(gè)子板進(jìn)行數(shù)據(jù)傳輸,因此本文系統(tǒng)使用了一顆 PCIExpress Switch芯片對主板CPU的PCI-Express接口進(jìn)行擴(kuò)展,Switch芯片選用的是 IDT公司的89HPES32T8G2,這是一款 32-lane,8-port的 Gen2 PCI-Express Switch,最多可提供4個(gè)x8或者8個(gè)x4的交換接口。PCI-Express Switch芯片掛載在主板CPU的PCI-Express1總線上。

主板處理器的其他外圍設(shè)備還包括:2個(gè)DDR3 SO-DIMM,1個(gè)USB 2.0 PHY和1個(gè)千兆以太網(wǎng)PHY。

采集顯示單元負(fù)責(zé)系統(tǒng)視頻數(shù)據(jù)的采集和顯示。采集顯示單元以Xilinx公司的XC6VLX130T FPGA為核心。XC6VLX130T屬于Xilinx Virtex-6系列FPGA,擁有128 000個(gè)邏輯單元,9 504 Kb內(nèi)部 Block RAM,支持 64 bit DDR3接口,支持x4 Gen2 PCI-Express接口［7］。本文系統(tǒng)將其掛載在主板CPU的PCI-Express2總線上。FPGA的外圍設(shè)備包括1個(gè)DDR3 SO-DIMM,2個(gè)3G-SDI均衡器, 2個(gè)3G-SDI解串器以及2個(gè)3G-SDI串化器。

(2)FPGA設(shè)計(jì)

FPGA總體設(shè)計(jì)如圖3所示,主要由2個(gè)視頻輸入輸出模塊、1個(gè) DDR控制器模塊和1個(gè) PCIExpress控制器模塊組成。2路視頻數(shù)據(jù)進(jìn)入FPGA后,首先被2個(gè)視頻輸入輸出模塊去掉包頭包尾,得到16 bit YCbCr422的有效視頻數(shù)據(jù),有效數(shù)據(jù)通過DDR控制器存入DDR3內(nèi)存,當(dāng)CPU發(fā)起PCIExpress讀事務(wù)時(shí),DDR控制器將數(shù)據(jù)從DDR3內(nèi)存中取出,由 PCI-Express控制器將其發(fā)送給 CPU。CPU將待顯示的視頻數(shù)據(jù)通過PCI-Express總線發(fā)送給FPGA,由PCI-Express控制器接收,之后數(shù)據(jù)通過DDR控制器存入DDR3內(nèi)存,當(dāng)視頻輸入輸出模塊需要輸出數(shù)據(jù)時(shí),DDR控制器將數(shù)據(jù)從DDR3內(nèi)存中取出,視頻輸入輸出模塊添加好包頭包尾后將其輸出FPGA送至3G-SDI串化器。

圖3 FPGA功能模塊

系統(tǒng)FPGA需要對外部輸入的兩路1080p60高清視頻數(shù)據(jù)進(jìn)行緩存,然后再發(fā)送給CPU進(jìn)行處理;同時(shí),FPGA還需要對 CPU發(fā)送來的兩路1080p60高清視頻數(shù)據(jù)進(jìn)行緩存,然后再將其輸出。從整體來看,相當(dāng)于一共有8路1080p60高清視頻數(shù)據(jù)同時(shí)需要由FPGA發(fā)送或接收,這對FPGA的控制邏輯以及對外部存儲設(shè)備的讀寫速度有較高要求。本文設(shè)計(jì)擴(kuò)展了一個(gè) DDR3 SO-DIMM為FPGA提供緩存,數(shù)據(jù)總線寬度為64 bit,工作時(shí)鐘頻率為400 MHz。在DDR控制器中例化了8個(gè)FIFO,用于緩存8個(gè)讀寫接口的數(shù)據(jù),并使用一個(gè)狀態(tài)機(jī)來協(xié)調(diào)對這8個(gè)FIFO的讀寫操作,如圖4所示,狀態(tài)機(jī)共有9個(gè)狀態(tài):系統(tǒng)復(fù)位時(shí)為IDLE狀態(tài),該狀態(tài)下不做任何操作,是其他各狀態(tài)的入口和出口狀態(tài);4個(gè)讀FIFO寫SDRAM狀態(tài),每一個(gè)狀態(tài)對應(yīng)一個(gè)FIFO,當(dāng)對應(yīng)FIFO的prog_full拉高時(shí)進(jìn)入此狀態(tài),該狀態(tài)下從對應(yīng) FIFO取出數(shù)據(jù)并寫入SDRAM;4個(gè)讀SDRAM寫FIFO狀態(tài),每一個(gè)狀態(tài)對應(yīng)一個(gè)FIFO,當(dāng)對應(yīng)FIFO的prog_empty拉高時(shí)進(jìn)入此狀態(tài),該狀態(tài)下從SDRAM取出數(shù)據(jù)并寫入對應(yīng)FIFO。

圖4 FPGA DDR控制狀態(tài)機(jī)

(3)軟件設(shè)計(jì)

主板CPU的軟件架構(gòu)如圖5所示,主板軟件的核心是視頻拼接程序。

圖5 主板CPU軟件架構(gòu)

視頻拼接程序由9個(gè)核心完成,首先由主核心將內(nèi)存里的一幀主畫面數(shù)據(jù)分為8個(gè)連續(xù)的塊,通知8個(gè)子核對各個(gè)塊進(jìn)行縮小或放大處理［8］并存儲至目標(biāo)區(qū)域,然后將一幀子畫面數(shù)據(jù)做同樣的處理,并疊加至上述目標(biāo)區(qū)域,根據(jù)對2個(gè)畫面的不同縮放處理和不同位置的疊加,可以實(shí)現(xiàn)多種畫中畫與畫外畫顯示功能。

3.2 系統(tǒng)子板設(shè)計(jì)與實(shí)現(xiàn)

系統(tǒng)子板設(shè)計(jì)與實(shí)現(xiàn)過程如下:

(1)硬件組成

子板總體硬件設(shè)計(jì)較簡單,主要由 TILEGx8036及外圍設(shè)備組成,外圍設(shè)備包括8片2Gb的DDR3 SDRAM、1個(gè)千兆以太網(wǎng)PHY和一組高速連接器。系統(tǒng)共有4塊子板,其中,3塊子板負(fù)責(zé)在主板處理器的協(xié)調(diào)下對一路1080p60高清視頻進(jìn)行實(shí)時(shí)H.264編碼;1塊子板負(fù)責(zé)H.264解碼。各子板通過 Gen2 x4 PCI-Express總線與主板進(jìn)行數(shù)據(jù)交互。

(2)軟件設(shè)計(jì)

子板CPU的軟件架構(gòu)與主板CPU類似,子板軟件的核心是H.264的編碼/解碼程序。

H.264編碼的流程如圖6所示,為充分利用多核處理器的優(yōu)勢提高系統(tǒng)編碼性能,做了3個(gè)層次的并行化處理［9］:

1)并行的GOP(Group of Picture)劃分,主板CPU以GOP為單位依次循環(huán)向3個(gè)編碼子板發(fā)送原始視頻數(shù)據(jù),3個(gè)編碼子板同時(shí)執(zhí)行編碼任務(wù),編碼完成后,子板再通過PCI-Express總線將數(shù)據(jù)傳回主板CPU。

2)基于數(shù)據(jù)單元?jiǎng)澐值膸壊⑿芯幋a設(shè)計(jì),將每幀圖像劃分成15個(gè)片(Slice),用15個(gè)運(yùn)行在不同核心上的進(jìn)程分別編碼。

3)基于功能單元?jiǎng)澐值暮陦K級并行編碼設(shè)計(jì),在基于數(shù)據(jù)單元?jiǎng)澐值膸壊⑿芯幋a架構(gòu)基礎(chǔ)下,將編碼功能單元進(jìn)一步分為預(yù)測功能單元和編碼重建功能單元,在數(shù)據(jù)并行的基礎(chǔ)上,每個(gè)進(jìn)程創(chuàng)建出一個(gè)線程用來執(zhí)行預(yù)測功能單元,同時(shí)為該線程分配一個(gè)獨(dú)立的核心,主線程則用來執(zhí)行編碼重建,所以每個(gè)編碼子板CPU里共有30個(gè)核心用于實(shí)現(xiàn)H.264編碼功能。

圖6 H.264編碼流程

H.264解碼的流程如圖7所示,解碼器共使用29個(gè)核心,由一塊解碼子板提供,其中1個(gè)核心作為主核心,負(fù)責(zé)整個(gè)編碼流程的調(diào)度,其余28個(gè)核心分為7組,并行地執(zhí)行解碼任務(wù)。首先,主核心將待解碼的原始視頻數(shù)據(jù)以GOP為單位分為7組,然后通知7個(gè)核心組開始解碼,每個(gè)核心組里的4個(gè)核心以行為單位,使用流水線的方式完成解碼任務(wù)中的各個(gè)子任務(wù),實(shí)現(xiàn)了解碼的并行化處理,提高了解碼效率［10］。

圖7 H.264解碼流程

4 系統(tǒng)性能

系統(tǒng)性能如下:

(1)接口性能

測試使用2臺1080p60高清攝像機(jī)提供輸入源,使用2臺全高清顯示器承載輸出,實(shí)際效果如圖8所示,系統(tǒng)運(yùn)行穩(wěn)定,顯示正確,證明系統(tǒng)接口性能滿足要求。

圖8 系統(tǒng)實(shí)際運(yùn)行效果

(2)編碼性能

選用7段YCbCr422格式視頻序列對系統(tǒng)編碼性能進(jìn)行測試,碼率設(shè)置為60 Mb/s,熵編碼方式為CABAC編碼［11］,GOP設(shè)置為15。測試結(jié)果如表1所示,結(jié)果表明系統(tǒng)編碼性能能夠達(dá)到60 fps以上,滿足系統(tǒng)要求。

表1 系統(tǒng)編碼性能 fps

(3)解碼性能

選用 7段經(jīng)過本文系統(tǒng)編碼的視頻序列(YCbCr422格式,CABAC編碼,GOP=15)對系統(tǒng)解碼性能進(jìn)行測試。測試結(jié)果如表2所示,結(jié)果表明系統(tǒng)解碼性能能夠達(dá)到60 fps以上,滿足系統(tǒng)要求。

表2 系統(tǒng)解碼性能 fps

(4)圖像質(zhì)量

通過與使用H.264 JM18.0編碼器的PC在相同編碼選項(xiàng)、相近碼率下比較PSNR值來對本文系統(tǒng)的圖像質(zhì)量進(jìn)行客觀評價(jià)［12］。測試選用7段YCbCr422格式,1080p60的視頻序列,分別在本文系統(tǒng)和PC上進(jìn)行編碼,GOP設(shè)置為 15,熵編碼方式選擇為CABAC編碼。PC上使用的編碼器是H.264 JM18.0編碼器,Profile選項(xiàng)設(shè)置為High Profile。測試結(jié)果如表3所示,由表中的PSNR值的對比可以看出,本文系統(tǒng)圖像質(zhì)量達(dá)到了H.264的High Profile級別。

表3 峰值性嗓比對比

5 結(jié)束語

本文提出一種基于Tilera多核處理器和FPGA的嵌入式高清醫(yī)用電子內(nèi)窺鏡視頻處理系統(tǒng)設(shè)計(jì)方案,系統(tǒng)使用Tilera多核處理器完成系統(tǒng)控制和視頻的實(shí)時(shí)H.264編解碼,通過Xilinx Virtex-6 FPGA實(shí)現(xiàn)多路視頻的輸入輸出。相對于其他傳統(tǒng)的醫(yī)用電子內(nèi)窺鏡視頻處理系統(tǒng),本文系統(tǒng)能夠支持YCbCr422格式1080p60高清視頻處理,處理性能高、圖像質(zhì)量好、功能穩(wěn)定可靠。隨著未來核心數(shù)更多、性能更高的多核處理器的出現(xiàn),下一步將對本文系統(tǒng)實(shí)現(xiàn)升級,以提供更高的視頻處理性能和更好的圖像質(zhì)量。

［1］ Fujifilm Corporation. Electronic Video Endoscopy System EPX-4450HD Specification［EB/OL］.(2011-02-19).http://www.fujifilm.com/products/medical/ brochures/pdf/index/epx4450hd.pdf.

［2］ 夏 齡,舒 濤.一種H.264/AVC視頻編碼并行算法［J］.計(jì)算機(jī)工程,2013,39(4):314-317.

［3］ Park J A,Chang M.Development of a Low-cost PC-based Endoscope System ［C］//Proceedings of ICHIT'06.Washington D.C.,USA:IEEE Computer Society,2006: 109-115.

［4］ 李 侃,陳耀武.面向醫(yī)用電子內(nèi)窺鏡的高清視頻處理系統(tǒng)［J］.計(jì)算機(jī)工程,2011,37(23):261-263,266.

［5］ SMPTE.425M-2008SMPTE Standard for 3GB/s Signal/Data Serial Interface——Source Image Format Mapping［S］.2008.

［6］ Tilera Corporation.TILE-Gx8036 Processor Specification Brief［EB/OL］.(2011-05-17).http://www.tilera.com/ sites/default/files/productbriefs/TILE-Gx8036_PB033-02_ web.pdf.

［7］ Xilinx,Inc..Virtex-6 Family Overview［EB/OL］.(2012-02-19).http://www.xilinx.com/support/documentation/ data_sheets/ds150.pdf.

［8］ Gonzalez R C,Woods R E.Digital Image Processing［M］.北京:電子工業(yè)出版社,2010.

［9］ 于俊清,李 江,魏海濤,等.基于同構(gòu)多核處理器的H.264多粒度并行編碼器［J］.計(jì)算機(jī)學(xué)報(bào),2009,32 (6):1100-1109.

［10］ 郭 倩,陳耀武.基于功能模塊的H.264并行解碼算法［J］.計(jì)算機(jī)工程,2010,36(23):231-233.

［11］ Marpe D,Schwarz H,Wiegand T.Context-based Adaptive Binary Arithmetic Coding in the H.264/AVC Video Compression Standard［J］.IEEE Transactions actions on Circuits and Systems for Video Technology, 2003,13(7):620-636.

［12］ 蔣剛毅,黃大江,王 旭,等.圖像質(zhì)量評價(jià)方法研究進(jìn)展［J］.電子與信息學(xué)報(bào),2010,32(1):219-226.

編輯 索書志

High Definition Endoscope Video Processing System Based on Multi-core Processor

HE Can1,2,CHEN Yaowu1,2
(1.College of Biomedical Engineering and Instrument Science,Zhejiang University,Hangzhou 310027,China;
2.Zhejiang Provincial Key Laboratory for Network Multimedia Technologies,Hangzhou 310027,China)

A solution of embedded endoscope video processing system based on TILE-Gx multicore processor is designed.The system supports 2-channel input and output port for 1080p60 HD video data and real-time H.264encoding/ decoding of YCbCr422 format video.FPGA is applied to realize the input/output port of video data.4 pieces of TILE-Gx processors are applied to encode/decode,another TILE-Gx processor is applied to the system management,video mixing, and hard disk storage.Experimental results show that,the performance of encoding and decoding fulfills the requirement of high definition and real-time of endoscope,and the image quality reaches H.264 High Profile level.

endoscope;TILE-Gx processor;multicore processor;High Definition(HD)video processing;Field Programmable Gate Array(FPGA);H.264 encoding and decoding

1000-3428(2014)111-0001-05

A

TP391

10.3969/j.issn.1000-3428.2014.11.001

中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)基金資助項(xiàng)目;浙江省重點(diǎn)科技創(chuàng)新團(tuán)隊(duì)基金資助項(xiàng)目(2011R09021-06)。

何 燦(1990-),男,碩士研究生,主研方向:嵌入式系統(tǒng);陳耀武,教授、博士生導(dǎo)師。

2013-11-29

2013-12-24E-mail:canhe890@zju.edu.cn

中文引用格式:何 燦,陳耀武.基于多核處理器的高清內(nèi)窺鏡視頻處理系統(tǒng)［J］.計(jì)算機(jī)工程,2014,40(11):1-5.

英文引用格式:He Can,Chen Yaowu.High Definition Endoscope Video Processing System Based on Multi-core Processor［J］.Computer Engineering,2014,40(11):1-5.