基于DSP+ARM的音視頻同步壓縮存儲實時傳輸系統設計

閆亞玲， 李 博， 孟祥飛

(中北大學 儀器科學與動態測試教育部重點實驗室， 太原 030051)

0 引 言

現代人對高清音視頻的需求與日俱增，業內對音視頻處理方法的研究也從未停止。目前音視頻的處理基本都是以ARM, DSP, FPGA為核心，本文結合了DSP+ARM芯片，同時又通過FPGA芯片實現視頻的輸入輸出，同時利用3種芯片實現音視頻的采集壓縮存儲傳輸，使得處理速度大大加快，對音視頻質量的損耗大大降低。該系統采用H.264/AVC壓縮方法[1]，目前音視頻的壓縮同步方法以分開壓縮后進行同步處理為主，其實H.264/AVC也是可以壓縮音頻的，如果使用H.264/AVC對音視頻文件進行同步壓縮，對壓縮之后的混合文件進行存儲和傳輸可以大大減少工作量，免除壓縮傳輸之后的同步工作，且同步壓率也較高于異步壓縮，對音視頻質量的影響也更少，故該系統選擇基于H.264/AVC的DCT系數奇偶性音視頻同步壓縮方法進行壓縮[2]，在進行H.264/AVC壓縮中將音頻信息隱藏在DCT變換系數中，因為在DCT變換的中頻段稍加修改對視頻的質量不會有太大影響[3]，所以選擇中頻段進行嵌入，壓縮完成的混合文件一方面通過RTP協議傳輸至目的IP進行解碼觀看[4]；另一方面解碼后分出音頻信息通過SATA口寫入外接硬盤進行存儲[5]。

1 系統設計

該系統在DSP+ARM開發板上完成設計，以CCD攝像頭作為視頻采集外設設備[6]，3.5 mm的麥克風作為語音采集設備。系統的核心處理器TMS320DM6467T可實現多路H.264/AVC的編碼與解碼，故該系統采用以H.264/AVC為基礎的DCT系數音視頻同步壓縮方法，同步壓縮后的音視頻文件一方面通過板卡的以太網口傳輸至目的IP進行實時播放；另一方面通過板卡的SATA口存儲至移動硬盤中。系統流程如圖1所示。

圖1 系統圖

1.1 硬件電路

為提高音視頻的處理效率，選用DSP+ARM的雙核處理芯片設計該系統。其中DSP的TMS320DM6467T 芯片實現H.264/AVC的音視頻壓縮，ARM11實現外圍電路[6]。DM6467T具有2個獨立的VICP視頻編碼協處理單元，很大程度上提高編碼實現的效率;達芬奇系列處理器提供了比較大的字節尋址空間，代碼和數據可以放置在任何未定義的地址空間，片上有兩EMIF，其中一個EMIF直接與DDR2相連，NAND FLASH映射到CS2空間，但CS2作為子卡接口時，子卡使能管要拉高。

硬件電路的工作流程如圖2所示，視頻的輸入輸出單元采用FPGA實現各類接口的的切換。芯片采用Xlinx公司V4的FPGA，DM6467T的兩個VP口經過FPGA后，通過模式選擇寄存器可靈活與各類輸入與輸出模式相連[7]，完成各類不同視頻模式的兼容。該系統選擇的是CVBS輸入，由CCD攝像頭采集，tvp5150芯片解析,通過ADV7343輸出至LCD顯示器上顯示未經壓縮的視頻；音頻選擇3.5 mm的麥克風采集，AIC32芯片解析，連接器采用RCA方式;音視頻的壓縮通過系統核心處理單元TMS320DN6467T處理器完成。系統硬盤接口實現SATA模式，由ARC772-A進行ATA到SATA的轉換。

圖2 硬件電路圖

1.2 軟件系統設計

相較于于Linux的操作復雜與難移植，Windows操作系統具有更好的兼容性、可操作性與移植性[4]，所以選用Windows操作系統作為軟件系統的開發平臺，在ccs3.3中進行軟件編程[6]，通過XDS560PLUS仿真器實現操作機與目標板相連[5]。系統的設計包括音頻采集、視頻采集、視頻播放、音視頻壓縮、音視頻存儲五部分[8]，如圖3所示。

圖3 軟件框圖

(1) 音視頻采集。 音頻信號通過MIC進入板卡，通過TI立體聲編解碼芯片TLA320AIC32及周邊電路對輸入的音頻模擬信號進行采樣，轉為二進制比特位數字信號等待以I2S格式進入DM6467T執行同步壓縮處理，處理完畢后再通過編解碼芯片把數字信號轉換成模擬信號進行播放[5]。AIC32編解碼接口如圖4所示。音頻信息的采集設備選用Takstar的PCM-5560麥克風，該設備靈敏度高可達到-42 dB±3 dB；使用電壓為1.5 V，通過板卡可提供；等效噪聲級為S22dB(IEC581-5)，采集聲音效果良好。

圖4 AIC編解碼過程

采集到的音頻文件一方面進入DSP等待混合壓縮；另一方面通過TVL320AIC32提供的立體聲輸出連接器上連接音響設備，實現音頻采集的播放功能，顯示未經壓縮的原質音頻信息。

視頻信息通過CCD攝像頭采集，采集到的BT.656格式的視頻數據通過TVP5150驅動芯片及周邊電路解碼成數字信號，通過板卡的VPIF視頻接口以I2C格式進入緩存區等待進一步的視頻處理。視頻采集過程如圖5所示。① 初始化采集設備，實現視頻解碼器TVP5150使能，完成TVP5150芯片的設置；② 完成視頻采集設置，選擇視頻采集格式，設置VPIF控制，配置控制寄存器CH0 CTRL；③ 配置存儲空間，在DDR中分配兩個存儲空間，用于存放采集到的視頻信息；④ 開始視頻采集，采集過程中對采集圖像進行判斷，確保圖像完成1幀1幀采集，避免丟幀跳幀現象。

圖5 視頻采集流程

采集到的視頻一方面進入DSP等待壓縮處理；另一方面通過VPIF輸出，經過FPGA后,選擇開關連接到ADV7343處理后在于攝像頭相連的LCD顯示器上顯示出未經壓縮的原始視頻圖像[4]。

(2) 音視頻同步壓縮。 由于H.264/AVC有更好的網絡適配性和更大的視頻壓縮率[9]，受到廣大的應用和視頻實時通信等各應用領域的共同認可，并隨之發展為成為了最主要的視頻壓縮標準[10]。

該系統采用的是效果更好的基于DCT變換系數的音視頻同步處理方法，音視頻信息進行同步采集，采集到的音頻信息通過AIC32芯片轉換成二進制比特流進入DSP等待處理，采集到的視頻信息進入DSP進行H.264/AVC壓縮處理的幀間預測編碼、DCT變換、量化處理，量化之后將音頻信號隱藏在DCT變換的系數中進行重排序、熵編碼生成音視頻混合文件[2]。具體實現過程如圖6所示：① 通過System process配置好DSP和ARM的連接；② 通過H264 process設置壓縮過程的動態參數,H264APP_create設置視頻分辨率、幀率、比特率，H264APP_encode進行采樣；③ Mpeg 4 process調整圖像質量，初始化圖像質量后若初始圖像為0則提高圖像質量兩個等級，若數據量過大圖像質量良好，調整為最大值31，若前后對比后前對比大于等于3，取平均，若圖像質量好數據量過大，調整圖像質量，降低2個等級，若圖像質量差數據量少，圖像質量增加2個等級；④ DCT process進行音視頻同步調整圖像質量得到量化后的DCT系數g_u32Qlevel，同時通過fseek()和fread()讀取出音頻比特流；通過H264DCT_encode將音頻比特流嵌入到DCT系數中，形成音視頻混合文件。

(3) 實時網絡傳輸。 DM6467T整合了GMII/MII EMAC，板卡上使用PHY芯片為VSC8641,通過板卡的以太網接口根據RTP協議進行傳輸[11]。傳輸過程中需要將板卡和接收機由路由器為媒介通過網線連接[12]，將接收機的IP設置為與板卡IP為同一網段[13]，配置好vlc腳本文件，就可實現網絡實時傳輸[14]。具體實現過程如圖7實時網絡傳輸流程所示。

先通過rtp_init對pcb進行初始化，由rtp_inout讀入經DSP處理后的PHY芯片寄存器的音視頻混合文件。ARM核在接收到編碼完成的數據后，先創建時間戳函數TSC()，加進時間戳的文件UDPCtrl由init()、bind()和socket()函數完成數據打包處理，最后利用RTP sendH264()函數將編碼完成的數據通過網絡傳輸至目的IP，傳輸之后的音視頻文件在目的IP解碼分出音頻信號，實現在接收端音視頻的同步播放。

(4) 外接硬盤存儲。 SATA接口連接器位于板卡的背面，是一個連接硬盤的SATA接口，DSP處理之后的文件運用ARM可通過SATA接口存儲到外接硬盤。具體存儲流程如圖8所示DSP壓縮完成之后，會發出DSP_CMD_H264_STREAM命令，之后再ARM中解碼分出音頻流[15]，通過DATA_SECTION創建寫棧程緩存區，利用write_videofile和write_audiofile將視頻文件和音頻文件輸入緩存區，進而寫入外接硬盤中。

圖8 存儲流程

2 結果分析

設計的系統經過測試完全可以實現音視頻的采集壓縮存儲傳輸功能，且采集的音視頻通過高達150的壓縮比壓縮后音視頻質量仍可達到720P，存儲速度快，傳輸實時性好，有很大的實用價值。實驗運行結果如圖9所示。

圖9 實驗結果展示

未經壓縮的音視頻文件會在外接音箱和LCD顯示屏上顯示，壓縮后的音視頻文件經傳輸至目的IP后在PC機上觀看。通過采集3 min 720P的音視頻文件進行實驗，壓縮前數據量為55 987 MB，壓縮后數據量為341MB,計算得出壓縮比可達164，通過與分開壓縮音視頻對比采用音視頻同步壓縮之后的音頻信息壓縮比提高10%。如圖10所示為實驗結果對比，LCD顯示的未壓縮圖像與經過壓縮的圖像對比視頻質量保存完好，對未經壓縮的音頻信息與經過同步壓縮之后分出的音頻信息進行處理，測出兩者的時域信號，根據信號波形圖顯示，音頻信息幾乎無失真。采用網絡傳輸進行實時傳輸，每秒可傳輸50幀，雖有些延遲但不影響觀看且實驗音視頻同步觀看，通過SATA接口傳輸至外接硬盤的音視頻傳輸速度較快，傳輸之后音視頻質量完好，同步效果良好[11]。

圖10 實驗結果對比

3 結 論

系統經過測試，完全實現音視頻的同步采集壓縮存儲實時傳輸同步觀看功能，可推廣至視頻教學、視頻會議等多媒體行業使用。該系統設計有以下優點。

(1) 音視頻壓縮比高，壓縮比可達160以上；

(2) 音視頻質量較高，可達720P分辨率，滿足人們對音視頻質量的要求；

(3) 采用直接寫入外接硬盤的方式，方便對文件的提取，有很大的便利性；

(4) 傳輸實時性好，基本解決延遲問題，這點很適用于視頻會議；

(5) 音視頻同步性良好，從根源上解決音視頻不同步的問題，帶給人們更大的音視覺享受。