音視頻嵌入式系統的處理

近年來，音視頻應用不僅越來越廣泛，技術也得以飛速發展。作為基礎及應用研究的重要陣地，不少高校都成立了實驗室對此進行深入研究，有效地促進了音視頻創新應用及發展，西安電子科技大學嵌入式系統與大數據研究中心就是其中一個。此實驗室在2008年成立，主要研究目標是音視頻的嵌入式系統的處理，重點研究方向是：計算機視覺、模式識別和人工智能（視頻智能處理算法）、嵌入式系統及和多核嵌入式系統。

重點研究方向與現狀

在計算機視覺方面，實驗室目前主要在做基于手提攝像機（單目）和多目相機的標定、三維重建和基于非線性RTCam相機模型的統一相機幾何模型研究。因為在實際視頻應用中會出現各種各樣的非線性失真，不同的幾何模型在成像中有不同的原理，在航空、深海探測等專業領域這些模型都會用到，所以在視覺方面我們有必要做這個研究。這在投影應用當中也有用武之地，大屏幕投影是具有非線性失真的，如屏幕放不直會出現梯形投影，這個模型有望解決這一問題。

模式識別和人工智能（視頻智能處理算法）應用范圍很廣，其發展對國民經濟建設和國防現代化建設有著廣泛和深遠的意義。這也是當前重點研究內容，為了適應不同場合識別處理算法也不盡相同。實驗室目前進行研究和優化的算法有：人臉檢測算法、火災檢測算法、車牌識別算法、入侵檢測算法、流量統計算法、動態跟蹤算法、人形檢測算法、去霧算法等，幾乎涵蓋了所有應用。

基于非線性RTCam相機模型的統一相機幾何模型研究

關于嵌入式系統，既有基于TI-DAVINCI（DM6467、DM6437、DM365、DM368、DM647、DM648）、OMAP處理器、TI多核處理器系列的嵌入式軟硬件系統；還有基于ADI Blackfin（BF561、BF533、BF548）系列的嵌入式軟硬件系統和基于Freescale PowerPC系列的嵌入式軟硬件系統的研究。

其中TI-DAVINCI是一種嶄新的軟件架構，我們的很多研究都在上面開發，攝像機上用得也很多，但是能在攝像機里面真正把這種嵌入式系統應用好的并不多見，如何在低功耗高性能方面增強嵌入式系統的能力是目前著力要做的功課。

對于嵌入式系統而言，多核技術較過去可以提供更高的處理器性能、更有效的電源利用率，并且占用更小的物理空間，具有許多單核處理器無法具備的優勢。在高端通信和影像等計算密集型應用領域，多核嵌入式系統已經成為發展的必然趨勢。正是前瞻性地看到這種發展方向，實驗室進行了基于XILINX Microblaze、Tilera 64核處理器、TI多核DSP等各種多核嵌入式系統設計。

今后網絡服務器、媒體網關服務器、云計算中心、物聯網數據安全設計都會涉及多核技術，它成為一個必須研究的技術課題。

產品成果及方案

下面就實驗室研發出的產品及方案向來賓進行介紹。

高清智能IP相機是研究成果的具體應用產品，融合了高清照相、智能處理和高速傳輸功能。它由CCD+FPGA組成前端AFE采集系統，當然也可更換CCD，目前可支持200萬、400萬像素采集；DM368/DM365組成ENC編碼系統，負責進行H.264、MPEG4、MJPEG編碼、支持多流同時編碼；DM6437組成VCA智能視頻處理算法系統，負責進行各種智能處理算法識別，模塊功能可動態配置，并且模塊數量可以根據需要進行插拔實現。設備接口方面，具有視頻數據接口、以太網接口、USB接口支持（支持3G-WCDMA，可以進行短信傳遞及視頻發送組成）、各種外部觸發接口及通信接口，并支持SD卡（最大16G）。同時此設備還內嵌WEB服務器，并添加了人臉檢測及數量統計、火災檢測、車牌識別、去霧算法等。適用于智能交通、航空航海、火災檢測、公共安全等眾多領域。

傳統的相機都是由成像部分、圖像傳輸部分組成的，現在99%的相機都沒有智能處理部分。我們所做的相機不光要有傳輸，而且要有智能處理，例如火災檢測可以檢測出火焰，在校園里面可檢測出自行車或行人。還有去霧的方法，考慮到速度問題，進行了基于DSP的優化和相關改進，這對于改善濃霧天氣的交通環境非常有用。

如果把這個IP相機和RFID（無線射頻識別技術）結合起來，還可以實現視頻定位跟蹤，當你走到敏感區域的時候，它會自動切換到這個位置。目前我們還做了安全預案及高清智能相機的物聯網結合方案，可以有效實現煤礦、煙花、危化行業的安全生產監控，安全事件的提前預警、危險事件的自動報警（火災、煙霧、入侵）及安全預案的自動執行。

當音視頻數據上了物聯網之后，目前面臨的最大的問題就是延遲，特別是在云平臺進行數據分布式存儲以后，每當檢索的時候就要預備數據，預備數據時延遲很長，現在傳統的音視頻解決方案都不能很好地解決這個問題。因此數據存儲機制和檢索機制，是我們下一步要攻克的方向。