基于嵌入式中間件TAO的實時視屏傳輸系統

賈 曉 強

(渭南師范學院 網絡安全與信息化學院，陜西 渭南 714099)

?

基于嵌入式中間件TAO的實時視屏傳輸系統

賈 曉 強

(渭南師范學院 網絡安全與信息化學院，陜西 渭南 714099)

摘要：分析了實時視屏傳輸系統在集群作戰平臺下的應用,提出了利用嵌入式實時中間件技術構建異構平臺下的分布式視屏傳輸系統的解決方案。為了驗證該方案的可行性和實時性，結合CORBA A/V 服務和CORBA NanemingService 服務，實現了基于嵌入式中間件TAO構建的實時視屏傳輸系統。該系統由客戶端和服務器端兩部分組成，客戶端根據角色分為發送方和接收方，并采用MFC和MiniGUI開發用戶界面，運行在Windows系統和Linux系統上，服務器端構建在VxWorks系統之上提供轉發數據功能。以100 Mbit/s 帶寬局域網環境用6臺測試機進行了測試，實現了視屏的發布、訂閱、播放、暫停等功能。在實時性方面,視屏數據從采集到播放端延遲在150 ms 左右。帶寬占用方面，在352 pixel*288 pixel 單張采集畫面、每秒32 幀的情況下，消耗帶寬僅占用500～540 kbps, 實現了低帶寬消耗。

關鍵詞：TAO；異構平臺；視屏傳輸；MFC；瘦客戶機

近年來，中間件技術和分布對象計算技術的結合在軍事、航空、通訊、工業控制等領域得到了廣泛的應用。中間件技術在分布式實時系統中的使用減少了硬件、操作系統、應用軟件三者之間的相互依賴程度，提高了系統的互操作能力。目前主流的中間件產品有OMG CORBA、Sun J2EE、Microsoft DCOM等。OMG CORBA與J2EE、DCOM相比，不僅在事務處理、安全服務方面表現良好，而且它的跨語言能力和跨平臺能力更是后者所不能比擬的。

目前，在實時中間件的研究上最為活躍的是華盛頓大學(Washington University)和加利福尼亞大學(University of California)Irvine分校，他們研發的TAO遵循CORBA[1-2]標準，它是一個滿足實時CORBA規范且支持對應用的靜態QoS要求的高性能分布式中間件平臺。其研究成果已成功地應用到了軍事、航空、工業控制領域，取得了良好的軍事和經濟效果。

在國內，這方面的研究大致始于20世紀90年代，投入到中間件技術研究中的單位有國防科技大學、中科院軟件所、東南大學等高校和科研院所，并取得了一定的成果。與此同時，分布式多媒體應用在網絡帶寬和CPU處理能力飛速提高的前提下，需要在網絡上傳輸如多媒體音頻、視頻流等連續的、實時的數據。目前流行的多媒體實時傳輸系統包括Real Networks公司的RealVideo Player、 Microsoft公司的Vxtree。在開源軟件領域更有Open Meetings，它是一個多語言可定制的視頻會議和協作系統。它支持音頻、視頻，能查看每個與會者的桌面，還包含白板，通過白板可以導入各種格式的圖片和涂鴉。Open H.323提供了全功能的、可交互的 ITU H.323的視頻會議協議的開源C++實現。Ekiga是一個兼容SIP和H.323的視頻會議程序，兼容VoIP，IP電話通過Ekiga，可以與使用任何SIP和H.323軟硬件的遠程用戶進行視頻和音頻對話。

如果采用傳統的分布式系統構建技術，需要針對不同的嵌入式系統和不同的網絡環境編寫特定的實現代碼，使得編寫的代碼大量重復，開發成本過高，降低了系統的可靠性、可維護性和可擴展性，而且開發分布式系統面臨跨平臺、跨操作系統、跨語言、跨協議等許多問題。CORBA提供了一個公共的框架，它屏蔽了底層硬件平臺、操作系統以及通信協議之間的異構性，在本地和遠程對象之間使用統一的通信接口來為分布和異構計算機環境下開發應用程序服務。這樣，分布式應用開發人員不需要關心和重復處理與平臺相關的底層細節，可以將精力集中在具有實際功能的應用邏輯開發過程中，而且會大大降低系統的開發代價，縮短開發周期，使系統更易于維護和升級。

本文的主要目標是在分布式異構平臺[3-4]環境下，利用CORBA中間件[5]技術實現一個多平臺下的實時視屏數據傳輸系統。其中涉及視頻傳輸技術、CORBA中間件技術在嵌入式和實時性操作系統方面的應用，對開源CORBA產品ACE+TAO的裁剪[6]和移植等關鍵內容。同時，分析了實時視屏傳輸系統在多作戰平臺下實現視屏實時傳輸的主要功能需求，基于ACE/TAO設計，同時可實現一個分布式的視屏數據實時傳輸系統。

1　需求分析

1.1功能需求分析

根據異構平臺下嵌入式實時視屏數據傳輸系統的需求描述。該系統需要發布視屏、訂閱視屏、查詢視屏、開始接收視屏、暫停視屏、退訂視屏、獲取視屏、獲取系統日志等基本功能，參與者是視屏采集端、視屏訂閱端、系統管理員。該系統的用例圖如圖1所示。系統有3個參與者，分別是視屏發送端、管理員、視屏接收端。發送端首先向系統注冊，注冊成功之后開始發布視屏，首先修改全局的視屏發布訂閱數據中心，然后通過數據傳輸系統傳輸數據。視屏數據的采集設備可以是采集卡、usb 攝像圖、桌面錄制工具等。視屏接收端首先向系統進行注冊，然后通過查詢視屏列表訂閱相應的視屏，訂閱成功之后通過視屏傳輸模塊接收相應的視屏數據，實時播放，在接收視屏之后可以進行暫停視屏和取消訂閱操作。系統管理員可以查詢系統狀態，管理視屏發布端和接收端的注冊任務，設置視屏接收端能接收到的視屏權限。

1.2性能需求分析

本系統主要解決分布式視屏數據的實時傳輸，所以在性能方面主要考慮以下幾個方面：

(1)FPS(Frames PerSecond)幀速率：每秒鐘傳輸畫面幀的個數，如果每秒能傳輸的幀數太低，就會影響整個視屏傳輸的效果。同時FPS越高，視屏畫面延遲越低。

(2)壓縮率：由于原始視屏數據量巨大[7-9]，所以在視屏傳輸系統中傳輸的數據都是經過視屏壓縮技術壓縮過的。壓縮率越高，占用的帶寬就越低。

(3)圖像分辨率：視頻都是由一張張的圖像連續播放構成的，圖像又是由一個個連續的像素點組合而成的。圖像分辨率越高，占用的存儲空間就越大。在固定的壓縮率下，圖像分辨率越大，占用的帶寬就越高。

(4)帶寬：網絡每秒能傳輸的數據量。由于物理帶寬是固定的，不能改變。當系統的最低帶寬需求高于物理帶寬的時候，系統就不能在該網絡情況下運行，導致看到的畫面質量下降。

1.3數據分析

根據嵌入式實時視屏數據傳輸系統的業務需求，該系統的數據流是從視屏采集端發送給傳輸系統的，傳輸系統根據視屏接收端的訂閱情況，進行視屏數據流的分發、傳遞。數據流程圖如圖2所示。視屏發送端、視屏接收端都可以通過用戶ID進行系統的注冊和注銷。注冊和注銷功能通過修改系統數據記錄進行注冊注銷。管理員可以通過查詢命令查詢系統運行狀況，并且通過權限控制命令控制各個視屏訂閱端和發布端的系統權限。視屏發布端通過輸入發布命令發布視屏數據，視屏數據經過壓縮、組包之后存儲在視屏數據緩沖區，視屏分發器根據注冊、視屏發布、視屏訂閱、權限這些控制信息進行數據包的分發，接收端接收數據包，進行視屏解壓，實時顯示。同時接收端可以發送訂閱命令，以便進行視屏訂閱。

圖1　實時視屏傳輸系統用例圖

圖2　系統功能結構圖

1.4系統結構分析

集群作戰平臺上的各種系統幾乎都連接在本地的網絡中，這樣系統之間可以進行交互協作，并且管理人員可以方便地通過網絡向各個系統發送命令。同樣，如果開發的實時視屏傳輸系統能夠利用本地網絡來實現數據傳輸功能，這樣就能以統一的方式，實現對各種桌面系統和嵌入式系統上的多媒體信息進行傳輸和控制。

在實時視屏傳輸數據鏈路中，主要包括前端信息采集和后端接收顯示。如果后端節點需要接收同一前端節點的視屏數據，并且后端節點能夠實時控制視屏數據的傳輸方式和傳輸速率，那么，在前端節點就需要維護對多個節點的連接，并且需要將一份數據轉發多次。由于分布在網絡中的計算機硬件系統和軟件平臺種類繁多，前端和后端節點往往都需要保持瘦客戶機[10]模式。

基于以上原因，本文提出了一種發送、轉發、接收的通信框架結構，如圖2所示?？蛻舳酥饕撠煂σ曨l信息的采集和監控，服務器負責維護與多個客戶端的連接，并完成對節點的管理和數據的存儲轉發?；谠摽蚣荞詈狭艘暺涟l送端和視屏接收端，發送端不需要知道接收端的存在，接收端也不需要知道發送端是誰，并且可以靈活地在各個數據傳輸通道上使用不同的傳輸協議，實現傳輸協議的可插拔?？梢栽谝暺涟l送端和視屏接收端使用不同的網絡模型和編程模型，并且在轉發服務器端可以實現權限控制、流量控制、轉發策略控制等控制功能。在視屏的發送端和接收端系統平臺都不變的情況下，服務器端可以選擇具有強實時性的VxWorks[11-12]系統作為服務器端，使整個系統具有更高的橫向擴展功能和實時性。

2　系統設計

首先給出系統的總體設計，根據系統要求進行分層設計，最后給出各層具體模塊的詳細設計。按照前面提出的功能需求和性能需求，實時數據傳輸系統應該能夠不依賴于具體的操作系統和網絡傳輸協議。根據視屏接收端的訂閱情況實現視屏數據的實時采集、分發、顯示等。在視屏接收端能夠進行查詢、訂閱、播放、暫停視屏功能。系統管理員可以在線查閱系統運行情況和設置系統權限?；谝陨闲枨螅撓到y設計如圖2所示。

系統采用分層設計，分為操作系統層、中間件層、基礎設施層、表現層等。

(1)操作系統層：整個系統運行在操作系統層之上；

(2)中間件層：該層使用底層操作系統的具體實現，屏蔽底層多個操作系統的差異，選用開源CORBA 產品TAO 作為基礎中間件，CORBA A/V 服務實現流式數據服務，CORBA Nameing Service 服務實現節點管理；

(3)基礎設施層：包括流管理、實時數據分發、實時數據處理模塊、節點管理等；

(4)表現層：實現視屏發布用戶需要的發布視屏，視屏接收端需要的查詢、訂閱、開始、暫停視屏功能，管理員需要的查詢系統運行狀況、權限設置功能。

上述模塊首先根據功能進行層次劃分，利用ACE+TAO 作為底層的中間件層提供給上層的基礎設施層基本的CORBA服務、ACE封裝過的底層操作系統統一API、CORBA A/V 服務和CORBA Nameing Service 服務。在中間件層之上設計實時視屏數據傳輸系統的基礎設施層，該層由于構建在中間件層之上，保證了該層的平臺獨立性。在基礎設施之上實現業務層，該層主要解決需求分析中提到的各種業務功能。該分層設計方案提高了系統的可移植性，用中間件層保證系統能夠在多個操作系統下運行。[7]把系統的復雜性進行分層，使得復雜邏輯在基礎設施層實現。業務層主要關注具體的業務流程，利于業務層面的需求變更。

3　系統實現

3.1系統運行環境

實時視屏傳輸系統運行的目標系統包括Windows、Linux、VxWorks操作系統等。Windows操作系統作為當今使用最為廣泛的操作系統，其強大友好的圖形界面極大地方便了用戶的操作。將Windows系統用作發送端進行數據采集，以減少對硬件采集設備的驅動開發。VxWorks系統對圖形界面的支持雖然還不夠友好、操作不夠方便，但是其具有實時性、穩定性等特點，所以用在轉發端作為核心服務器。接收端采用Windows和Linux操作系統。

根據以上運行環境分析，系統需要實現嵌入式系統與普通桌面系統之間的分布式協作，所以，需要選擇合適的CORBA中間件產品。ACE+TAO是一個應用廣泛的、開源的CORBA中間件，并且基本按照OMG提供的CORBA 2.6規范來實現。它提供了對多種平臺的支持(包括Window、Linux和VxWorks操作系統)。由于ACE+TAO的源碼開放，能減少其在嵌入式系統中內存的占用，使得用戶可以根據系統需求來裁剪[9]出和優化自己需要的CORBA產品。

3.1.1ACE+TAO針對各個嵌入式平臺的定制化裁剪

在嵌入式系統中，存儲資源是非常有限的。要求基于嵌入式系統開發的程序盡量占用較小的內存和較小的程序本身的存儲空間。較小的內存占用可以對程序進行優化，但是較小的程序存儲空間占用，一直是個難點。基于以上原因，設計了一個針對ACE+TAO 動態庫裁剪的程序，使用該程序可以對ACE+TAO進行裁剪，裁剪的粒度達到.cpp 級別，也就是說如果應用程序里面使用了.cpp文件里面的函數，就編譯該.cpp文件對應的.o 文件到庫文件里面。

這個工具的目的是優化基于ACE+TAO開發的多個應用程序的動態鏈接庫的存儲空間占用?，F有的解決方案是，基于靜態鏈接的程序，程序只連接需要的對象文件模塊，但是多個程序的靜態鏈接會造成對象文件的冗余。動態鏈接的程序，多個程序共享地使用一個完整的庫文件，需要安裝整個動態鏈接庫。針對一個特殊的應用程序，該應用程序并不是把該動態庫里面所有的對象文件都使用了。該程序只是需要一個對象文件的子集。具體裁剪原理如圖3所示。

圖3　ACE+TAO的定制化裁剪程序流程圖

3.1.2TAO在多平臺上編譯安裝

TAO支持多種平臺，如Windows、Unix、Linux、VxWorks、LynxOS等。本文所述的系統需要運行在多個平臺之上，包括Window、Linux、VxWorks操作系統。在這些操作系統上編譯和安裝ACE+TAO時，方法各不相同而且配置煩瑣，因此，需根據具體的應用需要修改相應的宏和選項。

3.2系統IDL接口定義

該系統使用CORBA A/V Stream 服務作為底層的數據傳輸和控制功能，但是A/V 服務提供的控制功能不能滿足所有功能，一部分功能需要用標準的CORBA IDL 接口定義實現。IDL接口是客戶通過其發送請求對象中所定義的一系列操作的描述。接口闡明了由支持接口的對象所提供的服務是如何通過這組操作被訪問的語法描述。其中，A/V 服務接口存在A、B兩種截然不同的端類型IDL接口。接口定義已在OMG A/V stream規范中表述，這里不需要再對此進行設計。只需要在應用層調用接口中定義一個MediaCtrl接口，調用流式服務來完成對流的控制。每個模塊接口中定義的操作對應一個CORBA對象請求調用的操作?？蛻舳撕头掌鞫送ㄟ^這些操作相互通信。

3.3命名服務實現

服務器端需要解決客戶端獲得對象引用這個問題，而讓客戶端獲取對象引用的過程包括3個步驟：

第一步，服務器端提供要公布的對象給對象目錄，并以一些有意義的方式來提供要識別的對象屬性；

第二步，客戶端將需要的對象屬性提交給對象目錄，目錄將匹配的對象返回給客戶端；

第三步，客戶端使用獲得的對象引用，服務器端完成相應的操作。

在本系統中主要用CORBA命名服務實現對象的定位。服務器端將伺服對象注冊到命名服務器上，客戶程序可以通過命名服務器上提供的對象名稱將其解析成對象引用，然后客戶端發送請求到服務器，服務器處理請求并返回結果給客戶端程序。命名服務實現原理如圖4所示。

圖4　命名服務原理圖

在系統啟動前，需要先開啟命名服務。命名服務程序可以分布在局域網內的任何計算機，但是其IP地址和端口號需要對引用命名服務的程序公開。

啟動命名服務的方式：打開一個控制臺窗口，鍵入-m1。

參數說明：

-m1采用multicast(多播)方式，這樣啟動服務器程序的時候就不用再指定主機的IP地址了。

-ORBEndPoint iiop://192.168.0.100:8000:采用IIOP通信協議，并指定啟動命名服務主機的IP地址和端口號。

3.4服務器啟動

服務器端需首先啟動，這樣才能將伺服對象綁定到命名服務上，客戶端通過corbaloc獲取服務對象引用。

根據節點管理模塊的設計，每一個節點控制類對象中都包含了一個連接器對象CConnetor，而CConnector對象中包含了一個服務器對象的對象引用。因此，在注冊節點之前，需初始化與服務器的CORBA連接，這包括ORB的初始化以及服務器對象引用的獲取。初始化代碼處于CConnector的Login接口中。

首先開啟一個后臺任務運行naming 程序，VxWorks 5.5下開啟naming服務,該程序監聽的網卡是VxWorks本機的網卡。然后分別開啟任務server和client，并指定了命名服務開啟的地址。

4　系統測試

4.1測試環境

測試環境包括6臺PC機、100 M網卡、1個攝像頭、1個視頻采集卡。其中，發送端上裝有攝像頭和視頻采集卡，運行在Windows XP系統上。轉發服務器端運行在VxWorks系統上。4臺接收端計算機有2臺運行在Windows XP上，2臺運行在linux Red Hat 9.0上?？蛻舳撕头掌鞫送ㄟ^一個局域的以太網相互連接起來，構成了一個網絡環境。

4.2功能測試

由于本系統涉及客戶端和服務器端之間的通信，所以在測試過程中需要先啟動服務器端上的程序，然后啟動客戶端上的程序，并對每一個系統功能通過客戶端的相應調用操作進行測試，這樣不但測試了客戶端相應模塊的準確性和對異常的處理，也測試了各個功能模塊在服務器端的操作實現。在整個測試過程中，主要是采用黑盒測試方法，調用過程是否正確可根據調用返回值是否符合預期值、操作功能實現是否正確進行判斷。分別對節點管理、流管理進行了測試，測試過程符合期望值。

4.3性能分析

在系統通信鏈路上，分別接入1臺接收端、2臺接收端、3臺接收端和4臺接收端。這里只給出2臺和4臺接收端的情況測試,通過對以上傳輸速率方面的研究，選取分辨率為352 pixel×288 pixel進行比較，當一個數據包的大小是1 500字節時，傳輸速率大約在1 Mbps左右。當一個數據包的大小是3 050字節時，傳輸速率大約為1.5 Mbps。這是緩存的利用率提高所導致的。通過對實驗數據分析可以看到，總的傳輸率隨著連接的接收端數量增多而變大。這是由于當傳輸的總和不超過網絡最大傳輸率時，網絡帶寬的利用率提高了。多個接收端之間的傳輸速率不同，與客戶端操作系統有關。在實時性方面，在連接4臺接收端服務器的時候，依然能保證100 ms左右的延遲，符合系統所提出的120 ms 延遲。關于圖像質量方面，當前視頻壓縮標準選擇MPEG-4壓縮算法，視頻幀由I幀、P幀和B幀組成。

5　結語

實時視屏傳輸系統是基于CORBA技術實現的，和傳統方式開發的分布式系統相比，系統中各個應用對象之間的互操作更加透明，有效地實現了系統所需的各種傳輸和遠程服務功能，方便系統的升級和維護，極大地提高了系統開發效率。同時，由于對開源的CORBA產品TAO進行了裁剪，保證了系統的嵌入式應用特性，數據分發服務器使用了實時操作系統VxWorks和實時CORBA的結合，使得系統的實時性得到很大的提高。當前實現的系統轉發服務器端不能主動通知各個節點相應的系統管理信息。接收端只能通過每次調用查詢節點信息來獲取服務器所管理的節點信息。由于音視頻的采集使用不同的設備，并且采集頻率不相同，所以還需要解決音視頻數據的同步問題。

參考文獻：

[1] 彭艦.基于CORBA的分布式系統中實時容錯性的研究——分布式系統中動態調度的設計與實現[D].成都:電子科技大學碩士學位論文,2004.

[2] 朱其亮，鄭斌.CORBA原理及應用[M].北京:北京郵電大學出版社,2001.101-156.

[3] 余臘生,李徐.基于Web服務的跨網絡異構數據交換技術[J].計算機應用,2005,25(12):9-11.

[4] 李長河，趙潔，張亞玲，等.一種安全異構數據交換技術的研究與實現[J].計算機工程，2007，(2):91-93.

[5] 蘇志剛,郝敬堂，屈景怡,等.基于中間件的可修復分布式系統可靠性分析[J].計算機工程與設計,2013，34(5):1669-1672.

[6] 郭長濱,孫超,鹿欽鶴.基于USB GRUB引導及CF卡Linux系統剪裁的嵌入式系統構建[J].工業控制計算機,2012,25(3):55-57.

[7] 劉曉輝,金志剛,衛津津,等.P2P網絡多視點立體視頻傳輸的數據塊調度策略[J].計算機工程與應用,2013，(3):1-6.

[8] 劉丁瑜，楊堅，冉泳屹.基于客戶端下溢概率估計的可伸縮視頻傳輸算法[J].小型微型計算機系統,2013,34(4):739-742.

[9] 任浩,王勁林,尤佳莉.一種分階段的P2P流媒體數據調度算法[J].計算機工程與應用,2011,(23): 1-4.

[10] 徐志穎.瘦客戶機在書目檢索中的應用[J].圖書館工作與研究，2012,(6):119-124.

[11] 孔祥營，張保山，俞烈彬. VxWorks驅動及分布式編程[M].北京:中國電力出版社,2007.45-55.

[12] 王煊.基于VxWorks的BMK卡的軟件測試系統研究[J].電子設計工程，2014,22(2):38-40.

【責任編輯牛懷崗】

中圖分類號：TP311.5

文獻標志碼：A

文章編號：1009-5128(2016)16-0051-08

收稿日期：2016-01-22

基金項目：渭南師范學院(省)扶持學科數學學科基金資助項目：方程思想在文本分類中的應用(14SXZD010)；渭南師范學院特色學科建設項目：數學方法在秦東經濟社會發展中的應用(14TSXK02)；渭南師范學院教育教學改革研究項目：計算機專業學生系統能力培養和系統課程體系設置研究(JG201557)；渭南師范學院科研計劃項目：渭南市智慧城市建設中關聯政府數據的組織與應用研究(16YKS004)

作者簡介：賈曉強(1977—)，男，陜西鳳翔人，渭南師范學院網絡安全與信息化學院副教授，軟件工程碩士，主要從事基于WEB的數據挖掘研究。

The Real-time Video Transmission System Based on Embedded Middleware TAO

JIA Xiao-qiang

(School of Network Security and Informationization, Weinan Normal University, Weinan 714099, China)

Abstract:The application of real-time video transmission system is analyzed in the cluster operation platform. Proposed solutions which use the embedded real-time middleware technology to construct distributed heterogeneous video transmission system. In order to verify the feasibility of the scheme and real-time, CORBA A/V services and CORBA Naneming Service are combined with, and the real-time video transmission system of Embedded Middleware based on TAO is realized. The system is composed of client and server, and the client is composed of two parts and divided into sender and receiver according to the role. Using MFC and MiniGUI to develop user interface, running on Windows system and Linux system, the server is in VxWorks system for data forwarding function. With a 100Mbit/s bandwidth LAN environment, with six test machines testing, video of the subscription, the release, playing and pausing function have been realized. In the aspect of real-time, video data, from collecting to playing with about 150ms is delayed. Bandwidth in 352 pixel*288 pixel single collection of pictures, in case of 32 frames per second, the bandwidth consumption occupies only 500～540kbps, and realizes the low bandwidth consumption.

Key words:TAO; heterogeneous platform; video transmission; MFC; thin client

【現代應用技術研究】