基于ARM平臺交互式演示系統的設計與實現

楊亮，宋喜佳，鄧春健

（電子科技大學 中山學院，廣東 中山 528402）

在近年來隨著科技的快速發展以及智能設備的普及，人們工作生活中的多媒體設備已經從傳統的以個人電腦和電視機為主，轉變成桌面電腦、智能手機、平板電腦和電視機共同存在[1-2]。越來越多的電子設備已擺脫了“有線”的制約，能夠通過無線的方式實現互聯及信息傳遞，然而在傳統的教學課堂及辦公會議等需要進行演示及內容分享的場合，屏與屏之間的信息交互還是采用有線的方式進行連接，演講者通常需要坐在特定的位置以方便通過線纜與投影設備相連，如果有其他演講者需要使用投影設備，則經常需要換位置重新連接投影設備才能完成演講者的切換，另一方面現有一些成熟的屏幕內容共享系統，例如微軟的遠程桌面協議、x系統[3]、虛擬網絡計算[4]，主要針對PC機與PC機之間的屏幕共享，硬件成本較高。

針對以上問題，文中提出了一種基于ARM平臺交互式演示系統的設計方法與具體實現，該系統由基于ARM平臺的演示終端、基于PC平臺內容共享端及智能遙控終端三部分組成，其中演示終端基于ARM平臺，通過HDMI或VGA接口與投影儀等顯示設備相連接；基于PC平臺內容共享端采用多線程并發設計，將視頻的接收、解碼、顯示分線程獨立處理，在提高程序的健壯性的同時并降低了程序的耦合性，智能遙控終端則是一個運行在智能手機平臺的應用軟件，能夠通過藍牙與PC機實現互聯，從而實現遠程控的功能，以達到擺脫線纜束縛、降低成本、提高畫質的目的。

1 系統組成與工作原理

本系統由基于ARM平臺的演示終端、基于PC平臺內容共享端及智能遙控終端三部分組成，其中演示終端通過WiFi網絡與內容共享端相連，從而徹底擺脫了“線纜”的束縛，其系統架構圖如圖1所示。

圖1 系統網絡架構圖Fig.1 The system architecture

為降低系統運行成本，演示終端采用的就是帶圖形加速功能的嵌入式多媒體應用處理器BCM2835作為演示終端的主控芯片，上面搭載嵌入式Linux操作系統，主要完成內容的接收、解碼、顯示等功能，能夠通過hdmi、DVI、VGA等多種接口連接智能電視、液晶顯示器等屏幕。另一方面，基于PC平臺內容共享端采用跨平臺設計，整個軟件構建在QT平臺之上，借助QT平臺良好的跨平臺特性，通過捕獲屏幕，并將內容通過改進的RFB協議發送給演示終端，從而達到屏幕共享的目的。

另一方面，為方便用戶遠程控制需要分享的內容，本系統提供了一個支持Android/Windows Phone平臺的遠程軟件，通過在智能手機上安裝該，將智能手機變成了一個名副其實的“電子教鞭”，從而達到遠程控制、翻頁等功能。

2 系統組成與工作原理

2.1 系統總體設計

基于ARM平臺的交互式演示系統主要分為3個部分：基于ARM平臺的演示終端、基于PC平臺內容共享端、智能遙控終端。

1）其中的基于PC平臺內容共享端是整個系統的核心，所有的數據交互都是通過這個服務實現的，換句話說這個服務器也就是整個系統的核心大腦，它負責捕捉和封裝PC的桌面圖像和發送幀緩沖刷新。

2）基于ARM平臺的演示終端采用改進后的RFB協議來接收幀緩沖更新投影機的桌面圖像，通過對幀緩沖數據進行解碼再經過圖像顯示模塊把圖像顯示出來。

3）智能遙控終端通過無線局域網與運行在PC平臺的內容共享端進行交互，共享端收到指令后，能夠實現ppt翻頁、全屏等功能。

圖2 整體軟件架構設計Fig.2 High level design of software

圖2 所示是系統主要的兩大塊內容和其內部的詳細模塊結構圖，從圖中可以看出每個實體部分所包含的子模塊和子模塊的負責的功能。

演示終端與基于PC平臺的內容共享端通過信息交互模塊采用RFB協議實現互聯互通，內容共享端首先需要發連接請求到演示終端，雙方進行協議交互驗證后，連接成功后，基于PC平臺內容共享端通過圖像捕捉模塊來獲取窗口界面信息，并經過圖像編碼后發送到演示終端，演示終端接收到數據后通過數據解析模塊進行圖像解碼，調用調色板等操作，并將解碼后的圖像信息通過圖像顯示模塊顯示在大屏幕上，為節約帶寬，實時更新模塊負責監控共享內容是否發生了變化，如果發生了，則只發生發生內容改變的矩形區域信息給演示終端，從而達到節約帶寬的目的。

智能遙控終端為基于ARM平臺的交互式演示系統增添了遠程控制的優點，從而可以實現遠程控制PC端中的PPT翻頁等行為，由于只需安裝一個APP軟件就可以將Android/Windows phone手機變成一個遠程遙控端，實現遠程控制，因而使用非常便捷。

2.2 RFB協議的改進

RFB是一個遠程圖形用戶的簡單協議，由于工作在幀緩存級別上，故可用于所有的窗口系統，目前不少屏幕共享軟件就采用該協議，如VNC，但由于RFB協議沒有對應用場景進行優化，因此存在占用帶寬較大的缺點。另一方面，由于在屏幕共享過程中大部分場景主要是文字、圖片的內容共享。

針對傳統RFB協議占用帶寬大的問題，提出一種根據針對文字、圖片內容共享的更新機制，其更新思想為，僅同步內容已發生變化的區域，具體的說，就是通過檢測前一幀圖像數據與當前幀數據的梯度變化信息，找出需要更新的數據，再將需要更新的區域內容傳遞給對端。區域更新算法如下：

Function ContentUpdate（）

while i＜Image.size

if compareColor（PreImage，Current，i） ＞ threshold

record（UpdateZone，i）；

else

i++；

end

end

SyncContent（UpdateZone）；

end

函數ContentUpdate通過檢測前后兩幀圖片各相素點的梯度變化情況，當梯度變化大于指定閾值時，說明內容發生了變化，則通過record函數記錄像素點的位置信息，并將需要同步的內容發送給對端，即演示終端。

2.3 演示終端的實現

考慮到成本，選用樹莓派作為演示終端的硬件平臺，樹莓派是由英國樹莓派基金會所開發，目的以低價硬件及自由軟件刺激在學校的基本的電腦科學教育，該平臺銷售價格僅為 35美元，卻擁有 ARM1176JZF－S核心（ARM11系列），配有視頻輸出RCA視頻，支持PAL和NTSC制式，支持HDMI（1.3和1.4），分辨率為 640 x 350至 1920 x 1200支持 PAL和NTSC制式，可以方便的與投影機、顯示器、電視機等圖像顯示設備連接，下圖3為演示終端硬件連接圖。

圖3 基于ARM平臺的演示終端硬件示意圖Fig.3 The schematic diagram of demo terminal based on ARM platform

如圖3所示，演示終端支持HDMI接口，也可通過轉換器將HDMI轉為VGA接口，以向下兼容。平臺運行Linux 2.6.30內核，布置非常簡單，僅需通過替換SD卡上的內核文件即可達到升級系統的目的；

演示終端負責的主要功能包括：1）信息交互模塊，接受局域網內服務器的請求，通過三次握手建立TCP/IP連接，驗證服務器發送過來的RFB協議版本號等信息；2）數據解析模塊，接受服務器端發送過來的屏幕幀緩沖的更新消息，將得到的消息進行解碼；3）實時更新模塊，把解碼后的數據送到顯示緩存，還原并在顯示設備上顯示服務器的桌面信息；4）更新請求模塊，更具配置客戶端主動請求更新，其具體流程圖如圖4所示。

2.4 基于PC平臺內容共享端的實現

基于PC平臺內容共享端采用跨平臺設計，其軟件架構圖如圖4所示。

圖4 基于PC平臺內容共享端軟件架構圖Fig.4 The software architecture based on PCsharing platform

由于整個軟件構建在QT平臺之上，因此不需要更改代碼，僅需要重新編譯即可支持包括Windows、Linux在內的多個平臺，其中各個模塊的功能描述如下：1）信息交互模塊：這個模塊主要負責處理與演示終端建立連接、數據的發送接受、終止連接等，以及相關信息的驗證；2）圖像捕捉模塊：這個模塊主要負責捕捉桌面圖像，并把圖像傳給圖像處理模塊；3）圖像處理模塊：這個模塊的主要功能是把屏幕圖像信息進行壓縮編碼處理，然后把信息傳給信息交互模塊；4）實時更新模塊：通過設定計時器定時獲取屏幕的信息進行處理，每隔一定時間檢查有沒有更新，如果有更新則把更新區域通過圖像處理模塊處理后再傳送給信息交互模塊；5）網絡通信模塊：這個模塊主要完成RFB協議中的網絡連接部分工作；6）遠程控制模塊：連接建立后，手機控制終端通過按鈕控制PPT翻頁；

2.5 智能遙控終端的實現

考慮到目前智能手機的廣泛使用以及遠程控制的實際需求，我們設計了一個APP軟件，該軟件目前支持Android及Windows phone平臺，該軟件主要包括界面、遠程連接模塊兩部分，該軟件具有自動發現演示終端的功能，能夠自動檢測到在同一局域網內的正在運行內容共享端，當檢測到有多個共享端運行時，可根據用戶的輸入進行選擇，并與之建立連接，從而達到遠程控制的目的。

3 系統測試結果

3.1 測試環境準備

為更好的說明本系統的演示效果，本文設計了三組實驗進行測試:1）演示功能測試，包括word文檔、ppt文檔的內容共享效果測試；2）手機遠程控制功能測試；3）與目前現有屏幕共享軟件的性能比較測試。

具體測試環境如下：54M無線路由器一臺，用于搭建無線局域網，用于屏幕內容分享演示的筆記本兩臺，均采用Windows平臺、1280x800的屏幕分辨率，通過WiFi信號連入同一個網絡；智能手機一臺，上面安裝了遠程控制端APP。

3.2 功能測試及結果

根據實驗計劃，分別測試了word文檔、ppt文檔的演示效果及手機遠程控制功能，其測試流程如下：

1）打開基于ARM平臺的演示終端，并通過VGA接口與顯示器相連，同時演示終端通過tcp/ip網絡與無線路由器A相連，并在顯示器上顯示演示終端目前獲取的動態IP地址。

2）筆記本運行內容共享端軟件，并輸入演示終端的IP地址

3）分別運行word及ppt文檔，檢測與演示終端相連顯示器上的內容是否與筆記本上的內容一致。

4）在手機上運行遠程控制軟件，執行翻頁功能，觀察執行效果。

其測試結果分別如圖5、圖6、圖7所示。圖中樹莓派通過hdmi轉VGA接口與液晶顯示器相連接，筆記本通過網絡將屏幕上的內容共享至樹莓派連接的顯示器上。

圖5 word文檔共享測試效果圖Fig.5 Test result of word sharing

圖6 PPT共享測試效果圖Fig.6 Test result of ppt sharing

為有效評估在各個應用場景下各軟件帶寬占用率的不同，測試內容分為文字為主和以視頻播放為主的屏幕內容共享[6-8]，為保證測試結果的可比性，測試時采用同一個路由器，具體測試用例描述如下

表1 與現有屏幕共享軟件的性能比較Tab.1 Comparison of performance with existing screen-shared software

測試結果表明：該交互式演示系統能夠徹底擺脫線纜的束縛，實現方便快捷的內容共享，與傳統屏幕共享軟件相比，具有延時小的優點。

4 結束語

本文詳細介紹了一種基于ARM平臺交互式演示系統的設計方法。該系統使用戶徹底擺脫了線纜的束縛，能夠在較低的成本下通過無線網絡無縫的將需要共享的內容投射到指定的屏幕如液晶電視、投影儀等顯示設備。實驗表明，具有使用方便、成本低、占用帶寬小、實時性高的優點，能夠滿足日常會議等場合內容共享的需求，具有一定的應用前景與推廣價值。

[1]楊紅生，田地，王豐貴，等.基于 Hook和輪詢檢測機制的屏幕共享技術[J].計算機工程與應用，2009，45（5）:29-31.YANG Hong-sheng，TIAN Di，WANG Feng-gui，et al.Sharing technology based on hook and polling detection[J].Computer Engineering and Applications，2009，45（5）:29-31.

[2]張磊.無線傳屏系統的研究與實現[D].成都：電子科技大學，2013.

[3]Scheifler R W，Gettys J.The X Window System[J].ACM Transactions on Graphics，1986，5（2）:79-109.

[4]Richardson T，Stafford-Fraser Q， Wood K R，et al.Virtual Network Computing[J].IEEE Internet Computing，1998，2（1）:33-38.

[5]吳燕燕，賀鋒濤.基于 ARM9平臺上 Qt/Embedded的移植與開發[J].液晶與顯示，2013，28（2）:261-265.WU Yan-yan，HE Feng-tao.Qt/Embedded transplantation and development based on ARM9 platform[J].Chinese Journal of Liquid Crystals and Displays，2013，28（2）:261-265.

[6]楊亮，鄧春健，宋喜佳.一種基于嵌入式平臺屏幕內容分享系統的設計與實現[J].液晶與顯示，2014，29（6）:69-74.YANG Liang，DENG Chun-jian，SONG Xi-jia.Design and implementation of a screen sharing system based on[J].Chinese Journal of Liquid Crystals and Displays，2014，29（6）:69-74.

[7]賈佳.基于LabVIEW的PCI數據采集系統設計[J].工業儀表與自動化裝置，2012（6）：69-71.JIA Jia.Design of PCI data acquisition system based on LabVIEW[J].Industrial Instrumentation& Automation ,2012（6）：69-71.

[8]陽建華,鄭瑩娜,曠雪梅,等.基于PCI-1220U的電動助力轉向器性能測試系統研究 [J].工業儀表與自動化裝置，2013（2）：22-26.YANG Jian-hua，ZHENG Ying-na，KUANG Xue-mei，et al.Research on performance test of electric power steering system based on PCI-1220U[J].Industrial Instrumentation&Automation，2013（2）：22-26.