綜合業(yè)務(wù)觸控及顯示終端的設(shè)計實現(xiàn)及應(yīng)用

王艷 劉偉衛(wèi)

摘 要：文章結(jié)合綜合顯示系統(tǒng)的應(yīng)用實際，從進一步擴展指揮顯示功能的需求出發(fā)，設(shè)計了一套集視頻顯示、數(shù)據(jù)顯示、綜合態(tài)勢顯示于一體的多點觸控及顯示系統(tǒng)，在提升綜合顯示系統(tǒng)現(xiàn)場輔助決策能力方面進行了研究。

關(guān)鍵詞：多點觸控；顯示；輔助決策

1 概述

經(jīng)過多年的建設(shè)應(yīng)用，中國華陰兵器試驗中心的綜合顯示系統(tǒng)實現(xiàn)了綜合信息實時按需顯示，在任務(wù)中發(fā)揮了重要作用，為任務(wù)的組織指揮提供了可視化的指揮調(diào)度手段和信息化輔助手段，提高了整體工作效率。

但在當(dāng)前的系統(tǒng)應(yīng)用模式中，顯示大廳只為前排的操作人員和保障人員提供了工作臺位，而在觀摩席位就座的其他人員缺乏必要的個性化按需顯示設(shè)施，其通過主屏幕了解的信息非常有限，無法做到及時掌握任務(wù)進展態(tài)勢、各關(guān)鍵點實時情況和各設(shè)備工作情況等，很多情況只能由各臺位保障人員轉(zhuǎn)述，在一定程度上制約了現(xiàn)場決策的靈活性和實時性，無形中加大了任務(wù)組織實施的難度。因而有必要為后排相關(guān)人員設(shè)計一套用于及時全面掌握任務(wù)進展態(tài)勢的多點觸控及顯示系統(tǒng)，進一步豐富系統(tǒng)顯示功能和顯示方式，增強人機交互性，全面提高任務(wù)保障能力。

2 觸控及顯示終端系統(tǒng)設(shè)計

2.1 系統(tǒng)設(shè)計

多點觸控及顯示系統(tǒng)主要包括控制軟件和硬件平臺兩部分。硬件包括觸控顯示終端、高性能圖形工作站、承載支架等。控制軟件實現(xiàn)多路視頻源信息和顯示終端軟件的觸控顯示功能。系統(tǒng)連接關(guān)系如圖1所示。

2.1.1 硬件設(shè)計

多點觸控及顯示系統(tǒng)硬件主要由顯示終端、圖形工作站、承載平臺組成。

（1）顯示終端。顯示終端采用電容技術(shù)觸摸屏（Capacity Touch Panel，CTP）。可以同時顯示16路視頻源，并支持10點觸控效果。

（2）圖形工作站。圖形工作站是整個系統(tǒng)信息處理的集成終端，主要實現(xiàn)多點觸控組件驅(qū)動和數(shù)據(jù)處理。圖形工作站匯集所有接收到的模擬視頻源、數(shù)字視頻源以及計算機信息，并將其所有信息源根據(jù)需要進行相應(yīng)的編碼、編排處理，通過顯示終端展現(xiàn)給用戶。

（3）視頻轉(zhuǎn)發(fā)服務(wù)器。視頻轉(zhuǎn)發(fā)服務(wù)器是整個集成設(shè)備信息處理的轉(zhuǎn)發(fā)中心，主要實現(xiàn)視頻流的多點信息轉(zhuǎn)發(fā)處理。視頻轉(zhuǎn)發(fā)服務(wù)器匯集所有接收到的視頻流，并將其根據(jù)終端需求進行相應(yīng)的編碼處理，通過網(wǎng)絡(luò)轉(zhuǎn)發(fā)給需要顯示的終端用戶。

2.1.2 軟件設(shè)計

（1）手勢觸摸控制界面。如圖2所示，此界面安裝于圖像工作站上，是整個系統(tǒng)的操作界面。在畫面瀏覽窗口內(nèi)，實時顯示各個已正常連接的視頻畫面和遠程桌面，用戶可使用手勢在各個候選畫面進行切換，選擇出欲瀏覽畫面后將其拖放于多畫面實時顯示窗口。在多畫面實時顯示窗口中放大顯示選中的各種畫面，包括視頻畫面、錄像畫面和遠程桌面。用戶可以隨意在單畫面、四畫面、九畫面之間進行切換。用戶可通過該窗口進行視頻畫面的放大、縮小、平移、推拉等操作（見圖3），并可根據(jù)連接設(shè)置情況進行顏色、對比度、亮度、色度等畫面調(diào)節(jié)。

（2）遠程桌面控制。在電子地圖和參數(shù)顯示等計算機上安裝遠程桌面服務(wù)系統(tǒng)，觸屏計算機可進行遠程桌面控制。該服務(wù)系統(tǒng)可響應(yīng)遠程客戶端的鼠標(biāo)和鍵盤輸入，并將本地顯示畫面實時流暢地傳遞給圖形工作站。同時該圖形工作站還能響應(yīng)遠程手勢觸摸操作，根據(jù)鼠標(biāo)手勢進行地圖軟件的放大縮小、平移切換等操作。

（3）遠程視頻點播。遠程接收視頻，選擇最佳畫質(zhì)碼流，使用RTP流媒體協(xié)議實時播放選中的視頻畫面，在視頻服務(wù)器提供聲音功能的情況下，自動選取相應(yīng)聲音同步播放，可對選看的視頻畫面進行平移、縮放和推拉操作。

（4）遠程視頻錄像。存儲遠程視頻，并提供界面進行回放。對于觸屏客戶端接收到的視頻流進行本地存儲，提供界面以方便事后回放。回放界面應(yīng)包含播放、暫停、快進與快退功能。

（5）數(shù)據(jù)瀏覽。內(nèi)置網(wǎng)頁瀏覽器；顯示數(shù)據(jù)服務(wù)器的上網(wǎng)頁內(nèi)容。操作界面上內(nèi)置網(wǎng)頁瀏覽器，可同時顯示（兩幅）網(wǎng)頁數(shù)據(jù)畫面，并可以對其顯示頁面進行觸屏操作，根據(jù)鼠標(biāo)手勢進行瀏覽頁面的放大縮小、平移切換等操作。

（6）視頻轉(zhuǎn)發(fā)服務(wù)。轉(zhuǎn)發(fā)接收到的視頻流，支持8臺以上的觸屏客戶端。本系統(tǒng)設(shè)計時，需要接收視頻編碼器傳輸?shù)囊曨l流，目前正在應(yīng)用的北清視頻編碼器只提供最多5路視頻流，遠遠不能滿足系統(tǒng)至少8臺觸屏控制終端同時顯示的功能。而且北清的視頻編碼器還需要對其他系統(tǒng)提供視頻流，所以在本系統(tǒng)中，從北清視頻編碼器接收的視頻流只能限定為一路。為了將收到的一路視頻流分發(fā)給至少8臺觸屏終端，在系統(tǒng)中增加一臺視頻轉(zhuǎn)發(fā)服務(wù)器并配置相應(yīng)的視頻流轉(zhuǎn)發(fā)軟件，由視頻轉(zhuǎn)發(fā)服務(wù)器實時將接收到的視頻流轉(zhuǎn)發(fā)給多臺客戶端，系統(tǒng)設(shè)計至少支持16臺的觸屏客戶端。

（7）用戶管理。角色設(shè)置，安全操作，功能授權(quán)。系統(tǒng)設(shè)置多種用戶級別，對用戶操作功能與權(quán)限進行分類，設(shè)置不同的角色，每一種角色對應(yīng)相應(yīng)的功能操作權(quán)限。系統(tǒng)設(shè)置有超級權(quán)限管理員，所有用戶及角色都超級管理員創(chuàng)建并逐級下發(fā)管理，并在必要時所有權(quán)限均可由超級管理員收回。使用系統(tǒng)的每一個用戶都?xì)w屬于不同的用戶角色，并且只能使用該角色限定的操作功能。根據(jù)實際安全需求本系統(tǒng)設(shè)置的用戶角色管理員、操作員和瀏覽用戶3種角色，分別是管理員、操作員、瀏覽用戶。

（8）參數(shù)配置。參數(shù)配置包括：預(yù)覽區(qū)域配置，字幕疊加，配置文件管理。

①預(yù)覽區(qū)域配置。預(yù)覽區(qū)域至少顯示16路視頻圖像和遠程桌面窗口，系統(tǒng)超級管理員對預(yù)覽區(qū)域中每一路顯示畫面均可以單獨進行配置，可配置其IP地址、端口號、視頻類型、解碼方式、顯示比例、最佳質(zhì)量等。系統(tǒng)管理員也可以根據(jù)需求額外增加并配置顯示畫面。

②字幕疊加。每一路畫面最多可顯示16個漢字的標(biāo)題。標(biāo)題文字的設(shè)置由超級管理員完成，超級管理員可針對每一路顯示畫面單獨設(shè)置是否允許疊加文字以及疊加文字的內(nèi)容。

③配置文件管理。所有的系統(tǒng)配置參數(shù)包括預(yù)覽區(qū)參數(shù)設(shè)置、文字疊加設(shè)置等都以XML文件格式保存在運行文件夾之下，系統(tǒng)管理員可以按試驗名稱保存當(dāng)前信號源配置信息，并將配置文件導(dǎo)出保存。

④本地與遠程配置。系統(tǒng)提供本地操作配置界面，所有配置操作均由超級管理員在本地操作完成，可將配置文件導(dǎo)入或?qū)С觯稍O(shè)置預(yù)覽區(qū)畫面信息等。

2.2 系統(tǒng)原理

多點觸控及顯示系統(tǒng)由位于底層的操作系統(tǒng)層、網(wǎng)絡(luò)通信層、網(wǎng)絡(luò)服務(wù)層和應(yīng)用顯示層4部分組成，如圖4所示。

2.2.1 操作系統(tǒng)層

操作系統(tǒng)層是整個系統(tǒng)的基礎(chǔ)運行平臺，主要向上層提供所需要的硬件驅(qū)動、外部設(shè)備接口、內(nèi)存管理與進程控制等服務(wù)。其中硬件設(shè)備的驅(qū)動是選擇操作系統(tǒng)首要考慮的內(nèi)容，如觸摸屏多點觸控驅(qū)動、聲音驅(qū)動、圖形卡驅(qū)動、網(wǎng)卡驅(qū)動等都需要操作系統(tǒng)層面的支持。

2.2.2 網(wǎng)絡(luò)通信層

網(wǎng)絡(luò)通信層使用國際標(biāo)準(zhǔn)的TCP/IP協(xié)議來在多個服務(wù)器與控制終端之間進行網(wǎng)絡(luò)包交換通信。考慮到視頻流與音頻流的突發(fā)性與實時性，對于音視頻數(shù)據(jù)包采用面向無連接的UDP數(shù)據(jù)報協(xié)議，以減少傳輸過程中的抖動和反復(fù)，最大限度的保障音視頻流的實時與流暢。

2.2.3 網(wǎng)絡(luò)服務(wù)層

網(wǎng)絡(luò)服務(wù)層是在網(wǎng)絡(luò)層之上提供的可供客戶端使用協(xié)議來調(diào)用的各類服務(wù)。系統(tǒng)中包含的視頻調(diào)用服務(wù)使用原有北清、海康、松下視頻服務(wù)系統(tǒng)。

遠程桌面服務(wù)安裝于參數(shù)計算機和地圖等計算機上，用于提供遠程虛擬桌面服務(wù)，通過標(biāo)準(zhǔn)訪問控制協(xié)議對外提供本地計算機的屏幕圖像，并接收遠程控制界面的鼠標(biāo)和鍵盤控制信號，模擬出一個遠程的虛擬計算機桌面。

2.2.4 應(yīng)用顯示層

應(yīng)用顯示層是本系統(tǒng)的顯示界面和操作中心。使用穩(wěn)定可靠的計算機編程語言，保障各子功能的流暢顯示，增加對指針設(shè)備的多點觸摸控制，利用流行的拖拽操作方式，結(jié)合操作界面中的窗口、按鈕、菜單等界面元素完成畫面分割、手指觸控和地圖漫游的功能。支持鼠標(biāo)、手勢的放大、縮小、輕點、滑動、雙指、3指等。

應(yīng)用顯示層還集中了視頻調(diào)用、遠程桌面和網(wǎng)頁瀏覽客戶端，通過這3個客戶端來跟網(wǎng)絡(luò)服務(wù)層中的相應(yīng)服務(wù)進行交互，完成相應(yīng)的功能。

3 多點觸控及顯示系統(tǒng)功能及設(shè)計特點

3.1 多點觸控及顯示系統(tǒng)功能

多點觸控及顯示系統(tǒng)具有以下8個功能。

（1）系統(tǒng)具有普通賬戶和管理員兩種用戶權(quán)限，普通帳戶只具備畫面調(diào)閱功能，管理員賬戶除具備普通賬戶的權(quán)限外，還具備圖像源信息維護和全部的顯示控制功能，系統(tǒng)支持動態(tài)切換帳戶。

（2）觸控顯示終端顯示界面分為主顯示區(qū)域和畫面預(yù)覽區(qū)域。

（3）在主顯示區(qū)域內(nèi)系統(tǒng)可以根據(jù)需要進行單畫面、四畫面、六畫面、九畫面顯示和切換，雙擊選中的各種畫面進行全屏顯示，顯示畫面包括視頻畫面和遠程桌面，顯示畫面能進行放大、縮小、平移、推拉等操作。

（4）在畫面預(yù)覽區(qū)域內(nèi)，可顯示全部已正常連接的視頻畫面和遠程桌面的實時畫面，單屏可同時顯示8～16路（路數(shù)可自定義設(shè)置），通過手指左右劃動實現(xiàn)當(dāng)前顯示畫面的切換，通過手指上下劃動實現(xiàn)預(yù)覽畫面向主顯示區(qū)域的選擇性拖放。

（5）系統(tǒng)可同時接收顯示至少6路計算機信號及10路IP視頻圖像共計16路信號，所有接收的視頻圖像可以錄像保存至本地硬盤中，在需要時可調(diào)閱回放。

（6）系統(tǒng)可同時顯示（至少兩臺）電腦屏幕信息畫面；并可以對其顯示畫面進行觸屏操作；可對電子地圖進行放大、縮小、平移等操作。

（7）預(yù)覽區(qū)域顯示信息可以本地和遠程進行配置和預(yù)覽，系統(tǒng)可通過字幕疊加方式遠程和本地配置各顯示畫面的文字說明，可按試驗名稱保存導(dǎo)出當(dāng)前信號源配置信息，以便下次相同試驗時，直接導(dǎo)入使用歷史配置信息。

（8）系統(tǒng)內(nèi)置網(wǎng)頁瀏覽器，可同時顯示（兩幅）網(wǎng)頁數(shù)據(jù)畫面，并可以對其顯示畫面進行觸屏操作。

3.2 技術(shù)特點

3.2.1 穩(wěn)定可靠的組織架構(gòu)

系統(tǒng)組織架構(gòu)中的各個組成部分均采用經(jīng)過時間驗證的可靠性極高的成熟系統(tǒng)與協(xié)議，這些系統(tǒng)與協(xié)議也代表著國際公認(rèn)的未來發(fā)展的正確方向，有著良好的兼容性和后續(xù)發(fā)展動力。

3.2.2 國際標(biāo)準(zhǔn)的通信協(xié)議

網(wǎng)絡(luò)服務(wù)之間的協(xié)議全部采用流行的國際標(biāo)準(zhǔn)協(xié)議，包括視頻通信協(xié)議、遠程桌面協(xié)議和網(wǎng)頁瀏覽協(xié)議，沒有自定義任何私有的通信協(xié)議，這十分有利于系統(tǒng)的接口與集成。任何系統(tǒng)只要支持這些國際標(biāo)準(zhǔn)協(xié)議都可以無縫地與本系統(tǒng)進行對接，使用本系統(tǒng)的全部或者任何一部分功能。

3.2.3 先進的界面展現(xiàn)與操作方式

通過先進的多點觸摸設(shè)備，提供手勢操作的功能，結(jié)合流行的視頻畫面分割與拖拽技術(shù)，展示給用戶一個清新絢麗而又易于理解操作的控制界面。強勁動力的圖形工作站、寬闊護眼的視網(wǎng)膜級大屏、簡單無需學(xué)習(xí)而且符合人體操作習(xí)慣的界面行為方式，必將會給用戶帶來一個全新舒適的操控感受。

4 結(jié)語

建立多點觸控及顯示系統(tǒng)，各類人員可以通過顯示屏瀏覽任務(wù)現(xiàn)場畫面及綜合態(tài)勢情況，可直觀地掌握任務(wù)發(fā)展態(tài)勢，指揮員可依據(jù)顯示信息的相關(guān)情況下達命令。該系統(tǒng)拓展了各類決策人員的視野，縮短了任務(wù)中的各類事項上傳下達的時間，提高了任務(wù)整體執(zhí)行效率。

[參考文獻]

[1]殷旭，俞雅玲，王媛，等.采用良好觸控體驗尺寸的自適應(yīng)用戶界面生成方法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2014（4）：662-668.

[2]夏潔.Synaptics與比亞迪合作開發(fā)新的汽車觸控屏解決方案[J].計算機與網(wǎng)絡(luò)，2016（5）：76.