基于集群的Web并行超高分辨率顯示技術①

孫峻嶺,假露青,劉其軍,汪操根

(廣州瀚陽工程咨詢有限公司,廣州 510220)

1 引言

近年來,得益于圖形軟硬件的發展和互聯網的廣泛應用,高性能的圖形顯示系統已經開始在大規模科學計算可視化、計算機支持的協同辦公、城市核心管理、遙感、指揮、會展行業等諸多領域得到應用[1].人們對海量的Web資源顯示的實時性、顯示尺寸、顯示質量和協同工作都提出了更高的要求,實時Web超高分辨顯示將成為一種技術趨勢.

目前國內外有許多大學和研究機構都在此領域進行研究,進行了許多理論研究和實際開發工作,并取得了許多優秀的研究成果.國外比較具有代表性的包括Princeton 大學的 Display Wall項目,Minnesota 大學的Power Wall顯示系統,以及芝加哥 Illinois大學 EVL 實驗室的SAGE和SAGE2系統.國內復旦大學針對多通道的高分辨圖像、視頻顯示問題,也研發了高分辨顯示系統[2-5].傳統的信息顯示系統通過采用信息集中處理工作的方式,將所需顯示的數據和程序都在一臺核心處理機上進行集中處理[6].這種顯示方式和DLP投影拼接技術都存在顯示分辨率有限、信息顯示處理速度慢、無法實現海量資源異地共享顯示、無法以高分辨率顯示多種類的Web資源等缺陷[7].

為滿足Web信息超高分辨、實時性異地顯示需求并克服傳統的大屏幕拼接系統的缺陷,文中通過構建基于集群的Web并行超高顯示系統-SuperVis,結合瀏覽器技術和集群并行處理技術,該技術能以高性價比的前提下大幅度的提高大屏拼接顯示系統對Web信息的超強處理速度和高分辨的顯示能力,使得Web信息在處理速度和顯示質量上滿足用戶的要求,利用高速網絡呈現從高清圖像和視頻到PDF文檔和筆記本電腦屏幕的內容,顯示來自遠程的像素流.在此基礎上形成一套完整的集群大屏拼接顯示系統設計架構,實現一套完整可靠的Web資源超高顯示的解決方案.

2 SuperVis系統結構

SuperVis系統采用互聯的計算機集群來進行分布式處理,各個節點機都包含應用程序,這些應用程序集成有瀏覽器的基本組件和資源引擎模塊,能夠快速的獲取互聯網上的多種類型的網頁資源.同時各個節點機可以充分利用網絡上計算機資源,實現節點計算機之間的資源共享.系統采用分布式架構和模塊化設計模式,以相對低廉的造價實現數據可視化的異地共享,使用這種設計和架構使得SuperVis系統穩定性強、可用性高、可擴展性好.

SuperVis系統是一種基于集群的網絡結構,集群是一組相互獨立的,通過高速局域網互聯的計算機組成的集合體.由于集群計算機系統結構簡單、計算能力強、易于搭建,同時,還具有自由擴展、靈活性好、高性價比的等諸多優點,因此成為了大規模計算的理想平臺[8,9].

2.1 SuperVis硬件環境搭建

通過集群網絡技術構建的SuperVis系統硬件結構如圖1所示:包括拼接顯示屏、顯示子節點、顯示主節點機等.各部件以高速的以太局域網連接,形成了分布式并行計算的集群環境.所有的子節點機由主節點計算機統一調度控制管理,用戶可以通過配有可視化的控制界面直接控制管理主節點計算機.在各個節點機上都采用相同的操作系統、資源管理系統和編譯環境.系統搭建過程中可以根據實際要求,線性的增加子節點計算機,其中子節點集群與可擴展超高分辨顯示屏相連接,每個子節點計算機配置有微型處理器并連接1-4臺顯示設備.因此,系統的整體顯示分辨率,能夠隨著子節點機和關聯的顯示屏的增加而成倍的增長,其顯示像素可達 10 億以上.另外,拼接顯示屏的造價相對低廉,且可擴展顯示屏的形狀可以隨意變更.

圖1 SuperVis 系統硬件結構圖

2.2 SuperVis軟件框架設計

SuperVis系統由可擴展超高分辨顯示屏、計算機網絡、用戶接口、主節點計算機和子節點集群組成,其軟件結構如圖2所示:其中主節點計算機對計算機集群并行計算控制顯示系統進行統一集中管理控制并提供與用戶交互的通訊接口,通過所述高速集群網絡保持主節點計算機和子節點實時通信.經子節點集群采集和處理后的網頁信息通過可擴展超高分辨顯示屏進行顯示.其中子節點集群及主節點計算機均采用模塊化的設計,并且均包含:Web基本組件、含有Web瀏覽器的應用程序、同步控制模塊、通訊接口及Web資源引擎模塊(如:視頻引擎、圖像引擎、3D引擎等),特別的,子節點集群還包含顯示調度模塊和信息渲染模塊.

圖2 SuperVis 軟件結構圖

3 系統實現方案

系統通過用戶接口,接受用戶輸入的命令并通過可視化的操作界面于用戶進行交互.同步控制模塊根據用戶指令,控制應用程序的通訊接口將相應圖像處理傳送到顯示集群子節點機.含有Web瀏覽器的應用程序將互聯網資源從Web服務器上獲取,然后形成原始圖像數據流,流化到一個高分辨率的內存緩沖區內.數據流經過子節點集群的顯示調度模塊處理后生成全局的原始圖像數據[10].然后根據配置信息,對此圖像進行分布式并行渲染處理.圖像處理結束后,并將圖像數據傳輸到子節點機.目標節點的地址和位置信息將會以消息流的形式,由同步控制模塊通知顯示節點,最后顯示節點根據同步控制模塊發來的位置信息,將圖像顯示在可擴展分辨顯示屏上.

以下將對基于瀏覽器的應用程序設計、Web資源引擎設計、應用程序接口類的設計、窗口消息管理,網絡傳輸協議的選擇等進行詳細說明和闡述.

3.1 應用程序設計

SuperVis系統中,主節點計算機和子節點集群都集成基于瀏覽器的應用程序,應用程序集成瀏覽器內核可完成與互聯網通信,瀏覽器中封裝了Web基本組件并通過HTML5和資源引擎支持原生二維和三維渲染.系統采用JavaScript(簡稱JS)技術構建瀏覽器的Web資源引擎,用于對互聯網的多種類型資源的獲取和渲染顯示[11-13],其中瀏覽器由Web的基本組件和相關的Web資源引擎組成,Web資源引擎是跨平臺的,可以自動下載所需依賴項.對于不同的網頁資源配置不同的資源引擎,以此來高速采集Web服務器上的視頻文件、視頻會議、GIS地圖、衛星影像、3D模型、BIM、圖片、文本、PDF等信息,并通過顯示渲染調度模塊將多種網頁智能排列、組合、顯示在可擴展超高分辨顯示屏上.

應用程序消息提供了同步控制模塊和用戶之間的交互API接口,用戶通過鍵盤、鼠標發出的命令,通過應用程序消息,發送給同步控制模塊.同步控制模塊經過分析后,對消息做相應的處理,控制整個系統的工作流程,其中API接口如表1所示.

表1 應用程序接口庫

3.2 信息采集同步

系統采用TCP/IP傳輸協議進行互聯網資源的采集下載,依靠TCP/IP協議實現了網絡的互聯,形成一個統一的計算機網絡,為實時獲取互聯網上的資源提供保障[14].顯示客戶端通過同步控制模塊響應主節點機的控制命令并實現各個節點機的顯示同步.然后各個顯示節點機進行信息內容的采集、建立顯示環境、對影像信息進行重新裁剪繪制.系統使用應用程序集成的瀏覽器來訪問云服務器,并根據URL鏈接到云服務器的特定信息資源.為了用唯一的ID標識每個顯示客戶機,我們將一個參數附加到URL上,將其映射到可擴展顯示屏上的特定行和列.每個顯示屏給定其編號并按照其在網格上的坐標位置[15],通過偏移內容顯示其自己的視圖.

網頁上的視頻文件、視頻會議、GIS地圖、衛星影像、3D模型、BIM、圖片、文本、PDF等信息實時采集顯示流程如圖3所示.

圖3 子節點機的信息采集顯示流程

3.3 接口類設計

SuperVis系統采用類封裝方法來實現所述各項功能,其封裝結構如圖4所示.類包括ShowWindow類、SourceInterface類及各種信息源類.ShowWindow類是所有顯示窗口類的父類,實現各類信息源在顯示窗口中的顯示[16].顯示系統新建顯示窗口類的具體步驟如下:

① 新建ShowWindow類,定義窗口坐標位置、大小和顏色;

② 給 ShowWindow 類的 SourceInterface賦值,實現與信息源的關聯;

③ 渲染信息源紋理,實現信息源在指定窗口中的顯示.

SourceInterface是所有信息源類的父類,通過繼承,可以針對不同的信息源生成Image、Movie、Stream、PDF、Text等顯示信息源.其中ShowWindow類帶有SourceInterface類的顯示窗口位置坐標、顯示窗口大小等信息,能夠接收用戶指令并實現窗口位置移動,窗口單邊和比例縮放等功能.另一方面,SourceInterface類是一個抽象類,帶有信息源類型及信息源紋理等信息,位于ShowWindow類及各種信息源類之間,是兩者之間溝通的渠道,ShowWindow類依靠SourceInterface類與相應的信息源類的聯系,從而實現直接的信息源操作與同步控制.

在設計好的接口類下,根據用戶指令可以獲得一個顯示窗口后,利用顯示窗口就可以獲得窗口的信息源的實例ID,根據信息源的實例ID就可以判斷該信息源的類型;這樣就可以根據不同的信息源類型進行信息源的個性化操作控制.例如:實現文字顏色、字體等屬性的調整等操作,實現視頻文件的播放、暫停,實現三維模型的任意角度查看.

其中用戶于可視化用戶操作界面交互的消息分為以下幾類:注冊和關閉類、應用程序相關類、窗口相關類、性能相關類.詳細的消息描述如表2所示.

表2 用戶交互的消息類型

3.4 窗口消息管理

同步控制模塊集成有窗口消息管理模塊,用來實現系統中消息的響應、解析和傳遞和各個節點機的信息同步,通過調用相對應的消息模塊對主節點機的事件進行處理.各個節點機的應用程序通過消息管理對主節點機的事件進行響應,然后針對網頁上的信息源進行編輯、搜索、歸檔、顯示等操作[17].在節點機中,顯示調度模塊對顯示屬性進行預先配置并對信息源內容進行有序的讀取和智能調度,在所述可擴展的拼接顯示屏上預先進行窗口設置和排列,通過信息渲染顯示模塊顯示輸出并對信息源進行窗口布局、層疊、繪制、位置移動和比例縮放,其中窗口消息處理示意圖如圖5所示.

圖5 消息處理示意圖

信息源的窗口顯示過程的詳細步驟如下:

① Init (id,width,height,resrc,date),初始化窗口實例id、大小、資源目錄路徑;

② Draw (date),繪制窗口,其中 date 是日期 (用于計算動畫的 t和 dt),在應用程序中,如果需要重繪,可以調用‘refresh()’;

③ Resize (date),調整窗口的大小,實現窗口的單邊縮放和比例縮放;

④ Load(),加載將要顯示的信息資源;

⑤ Moved (px,py,wx,wy,date),應用程序窗口移動到屏幕空間 (左上角)(px,py)的位置,(wx,wy)是在可擴展顯示屏所占的大小;

⑥ Event (type,position,user,data),type 是事件的類型,position 包含事件的 x 和 y 位置,user包含觸發事件的用戶的數據,data是包含事件額外數據的對象;

⑦ Quit(),關閉應用程序窗口.

4 實驗結果

通過瀏覽器直接獲取網站上http://www.sosyes.cn/的衛星地圖,并通過本文所述的SuperVis系統將它顯示出來.其中傳統的信息顯示系統通過采用信息集中處理工作的方式,完成多種類型的影像顯示,這種顯示方式,其分辨率受到終端計算機顯卡和計算能力的限制,其最高分辨率最高為 1920×1080,如圖6所示.

圖6 傳統的顯示結果

而在相同尺寸的顯示屏幕下,采用集群的并行超高顯示技術的SuperVis系統是由一臺主節點機和3臺子節點機組成,每臺子節點機控制器與4塊顯示單元連接,因此衛星地圖總的分辨率達到了7680×3240,并且可以根據需求線形增加.基于集群的并行超高顯示技術的顯示效果如圖7所示.

圖7 SuperVis系統顯示結果

通過對比實驗,不難發現本研究的SuperVis系統可以顯示的網頁上更廣范圍的衛星地圖,并且擁有超高的分辨率.SuperVis大屏幕拼接顯示系統顯示效果比傳統的投影放大系統有巨大的提升.SuperVis系統的顯示分辨率是各子顯示系統分辨率的總和.因此系統的分辨率可以隨著系統的擴展線性增大,且不會因為顯示尺寸的擴大而損失圖像的質量,影響整體的顯示效果.

5 結論與展望

實現Web資源的實時超高分辨顯示意義重大,文中針對互聯網上的信息資源數據量大、處理困難、顯示分辨率要求高等情況,提出了一種基于計算機集群Web并行超高分辨顯示技術的顯示系統-SuperVis.實驗結果證明,文中SuperVis系統能夠顯示超高分辨的互聯網上的信息資源,克服了傳統的大屏幕拼接系統和DLP投影拼接系統的存在顯示分辨率有限、異地資源無法共享、 無法顯示多種類型資源等缺陷,并為衛星遙感、智慧城市管理中心、交通管理和海量GIS地圖顯示等領域的網頁資源超高分辨顯示提供一種有效的、高性價比的解決方案.