基于可編程GPU的計算機組裝與維護虛擬實訓平臺的研究與設計

李利正， 陳蘭生

(紹興職業技術學院信息工程學院，浙江紹興 312000)

0 引言

實踐教學在計算機專業的一些實踐性強的課程中具有重要作用，學生只有通過實驗操作，才能真正理解和掌握實驗原理與操作技能。高校實驗教學在改革實驗內容的同時，更要求增加設計性、綜合性、創造性和選擇性實驗項目［1］，建設設備先進、管理優良的實驗室，各高校在提高實驗設備利用率，增加資金投入和開發虛擬實驗軟件等方面加大了力度，基于虛擬技術的具有高交互、強烈沉浸感的智能仿真實驗室成為當前的研究熱點［2-3］。以“計算機組裝與維護”課程虛擬實訓室為例，有的提出桌面型虛擬現實，結構簡單，操作簡單，但是缺乏沉浸感、學生易受環境干擾，而且不具有開放性，只能在特定環境下進行［4］;有的提出使用Flash仿3D設計，雖能降低研發成本、加快軟件在網絡的運行速度，但用多角度多層次壓縮拼接真實圖片而形成的3D仿真軟件存在動態交互性差，缺乏隨機應變能力與臨場感［5］;有基于Virtools的虛擬仿真實驗室，三維沉浸感強，人機交互效果好，并能通過網絡共享教育資源，但是由于3D計算耗用CPU資源大，運算速度慢［6］。因此本文提出了基于具有可編程、多線程、高強度并行計算能力的多核圖形處理器GPU［7］的計算機組裝與維護虛擬實訓平臺，以提供學生不受時空限制進行實驗的反復模擬練習。

1 虛擬實訓平臺的構架

基于可編程的GPU計算機組裝與維護虛擬實訓平臺具有3D仿真元器件、主機箱等硬件設備，能滿足學生進行計算機安裝與調試、硬件故障模擬與排除等實驗，通過服務器端的實驗參數管理，智能語法庫、技能庫、操作經驗庫等數據的管理，為客戶端的智能交互提供數據依據，系統根據專家智能庫、經驗庫對學生實驗操作生成報告并進行分析，最終給出操作評價，系統架構如圖1所示。

圖1 虛擬實訓平臺體系結構

系統采用B/S架構，服務器端使用PHP語言開發，與數據庫進行數據通信，對客戶端的Http請求，輸出XML格式數據進行數據通信，客戶端利用基于GPU的Stage3D實現技能訓練［8］，流程如圖 2所示。Stage3D是Adobe推出的底層3D渲染引擎［9］，該引擎能夠調用電腦顯卡的OpenGL［10］，借助GPU強大的運算能力提高渲染效率。本系統首先應用3Dmax建立主機箱和各類數據線、元器件的靜態三維模型，建模時應根據不同材質和不同參數設置不同的狀態，并導出為md5mesh格式文件作為Stage3D建模文件，通過基于Stage3D的開發框架Starling設計場景、操作對象、特效渲染、交互操作，由于使用GPU硬件加速，在瀏覽器端進行實驗操作異常流暢［11］。技能訓練模塊與瀏覽器端通過Javascript和XML產生交互，從專家智能庫讀取語法表達、組裝維護邏輯和技能經驗等作為參考，對實驗人員的實時操作進行分析，產生XML文件格式的實驗分析結果，以便監控評價模塊調用并給出成績和分析。

圖2 技能訓練流程圖

2 平臺的關鍵技術

虛擬實訓平臺的操作設備是主體，仿真交互是核心。構建硬件設備的三維模型為虛擬交互設計提供可操作對象，同時虛擬交互設計時三維模型實現動態操作的必要途徑，服務器端數據的維護提高了系統的可擴展性。虛擬實訓仿真平臺是一個比較復雜的應用項目，本文重點論述三維模型數據結構的構建以及利用Stage3D技術實現三維場景的渲染和非線性實時交互設計的過程。

2.1 實體數據結構

三維模型數字表達依據幾何結構的不同主要分為規則網格和不規則三角形網格［12］，其中三角形網格具有較高繪制效率，無論在轉換、采樣以及頂點之間都存在很強的規律性，本文采用三角形網格繪制模型，每個模型頂點狀態由各頂點位置、顏色和法線確定，表示為［x，y，z，c，nX，nY，nZ］T，計算前須將頂點以組為單位上載至GPU緩存;為了確定能形成三角形的頂點，提煉頂點索引上載至GPU緩存，讓GPU知道頂點渲染順序;GPU中，模型的視圖變換包括平移、縮放和旋轉，設平移、縮放、旋轉的變換矩陣分別為 P、S、N，則頂點位置向量變換可表示為原頂點位置向量與P、S、N的點積:

平移、縮放變換比較簡單，這里給出旋轉變換，設與x軸、y軸、z軸的夾角分別為θ、φ、γ，則變換矩陣可表示為:

每個頂點的線性變換由VertextShader執行計算，完成一個三維圖像的網格結構。

2.2 攝像機定位

操作過程中，元件與數據線在移動過程中，攝像機必須實時跟蹤，同時為了能擴大視野，本文將攝像機設于主機箱上方，其Up矢量指向下方，如圖3所示，在元件或數據線對象移動過程中，通過右手準則，修改Up矢量，以便始終指向元器件等對象的Dir矢量［13］。并通過引用元件或數據線對象的當前位置來實現攝像機的這一行為，確定元件或數據線視主板為相對位置的參考物。

三維模型頂點在世界坐標系到透視平面的坐標的轉換，實現了三維坐標系到二維坐標系的坐標，見圖4。基本的透視投影模型是由視點和視平面，視點可以認為是用戶的位置，這里的透視平面可認為是電腦屏幕，假定投影中心在Z軸-d處，即觀察者與屏幕的距離，那么模型的一點V(x，y，z)的透視投影V'(x'，y'，z')的坐標，根據相似三角形對應邊等比例關系有:

則轉換矩陣的形式如下:

圖3 控制攝像機的方位

圖4 坐標系的轉換

2.3 三維模型著色與光照計算

僅使用網格模型和層級結構信息只能繪制線框網格，為了渲染得到完整的模型，需要對每個頂點進行紋理采樣，對模型進行片段著色或紋理貼圖渲染。每個頂點顏色使用4個8位段來表示RGB和Alpha，保存在AGAL(Adobe Graphics Assembly Language)寄存器，各頂點的顏色值經過線性插值計算輸出為圖元中各種像素的顏色值［14］。

為了使整個場景有立體感，需要處理好光照與疊交畫面。本文將各種光照信息，如物體頂點、法線、材質參數和材質反射顏色存儲到GPU緩存，逐像素遍歷這些信息，計算光照像素信息。由于紋理只能按照顏色格式存儲，因此處理后的信息將按照RGBA四個通道進行保存。為了節省紋理存儲空間，同時操作遠近物體像素的遮擋，GPU用深度緩存頂點深度信息(Depth)和攝像機的遠近截面計算頂點位置信息，如圖5所示。

圖5 頂點位置和深度與紋理存儲關系

2.4 碰撞設計及處理

技能操作時，涉及元器件與插槽和主板的碰撞處理，為了防止硬件穿越虛擬設備或環境而出現不合常理的情況，需要通過給主板表面設置為floor對象，控制元器件的移動。但只是在x與z軸上的2d運動，并不能隨著floor對象進行y軸上的變化，為了控制元器件調整角度，垂直插入插槽，在主板表面新增一個對象floor1，floor1為主板去掉其他的控件，僅剩各插槽對象mem_slot，video_slot，audio_slot 等。 設 置 類RayCollision用于檢測碰撞效果，它的作用相當于從器件等對象身上向下射出一道光線，與floor1對象發生碰撞，得到碰撞點的mesh、法線、位置等信息，這個位置信息用來設定器件等對象在Y軸上的位置。另外為了避免器件對象在對碰撞做出響應時因為一些角度而“卡死”，設置類ObjectSlider調節radius參數實現器件對象對碰撞對象的相對滑動，保證操作過程順利完成。

3 系統發布與測試

本文基于可編程GPU，采用3DMAX進行平臺場景、機箱、元器件建模，采用Stage3D進行三維交互設計與虛擬實訓平臺的開發。該平臺用于計算機硬件組裝與調試維護過程的仿真實驗，并可在實驗過程中動態修改參數以模擬計算機系統不同的故障狀態，給出相應的維護方法，具有高交互性和強烈沉靜感。邊學邊做的開放式學習平臺，激發了學生的學習動機，可有效提高學生的動手實踐能力，并實現了教學資源共享，解決了傳統實驗教學資源不足、設備陳舊、器件耗損大等問題。

4 結語

本文針對計算機組裝與維護三維實驗操作模型數據計算量大和運算速度慢的問題，提出了基于GPU［15］加速模型繪制、渲染的方法，成功建立了三維交互式計算機組裝與維護實訓平臺，完成了裝機、故障檢測、維修等過程的仿真和有效的監控評價功能，在構建過程中引入智能專家庫，采用Stage3D和AGAL很好的解決了智能交互過程中信息的實時傳遞，而模型數據的流化處理更是實現了虛擬實訓平臺的擴充性，具有較高的推廣性，實用性好。

［1］鄧來勝.基于三網融合建設高校開放性實驗室的探討［J］.電腦與電信，2011(5):47-49.

Deng Lai-sheng.Exploration on“Triple Play”Based Open Labs Construction of University［J］.Computer ＆ Telecommunication，2011(5):47-49.

［2］Christoppher D Gerger，Joerg Stoecklein，Florian Klompmaker，et al.Development of an augmented reality game by extendinga 3D authoring system［J］.ACM International Conference Proceedings Series，2007，203:5527-5530.

［3］Sankar Jayaram.Virtual assembly using virtual reality techniques［J］.Computer-Aided Design(S0010-4485)，1997，29(8):575-584.

［4］李 赟，顧 容.桌面型虛擬現實技術在計算機硬件組裝訓練中的應用必要性和可行性論述［J］.教師，2009，50(20):101-102.

Li Yun，Gu Rong.The Necessity and Feasibility of Application on the Computer Hardware Assembly Training of Desktop Virtual Reality Technology［J］.Teacher，2009，50(20):101-102.

［5］陳尹立，彭詩力.智能虛擬實驗平臺的設計與研究——以計算機組裝與維修課程為例［J］.實驗技術與管理，2010，27(7):77-79，83.

Chen Yinli，Peng Shili.Design and research of an intelligent virtual experimental platform ［J］. Experimental Technology and Management，2012，27(7):77-79，83.

［6］卿立興.計算機組裝實驗PCVR系統的構建［J］.內江師范學院學報，2010，25(12):49-52.

QING Li-xing.The Construction of Virtual Computer Assembly Experiment System Based on the Virtools［J］.Journal of Neijiang Normal University，2010，25(12):49-52.

［7］Yue T X，Chen C F，Li B L.An adaptive method of high accuracy surface modeling and its application to simulating elevation surfaces［J］.Transactions in GIS，2010，14(5):615-630.

［8］吳振華.網絡化高清非編實驗室的建設［J］.實驗室研究與探索，2011，30(9):181-184.

WU Zhen-hua.HD NLE Laboratory Network Construction［J］.Research and Exploration in Laboratory，2011，30(9):181-184.

［9］Stage3D介紹［OL］.2013.3.http://www.adobe.com/cn/devnet/flashplayer/stage3d.html.

［10］Todd Yard.Foundation ActionScript3.0 Image Effects［M］.New York:Apress Media LLC，2009:154-161.

［11］閆長青，岳天祥.GPU加速的高精度數字地面模型建模方法［J］.計算機工程與應用，2012，48(22):22-27.

YAN Chang-qing，YUE Tian-xiang.GPU accelerated high accuracy surface modeling methods for DEM Modelling［J］.Computer Engineering and Application，2012，48(22):22-27.

［12］羅 濤.三維網格模型的多尺度幾何處理算法研究［D］.北京:北京大學信號與信息管理學院，2012.

［13］陳旭亮.實時渲染中3D虛擬攝像機的研究與應用［D］.鎮江:江蘇科技大學模式識別與智能系統，2012.

［14］胡 蓉，張東寧，朱栗華.ActionScript 3.0游戲編程(第2版)［M］.北京:人民郵電出版社，2012.

［15］李頂峰，孔國梁.基于OpenGL的工程三維仿真系統通用開發平臺［J］.鐵道勘察，2012，38(5):1-5.

LI Ding-feng KONG Guo-liang.Common Development Platform of Engineering 3D Simulation System Based on OpenGL［J］.Railway Investigation and Surveying，2012，38(5):1-5.