數據倉庫下基于知識庫的虛擬實驗平臺構建

吳興蛟+傅強+段云彪+胡勁

引言

虛擬實驗室主要是一種為了模擬現實實驗的一個分布式的，基于網絡的分布式，可以提供在線教學，技術交流，共同研究，實時交流的一個信息平臺。目前虛擬實驗室的定義大致分為兩種，一種是基于計算機創建的虛擬平臺，實驗者可以通過平臺可以在里面實現預設實驗，形成最后的分析結果。另一種是創造一個交互環境作為引導模擬實驗的場所。然而不論是哪種定義，總的來說。虛擬實驗室是一種為了替換現有實驗方式，擴展實驗實現條件的。節約實驗成本的一種新型實驗教學方式。虛擬實驗室主要由模擬部分，數據分析部分構成。現行的虛擬實驗室一般分為三大類：基于網絡應用云計算技術，基于虛擬現實，多人協作虛擬實驗室。對于虛擬實驗室的改進一般是在技術上的更新。現在虛擬實驗室還具有一個最嚴重的的缺點，可擴展性不足，只能針對某個領域實現，并且實現出來的實驗室不具有學習分析功能，例如胡文成在基于網絡平臺虛擬實驗室技術的研究和實現一文中提出的基于C/S的虛擬實驗室實驗內容的還不夠豐富，在仿真環境的逼真程度上，還需要有進一步的改進。張小平在基于EDA虛擬實驗室中心值法的研究一文中只是針對于單機進行試驗。結合現在大數據的技術在此基礎上提出數據倉庫下基于知識庫的虛擬實驗平臺構建設想。

1總體架構

為了克服現在虛擬實驗室通用性低、構建成本高，學生創新性難以得到拓展這個問題。基于現在數據倉庫，云計算的背景下。使用人工智能技術構建一個能提高學生動手能力，培養學生創造才能的虛擬實驗平臺是一件具有極大意義的工作。

曾雪輝在虛擬實驗室中用戶注冊組件的設計與實現一文中提出了組件的概念。

虛擬實驗室核心采用應用服務器集群進行運算處理，使用B/S架構。實現瘦客戶端運行，從而提高軟件平臺運行兼容性。使用javaee技術開發，項目實現部分開源，從而提升項目的可維護性以及可拓展性。虛擬實驗在核心仿真模塊的支撐下，采用組件技術分離實驗場景，實驗組件。使用XML配置耦合模塊，不僅從軟件開發的角度實現了復用，同時為創新實驗室，研發實驗室提供可靠的組件。

虛擬實驗室的主要功能還是不能擺脫為用戶提供真實互動的實驗功能。虛擬實驗室在構建初期主要是為用戶實現普通實驗的模擬。該虛擬實驗的構建值得指出的一點是，改實驗室不同于市面上的專注于一種或者一類實驗。這是一個實驗平臺，實驗平臺構建之后，主要會為一定用戶提供開源服務，一些具有初步編程知識或者想融合到開發中的人員就會慢慢豐富平臺實驗。在實驗提供以后測試之后就會在平臺分權限開放。從而支撐一部分實驗模擬練習。

在普通實驗的支撐下，用戶可以任意組織實驗。最初使用專家打分等方法實現對于實驗數據的分析以及分析。在數據積累到一定數量的時候采用機器學習的方式從數據倉庫中進行挖掘與學習，從而形成規則庫，在規則庫的反饋下機器就能不斷的成長同時呈現出相對精準的結果。這樣的話無論對于用戶興趣探索還是科研初期雛形都是有意義的。

傳統數據生成之后，經過分類之后會存人數據數據倉庫。創新實驗經過分類之后也會存人數據倉庫。這里的數據庫不局限于現在的分布式數據庫。也包含分布式數據庫，同時數據庫磁盤也會使用陣列進行支撐。從而從物理上保證數據的完整性。

數據倉庫內被打上標簽的數據會用挖掘工具進行訓練，形成規則庫。規則庫內規則反作用于實驗。形成了有效閉環。

該虛擬實驗室主要是基于規則學習的知識庫反饋組合平臺，實驗室建設主要分為模塊匹配庫以及實驗知識庫。在此基礎上通過應用服務器集群為外界提供普通實驗室，創新實驗室以及研發實驗室接口。通過這三個接口為外界提供服務。其中普通實驗室主要是整合那些可以在實驗室完成普通實驗，創新實驗室主要是通過規則庫以及構件庫的支撐對外提供跨學科以及跨領域的組合實驗。研發實驗室是一個服務于少數具備一定業務知識以及編程人員的接口，這個實驗室可以對外提供一些自己研發以及構建的實驗。

實驗數據主要分為兩類，一類是傳統實驗數據，這類數據主要是針對普通實驗而言的。這類實驗數據具有一定區間標準，可以通過編程實現分析，從而將分析結果展現給用戶。同時將數據進行檢驗留底，從而為后面分析留下依據。另一類是自己組合實驗產生的數據，這類數據是一些新興數據，以及不可預計的結果，這類結果可以提供給那些致力于創新實驗的用戶，一方面用于數據分析。另一方面可以提供給實驗專家，作為打破實驗創新瓶頸的參考。最后將數據進行標識以及分類放入實驗知識庫。

知識庫通過智能算法分析組合產生規則。此類規則主要用于反饋實驗組合，為自主實驗者提供原始數據。從而指導創新。

知識庫還可以作為后面分析的數據倉庫實現對于實驗規律的探究。由于數據是不規則的，可以考慮使用mongodb等非結構化數據庫存儲。

2數據倉庫數據流轉

數據是構成實驗平臺的關鍵所在，由于數據眾多，同時數據的種類不一致，同時數據的結構迥異，所以在分析前應該將數據進行相應的處理。這就涉及到了數據挖掘的相關知識以及概念。

ETL：ETL是Extract-Transform-Load的縮寫，翻譯為中文指的是數據的裝載，轉換以及加載。說簡單一點就是，生產系統將數據存入對應的數據庫，在數據ETL工具以及ETL引擎的集合下。通過一系列數據轉化工程，進過數據的清洗處理從而將數據存入數據倉庫。

數據倉庫：數據倉庫簡單來說就是存儲數據的關系數據庫以及多維數據庫的集合。與數據庫不同的是，數據倉庫建立的數據集市是面向主題的。同時數據倉庫數據是固化的非易失的。數據主要用于經營分析。

OLAP服務器實現的是在現在的數據倉庫基礎上對于數據進行多維分析，面向主題操作的操作指令集合執行系統，主要負責數據的處理。

數據挖掘服務器：在處理以后的數據基礎上，對于規則的探尋。將一系列算法運用于數據集上就要借助數據挖掘服務器進行處理。endprint

知識庫的構建是一個數據倉庫的構建過程，首先從數據的來源肯定是傳統數據。組合數據以及標記數據幾個生成數據庫。這些數據來自于試驗后的生產系統，通過ETL進行數據的去重，去噪以及轉換缺失，數據插補一系列操作。最后形成增量數據供分析。通過寫好的OLAP服務進行操作或者人工分析以后將結果進行保存。分析后的數據可以使用報表技術進行展示或者形成相應的分析報告。同時提供對外的分析接口供其他人來調用，實現在線分析使用。

3規則庫學習

規則庫的學習主要是采用多工具數據交換處理方式。與現在方式不同之處在于，這種方式下組合更加靈活，同時可以根據不同的工具制定不同的處理計劃。對于軟件工具取長補短。唯一不足在于還需人工干預，不能自動完成。支撐工具運行的是官方或者自己編寫的算法庫。這些算法針對不同的規則以及場景展開，從而輔助分析。不同的工具對于中間結果的處理數據格式是不同的，在這采用XML數據島進行處理。有效的加快了數據處理速度。最后完善規則庫。

數據倉庫的數據是一堆并不能真正體現價值的一堆數字集合，并不能真正用于反饋調節組合試驗。要讓數據得到使用就得將數據進行處理使之成為規則。

形成的規則就是所謂的能區分數據的集合組，通過這些規則就可以對于簡單的組合形式進行區分。例如末端淬火試驗中就可以通過已知的數據通過遺傳算法推斷出實驗不同數據下的淬透性曲線。

規則的挖掘可以采用外界工具，例如MATLAB以及SPSSMODELER工具或者其他，那我們在系統架構的過程中就要為其預留相應的接口。同時為挖掘工具提供一套封裝的智能算法倉庫接口。由于生成數據的格式存在差異，所以在這些數據進入規則庫之前應該預留相應的數據交換單元，例如使用XML數據交換文件或者使用中間轉換程序。這樣就可以實現數據的轉換。

4云端實驗室

在B/S架構的支撐下，平臺可以很簡單的為不同用戶以及場景提供支撐。在這構建了兩種接入方式，一種是使用中心機房的形式使用內網直接為實驗室提供服務。另一種是對于有需求的科研用戶以及認證后的用戶提供服務。

5結語

虛擬實驗室是一項由來已久的模擬現實實驗的技術，虛擬實驗室主要為保障實驗者安全。跨越實驗平臺物理性缺陷，實現科研探究的實時性的一項輔助實驗的技術。現行的虛擬實驗室一般趨向于畫質的渲染、環境模擬以及專業領域的模擬。在現在大數據，人工智能的導向下，實現一個基于組裝式，基于知識庫學習的虛擬實驗平臺尤為重要，本文提供的是一種組織架構，希望在以后的研究中不斷實踐。endprint