基于深度強化學習的VR大數據智能測評方法

劉佰明

(北京潛質大數據科學研究院，北京 100095)

Lait_liu@pri.ac.cn

1 引言(Introduction)

近年來，一種基于VR的大數據現代測評技術在企業人才發展和高校人才培養中得到廣泛應用，該測評技術融合虛擬現實、大數據、心理測量等技術，通過認知、語言、行為、生理、時空等多維組合，有效解決了企業筆試測評中重認知、輕行為，模擬測評中的社會期許、假設偽裝現象，以及當前所有測評技術的結果判定大都依賴專家經驗和評估師主觀判斷三大問題。構建了真正意義上的多源異構數據，開創了大數據現代測評技術的先河，對測評技術的發展具有重要價值。虛擬現實是人類創造的一種用于認知自然環境、感知自然環境、模擬空間的新技術[1-2]。在VR環境下，用戶可以借助數字化設備與電子儀器，在VR環境中進行信息交互。隨著VR技術在市場中的推廣應用[3]，相關領域中產生的虛擬現實數據量越來越大，盡管這一趨勢可以為用戶創設交互環境提供更好的支撐[4]，但是大量數據冗余會導致用戶在深度交互中出現體驗感偏差，甚至出現數據堆積干預終端管理的問題[5]。

由于現有的測評方法大多需要人工參與決策，得到的數據質量檢驗結果受到人為主觀因素的干預，無法真正意義地實現對數組或數據集合中冗余數據的精細化處理。因此，本文引入深度強化學習技術，對VR大數據的深度感知與強化學習兩個過程進行集成，設計一種針對VR大數據的全新智能化測評方法，實現測評過程的自動化與智能化。

2 基于深度強化學習的VR大數據智能測評方法(Intelligent measurement methods for VR big data based on deep reinforcement learning)

2.1 設計VR大數據智能測評指標

為實現對VR大數據的智能測評，應在開展相關研究前，構建智能測評指標[6]。由于面向大數據的測評工作是由一系列VR數據綜合水平評估指標構成，因此在設計指標時，需要按照如圖1所示的流程進行指標的集中篩查。

圖1 VR大數據智能測評指標篩選流程Fig.1 Screening process of intelligent measurement index of VR big data

按照圖1的流程，設計表1所示的VR大數據智能測評指標。(1)指標海選。根據BEI2.0測評指標模型應遵循的原則和基礎教育信息化目標，通過“建構根基”，將能反映BEI2.0綜合水平的典型且基本符合要求的指標選入其中。(2)指標初選。初選是在海選的基礎上，用Dale可用性工程理論和系統分析方法提出的八個標準(可測性、敏感性、可預測性、典型性、可控性、響應性、穩定性和整體性)逐一進行考量，將符合五個以上標準的指標選入其中。經過初選后，大體的指標框架形成。(3)定量篩選。定量篩選通常采用Delphi法(德爾菲法，也稱專家調查法)或數學模型方法。

表1 VR大數據智能測評指標Tab.1 Intelligent measurement index of VR big data

采用主成分分析法、最大方差旋轉，經7 次迭代抽取測量指標。依據指標篩選三原則：刪除跑錯構面的指標、刪除因子負荷量過低(小于0.6)的指標和刪除交叉負荷量過高(大于0.4)的指標，從旋轉后的成分矩陣得到因子載荷量滿足要求的指標模型，并對測量指標進行編碼和解釋，之后預試結果架構便落成。

為確保所設計的指標在測評中可以發揮預期的作用，還應在上述研究內容的基礎上對指標進行球形檢驗[7]。此次所選的檢驗工具為Bartlett球形工具，指標可行性檢驗過程可用公式(1)表示：

式(1)中，J表示基于Bartlett球形工具的指標可行性校驗；γ表示指標荷載度；x表示為探索因子；i表示指標；m表示編碼。按照該公式對指標進行綜合評估，輸出可靠性較高的指標，作為VR大數據智能測評指標，刪除可靠性較低的指標，提取指標中的特征因子，建立VR大數據智能測評指標體系。

2.2 基于深度強化學習的測評因子智能擬合

考慮到所選的測評指標中可能存在重復性問題，因此本節引進深度強化學習算法，對測評中的特征性因子進行智能擬合，保證測評結果的一致性。

將深度強化學習算法要解決的問題定義為在VR感知環境下，通過對測評指標的多次訓練、學習、迭代，選擇一個可以達成目標的最優行為。訓練與學習的過程可以作為評價因子中特征因子的擬合或聚類過程[8]。在進行測評指標的擬合中，將深度強化學習網絡中的輸入層作為測評因子的輸入端，在其中導入VR大數據。當數據流通傳輸到隱藏層后，可以在此層中進行因子的最大方差計算。按照最大方差標準進行因子旋轉，再經過數次迭代處理后，得到可以用于描述測評指標的特征因子。對此過程可用公式(2)進行描述：

式(2)中，P表示測評指標的特征因子；α表示因子負荷量；G表示輸入端進入端口編碼；n表示深度強化學習網絡結構；r表示訓練迭代行為發生次數。在掌握測評因子特征集合后，對因子進行標準化處理，并按照不同測評指標的重要性程度進行排列，對其進行深度強化學習訓練，通過此種方式實現對指標擬合后的自動賦值。對測評因子自動賦值過程可用公式(3)進行描述：

式(3)中，y(t)表示測評因子自動賦值時序；ε表示因子權重；f表示特征重疊程度；s表示因子特征信息的模糊度。完成對測評指標的自動賦值后，對具有相同特征值的因子進行聚類，聚類過程如公式(4)所示：

式(4)中，h∞表示聚類時序，其中∞表示為無邊界時序；j表示聚類行為；v表示聚類迭代效率。通過計算完成對指標的聚類，實現對測評因子的智能擬合。

2.3 基于回歸模型的VR大數據智能測評結果校正

完成上述研究后，按照公式(5)進行VR大數據智能測評。

式(5)中，?表示VR大數據智能測評結果；p表示指標權重；q表示指標數量，Z表示測評指數。為避免測評結果與實測結果出現偏差，引入回歸模型對VR大數據智能測評結果進行校正。在校正過程中，設定一個測評標準值與回歸系數，按照回歸計算中的一致性計算公式，對測評結果進行評估。校正中，將校正數據導入回歸模型的輸入端，在模型中設定校正參數的取值范圍。在模型中進行參數的迭代，對比標準值，保證測評結果與其偏差處于一種相對均衡的狀態后，在回歸模型的輸出端導出測評結果，將其作為VR大數據智能測評結果。按照該方式，完成基于深度強化學習的VR大數據智能測評方法設計。

3 實驗結果(Experimental results)

按照上述論述內容，在引入深度強化學習算法的基礎上，設計了一種全新的VR大數據智能測評方法。為了驗證這一方法在實際應用中的可行性，將基于大數據分析的測評方法作為對照組，將兩種測評方法應用到相同的運行環境當中，使用同一組VR大數據進行測評。如表2所示的內容作為兩種測評方法的測評數據集。

表2 測評數據集內容Tab.2 Measurement data set

表2中的題項均為VR大數據中提取的內容，在測評過程中嚴格按照其權重進行測定。測評數據集當中包含結構性數據和非結構性數據，針對所有數據進行歸一化處理，在此基礎上，將測評結果與實際情況對比的一致性作為評價指標，計算其一致性系數，公式如下：

式(6)中，CI表示測評結果與實際情況相比的一致性系數；χmax表示判斷矩陣中的最大特征數值；a表示測評數據集中的數據量。根據公式(6)，完成對兩種測評方法測評結果的一致性系數計算，一致性系數CI的取值在0—1范圍內，若得到的CI值越接近1，則說明一致性越高，測評結果符合實際；反之，若得到的CI值越接近0，則說明一致性越低，測評結果不符合實際。在圖2中，根據上述論述，將5 個題項下的測評結果，并繪制實驗組與對照組測評方法一致性對比圖。

圖2 實驗組與對照組測評方法一致性對比Fig.2 Comparison of measurement method consistency between the experimental group and the control group

從圖2中的實驗結果可以看出，各個題項中，實驗組測定結果的一致性系數均無限接近1，而對照組的測定結果一致性系數針對不同的題項出現了較大幅度的變化。例如，針對題項(2)和題項(5)進行測評時，得到的測評結果一致性系數較高，但針對題項(1)、題項(3)、題項(4)進行測評時，得到的測評結果一致性系數較低。同時，通過對兩種測評方法進行對比可以看出，無論對照組測評結果一致性系數如何改變，其結果均沒有超過實驗組測評方法。因此，通過上述實驗能夠進一步證明本文提出的基于深度強化學習的測評方法在實際應用中能夠實現對不同VR大數據的高一致性測評，得出的測評結果與實際更相符，能夠代表VR大數據的實際情況。同時，對實驗結果進行分析得出，本文測評方法一致性系數更高是因為在測評過程中引入深度強化學習算法提高了測評模型的評價精度，并為后續測評分析提供了更可靠的數據支撐。

為進一步驗證本文所提方法的準確性，對在測評信息的整個時間段內進行測試，分別驗證不同方法對測評信息評價結果，通過大數據分析的測評方法和本文測評方法對信息安全評價的結果準確性進行對比，如圖3所示。

圖3 準確性對比結果Fig.3 Comparison results accuracy

4 結論(Conclusion)

本文從設計VR大數據智能測評指標、測評因子智能擬合、測評結果校正三個方面，開展基于深度強化學習的VR大數據智能測評方法的研究。為檢驗設計成果的可行性，將此方法與基于大數據分析的測評方法進行對比檢驗，證明了此次研究設計成果的可行性，但要真正意義地實現對此方法的推廣使用，還應在后續的研究中，設計基于多維度的方法檢驗實驗，從更多的角度對此方法進行檢驗，并選擇多個傳統方法作為對照組，掌握本文設計方法的優勢與缺陷，為此方法的進一步推廣使用提供幫助。