基于AI技術(shù)的VR產(chǎn)品質(zhì)量自動(dòng)化測(cè)評(píng)設(shè)計(jì)方法綜述

張志強(qiáng) 陳志強(qiáng) 甘曉陽(yáng)

摘要：隨著VR產(chǎn)業(yè)的發(fā)展，VR軟件的質(zhì)量測(cè)試將會(huì)也來(lái)越重要，但目前VR產(chǎn)品的質(zhì)量測(cè)評(píng)技術(shù)由于輸入設(shè)備復(fù)雜、輸入數(shù)據(jù)非結(jié)構(gòu)化等原因，導(dǎo)致測(cè)試存在周期長(zhǎng)、效率低的問(wèn)題。基于此，提出應(yīng)用AI技術(shù)實(shí)現(xiàn)VR產(chǎn)品質(zhì)量自動(dòng)化測(cè)評(píng)，并從行為設(shè)計(jì)、AI訓(xùn)練設(shè)計(jì)、I/O設(shè)備的模擬、大數(shù)據(jù)源深度學(xué)習(xí)設(shè)計(jì)、評(píng)價(jià)方法設(shè)計(jì)五個(gè)方面展開(kāi)論述，全面綜述VR產(chǎn)品全生命周期的測(cè)評(píng)方法。

關(guān)鍵詞：VR；AI；質(zhì)量；自動(dòng)化；測(cè)評(píng)

一、前言

隨著VR產(chǎn)業(yè)的發(fā)展，將會(huì)有越來(lái)越多的企業(yè)進(jìn)入到這個(gè)行業(yè)。VR產(chǎn)品的質(zhì)量測(cè)試將會(huì)越來(lái)越重要，但VR產(chǎn)品的質(zhì)量測(cè)試目前還面臨很大的問(wèn)題[1]。這是因?yàn)閂R產(chǎn)品和電腦產(chǎn)品相比有很多的不同：一是輸入設(shè)備極為復(fù)雜，傳統(tǒng)電腦軟件用鼠標(biāo)鍵盤輸入，輸入的數(shù)據(jù)僅僅是一維的流數(shù)據(jù)和二維的平面數(shù)據(jù)，VR軟件使用的是頭盔和手柄，它們都整合了三維定位功能，輸入的是三維空間位姿數(shù)據(jù)；二是輸出數(shù)據(jù)非結(jié)構(gòu)化，傳統(tǒng)軟件一般用來(lái)幫助人進(jìn)行特定運(yùn)算，輸出的數(shù)據(jù)都是很容易進(jìn)行比對(duì)的結(jié)構(gòu)化的數(shù)據(jù)，而VR軟件輸出的是跟隨頭盔視角不斷變化兩幅圖像，這些圖像所呈現(xiàn)的內(nèi)容很難通過(guò)編程去比對(duì)其是否正確。這就導(dǎo)致了在VR軟件開(kāi)發(fā)后期和交付階段的測(cè)試變得極為困難和煩瑣，VR軟件開(kāi)發(fā)企業(yè)為了保證軟件的質(zhì)量目前只能雇傭大量的測(cè)試人員模仿客戶的使用情況進(jìn)行黑箱測(cè)試[2]。本文提出應(yīng)用AI技術(shù)實(shí)現(xiàn)VR產(chǎn)品質(zhì)量自動(dòng)化測(cè)評(píng)，并從行為設(shè)計(jì)、AI訓(xùn)練設(shè)計(jì)、I/O設(shè)備的模擬、大數(shù)據(jù)源深度學(xué)習(xí)設(shè)計(jì)、評(píng)價(jià)方法設(shè)計(jì)五個(gè)方面展開(kāi)論述，全面綜述VR產(chǎn)品全生命周期的測(cè)評(píng)方法，為企業(yè)應(yīng)用和開(kāi)發(fā)VR產(chǎn)品提供數(shù)據(jù)標(biāo)準(zhǔn)，從而降低傳統(tǒng)人工測(cè)試成本和提高產(chǎn)品使用質(zhì)量。

二、行為設(shè)計(jì)

首先需要設(shè)計(jì)一套智能化測(cè)試行為，行為內(nèi)容包括可以通過(guò)Agent模仿人類使用VR軟件的輸入行為；能自動(dòng)生成相關(guān)測(cè)試報(bào)告，對(duì)VR軟件的運(yùn)行質(zhì)量、圖像質(zhì)量進(jìn)行評(píng)估，可以長(zhǎng)時(shí)間運(yùn)行對(duì)VR產(chǎn)品進(jìn)行反復(fù)測(cè)試。智能化測(cè)試用例全周期涉及了三個(gè)主要關(guān)鍵階段，包括用例生成，用例執(zhí)行，用例分析。智能化測(cè)試圍繞這三個(gè)階段，基于海量測(cè)試數(shù)據(jù)和AI算法輔助測(cè)試人員進(jìn)行測(cè)試用例設(shè)計(jì)和用例生成、精準(zhǔn)篩選測(cè)試用例執(zhí)行以及測(cè)試數(shù)據(jù)智能分析[3]。

智能測(cè)試用例生成：測(cè)試用例的生成當(dāng)前主要靠人工設(shè)計(jì)，并且要求測(cè)試人員具有一定的經(jīng)驗(yàn)和專業(yè)水平，隨著云化產(chǎn)品的功能日趨復(fù)雜、迭代周期不斷加快，完全基于經(jīng)驗(yàn)人工設(shè)計(jì)的接口測(cè)試效率十分低下。因此需要設(shè)計(jì)一種測(cè)試用例自動(dòng)生成方法。本文使用基于接口文檔和現(xiàn)網(wǎng)流量數(shù)據(jù)的智能API測(cè)試生成技術(shù)，實(shí)現(xiàn)了單接口與多接口業(yè)務(wù)場(chǎng)景的雙覆蓋，做到真正幫助測(cè)試人員提高工作效率，并有力保障了云化產(chǎn)品質(zhì)量，如圖1所示。

回歸測(cè)試用例優(yōu)選：在日常開(kāi)發(fā)測(cè)試活動(dòng)中，面對(duì)項(xiàng)目版本的快速迭代，通常為避免引入缺陷和最早期發(fā)現(xiàn)盡可能多的缺陷，測(cè)試人員需要在代碼小范圍變動(dòng)時(shí)進(jìn)行測(cè)試用例的執(zhí)行。同時(shí)，全量地對(duì)測(cè)試用例進(jìn)行執(zhí)行消耗人力、時(shí)間成本過(guò)高。華為云智能精準(zhǔn)回歸測(cè)試用例挑選，在區(qū)分黑盒（代碼不可見(jiàn)）、白盒（代碼可見(jiàn)）不同模式的情況下，黑盒模式根據(jù)測(cè)試用例歷史執(zhí)行結(jié)果預(yù)測(cè)用例失敗率并進(jìn)行排序，白盒模式通過(guò)挖掘代碼源文件（函數(shù)）與測(cè)試用例的關(guān)聯(lián)關(guān)系篩選測(cè)試用例，精準(zhǔn)挑選和排序缺陷探測(cè)比高的測(cè)試用例進(jìn)行，以最少的人力、時(shí)間成本，發(fā)現(xiàn)盡可能多的缺陷，如圖2所示。

測(cè)試數(shù)據(jù)智能分析定位：隨著軟件規(guī)模的持續(xù)增長(zhǎng)以及產(chǎn)品迭代周期的不斷加快，自動(dòng)化測(cè)試用例的數(shù)量越來(lái)越大，自動(dòng)化測(cè)試工程中的失敗日志數(shù)量也越來(lái)越多，人工分析工作量大、時(shí)間成本高[4]。測(cè)試數(shù)據(jù)智能分析定位旨在結(jié)合智能化算法根據(jù)失敗日志和相關(guān)測(cè)試數(shù)據(jù)分析可能存在的產(chǎn)品問(wèn)題，提升分析效率。當(dāng)前華為云測(cè)試智能分析是根據(jù)產(chǎn)品線測(cè)試日志數(shù)據(jù)特征，在通用的日志預(yù)處理后，依照日志量采用不同方式進(jìn)行特征工程，生成日志特征后，基于隨機(jī)森林、最近鄰、強(qiáng)化學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等來(lái)做模型融合，進(jìn)行失敗原因的定界與定位，如圖3所示。

三、訓(xùn)練設(shè)計(jì)

根據(jù)VR實(shí)訓(xùn)的特點(diǎn)搭建一個(gè)訓(xùn)練環(huán)境并設(shè)置獎(jiǎng)勵(lì)，通過(guò)深度強(qiáng)化學(xué)習(xí)的方法訓(xùn)練模仿人類行為的智能主體IA進(jìn)行VR輸入，并分析相應(yīng)的圖像以獲取測(cè)試結(jié)果。以插件的形式在虛擬引擎中嵌入該系統(tǒng)，并讓其模擬人類的輸入行為完成VR仿真軟件的整個(gè)流程。本文AI訓(xùn)練算法研究包括：

（一）遺傳算法：是一種生物啟發(fā)式算法，通過(guò)基因突變、交叉等操作，不斷優(yōu)化最優(yōu)解，適用于復(fù)雜高度非線性、難以用數(shù)學(xué)方程式描述的問(wèn)題。

（二）神經(jīng)網(wǎng)絡(luò)算法：是一種基于輸入層、中間層和輸出層組成的圖形結(jié)構(gòu)，通過(guò)輸入數(shù)據(jù)不斷迭代優(yōu)化權(quán)重和偏移量，實(shí)現(xiàn)分類、識(shí)別、回歸等任務(wù)。

（三）決策樹(shù)算法：是一種基于對(duì)數(shù)據(jù)屬性的判斷、分類和劃分，建立樹(shù)形結(jié)構(gòu)進(jìn)行決策的算法，適用于處理分類問(wèn)題和回歸分析等。

（四）支持向量機(jī)算法：是一種分類器模型，通過(guò)尋找數(shù)據(jù)點(diǎn)之間的分離超平面分割不同類別的數(shù)據(jù)，進(jìn)行分類任務(wù)。

（五）貝葉斯算法：是一種基于貝葉斯定理推算概率分布的算法，適合進(jìn)行分類和推薦任務(wù)。

四、I/O設(shè)備模擬

研究如何建立統(tǒng)一的輸入輸出接口，然后根據(jù)市面上主流的VR設(shè)備編寫接入?yún)f(xié)議，以3D引擎插件的形式實(shí)現(xiàn)對(duì)VR輸入輸出設(shè)備的模擬。I/O設(shè)備的模擬算法是指通過(guò)計(jì)算機(jī)模擬外部I/O設(shè)備與操作系統(tǒng)進(jìn)行通信交互的過(guò)程，以驗(yàn)證或優(yōu)化操作系統(tǒng)的I/O子系統(tǒng)。常見(jiàn)的I/O設(shè)備模擬算法有以下幾種：

（一）基于虛擬化技術(shù)的I/O設(shè)備模擬算法：利用虛擬化技術(shù)實(shí)現(xiàn)對(duì)硬件設(shè)備進(jìn)行仿真，從而將多個(gè)虛擬設(shè)備映射到單一的物理設(shè)備上。

（二）I/O回環(huán)測(cè)試算法：在不使用任何實(shí)際設(shè)備的情況下對(duì)I/O子系統(tǒng)進(jìn)行測(cè)試，通過(guò)將輸出數(shù)據(jù)發(fā)送回輸入端口并檢查輸出數(shù)據(jù)是否與輸入數(shù)據(jù)相同來(lái)測(cè)試I/O設(shè)備的交互性能。

（三）基于代理的I/O設(shè)備模擬算法：通過(guò)創(chuàng)建中間層代理程序來(lái)模擬實(shí)際設(shè)備的行為和性能，從而將操作系統(tǒng)的I/O請(qǐng)求轉(zhuǎn)發(fā)給代理程序進(jìn)行處理，并將結(jié)果返回給操作系統(tǒng)。

（四）離線I/O設(shè)備模擬算法：通過(guò)分析離線數(shù)據(jù)來(lái)模擬真實(shí)設(shè)備的輸入和輸出行為，以測(cè)試I/O子系統(tǒng)的性能和可靠性。

五、學(xué)習(xí)設(shè)計(jì)

根據(jù)用戶測(cè)試數(shù)據(jù)，綜合運(yùn)用知識(shí)輸入、自然語(yǔ)言處理、測(cè)試方法輸入、云計(jì)算、實(shí)時(shí)反饋、主觀轉(zhuǎn)化等多種算法，生成集成化的評(píng)價(jià)模型信息架構(gòu)，讓AI主體實(shí)現(xiàn)自我學(xué)習(xí)，自我成長(zhǎng)，實(shí)現(xiàn)AI主體的自動(dòng)化和智能化。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域中的一個(gè)分支，旨在通過(guò)模擬人類神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)來(lái)實(shí)現(xiàn)對(duì)數(shù)據(jù)的高效處理和分析。以下是一些常用于大數(shù)據(jù)源深度學(xué)習(xí)算法的示例：

（一）卷積神經(jīng)網(wǎng)絡(luò)（CNN）：CNN是一種被廣泛用于圖像分類和目標(biāo)檢測(cè)方面的深度學(xué)習(xí)算法。其可在大規(guī)模圖像數(shù)據(jù)集中學(xué)習(xí)樣本特征，從而進(jìn)一步提高對(duì)新圖像的預(yù)測(cè)精度。

（二）循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）：RNN是一種用于處理序列數(shù)據(jù)的深度學(xué)習(xí)算法，如文本、語(yǔ)音和時(shí)間序列等。它的每個(gè)節(jié)點(diǎn)都包含有先前節(jié)點(diǎn)的信息，并且可以根據(jù)這些信息進(jìn)行預(yù)測(cè)。

（三）自編碼器（Autoencoder）：Autoencoder是一種無(wú)監(jiān)督的深度學(xué)習(xí)算法，在大數(shù)據(jù)源的情況下，通過(guò)學(xué)習(xí)數(shù)據(jù)的壓縮表示和解壓縮重構(gòu)來(lái)發(fā)現(xiàn)數(shù)據(jù)中的相關(guān)特征和模式。

（四）生成對(duì)抗網(wǎng)絡(luò)（GAN）：GAN是近年來(lái)在深度學(xué)習(xí)領(lǐng)域中非常流行的一種算法，其基于兩個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，一個(gè)生成器和一個(gè)鑒別器，用于生成逼真的圖像或音樂(lè)等內(nèi)容。

六、評(píng)價(jià)方法設(shè)計(jì)

確定評(píng)價(jià)的技術(shù)指標(biāo)為以插件的形式在虛擬引擎中嵌入該系統(tǒng)，并讓其模擬人類的輸入行為完成VR仿真軟件的整個(gè)流程。要達(dá)到的主要技術(shù)指標(biāo)為：

（一）系統(tǒng)可以通過(guò)Agent模仿人類使用VR軟件的輸入行為；

（二）能自動(dòng)生成相關(guān)測(cè)試報(bào)告，對(duì)VR軟件的運(yùn)行質(zhì)量、圖像質(zhì)量進(jìn)行評(píng)估。

（三）可以長(zhǎng)時(shí)間運(yùn)行對(duì)VR軟件進(jìn)行反復(fù)測(cè)試。下面論述具體測(cè)試方法：

第一步，從人的本征體驗(yàn)角度出發(fā)設(shè)計(jì)VR產(chǎn)品的用戶體驗(yàn)質(zhì)量評(píng)價(jià)方法，對(duì)虛擬現(xiàn)實(shí)人機(jī)交互系統(tǒng)的用戶體驗(yàn)效果進(jìn)行評(píng)估。根據(jù)被測(cè)虛擬現(xiàn)實(shí)人機(jī)交互系統(tǒng)的性質(zhì)和特征，確定關(guān)鍵評(píng)價(jià)指標(biāo)。設(shè)計(jì)虛擬現(xiàn)實(shí)人機(jī)交互系統(tǒng)的主觀評(píng)價(jià)模型，包括虛擬現(xiàn)實(shí)人機(jī)交互體驗(yàn)系統(tǒng)、主觀評(píng)價(jià)數(shù)據(jù)采集系統(tǒng)、數(shù)據(jù)處理單元。

第二步，研究主觀評(píng)測(cè)方法，設(shè)計(jì)關(guān)鍵評(píng)價(jià)指標(biāo)的量化分?jǐn)?shù)矩陣，對(duì)關(guān)鍵評(píng)價(jià)指標(biāo)進(jìn)行量化，采用國(guó)際電信聯(lián)盟（ITU）建議的“平均評(píng)估分值”（MOS）方法，將每一項(xiàng)關(guān)鍵評(píng)價(jià)指標(biāo)分為五個(gè)層次，量化標(biāo)準(zhǔn)如下：優(yōu)（80-100）、良（60-80）、中（40-60）、差（20-40）、劣（0-20）。

第三步，進(jìn)行主觀評(píng)測(cè)，從不同年齡、不同性別、不同教育背景的用戶群體中選擇參與主觀評(píng)測(cè)的有效人數(shù)，確定關(guān)鍵評(píng)價(jià)指標(biāo)的權(quán)重系數(shù)。獲取評(píng)測(cè)者針對(duì)所有關(guān)鍵評(píng)價(jià)指標(biāo)的權(quán)重參考分，根據(jù)所有評(píng)測(cè)者給出的關(guān)鍵評(píng)價(jià)指標(biāo)權(quán)重參考分計(jì)算相應(yīng)關(guān)鍵評(píng)價(jià)指標(biāo)的權(quán)重參考分均值，將所有關(guān)鍵評(píng)價(jià)指標(biāo)的權(quán)重參考分均值進(jìn)行歸一化處理，得到關(guān)鍵評(píng)價(jià)指標(biāo)的權(quán)重系數(shù)，如表1所示。

具體計(jì)算方法：第j個(gè)評(píng)測(cè)者對(duì)N個(gè)關(guān)鍵評(píng)價(jià)指標(biāo)Xi i X按照從最不關(guān)心到最關(guān)心進(jìn)行排序，根據(jù)排序結(jié)果按照均分原則，平分10個(gè)單位，即，獲得每項(xiàng)關(guān)鍵評(píng)價(jià)指標(biāo)權(quán)重參考分Score（Xij），其中Score（Xij）代表第j位評(píng)測(cè)者給出關(guān)鍵評(píng)價(jià)指標(biāo)Xi的權(quán)重參考分。根據(jù)所有被測(cè)者給出的關(guān)鍵評(píng)價(jià)指標(biāo)的權(quán)重參考分計(jì)算關(guān)鍵評(píng)價(jià)指標(biāo)Xi的權(quán)重參考分均值：

其中Score（Xl） 代表關(guān)鍵評(píng)價(jià)指標(biāo)Xi i X的權(quán)重參考分均值。將上述均值進(jìn)行歸一化處理，得到每個(gè)關(guān)鍵評(píng)價(jià)指標(biāo)Xi的權(quán)重系數(shù)：

其中Xi代表關(guān)鍵評(píng)價(jià)指標(biāo)Xi的權(quán)重系數(shù)，max（Score（Xl））代表所有關(guān)鍵評(píng)價(jià)指標(biāo)權(quán)重參考分均值的最大值， min（Score（Xl））代表所有關(guān)鍵評(píng)價(jià)指標(biāo)權(quán)重參考分均值的最小值。

計(jì)算虛擬現(xiàn)實(shí)人機(jī)交互系統(tǒng)的關(guān)鍵評(píng)價(jià)指標(biāo)的平均分?jǐn)?shù)。根據(jù)打分矩陣，利用以下數(shù)學(xué)模型計(jì)算打分結(jié)果：

其中Xij代表第j個(gè)評(píng)測(cè)者對(duì)Xi參數(shù)的打分結(jié)果，μi代表所有評(píng)測(cè)者對(duì)關(guān)鍵評(píng)測(cè)指標(biāo)Xi打分的均值。

計(jì)算虛擬現(xiàn)實(shí)人機(jī)交互系統(tǒng)的用戶體驗(yàn)質(zhì)量分值QOE，根據(jù)第4步的權(quán)重系數(shù)和第5步的打分結(jié)果，利用下面的公式計(jì)算QOE值：

建立虛擬現(xiàn)實(shí)人機(jī)交互系統(tǒng)的分級(jí)標(biāo)準(zhǔn)。根據(jù)用戶體驗(yàn)質(zhì)量效果，建立一種適用于虛擬現(xiàn)實(shí)人機(jī)交互系統(tǒng)的體驗(yàn)等級(jí)分級(jí)方法，其特征在于根據(jù)整體感觀體驗(yàn)按上表1中所示分為三個(gè)等級(jí)。根據(jù)計(jì)算的用戶體驗(yàn)質(zhì)量QOE分值，以及表1的虛擬現(xiàn)實(shí)人機(jī)交互系統(tǒng)的分級(jí)標(biāo)準(zhǔn)，確定待測(cè)系統(tǒng)所在的等級(jí)區(qū)域。

七、結(jié)語(yǔ)

基于AI算法的VR產(chǎn)品質(zhì)量自動(dòng)化測(cè)評(píng)算法，還沒(méi)有一個(gè)通用性的標(biāo)準(zhǔn)或算法。當(dāng)前，在產(chǎn)品質(zhì)量自動(dòng)化測(cè)評(píng)領(lǐng)域，AI技術(shù)主要被應(yīng)用于測(cè)試數(shù)據(jù)的處理與分析，以及測(cè)試用例的生成和執(zhí)行等任務(wù)。例如，深度學(xué)習(xí)等算法可以用于異常數(shù)據(jù)的檢測(cè)與分類，并能夠提高測(cè)試用例的自動(dòng)生成效率。此外，還有一些公司和研究機(jī)構(gòu)正在探索如何將機(jī)器學(xué)習(xí)算法用于產(chǎn)品測(cè)試的自動(dòng)化分析與評(píng)估，以實(shí)現(xiàn)更全面、高效的質(zhì)量測(cè)評(píng)。本文的研究具備以下意義。目前國(guó)內(nèi)還沒(méi)有一套對(duì)VR產(chǎn)品質(zhì)量檢測(cè)的技術(shù)研究方法，論文提出使用AI技術(shù)模擬人的操作和判斷，實(shí)現(xiàn)VR產(chǎn)品質(zhì)量自動(dòng)化測(cè)試，填補(bǔ)了該研究領(lǐng)域的空白，論文所研究的技術(shù)和方法，在我國(guó)智能制造行業(yè)中具備重要意義。論文首次將人工智能、機(jī)器學(xué)習(xí)和大數(shù)據(jù)分析應(yīng)用到VR產(chǎn)品的質(zhì)量檢測(cè)研究中，屬于多學(xué)科交叉研究。論文把國(guó)際電聯(lián)標(biāo)準(zhǔn)ITU標(biāo)準(zhǔn)中用戶體驗(yàn)質(zhì)量（QoE）和人工智能影響產(chǎn)品用戶體驗(yàn)理論相結(jié)合起來(lái)作為論文研究的理論依據(jù)，從人的本征體驗(yàn)角度出發(fā)設(shè)計(jì)VR產(chǎn)品用戶體驗(yàn)質(zhì)量評(píng)價(jià)關(guān)鍵指標(biāo)，具有一定的創(chuàng)新性。

參考文獻(xiàn)

[1]李偉.電子產(chǎn)品質(zhì)量檢測(cè)的研究和探討[J].中國(guó)設(shè)備工程，2022，512（23）：149-151.

[2]龔磊，孫卓，陳迪，等.人工智能軟件的測(cè)試和質(zhì)量驗(yàn)證方法研究[J].科技視界，2022（27）：45-48.

[3]全華斌，張宙.人工智能技術(shù)在移動(dòng)終端自動(dòng)化測(cè)試中的運(yùn)用探析[J].電子元器件與信息技術(shù)，2022，6（7）：104-107.

[4]姜紅德.一站式AI測(cè)試平臺(tái)提升軟件質(zhì)量[J].中國(guó)信息化，2022，340（8）：33-36.

基金項(xiàng)目：1.廣東省教育廳2022年度高等學(xué)校科研平臺(tái)和項(xiàng)目“基于AI算法的VR產(chǎn)品質(zhì)量自動(dòng)化測(cè)評(píng)技術(shù)研究”（項(xiàng)目編號(hào)：2022KTSCX359）；2.2022年廣東省科技創(chuàng)新戰(zhàn)略專項(xiàng)資金項(xiàng)目“基于虛擬仿真技術(shù)的智能制造數(shù)字孿生工廠”（項(xiàng)目編號(hào)：pdjh2022b1088）

作者單位：順德職業(yè)技術(shù)學(xué)院