基于3D-ResNet雙流網(wǎng)絡(luò)的VR病評(píng)估模型

權(quán)巍，蔡永青，王超，宋佳，孫鴻凱，李林軒

(長(zhǎng)春理工大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，吉林 長(zhǎng)春 130013)

虛擬現(xiàn)實(shí)(virtual reality， VR)融合計(jì)算機(jī)圖形學(xué)、多媒體、仿真等多種技術(shù)模擬出360°虛擬環(huán)境，能夠?yàn)橛脩魩肀普妗⑸砼R其境的觀看和交互體驗(yàn)，廣泛應(yīng)用于工業(yè)、教育、藝術(shù)、醫(yī)學(xué)、游戲娛樂等眾多領(lǐng)域中.在VR體驗(yàn)中極易產(chǎn)生頭暈、惡心、嘔吐等不適癥狀，嚴(yán)重者甚至?xí)霈F(xiàn)心率不齊、虛脫的情況，嚴(yán)重影響了VR技術(shù)與產(chǎn)業(yè)的發(fā)展.對(duì)于VR體驗(yàn)中的這種不適，一些學(xué)者稱其為運(yùn)動(dòng)病、模擬器病、網(wǎng)絡(luò)病(cybersickness)、虛擬現(xiàn)實(shí)病(VR sickness)、視覺誘發(fā)運(yùn)動(dòng)病(visual induced motion sickness， VIMS)等.這些名稱存在相似之處，但不完全相同.運(yùn)動(dòng)病通常是指人們暴露在真實(shí)環(huán)境(如乘車、船、飛機(jī)等)下因異常運(yùn)動(dòng)刺激產(chǎn)生的不適癥狀；模擬器病是使用飛行模擬器訓(xùn)練引起的一種運(yùn)動(dòng)病.虛擬現(xiàn)實(shí)病[1]特指在VR環(huán)境下由視覺誘發(fā)的病癥，也可稱為網(wǎng)絡(luò)病或視覺誘發(fā)運(yùn)動(dòng)病，屬于運(yùn)動(dòng)病的一種.Mccauley等[2]將體驗(yàn)VR產(chǎn)生的不適稱為VR病或網(wǎng)絡(luò)病，近幾年來，越來越多的學(xué)者認(rèn)同了VR病這一名稱[3-6].

準(zhǔn)確地評(píng)估VR病是VR領(lǐng)域的一個(gè)重要研究?jī)?nèi)容.有許多理論試圖對(duì)VR病作出解釋，其中感官?zèng)_突理論[7]是被廣泛接受的理論.該理論認(rèn)為：當(dāng)眼睛看到VR畫面時(shí)，視覺系統(tǒng)產(chǎn)生運(yùn)動(dòng)感知，但實(shí)際上前庭系統(tǒng)感知到人體并沒有運(yùn)動(dòng)，這種視覺與前庭系統(tǒng)的不匹配是引起VR病最重要的因素.目前對(duì)于VR疾病的評(píng)估主要包括主觀評(píng)價(jià)法和客觀評(píng)價(jià)法.主觀評(píng)價(jià)法主要是通過人在VR體驗(yàn)后填寫調(diào)查問卷，從而計(jì)算分值，評(píng)價(jià)VR的病癥程度.VR病的主觀評(píng)價(jià)主要采用Kennedy等[8]提出的模擬器病SSQ調(diào)查問卷.主觀評(píng)價(jià)方法的實(shí)施需要大量的人力物力資源，耗時(shí)長(zhǎng)、成本高，容易受個(gè)人因素的影響.大量學(xué)者以主觀評(píng)估結(jié)果作為基準(zhǔn)，研究VR病的客觀評(píng)價(jià)方法.

近幾年，一些學(xué)者開展了基于深度學(xué)習(xí)的VR病客觀評(píng)估方法研究，通過分析VR視頻實(shí)現(xiàn)病癥評(píng)估.Kim等[9]提出VR視頻序列中感知的異常運(yùn)動(dòng)信息（例如急轉(zhuǎn)、急加速等）會(huì)加劇運(yùn)動(dòng)不匹配，產(chǎn)生不適，基于深度卷積自編碼器實(shí)現(xiàn)VR病的評(píng)估.Kim等[10]基于異常運(yùn)動(dòng)，提出基于生成對(duì)抗網(wǎng)絡(luò)、長(zhǎng)短期記憶網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的VR病評(píng)估模型VRSA.Lee等[11]利用3D神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)VR病的估計(jì)，輸入視頻的顯著性圖、光流圖和視差圖分別代表眼球運(yùn)動(dòng)、速度、深度3個(gè)特征，使用了2種數(shù)據(jù)增強(qiáng)技術(shù)：幀移動(dòng)和像素移動(dòng)，擴(kuò)展了自建的數(shù)據(jù)集，使得模型更精準(zhǔn)地預(yù)測(cè)VR病的程度.

本文提出雙流網(wǎng)絡(luò)VR病評(píng)估模型.模型包括2個(gè)子網(wǎng)絡(luò)，分別用于模擬人類視覺系統(tǒng)的腹側(cè)流和背側(cè)流.分別以VR視頻的彩色紋理信息及光流圖運(yùn)動(dòng)信息作為輸入，同時(shí)引入注意力機(jī)制，提升了病癥評(píng)估的精度.

1 算法簡(jiǎn)介

視覺與前庭系統(tǒng)感知運(yùn)動(dòng)不匹配是導(dǎo)致VR體驗(yàn)不適的主要原因.人類視覺系統(tǒng)是復(fù)雜、神奇的系統(tǒng)，人眼攝取原始圖像，大腦進(jìn)行處理與抽象，所以VR病的形成機(jī)理復(fù)雜.Goodale等[12]的研究表明，人類的視覺系統(tǒng)包含2條通路：一條為負(fù)責(zé)識(shí)別物體的腹側(cè)流，另一條為負(fù)責(zé)識(shí)別運(yùn)動(dòng)的背側(cè)流.本文創(chuàng)建3D-ResNet卷積神經(jīng)網(wǎng)絡(luò)，其中包含2個(gè)子網(wǎng)絡(luò)：外觀流網(wǎng)絡(luò)和運(yùn)動(dòng)流網(wǎng)絡(luò).這2個(gè)子網(wǎng)絡(luò)分別模仿人類視覺系統(tǒng)的腹側(cè)流、背側(cè)流，將視頻中包含的運(yùn)動(dòng)信息與能夠識(shí)別物體的紋理信息分別作為輸入，以主觀評(píng)價(jià)值作為基準(zhǔn)，利用雙流卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)負(fù)責(zé)的人類視覺機(jī)制，實(shí)現(xiàn)VR病的評(píng)估.考慮到視頻連續(xù)幀的時(shí)序信息對(duì)視頻理解的影響，將傳統(tǒng)的ResNet50模型改進(jìn)為3D-ResNet50模型，2個(gè)子網(wǎng)絡(luò)均采用該模型.網(wǎng)絡(luò)的總體結(jié)構(gòu)如圖1所示.其中外觀流子網(wǎng)絡(luò)的輸入為連續(xù)RGB視頻幀，用以提取視頻中的物體、紋理、色彩等信息.運(yùn)動(dòng)流子網(wǎng)絡(luò)的輸入為相應(yīng)的連續(xù)光流圖像，用以提取運(yùn)動(dòng)信息.2個(gè)子網(wǎng)絡(luò)獨(dú)立地完成VR病評(píng)估任務(wù)，通過后端融合的方式，將2個(gè)子網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果進(jìn)行融合.

圖1 基于雙流網(wǎng)絡(luò)的3D-ResNet VR病評(píng)估模型Fig.1 VR sickness estimation model based on 3D-ResNet two-stream network

1.1 子網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)在計(jì)算機(jī)視覺和自然語言處理中表現(xiàn)出了優(yōu)越的性能，傳統(tǒng)的CNN模型只針對(duì)2D圖像，無法提取視頻特有的時(shí)間維度的信息.使用3D CNN模型，增加一個(gè)深度通道來表示視頻中的連續(xù)幀，以此提取視頻中時(shí)間維度的信息.

采用殘差網(wǎng)絡(luò)(ResNet)[13]，而ResNet-101網(wǎng)絡(luò)較深，對(duì)硬件的要求較高.使用ResNet50作為基礎(chǔ)網(wǎng)絡(luò)，將1×1的卷積擴(kuò)展為1×1×1的3D卷積，具體結(jié)構(gòu)如表1所示.

表1 子網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 Sub-network structure

網(wǎng)絡(luò)輸入為L(zhǎng)×112×112，代表連續(xù)L幀大小為112像素×112像素的圖像序列.將所有2D卷積核擴(kuò)展成3D卷積核，增加了一個(gè)深度維度，因此輸出的特征圖增加相應(yīng)的時(shí)間序列信息.對(duì)輸入圖像逐層提取特征后接入全連接層，利用Softmax分類器和交叉熵?fù)p失函數(shù)完成子網(wǎng)絡(luò)的舒適度分類任務(wù).

1.2 基于后端融合方式的結(jié)果融合

目前，多模態(tài)數(shù)據(jù)融合主要包括前端融合、中間融合和后端融合.后端融合(late-fusion)，也稱為決策級(jí)融合，可以避免不同子網(wǎng)絡(luò)中錯(cuò)誤的進(jìn)一步累加，增強(qiáng)模型分類的魯棒性.采用后端融合的方式，將外觀流網(wǎng)絡(luò)和運(yùn)動(dòng)流網(wǎng)絡(luò)的Softmax輸出進(jìn)行加權(quán)平均融合，平滑各子網(wǎng)絡(luò)結(jié)果，如下所示.

式中:T為子網(wǎng)絡(luò)數(shù)量；xi為對(duì)應(yīng)網(wǎng)絡(luò)輸出的特征向量，P(xi)為VR病評(píng)估分?jǐn)?shù)；wi為對(duì)應(yīng)的網(wǎng)絡(luò)權(quán)重，

1.3 3D-CBAM注意力機(jī)制的引入

卷積神經(jīng)網(wǎng)絡(luò)能夠提升視覺任務(wù)的性能.從AlexNet到ResNet，網(wǎng)絡(luò)越來越深，對(duì)特征提取的能力越來越強(qiáng).在提取特征的時(shí)候，這些模型都忽略了一個(gè)影響特征的因素，即注意力.Huang等[14]提出CBAM-Resnet神經(jīng)網(wǎng)絡(luò)，通過加入注意力機(jī)制，使得神經(jīng)網(wǎng)絡(luò)有選擇性地接受和處理特征信息，抑制了無用信息，提高了網(wǎng)絡(luò)性能.

卷積注意力模塊(convolutional block attention module， CBAM)[15]基于通道和空間2個(gè)維度，能夠有效地提取圖像的重點(diǎn)信息，增強(qiáng)網(wǎng)絡(luò)性能.作為輕量化模塊，可以無縫地集成到ResNet架構(gòu)中，用較小的參數(shù)代價(jià)，實(shí)現(xiàn)網(wǎng)絡(luò)模型性能的優(yōu)化.由于卷積計(jì)算是通過混合跨通道信息和空間信息來提取特征信息，CBAM強(qiáng)調(diào)在通道和空間軸這2個(gè)維度中提取有意義的特征.

由于是將CBAM模塊應(yīng)用到3D-ResNet模型中，考慮到深度參數(shù)的變化，將輸入特征圖命名為F3D∈RL×W×H×C，3D-CBAM依次生成通道注意力特征圖MCA∈R1×1×1×C以及空間注意力特征圖MSA∈R1×L×W×H.計(jì)算過程如下：

式中:?為逐個(gè)元素相乘；為輸入的特征圖與通道注意力圖的乘積；為空間注意力與的乘積，即3D-CBAM的最后輸出，如圖2所示.

1) 通道注意力模塊.3D-CBAM基于特征通道間的相互關(guān)系解算通道注意力圖，目的是為了尋找對(duì)于輸入特征圖有效的通道.為了提高注意力計(jì)算的效率，3D-CBAM對(duì)特征圖進(jìn)行空間維度上的壓縮，結(jié)合平均池化和最大池化增強(qiáng)特征信息，如圖3所示.

圖3 通道注意力模塊Fig.3 Channel attention module

將輸入特征圖F3D分別利用最大池化和平均池化操作解算出2個(gè)不同的空間特征描述子:和.將和送入只包含一層隱藏層的共享多層感知機(jī)（multi layer perception， MLP）中進(jìn)行逐個(gè)元素的加和處理，經(jīng)過Sigmoid激活函數(shù)將輸入特征圖與生成的通道特征圖相乘，得到最后的通道與特征圖.整個(gè)過程如下所示:

式中:σ為Sigmoid激活函數(shù)；W0、W1為權(quán)重，W0∈RC/r×C，W1∈RC×C/r，W0、W1對(duì)于和是共享 的；參數(shù)r通常取16.

2) 空間注意力模塊.該模塊主要關(guān)注特征圖空間上的相互關(guān)系，是針對(duì)通道注意力模塊的補(bǔ)充，如圖4所示.

圖4 空間注意力模塊Fig.4 Space attention module

在3D-CBAM中對(duì)特征圖進(jìn)行通道維度上的壓縮，結(jié)合平均池化和最大池化增強(qiáng)特征信息.根據(jù)通道維度聚合特征，將運(yùn)算結(jié)果拼接成深層次的空間特征描述子.經(jīng)過7×7×7的3D卷積層和Sigmoid激活函數(shù)生成空間注意力圖，整個(gè)過程如下所示:

式中: 3DAvgPool和3DMaxPool為3D最大池化和3D平均池化，f7×7×7為7×7×7的3D卷積層.

在改進(jìn)的3D-ResNet50網(wǎng)絡(luò)中加入3D-CBAM注意力機(jī)制，如圖5所示.對(duì)于每一部分子網(wǎng)絡(luò)，將3D-CBAM注意力機(jī)制接入第1層卷積3D-Conv1后，在網(wǎng)絡(luò)的每個(gè)殘差塊后都加入注意力機(jī)制，只增加很少的參數(shù)量和計(jì)算量，就可以使得網(wǎng)絡(luò)更精確地學(xué)習(xí)空間表觀特征和感知運(yùn)動(dòng)特征，有利于提升模型的精度.

圖5 基于注意力機(jī)制的子網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Sub-network structure based on attention mechanism

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)預(yù)處理

現(xiàn)階段能夠用于VR體驗(yàn)舒適度研究的公開數(shù)據(jù)集非常有限[16].Kim等[17]使用Unity3D建立包括36個(gè)VR場(chǎng)景的視頻數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)包含對(duì)象運(yùn)動(dòng)、相機(jī)運(yùn)動(dòng)、場(chǎng)景紋理等細(xì)節(jié)，但作者未公開該數(shù)據(jù)集.Padmanaban等[18]建立并公開包含主觀評(píng)分的數(shù)據(jù)集，該數(shù)據(jù)集由19個(gè)播放時(shí)長(zhǎng)為60 s的全景立體VR視頻組成，大部分視頻的分辨率為3 840×2 160像素，幀速率為30幀/s.韓國(guó)先進(jìn)科學(xué)院提供了VR視頻庫(kù)[10].該數(shù)據(jù)庫(kù)被用于研究物體運(yùn)動(dòng)信息對(duì)視覺舒適的影響，但不是所有的視頻都免費(fèi)提供.Hell等[19]創(chuàng)建包含VR場(chǎng)景位置、速度及主觀舒適度評(píng)分的RCVR數(shù)據(jù)庫(kù)，但未公開數(shù)據(jù)集.

使用Padmanaban等[18]建立的公開數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)集主要來自于YouTube中的360°立體視頻庫(kù)，選取年齡為19～62歲的共96名受試者進(jìn)行VR體驗(yàn)舒適度的主觀評(píng)估實(shí)驗(yàn).Padmanaban在實(shí)驗(yàn)中通過讓受試者在觀看視頻后填寫SSQ和MSSQ-Short問卷，計(jì)算視頻的主觀評(píng)分.

根據(jù)數(shù)據(jù)集中VR視頻的主觀評(píng)分，對(duì)視頻進(jìn)行分類.對(duì)VR體驗(yàn)舒適度類別劃分最常用的方式是二分類和四分類[20-21].二分類形式僅僅是對(duì)用戶在進(jìn)行VR體驗(yàn)時(shí)是否產(chǎn)生不適進(jìn)行評(píng)估，四分類的優(yōu)勢(shì)是能夠更細(xì)致地判斷參與者的體驗(yàn)感，更具有現(xiàn)實(shí)意義[22]，因此將數(shù)據(jù)集的主觀評(píng)分按照四分類形式劃分，如表2所示.

表2 主觀評(píng)分和舒適度等級(jí)分類Tab.2 Subjective rating and comfort level classification

考慮到原始視頻數(shù)據(jù)的分辨率較大，直接應(yīng)用于模型訓(xùn)練會(huì)產(chǎn)生較大的計(jì)算成本.圖像質(zhì)量的優(yōu)劣往往會(huì)對(duì)評(píng)估結(jié)果造成直接影響，因此在將數(shù)據(jù)送入網(wǎng)絡(luò)前需要對(duì)視頻的每幀圖像進(jìn)行預(yù)處理操作.該操作能夠消除視頻幀中的多余信息，使得模型需要的真實(shí)信息得以呈現(xiàn)，增強(qiáng)舒適度評(píng)估的準(zhǔn)確性.在網(wǎng)絡(luò)訓(xùn)練前對(duì)數(shù)據(jù)進(jìn)行預(yù)處理操作: 采用標(biāo)準(zhǔn)化、圖片縮放、多尺度中心裁剪和多尺度隨機(jī)裁剪等方法，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理操作.1)考慮到計(jì)算成本及實(shí)驗(yàn)設(shè)備參數(shù)，采用縮放的方法，使輸入圖片的分辨率歸一化到112像素×112像素.2)按照比例對(duì)視頻幀進(jìn)行隨機(jī)縮放，再裁剪到112像素×112像素.3)每批次輸入的視頻幀固定為連續(xù)的16幀，每個(gè)視頻大約有110組連續(xù)幀，共19個(gè)視頻.4)采用圖像平移、旋轉(zhuǎn)、翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)技術(shù)擴(kuò)充實(shí)驗(yàn)樣本，防止過擬合，提升模型的泛化性.

2.2 模型訓(xùn)練

實(shí)驗(yàn)環(huán)境的配置信息如表3所示.在進(jìn)行模型訓(xùn)練時(shí)，統(tǒng)一輸入圖像尺寸.其中外觀流網(wǎng)絡(luò)的輸入為3通道×112像素×112像素的連續(xù)視頻幀，運(yùn)動(dòng)流網(wǎng)絡(luò)的輸入為2通道×112像素×112像素的連續(xù)視頻幀.

表3 測(cè)試平臺(tái)的配置信息Tab.3 Configuration information of test platform

整個(gè)訓(xùn)練模型采用隨機(jī)梯度下降算法(stochastic gradient descent， SGD)進(jìn)行優(yōu)化，反向傳播時(shí)的權(quán)重衰減為0.001，動(dòng)量因子為0.9.學(xué)習(xí)率從0.01開始，訓(xùn)練至第15輪時(shí)，學(xué)習(xí)率以10-1系數(shù)減小，每訓(xùn)練100次，開展一次模型驗(yàn)證調(diào)整.考慮到計(jì)算機(jī)的內(nèi)存和GPU利用率，采用的Batchsize大小為8，訓(xùn)練120個(gè)輪次，具體參數(shù)的設(shè)定如表4所示.表中，L為采樣幀數(shù)，α為初始學(xué)習(xí)率，w為權(quán)重衰減率，β為動(dòng)量因子，Emax為最大迭代次數(shù).

表4 子網(wǎng)絡(luò)訓(xùn)練參數(shù)的設(shè)置Tab.4 Setting of sub-network training parameters

2.3 實(shí)驗(yàn)對(duì)比分析

如圖6所示分別為應(yīng)用3D-ResNet50模型的外觀流和運(yùn)動(dòng)流2個(gè)子網(wǎng)絡(luò)在訓(xùn)練過程中的訓(xùn)練損失變化、模型驗(yàn)證變化以及添加3D-CBAM注意力機(jī)制后的模型變化.圖中，L為損失，E為迭代次數(shù)，P為精度.從圖6(a)可以看出，模型的整體訓(xùn)練損失在最初的迭代過程中較大，隨著迭代次數(shù)的增加，在大約10次時(shí)開始出現(xiàn)迅速降低的情況，并持續(xù)到30次后開始緩慢降低并逐漸趨向于0，經(jīng)過120次迭代后訓(xùn)練結(jié)束.與之對(duì)應(yīng)，精度曲線在10次迭代前迅速提高，最后趨于穩(wěn)定，精度基本上收斂于90%以上，且添加3D-CBAM后網(wǎng)絡(luò)精度的收斂速度更快，網(wǎng)絡(luò)更加穩(wěn)定.從圖6(b)可知，未添加注意力機(jī)制的運(yùn)動(dòng)流網(wǎng)絡(luò)雖然訓(xùn)練誤差不斷減小，但始終處于較大的值域內(nèi)，在網(wǎng)絡(luò)中添加3D-CBAM后損失顯著降低.添加注意力機(jī)制的模型的精度和收斂速度高于未添加注意力機(jī)制的模型，這表明通過添加3D-CBAM注意力機(jī)制可以有效地提高網(wǎng)絡(luò)性能與VR病的預(yù)測(cè)準(zhǔn)確性.

圖6 模型的損失曲線與精確度曲線Fig.6 Loss curves and accuracy curves of model

總體來看，整個(gè)模型在訓(xùn)練過程中損失雖然會(huì)出現(xiàn)不同幅度的振蕩，但會(huì)隨著訓(xùn)練次數(shù)的增加而不斷減小并趨向于0.在精確度曲線中，隨著訓(xùn)練次數(shù)的增加，模型驗(yàn)證精度逐漸增加.可以發(fā)現(xiàn)，運(yùn)動(dòng)流網(wǎng)絡(luò)的訓(xùn)練損失和精確度明顯差于外觀流網(wǎng)絡(luò).原始的RGB圖像中包含了更多的細(xì)節(jié)信息，使得網(wǎng)絡(luò)提取的特征更準(zhǔn)確，而稠密光流圖雖然能夠直觀地表現(xiàn)視頻序列中的運(yùn)動(dòng)信息，但對(duì)于自然場(chǎng)景下VR病的估計(jì)精度不高.在基于卷積神經(jīng)網(wǎng)絡(luò)的VR病估計(jì)中不應(yīng)僅考慮運(yùn)動(dòng)流網(wǎng)絡(luò)，本文使用雙流網(wǎng)絡(luò)是恰當(dāng)且非常必要的.

未添加注意力機(jī)制子網(wǎng)絡(luò)的參數(shù)量為46 237 032，添加注意力機(jī)制后子網(wǎng)絡(luò)的參數(shù)量為51 250 085.結(jié)合表5可知，本網(wǎng)絡(luò)沒有增加太多的參數(shù)量，有效地提高了網(wǎng)絡(luò)性能.

表5 Padmanabar模型精度的對(duì)比Tab.5 Comparison of Padmanabar model accuracy

利用Grad-CAM方法[23]，將外觀流網(wǎng)絡(luò)中最后一層卷積所提取的特征進(jìn)行可視化，如圖7所示.

圖7 3D-CBAM注意力可視化Fig.7 3D-CBAM attention visualization

圖7中，第1行為原始的輸入圖像，第2行為加入注意力機(jī)制后的網(wǎng)絡(luò)特征可視化圖像，展示了網(wǎng)絡(luò)所認(rèn)定的預(yù)測(cè)重要區(qū)域.通過與實(shí)際人眼觀看的主要區(qū)域相比，添加3D-CBAM注意力機(jī)制后模型預(yù)測(cè)的重要區(qū)域與人眼觀看的目標(biāo)對(duì)象區(qū)域基本一致，聚焦于圖像中的物體.這證明添加3D-CBAM模塊后網(wǎng)絡(luò)不僅感知到了圖中的關(guān)鍵信息，而且抑制了其他冗余的無用信息，能夠提取輸入圖像的關(guān)鍵特征，提高了模型預(yù)測(cè)的準(zhǔn)確性.

對(duì)VR病評(píng)估模型的測(cè)試精度進(jìn)行匯總，精度的定義如下：

式中:Ncor為預(yù)測(cè)正確的樣本數(shù)，Ntot為樣本總數(shù).

結(jié)果如表5所示.表中，N為參數(shù)量，t為模型運(yùn)行時(shí)間.可知，在外觀流網(wǎng)絡(luò)和運(yùn)動(dòng)流網(wǎng)絡(luò)中添加3D-CBAM模塊后，精度分別達(dá)到89.6%和82.9%，比未添加注意力模塊的精度相應(yīng)提高了1.7%和3.6%，說明視頻的特征信息被3D-CBAM模塊更充分地提取與學(xué)習(xí).

目前，本領(lǐng)域缺乏其他統(tǒng)一公開的數(shù)據(jù)集，本文與領(lǐng)域內(nèi)近兩年評(píng)估精度較高的文獻(xiàn)進(jìn)行對(duì)比，如表5所示.Garcia-Agundez等[24]測(cè)量受試者在進(jìn)行VR體驗(yàn)時(shí)的線速度、角速度與加速度等信息，通過SSQ調(diào)查問卷得分將體驗(yàn)舒適度分別劃分為二分類和三分類，利用SVM模型預(yù)測(cè)體驗(yàn)舒適度的精度分別為81.8%和58%.Shahid等[25]采用相同的四分類方式對(duì)SSQ主觀評(píng)分進(jìn)行分類，通過視頻內(nèi)容類型、攝像機(jī)運(yùn)動(dòng)特征進(jìn)行人工神經(jīng)網(wǎng)絡(luò)(ANN)建模，對(duì)VR病進(jìn)行預(yù)測(cè)，精確度最終達(dá)到90%.利用外觀流網(wǎng)絡(luò)和運(yùn)動(dòng)流網(wǎng)絡(luò)融合的方式，使得網(wǎng)絡(luò)模型重點(diǎn)關(guān)注圖像的顯著特征，融合后的網(wǎng)絡(luò)模型精度提高到93.7%.

3 結(jié) 語

本文提出VR病評(píng)估模型，將傳統(tǒng)的2D-Res-Net50網(wǎng)絡(luò)改進(jìn)為3D-ResNet50，模仿人類視覺系統(tǒng)的2條通路，建立外觀流和運(yùn)動(dòng)流2個(gè)子網(wǎng)絡(luò)，同時(shí)融入了3D形式的通道注意力和空間注意力機(jī)制.實(shí)驗(yàn)結(jié)果表明，利用該模型提升了評(píng)估網(wǎng)絡(luò)的性能，提高了預(yù)測(cè)精度.

在未來的研究中，將開展立體深度信息對(duì)VR病影響的研究，計(jì)劃將眼動(dòng)、頭部、生理信號(hào)等信息加入評(píng)估模型進(jìn)行多模態(tài)訓(xùn)練，提升評(píng)估模型的準(zhǔn)確性.