基于視覺感知的圖形化人機交互界面分層模型

谷 佳，王昕兵

(1.寧夏理工學(xué)院計算機科學(xué)與工程學(xué)院，寧夏石嘴山753000;2.內(nèi)蒙古師范大學(xué)，內(nèi)蒙古呼和浩特010022)

1 引言

信息技術(shù)的發(fā)展使軟件開發(fā)數(shù)量迅速增加，大多數(shù)軟件都采用圖形化人機交互界面進行信息獲取，尤其是移動APP終端，不僅要實現(xiàn)圖形化人機交互界面的開發(fā)，還要注重其視覺傳達能力，提升軟件的綜合質(zhì)量[1，2]。圖形化人機交互界面是操作者對制造裝備重要運行特征信息進行獲取和有效控制的關(guān)鍵途徑，其設(shè)計對操作者控制制造裝備的準(zhǔn)確性和及時性具有直接影響[3]。

目前許多相關(guān)專家學(xué)者都將圖形化人機交互界面設(shè)計作為研究的重點課題，如朱帥等，研究基于改進FAHP-TOPSIS的數(shù)控機床人機界面評價模型[4]；梁永強等，研究基于眼動特征的人機交互行為意圖預(yù)測模型[5]。雖然上述模型具有一定的研究價值，但仍存在界面布局凌亂，操作繁瑣，圖像增強效果不佳等問題，應(yīng)用性較弱。

針對傳統(tǒng)方法存在的圖像增強效果不佳和信息量不豐富的問題，本文設(shè)計基于視覺感知的圖形化人機交互界面分層模型，以基于層次分析人機交互界面視覺傳達的圖像處理模型實現(xiàn)的圖形化人機交互界面視覺傳達優(yōu)化結(jié)果為基礎(chǔ)，建立基于視覺感知強度的圖形化人機交互界面分層優(yōu)化模型，實現(xiàn)圖形化人機交互界面優(yōu)化設(shè)計，提升圖形化人機交互界面的輸出顯示能力，提高其吸引度。

2 基于視覺感知的圖形化人機交互界面分層模型

2.1 圖像處理模型構(gòu)建

2.1.1 視覺傳達圖像特征提取

在各個局部區(qū)域，對于圖形化人機交互界面視覺傳達特征圖像實施傅里葉變換，獲取其邊緣像素集，表示如下

Iif(x，y)=I*G(x，y，σi)

(1)

Iiv(x，y)=I*stdfilt(x，y，wi)

(2)

Sgif(x，y)=-log2(Pif(x，y))

(3)

其中，Iif(x，y)表示4×4子網(wǎng)格區(qū)域的邊緣像素集；Iiv(x，y)表示曲面區(qū)域的邊緣像素集；Sgif(x，y)表示非平緩區(qū)域的邊緣像素集；G(x，y，σi)表示在4×4子網(wǎng)格區(qū)域中，圖形化人機交互界面視覺傳達圖像(簡稱圖形化人機視覺圖像)的高頻分量集；x和y分別表示圖像的橫縱坐標(biāo)；σi表示圖像的豎直邊緣；wi表示圖像的水平邊緣。依據(jù)圖像重構(gòu)結(jié)果實時融合跟蹤辨別圖形化人機視覺圖像，在非平緩區(qū)域構(gòu)造多分辨多尺度的圖形化人機視覺圖像J的頻譜圖，從而對圖形化人機交互界面的關(guān)鍵濾波紋理系數(shù)進行確定[6]，獲得曲面區(qū)域內(nèi)，圖形化人機交互界面點跟蹤的軌跡分量，如式(4)所示

(4)

其中，t0表示曲面區(qū)域特征量；I(x)表示圖像的外部輪廓；A表示圖像特征權(quán)值；t(x)表示圖像的邊緣結(jié)構(gòu)塊。在對像素進行拓展的4×4子區(qū)域中，圖形化人機視覺圖像的邊緣輪廓信息分量可通過在非平緩區(qū)域內(nèi)采用曲面變換獲得，式(5)為圖形化人機視覺圖像的邊緣輪廓信息分量表達式

(5)

其中，ei和yi分別表示圖像的尺度信息和塊效應(yīng)分布像素集；N表示圖像塊個數(shù)；b表示一個常數(shù)；ai表示局部圖像分塊；wT表示圖像分塊的平均像素值；φ(xi)表示圖像塊之間的相似度。

(6)

其中，Z(i)和h分別表示復(fù)合窗口模板和內(nèi)層窗口的增強特征信息。與稀疏特征融合相結(jié)合，可獲得圖形化人機視覺圖像的區(qū)域分布基函數(shù)，如下所示

g(x，y)=f(x，y)+ε(x，y)

(7)

其中，f(x，y)表示圖形化人機視覺圖像的像素強度；ε(x，y)表示圖像亮度。圖形化人機交互界面的視覺傳達信息增強處理，可通過交叉性信息融合技術(shù)完成，為提升圖形化人機交互界面的視覺傳達效果，對圖形化人機視覺圖像的邊緣包絡(luò)特征進行構(gòu)建。

2.1.2 人機交互界面視覺傳達優(yōu)化

上小節(jié)中，圖形化人機視覺圖像的邊緣包絡(luò)特征由使用邊緣輪廓特征提取方法采集的圖形化人機交互界面的邊界信息特征構(gòu)成，在此基礎(chǔ)上，采用基于層次分析的視覺傳達優(yōu)化方法，實現(xiàn)圖形化人機交互界面視覺傳達優(yōu)化。圖形化人機交互界面的視覺傳達層次模糊聚類表示如下

(8)

(9)

圖形化人機交互界面層次融合增強需在窗口是非平緩區(qū)域時，使用LBG向量量化方法實現(xiàn)，式(10)描述了圖像增強的信息矩陣

(10)

其中，L表示圖形化人機視覺圖像超分辨率重構(gòu)的向量量化特征解，可通過歸一化特征分解圖形化人機視覺圖像內(nèi)的像素特征點獲得[8]，在圖形化人機視覺圖像邊緣輪廓內(nèi)實行最優(yōu)化系數(shù)整合，劃分原始指紋圖像為一連串不重疊的分塊區(qū)域，式(11)描述了其定義

(11)

其中，assoc(A，V)和assoc(B，V)分別表示圖形化人機視覺圖像的像素點子集A內(nèi)的灰度像素特征和像素點子集B內(nèi)的灰度像素特征。

式(12)描述了高分辨圖形化人機交互界面視覺傳達的子集分量

(12)

其中，μi表示邊緣輪廓特征點；pi，j(A)表示特征分解結(jié)果。

對復(fù)合窗口模板的內(nèi)層窗口進行構(gòu)建，產(chǎn)生單幀分布區(qū)域內(nèi)圖形化人機視覺圖像的邊緣輪廓特征點，通過向量量化方法完成圖形化人機視覺圖像信息增強處理，圖形化人機交互界面視覺傳達過程的特征分解，可使用多分辨的層次分析方法實現(xiàn)，從而達成圖形化人機交互界面視覺傳達優(yōu)化。

2.2 基于視覺感知強度的交互界面分層優(yōu)化模型

2.2.1 分層優(yōu)化模型構(gòu)建

基于視覺感知強度的圖形化人機交互界面分層優(yōu)化模型，將圖形化人機界面中平緩區(qū)域、非平緩區(qū)域、曲面區(qū)域以及單幀分布等區(qū)域的視覺感知強度作為優(yōu)化目標(biāo)，并以圖形化人機交互界面各個區(qū)域視覺感知強度和邊緣輪廓內(nèi)視覺感知元素重要度為基礎(chǔ)，進行建立[9]。為了實現(xiàn)對人機交互界面不同區(qū)域的分層優(yōu)化，首先對人機交互界面各個區(qū)域中的重要參數(shù)進行定義

1)D={d1，d2，…，dn}，當(dāng)前第i個視覺感知元素的等級值和圖形化人機交互界面全部視覺感知元素重要度等級集分別為di和D，其中，i的取值為1，2，…，n；

2)X={x1，x2，…，xm}，xj和X分別為當(dāng)前第j個視覺感知區(qū)域的感知強度等級和圖形化人機交互界面各個區(qū)域劃分的視覺感知強度集，其中，j的取值為1，2，…，m；

3)布置視覺感知元素i時，其在第j強度等級區(qū)域占據(jù)面積數(shù)值用qij表示；

4)R={r1，r2，…，rn}，當(dāng)前第i個視覺感知區(qū)域占據(jù)面積數(shù)和各個視覺感知元素被布置在圖形化人機交互界面后視覺感知強度指數(shù)分別為ri和R，其中，i的取值為1，2，…，n，則

(13)

其中，di和xj分別表示任意視覺感知元素布置到圖形化人機交互界面時，其重要度等級和布置位置占據(jù)區(qū)域的感知強度等級，其布置位置占據(jù)面積數(shù)用qij表示。

若想視覺感知元素布置在圖形化人機交互界面核心區(qū)域，那么ri的值應(yīng)越大。在該方法的基礎(chǔ)上，對基于視覺傳達感知強度的圖形化人機交互界面分層優(yōu)化模型進行建立，表示如下

(14)

通過式(14)獲得視覺傳達指數(shù)定義。若想表示高重要度的視覺感知元素布置在圖形化人機交互界面視覺感知強度高的區(qū)域，那么Z的值應(yīng)越大。

2.2.2 基于遺傳算法的模型求解

使用遺傳算法求解上小節(jié)建立的基于視覺感知強度的圖形化人機交互界面分層優(yōu)化模型。

1)模型編碼

基于遺傳算法進行染色體求解時，使用基于視覺感知元素的編碼規(guī)則，以保證視覺感知元素能恰當(dāng)?shù)夭贾糜趫D形化人機交互界面不同區(qū)域內(nèi)，并且使所布置區(qū)域相連接，以此來實現(xiàn)界面的分層優(yōu)化。如果存在8個視覺感知元素，將其序號當(dāng)作對染色體實行求解的一個基因片段，假如使用1至8的整數(shù)對感知元素序號進行編碼，具有可行性的染色體編碼表示如下

p1：(2 3 5 6 7 4 8 1)

p2：(5 6 2 3 7 4 8 1)

(15)

2)染色體編碼求解

依據(jù)以上編碼規(guī)則，采用以下步驟求解圖形化人機交互界面布置：

(a)當(dāng)前實施布置的視覺感知元素Si和di等信息，可依據(jù)提取的基因片段未布置的基因編碼獲得。

(b)未布置的視覺感知元素的各個視覺感知區(qū)域信息，可依據(jù)從高至低的視覺感知區(qū)域等級獲得，并按照面積匹配規(guī)則布置視覺感知元素至該視覺感知區(qū)域內(nèi)。

(c)對當(dāng)前視覺感知區(qū)域能否徹底布置該視覺感知元素進行判定，如果能，則跳轉(zhuǎn)至步驟(e)，如果不能，則跳轉(zhuǎn)至步驟(d)

(d)依據(jù)面積匹配規(guī)則，對獲得的下一個等級視覺感知區(qū)域和之前待布置視覺感知區(qū)域共同實施視覺感知元素布置，跳轉(zhuǎn)至步驟(c)。

(e)對該視覺感知元素完成布置后的rj值進行計算。

(f)對當(dāng)前編碼全部染色體的解碼是否完全結(jié)束進行判定，如果是，跳轉(zhuǎn)至步驟(g)，如果不是，返回至步驟(a)。

(g)單個染色體的求解計算，可通過依據(jù)各個計算結(jié)果獲得的當(dāng)前染色編碼Z值和各個視覺感知元素在各個感知區(qū)域的分布信息實現(xiàn)。

3 實驗分析

為分析本文模型的圖形化人機交互界面優(yōu)化效果，設(shè)計對比實驗，選取文獻[4]的基于改進FAHP-TOPSIS的數(shù)控機床人機界面評價模型(簡稱FAHP-TOPSIS模型)和文獻[5]的基于眼動特征的人機交互行為意圖預(yù)測模型(簡稱眼動特征模型)，作為本文模型的對比模型，進行對比分析。

以采用MATLAB仿真軟件和VC編程工具設(shè)計的圖形化人機交互界面作為實驗對象，圖形化人機視覺圖像樣本尺寸為1000，界面元素區(qū)域分布位置參數(shù)詳情用表1描述。

表1 界面元素區(qū)域分布位置參數(shù)詳情

根據(jù)上述設(shè)置的實驗參數(shù)，對不同模型進行對比。由于人機交互界面包含大量不同類型的圖像，隨機選取一張圖像作為實驗對象，運用不同模型對其進行處理，得到三種模型的亮度特征圖像增強對比結(jié)果用圖1描述。

圖1 亮度特征圖像增強對比

分析圖1可得，F(xiàn)AHP-TOPSIS模型的圖像亮度增強效果較弱，而眼動特征模型存在特征圖像亮度過強的問題，相對于這兩種模型，本文模型具有更優(yōu)的亮度特征圖像增強效果，與人眼視覺感知相吻合，可更好地實現(xiàn)圖形化人機交互界面優(yōu)化處理，提升圖形化人機交互界面的視覺舒適度。

信息熵是評價圖像平均信息量的標(biāo)準(zhǔn)，通過具體數(shù)值對信息熵進行表示，其值越大，說明圖像融合效果越好，信息量越豐富。實驗分析三種模型的信息熵，結(jié)果用圖2描述。

圖2 信息熵對比結(jié)果

分析圖2可得，相對于其它兩種模型，本文模型的信息熵始終保持最高，穩(wěn)定在[70，80]區(qū)間內(nèi)，起伏程度較小；FAHP-TOPSIS模型的信息熵起伏程度相對較大，最低值為45，最高值接近60；眼動特征模型的信息熵在[20，50]區(qū)間內(nèi)起伏程度劇烈。對比這些數(shù)據(jù)可以看出，本文模型具有較強的圖像融合效果，可大大提升圖形化人機交互界面的性能。

4 結(jié)論

通過對視覺感知的深入研究，設(shè)計基于視覺感知的圖形化人機交互界面分層模型，提升圖形化人機交互界面輸出顯示能力。該雙層模型通過基于層次分析人機交互界面視覺傳達的圖像處理模型和基于視覺感知強度的圖形化人機交互界面優(yōu)化模型，共同實現(xiàn)圖形化人機交互界面分層優(yōu)化設(shè)計。該模型通用性強，可應(yīng)用于各種人機交互界面的優(yōu)化設(shè)計，為人機交互界面優(yōu)化提供科學(xué)、高效的技術(shù)支持。