基于改進L-K光流的WebAR信息可視分析方法

裴云強，吳亞東，王賦攀，張曉蓉，蔣宏宇，許世健，唐文生

基于改進L-K光流的WebAR信息可視分析方法

裴云強1，吳亞東2，王賦攀1，張曉蓉1，蔣宏宇3，許世健1，唐文生1

(1. 西南科技大學計算機科學與技術學院，四川 綿陽 621010； 2. 四川輕化工大學計算機科學與工程學院，四川 自貢 643002； 3. 法政大學計算機信息科學學院，日本 東京 184-8584)

信息可視化技術結合移動增強現實(MAR)技術在目標跟蹤領域仍然存在設備計算負載過大的問題。若仍堅持采用同跟蹤平面圖像特征點的方案來跟蹤立體對象各角度的特征點，則目標跟蹤過程所需要獲取的多角度特征點數據無疑會加重跟蹤過程的計算壓力，進而導致移動設備負載過大，最終影響模型渲染，所渲染的模型常出現劇烈抖動、卡頓或運動滯后于目標物的現象。針對上述問題，提出了一種基于改進的L-K (Lucas-Kanade)光流跟蹤算法的WebAR (基于Web端的MAR技術)解決方案，將特征點的跟蹤問題轉化為光流估計問題以及一種優化的三維信息可視化交互策略。實驗結果表明，該方法能夠提高MAR在跟蹤目標時的計算效率和穩定性，豐富信息可視化的呈現效果和交互方式。

移動增強現實；WebAR；信息可視化；Lucas-Kanade算法；光流跟蹤

利用可視化技術呈現原始數據是一種較為直觀的信息傳遞方式[1]。數據可視化技術雖然種類繁多，但可視化呈現方式的優化問題長時間未獲突破。隨著技術的發展，在可視化領域已經出現諸多數據呈現的新方式，增強現實(augmented reality，AR)結合數據可視化[2-4]就是其中一種較高效的數據分析方式。人類的認知水平有限，因此有效的數據分析和呈現工作至關重要。AR[5]是一種身臨其境的虛實空間暢游體驗，能為數據可視化提供更大空間，容納更高維度數據。用戶在AR所創造的虛實空間中，通過切換不同的視角確保視覺元素的所有細節不被遺漏，故AR從根本上改變用戶與數據交互[6-7]和分析數據的方式，進而提升用戶認知。如今數據可視化技術正逐步圍繞圖像、圖表、多維動畫等視覺元素向AR技術邁進，最終形成以“AR Data Visualization”為核心的技術延展路線。

AR設備主要分為頭戴式和移動增強現實(mobile augmented reality，MAR)2大類。早期的頭戴式AR設備通常體積龐大、分辨率低、幀率低等問題，大大降低了投影在現實場景中AR模型的真實感；伴隨移動設備的普及，愈來愈多的大眾選擇通過移動端(如智能手機)體驗AR，即MAR。MAR從技術上主要劃分為APP-based AR (基于APP的MAR技術)和WebAR[8-11]，如圖1所示。相較于APP-based AR存在的跨平臺難等問題，WebAR具有無下載、跨平臺、輕量、低成本等優勢。為了提升真實感和實時性，多數MAR應用采用目標跟蹤的方案，實時匹配在視頻幀中所提取的特征點描述子與預先保存在云端的參考圖像描述子，以實現目標識別與跟蹤。傳統的WebAR目標跟蹤方案亦是需要預先計算并篩選目標中便于跟蹤的特征點，增大了預處理的開銷。基于目標跟蹤的MAR以常用平面圖像作為Marker (標記即識別跟蹤對象，例如：二維碼、自然圖像等)，且在不同角度觀察下的特征點基本一致。而真實場景中的立體對象在不同的角度下觀測會產生不同的特征信息，若對于立體對象仍采用跟蹤平面圖像的方案來跟蹤特征點，則需要獲取更多角度的特征信息，必然增大跟蹤的難度，因此對于此部分跟蹤目標來說基于特征點的檢測與跟蹤存在相當的局限性。

圖1 MAR發展時序圖(基于Web的MAR應用和基于APP的MAR應用分別位于左、右兩側)

1 相關工作

為了促進MAR結合信息可視化領域的發展，研究者已提出了多種策略。2011年，YASOJIMA等[12]為了提升信息可視化的交互水平和精度，提出了一種基于協同式AR的信息可視化應用程序；2013年，VLADIMIR[13]提出并解決了信息可視化結合MAR應用中的實用性和美觀性問題；2017年，UMER等[14]開發了一款基于MAR的植物學習系統MAPILS，用于引導學生自主探究學習植物相關知識；2018年，陶燎亮和宋俊鋒[15]運用MAR技術實現校園三維可視化。但以上研究都沒有對目標信息進行有效地可視分析，并且沒有獨立的跟蹤方案。另外，提供的使用平臺皆為移動端APP，用戶需要下載安裝。因此，本文針對在信息可視化和MAR結合領域中存在的跟蹤效率低、信息呈現與小屏交互受限的問題，做了跟蹤算法、數據呈現和交互方式上的優化。

2 交互與跟蹤模型

為了研究立體對象的WebAR跟蹤方案，本文提出了一種基于改進L-K光流法[16-17]的跟蹤方法并對該WebAR跟蹤方案做如下4個假設：

(1) 基于改進L-K光流法的圖像金字塔[18]中采樣窗口大小會影響最終計算得出的光流(,)值；

(2) 加入判斷T矩陣(與光流約束方程中的梯度相關)是否可逆后，能夠基本保證L-K光流法各梯度變化情況下運動的完整性；

(3) 采用改進L-K光流法后的目標跟蹤會相對穩定，且能實現立體對象跟蹤；

(4) 該方案下所渲染的AR模型基本不會出現抖動、卡頓或運動滯后于目標物的現象。

2.1 AR與數據可視化相結合的意義

將AR同數據可視化相結合是人機交互領域的新發展趨勢，結合后的用戶能在三維空間中以更直觀的視角分析數據，并實現多人協作。

2.1.1 沉浸式數據分析與三維交互

AR將可視化結果融入到真實場景中，將可視化結果作為AR模型對用戶視覺內容進行增強，進而給用戶沉浸式的數據交互體驗，使虛擬信息成為真實場景中的一部分。AR用更大的空間來呈現數據，將帶來更全面的分析結果和更廣闊的視野，同時賦予數據可視化在三維空間中的交互方式，如手勢、凝視、觸覺交互等。

2.1.2 注冊對象抽象化

AR中的核心技術之一就是三維注冊[19]，包括相機跟蹤、物體跟蹤和場景三維重構等。在AR與數據可視化的結合領域中，將注冊對象識別為視覺元素能夠減少用戶視覺通道的負載，使原始數據直觀易懂[20]。

因此，本文提出IV LKWA解決方案，在真實場景中將植物視為視覺元素，使相關數據通過WebAR技術疊加到真實場景中，以可視化的形式呈現在種植者眼前以便觀測和栽培。

2.2 L-K光流跟蹤法

2.2.1 傳統光流跟蹤法

美國心理學家James J. Gibson于1950年首次提出光流的概念，用以描述真實世界中物體的運動。根據視覺場景中的亮度變化[21]，光流也可以被定義為物點的速度矢量在成像平面上的投影，該運動中所有光流的分布情況將被展示于光流場中，如圖2所示。光流場是運動場在二維圖像幀上的投影，繼承運動場中相關運動和結構的信息，并且可以從連續視頻幀的亮度變化中近似計算出像素點的運動偏移，以求得無法直接獲得的運動場[22]。

光流法存在的基本假設條件：

(1) 運動是連續的“小運動”。根據視覺感知原理可知，時間的變化不會引起客觀物體的運動在空間上產生劇烈變化，這樣的運動是相對連續的。所以在目標運動過程中，相鄰幀之間是連續變化，且位移量足夠小。由此條件可見運動相對于幀率是緩慢、連貫的，在數學上表示該運動的相關函數是連續、可導的。

圖2 面向轉軸所呈現的光流展示

(2) 亮度恒定不變。同一目標在相鄰幀之間，其亮度保持不變。這是基本光流法的假定，用于得到基本約束方程。假設某像素點經過間隔后對應點亮度由(,,)變為(+,+,+)，且趨近于0。由假設條件(2)得

將式(1)中右式泰勒展開后整理得

2.2.2 L-K光流跟蹤法

除了上述假設條件外，L-K光流跟蹤法還應用了第3條假設：鄰域內像素點位移量一致。2幅相鄰幀中的目標位移很小，且位移在所研究像素點的鄰域內為固定常數，即像素點鄰域內所有像素點的速度向量(,) (，分別表示像素坐標系中指向軸和軸正方向的位移量，該向量表示光流)相等。L-K光流跟蹤法利用此假設，將單像素點光約束問題轉化為鄰近像素點群光約束問題。假設窗口內的像素具有相同的光流(,)，窗口大小為4()×4()，得到16個約束方程為

圖3 “孔徑”問題(從小孔中觀察物體的運動并不能唯一確定其真實運動，故其真實運動具有不確定性)

對于超定方程組式(3)，采用最小二乘法求解，即

式(4)求解光流(,)T的前提是矩陣T可逆，與此同時還要求矩陣T的最小特征值min足夠大，且只有滿足此要求的像素點才易于跟蹤[21]。

2.2.3 基于圖像金字塔的L-K光流跟蹤法

當目標由于運動速度過快而違背假設條件“小運動”時，會導致誤差累計，最終造成求得的光流值誤差過大。而運用圖像金字塔能有效解決此問題。其基本原理為逐級降低視頻幀分辨率，至下而上建立圖像金字塔，接著從塔頂向下逐層計算該幀像素點在下一幀的估計位置直至塔底，最終求得相應光流，如圖4所示。

圖4 基于圖像金字塔的L-K光流法計算光流的過程

3 交互與跟蹤模型

3.1 IV LKWA系統

本文采用WebAR實現目標跟蹤并渲染可視化結果為AR模型，圖5(a)和(b)分別展示了系統框架和用戶流程。用戶通過Web Camera獲取實時視頻流。待視頻流被傳至云端完成匹配后，前端獲取反饋結果。根據結果，前端實現目標跟蹤，并采用three.js直接于前端渲染AR模型，釋放了來自云端或邊緣[23]的傳輸壓力。

3.2 WebAR中的數據交互

在MAR應用中，移動端的小屏幕限制了交互方式和信息的容量與維度。而本系統將所有的信息以可視化的形式呈現，并運用WebAR技術將可視化頁面嵌入AR模型，進而產生雙指縮放、雙指拖動、單指旋轉等豐富的三維交互方式(圖5(c))，以提升種植者的栽培體驗。

3.3 改進的L-K光流跟蹤算法

傳統的L-K光流跟蹤法解光流(,)T時，僅考慮了矩陣T可逆的情況，直接導致最終計算出的光流不具備運動的完整性。而改進的算法討論了矩陣T的奇異性(即矩陣是否可逆)，并對矩陣不可逆的情況做相應光流估計，進而確保了運動的完整性。

圖5 WebAR的系統框架和用戶交互流程

3.3.1 矩陣T為奇異矩陣

基于已建立的圖像金字塔計算光流，從頂層開始，逐層向下計算光流，直到求得底層原圖像的光流。每一層圖像的光流都是由上層的光流計算結果累加所得。

3.3.2 矩陣T為非奇異矩陣

圖6 當矩陣ATA分別為非奇異和奇異矩陣時的光流

4 測試結果與討論

理論上，改進的L-K光流跟蹤算法不僅能有效解決立體對象的跟蹤問題，而且能基本確保運動完整度，即計算覆蓋所有梯度變化情況下出現的光流；WebAR中的信息可視化將克服小屏幕的限制，實現三維交互方式。

4.1 性能估計

進行性能測試的設備包括OnePlus7T (安卓手機)、微星筆記本電腦和一臺阿里云服務器，相關參數見表1。使用火狐瀏覽器評估性能。測試主要評估了基于改進L-K光流算法的跟蹤時延和改進前后L-K光流跟蹤法的運動完整度。

表1 服務器和移動設備相關參數

在與改進前算法的對比實驗中，調整改進的算法中圖像金字塔每層的采樣窗口大小后，發現隨著采樣窗口大小的增大，最終計算出的光流值基本呈線性遞增，經觀察發現較適于觀測AR模型運動的窗口大小為9×9，如圖7(a)所示。改進的L-K光流跟蹤算法在加入判斷矩陣T是否可逆的條件后，在同色溫同亮度不同測試時間內，平均召回了較之前在無判斷下約4.74% (移動端)和23.04% (PC端)的運動數據，如圖7(b)所示。而在固定時間內不同色溫不同亮度下平均召回3.88% (移動端)和11.4% (PC端)的運動數據，如圖7(c)所示。算法改進前后出現的運動偏差如圖7(d)所示，紅色方框呈現改進后的效果，綠色方框呈現改進前的效果。兩者初始時上下重合(左側)，綠色方框在上層，紅色方框在下層。經過移動后，雖然上下層邊框都存在一定的偏差(右側)，但改進后的結果更靠近原來的位置。上述可證色溫亮度的改變確實會對測試結果造成影響，但不同條件下的運動丟失率仍然存在。而在與同類WebAR跟蹤方案的對比實驗中，所有方案的跟蹤對象橫截面積范圍在217.8~253 cm2之間，平均面積226.7 cm2。觀測距離范圍最大值和最小值分別為171 cm和3 cm，且均來自于改進的光流跟蹤算法。采用改進L-K光流跟蹤算法的均幀率在WebAR移動端跟蹤方案中處于中上水平且幀率變化幅度最小，如圖8所示。在移動端瀏覽器的兼容性方面，改進的L-K光流跟蹤算法同時兼容Chrome和Firefox瀏覽器。在跟蹤對象自身的維度方面，改進的L-K光流跟蹤算法同時可以實現立體和平面目標跟蹤。

綜上所述，改進光流法的關鍵就是求解出圖像中運動目標的完整光流以及有效解決立體對象的跟蹤問題。未來，考慮在改進L-K光流法的基礎上，引入單目相機下的位姿估計方法來解決立體對象的位姿估計問題。

圖7 分析比較改進算法的特點

圖8 IVP WA與4款WebAR跟蹤方案的性能對比

4.2 用戶評估

為了驗證系統的有效性，邀請了55名志愿者，通過植物溫度、植物適宜生存環境指標、澆水周期、盆土成分比例、AR模型運動流暢度、交互方法、界面布局、系統有效性來判斷用戶滿意度。用戶的得分越高(從0~10)，滿意度就越高。圖9的統計結果說明了該系統可以有效地幫助用戶體驗沉浸式培育植物，提升對植物的了解程度。此外，植物溫度和適宜生存環境指標以及AR模型運動流暢度和交互方法的滿意度得分較高，不僅符合用戶對植物栽培環境的普遍關注，也體現出系統滿足了用戶對于畫面流暢度和交互效率方面的需求，因此該評估間接驗證了系統的有效性。

圖9 用戶滿意度評估

5 展望與總結

WebAR和信息可視化的結合必將成為一種趨勢，但還需要克服諸多困難。下面從相關應用的大規模普及與私有化和光流法的應用拓展2個方面入手，展望Web AR結合信息可視化的發展前景。

5.1 普及與私有化

WebAR的開發水平正逐步提升以待大規模普及。但是，當涉及到部分敏感數據時，開發者必須保證用戶個人信息不公開。因此，WebAR在網絡安全方面應該立足于解決用戶數據隱私泄露問題。只有擁有安全可靠的網絡環境WebAR的普及才能得到保障。

5.2 光流法的應用拓展

光流包含了目標的關鍵運動信息，除了用于檢測圖像幀中的運動目標，還可以用于分割運動目標等。其次，將光流法運用于WebAR技術再結合信息可視化，有助于自動導航、室內智能系統等領域的技術突破和持續發展。

5.3 總 結

本文提出了一種基于改進L-K光流算法的WebAR解決方案和一種優化的交互策略，并應用于WebAR與信息可視化的交叉領域。測試部分比較了傳統和改進L-K算法的運動完整度，以及同類型WebAR解決方案的性能。測試結果表明，改進的L-K光流跟蹤算法確實能在無特征點跟蹤的情況下有效解決立體對象的跟蹤問題，并能基本確保光流的運動完整度。本系統嘗試將立體對象作為跟蹤目標，且避免了大量特征點計算時產生的能耗，有效提高Mobile AR領域在跟蹤目標時的計算效率和跟蹤穩定性。WebAR提供更大的空間以呈現數據，將帶來更全面的可視分析結果，同時賦予信息可視化三維交互方式。WebAR渲染可視化結果于三維空間供用戶進行高效的人機交互，替代了傳統復雜耗時的手動檢索，輔助種植者高效快速地了解植物培育信息。上述結論驗證了WebAR和信息可視化的結合存在大量的研究意義和價值。除了植物，IV LKWA還可以應用到其他領域，如博物館展品、購物指南等。本文也為MAR結合信息可視化領域中改善目標跟蹤性能和豐富交互方式等方面提供了新思路。

[1] ALI S M, GUPTA N, LENKA R K, et al. Big data visualization: tools and challenges[C]//2nd International Conference on Contemporary Computing and Informatics. New York: IEEE Press, 2017: 656-660.

[2] 張開法. 混合現實技術在大數據可視化中的應用[J]. 電腦編程技巧與維護, 2019(4): 84-86. ZHANG K F. The application of mixed reality technology in big data visualization[J]. Computer Programming Skills & Maintenance, 2019(4): 84-86 (in Chinese).

[3] ELSAYED N A M, THOMAS B H, SMITH R T, et al. Using augmented reality to support situated analytics[C]//2015 IEEE Virtual Reality. New York: IEEE Press, 2015: 175-176.

[4] COSTA I V, QUEIROZ V F, MIRANDA B, et al. A card-based interaction to design visualizations in augmented reality environments[C]//23rd International Conference in Information Visualization–Part II. New York: IEEE Press, 2019: 52-55.

[5] 李騰飛. 增強現實虛實交互技術的研究與實現[D]. 沈陽: 沈陽工業大學, 2019. LI P F. Research and implementation of virtual and reality interaction technology in augmented reality[D]. Shenyang: Shenyang University of Technology, 2019 (in Chinese).

[6] WILLIAMS T, SZAFIR D, CHAKRABORTI T, et al. Virtual, augmented, and mixed reality for human-robot interaction[C]//2019 14th ACM/IEEE International Conference on Human-Robot Interaction. New York: ACM Press, 2019: 671-672.

[7] SANGALLI V A, DE OLIVEIRA, T V, SOARES L P, et al. SculptAR: an augmented reality interaction system[C]//2017 IEEE Symposium on 3D User Interfaces. New York: IEEE Press, 2017: 260-261.

[8] REN P, QIAO X Q, CHEN J L, et al. Mobile edge computing – a booster for the practical provisioning approach of web-based augmented reality[C]//2018 IEEE/ACM Symposium on Edge Computing (SEC). New York: IEEE Press, 2018: 349–350.

[9] QIAO X Q, REN P, NAN G H, et al. Mobile web augmented reality in 5G and beyond: challenges, opportunities, and future directions[J]. China Communications, 2019, 16(9): 141-154.

[10] DANGKHAM P. Mobile augmented reality on web-based for the tourism using HTML5[C]//2018 International Conference on Information Networking. New York: IEEE Press, 2018: 482-485.

[11] LAM K Y, LEE H L, BRAUD T, et al. M2a: a framework for visualizing information from mobile web to mobile augmented reality[C]//2019 IEEE International Conference on Pervasive Computing and Communications. New York: IEEE Press, 2019: 1-10.

[12] YASOJIMA E K K, MEIGUINS B S, MEIGUINS A S. Collaborative augmented reality application for information visualization support[C]//2011 15th International Conference on Information Visualisation. New York: IEEE Press, 2011: 170-175.

[13] VLADIMIR G. Artistic visualisation of practical in-formation using augmented reality[C]//2013 17th International Conference on Information Visualisation. New York: IEEE Press, 2013: 404-409.

[14] UMER M, NASIR B, KHAN J A, et al. Mapils: mobile augmented reality plant inquiry learning system[C]//2017 IEEE Global Engineering Education Conference. New York: IEEE Press, 2017: 1443-1449.

[15] 陶燎亮, 宋俊鋒. 基于VR技術和AR技術的三維可視化實現——以麗水學院校園風光明信片應用開發為例[J]. 麗水學院學報, 2018, 40(2): 64-69. TAO L L, SONG J F. The realization of 3D visualization with VR and AR technologies: the development of postcard applications of Lishui University campus landscapes[J]. Journal of Lishui University, 2018, 40(2): 64-69 (in Chinese).

[16] LUCAS B D, KANADE T. An iterative image registration technique with an application to stereo vision[C]//Proceedings of the 7th International Joint Conference on Artificial Intelligence, San Francisco: Morgan Kaufmann Publishers, 1981: 674-679.

[17] 楊靖帆, 何漢武, 吳悅明. 局部特征描述改進的LK跟蹤注冊方法[J]. 計算機工程與設計, 2020, 41(2): 458-464. YANG J F, HE H W, WU Y M. Improved Lucas Kanade tracking and registration method based on local descriptor[J]. Computer Engineering and Design, 2020, 41(2): 458-464 (in Chinese).

[18] 朱俊杰, 李勝, 侯保林, 等. 基于金字塔LK算法的運動目標的檢測[J]. 工業控制計算機, 2015, 28(9): 13-15. ZHU J J, LI S, HOU B L, et al. Detection of moving objects based on pyramid LK algorithm[J]. Industrial Control Computer, 2015, 28(9): 13-15 (in Chinese).

[19] LI Q Y, LI Y X, TIAN J, et al. Augmented reality registration method based on natural feature points[C]//Proceedings of 2017 17th IEEE International Conference on Communication Technology, New York: IEEE Press, 2017: 1937-1941.

[20] 高翔, 安輝, 陳為, 等. 移動增強現實可視化綜述[J]. 計算機輔助設計與圖形學學報, 2018, 30(1): 1-8. GAO X, AN H, CHEN W, et al. A survey on mobile augmented reality visualization[J]. Journal of Computer-Aided Design & Computer Graphics, 2018, 30(1): 1-8 (in Chinese).

[21] 孫娟. 基于改進光流場目標檢測跟蹤系統的設計[D]. 淮南: 安徽理工大學, 2017. SUN J. Design of target detection and tracking system based on improved optical flow field[D]. Huainan: Anhui University of Science & Technology, 2017 (in Chinese).

[22] SHI J B, TOMASI C. Good features to track[C]//1994 Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 1994: 593-600.

[23] QIAO X Q, REN P, DUSTDAR S, et al. A new era for web AR with mobile edge computing[J]. IEEE Internet Computing, 2018, 22(4): 46-55.

IV LKWA: an information visual analysis tool with advanced L-K optical flow based WebAR

PEI Yun-qiang1, WU Ya-dong2, WANG Fu-pan1, ZHANG Xiao-rong1, JIANG Hong-yu3, XU Shi-jian1, TANG Wen-sheng1

(1. School of Computer Science & Technology, Southwest University of Science and Technology, Mianyang Sichuan 621010, China; 2. School of Computer Science & Engineering, Sichuan University of Science and Engineering, Zigong Sichuan 643002, China; 3. Graduate School of Computer Information Science, Hosei University, Tokyo 184-8584, Japan)

For themobile augmented reality (MAR) technology combined with information visualization, there remains excessive computing pressure on devices in target tracking. If the MAR application adopts the feature tracking solution for 2D images to track 3D objects, the multi-angle feature points in 3D objects obtained from extensive calculations will undoubtedly increase computing pressure in tracking process. As a consequence, excessive computing pressure will be incurred on devices, leading to unstable phenomena in the scene, such as jitter, latency, and movement of 3D AR model lagging behind the target during the target tracking. To resolve these problems, a WebAR (web-based AR) solution was proposed based on the advanced L-K method (Lucas Kanade method, an optical flow algorithm), which transformed the feature point tracking problem into an optical flow estimation problem and an optimized 3D interaction strategy for information visualization. The experimental results could verify that the proposed method can effectively enhance the computing efficiency and stability of target tracking in MAR and enrich the presentation and interaction in information visualization with WebAR.

mobile augmented reality; WebAR; information visualization; Lucas-Kanade method; optical flow

TP 391

10.11996/JG.j.2095-302X.2020060962

A

2095-302X(2020)06-0962-08

2020-07-15；

2020-07-28

15 July，2020；

28 July，2020

四川省重點研發計劃項目(2020YFS0360)；國家自然科學基金項目(61872304，61802320，61872066，61502083)；四川省教育廳科技創新團隊支持計劃(18zd1102)

Key Research and Development Project of Sichuan Province (2020YFS0360); National Natural Science Foundation of China (61872304, 61802320, 61872066, 61502083); Program for Innovation Team of Sichuan Province Committee of China (18zd1102)

裴云強(1995-)，男，四川成都人，碩士研究生。主要研究方向為人機交互。E-mail：simon1059770342@foxmail.com

PEI Yun-qiang (1995-), male, master student. His main research interests cover human-computer interaction. E-mail：simon1059770342@fox-mail.com

吳亞東(1979–)，男，河南舞陽人，教授，博士。主要研究方向為可視化與可視分析、人機交互。E-mail：wyd028@163.com

WU Ya-dong (1979-), male, professor, Ph.D. His main research interests cover visualization and visual analysis and human-computer interaction. E-mail：wyd028@163.com