綜采工作面虛擬監測系統界面交互設計

孫夢禎，李娟莉，謝嘉成，李素華

綜采工作面虛擬監測系統界面交互設計

孫夢禎，李娟莉，謝嘉成，李素華

（太原理工大學，太原 030024）

解決當前綜采工作面虛擬監測系統功能分區混亂，色彩、布局、交互流程等方面都缺乏人性化研究，所導致的用戶體驗差的問題。將情境設計理論和用戶體驗層次模型相結合，提出構建綜采工作面虛擬監測系統界面的交互設計方法。該方法首先對綜采工作面虛擬監測系統進行了需求定義和功能分析，并對系統功能進行了優先級排序；接著在“概念—原型—視覺”的情境求解過程中，設計了交互邏輯和視覺元素，提出了高效的、符合用戶認知的交互設計模型；最后運用Unity3d開發引擎，對上述虛擬監測系統設計方案進行了開發。采用模糊綜合評價方法，通過實驗驗證了設計方案具有很好的用戶體驗感，也為虛擬系統界面交互設計提供了理論支撐。

情境設計；用戶體驗；交互設計；虛擬監測；綜采工作面

物聯網和大數據等科學技術促進了煤炭行業的智能化發展，無人化開采也成為時下的研究熱點。綜采工作面監測系統在無人化開采領域有著重要的作用，但傳統的視頻監測和二維組態軟件監測存在易受環境影響而導致畫面清晰度低、數據傳輸量大且有延遲的問題。伴隨著虛擬現實和數字孿生技術的逐步成熟，綜采工作面虛擬監測系統應運而生，其目的是通過實時同步虛擬場景完成綜采工作面遠程監測工作，融合綜采數據和監控畫面，以二維圖表的方式來直觀展示數據的變化趨勢。近年來，國內外科研者以虛擬實現技術為基礎，在綜采遠程監測方面取得了很好的成果。李阿樂等研發了一套基于虛擬現實技術對綜采工作面三機協同運動狀態進行監測的系統，實現了虛實同步運動、場景漫游及多視角監測等功能[1]。謝嘉成等研究了綜采工作面三機協同運動和實時動態監控技術，融合虛擬現實技術建立了綜采工作面的虛擬場景，開發了實時數據訪問和多功能人機交互的培訓系統[2-4]。在此基礎上，進一步對液壓支架、采煤機和刮板輸送機的定位、定姿方法，以及三機協同的關鍵技術進行了研究，提高了虛擬場景同步運動的精確性[5-8]。王學文等對綜采工作面設備的協同運動和仿真、信息傳遞、虛實融合等技術進行了研究，提出了面向智能化綜采工作面的實施虛擬監測方法，為綜采工作面的虛擬呈現提供了理論和技術方面的支持[9]。

從以上分析可以看出，當前關于綜采虛擬監測系統的設計和開發，更注重技術的突破和功能的疊加，但在系統界面的人機交互設計方面缺乏研究，而造成綜采監測系統的用戶體驗感普遍較差的問題。因此，運用界面交互設計的相關理論，對綜采工作面虛擬監測系統的人機界面進行設計具有重要意義。

當前用戶體驗設計方法被廣泛應用于電子產品的軟界面設計、實體產品的操作界面設計、產品造型設計等領域[10-12]，但在綜采行業鮮有提及。常用于提升用戶體驗的設計方法眾多，BERGSTROM J R等采用視覺跟蹤方法完成了界面用戶體驗設計的探索[13]。謝偉等人通過無意識認知理論來指導界面交互設計流程，并以無意識認知評估取代可用性和用戶體驗評估[14]。王熙元等以情感化理論、馬斯洛需求層次、感性工學理論完成對醫療設備人機交互界面的設計[15]。吳劍斌等以情境感知和卡片分類等方法建立系統設計模型，完成界面設計[16]。對比上述設計方法，情境分析可以更好地以用戶體驗感為設計出發點，重視產品、人、環境三者之間的關系。因此，基于情境分析的方法，構建系統界面交互設計模型，從而展開對綜采虛擬監測設計系統界面交互的分析。

1 綜采工作面虛擬監測系統界面交互設計流程

用戶體驗設計是界面交互設計的核心，其重視使用人群與產品交互時的內心活動，將人作為設計中心，基于人機工程學和可用性原理，對產品的視覺效果和交互方式進行綜合性設計，從而得到符合用戶認知習慣的設計結果[17]。情境設計從用戶體驗出發，以人、產品、環境及三者間的相互關系為要素構建情境系統，運用情境描述、故事版、場景模擬等方式預測用戶交互過程，從而直觀、理性地分析設計問題及突破點，以指明設計方向[18]。將情境設計與Garrett提出的用戶體驗層次模型[17]相結合，提出基于情境設計的系統界面設計方法，并將其運用于綜采工作面虛擬監測系統的界面設計中，該流程包括情境構建、情境求解、開發測試和發布4個步驟，彼此相互關聯，見圖1。

圖1 綜采工作面虛擬監測系統界面的交互設計流程

2 情境構建

2.1 提出問題

綜采工作面操作工和集控中心工作人員是對綜采設備、綜采環境及遠程監控工作最為了解的用戶群體，因此將其作為調研對象，通過問卷調查和用戶訪談的方法，分析當前綜采工作面虛擬監測系統操作中存在的用戶痛點，見圖2。當前系統存在以下痛點：第一，該系統功能欠缺，分類混亂。第二，該系統交互感較弱，缺少層級關系，交互效率較低。第三，界面元素以文字為主，識別效率較差。第四，界面元素造型相似，識別率和容錯性都較低。

圖2 虛擬監測系統界面

為解決上述問題，下面將運用情境設計理論，結合用戶認知習慣、色彩心理學知識和虛擬監測系統特點，對系統交互模型和界面元素進行改進，完成具有良好用戶體驗感的綜采工作面虛擬監測系統交互界面的設計。

2.2 情境描述

根據上述調研結果可知，用戶與系統產生的交互過程可以分為2種類型，分別是日常工作和故障處理。現對調研群體進行篩選，選擇具有代表性的用戶行為，針對2種交互過程，結合行業環境和用戶特征

來構建工作人員使用綜采工作面虛擬監測系統時的情境系統。行業環境和用戶特征分析具體如下。

1）行業環境。綜采工作面相關工作操作并不復雜，但不斷重復，較為枯燥，且該行業工作危險性較高，微小失誤而帶來的損失不可估計。因此，該行業環境具有枯燥、高危及容錯性低的特點。這樣的行業環境容易使工作者疲勞、暴躁、不安，從而導致潛在的危險隱患。

2）用戶特征。綜采工作者文化程度不盡相同，因此信息接收能力存在差異，且該群體年齡跨度較大，導致學習能力也存在差異。情境描述故事版見圖3。

圖3 情境描述故事版

3）日常工作情境。首先，工作人員小A快速登錄虛擬監測系統，通過自由切換監測視角，觀察綜采工作面設備工作狀態。然后，在確定所有設備正常開啟且不存在安全隱患后，簡單、快速地在綜采工作面單機（采煤機、液壓支架、運輸機構）三維協同監測之間自由切換。具體操作內容如下：觀察虛擬采煤機運行情況，根據實際割煤情況來調整采煤機滾筒采高動作；小A通過輸入數字“69”完成對69號支架動作及數據的監測工作；在運輸機構虛擬監測界面觀察刮板機的直線度，從而對液壓支架的推移進行調整。最后，小A進入數據統計功能，通過圖表觀察設備運行趨勢和綜采環境變化趨勢。

4）故障處理情境。當設備在運行中發生故障時，系統自動跳轉至故障預警模塊，小A通過當前頁面了解故障問題和故障處理方案，在完成相應處理工作后，返回主頁進行多視角自由監控。小A可在故障預警模塊查閱過往的故障記錄。

2.3 需求定義和功能分析

分析上述情境描述結果，將虛擬監測系統的功能分為三維監控、故障預警和數據可視化，可以解決現有虛擬監測系統功能欠缺、分類混亂的問題，具體如下。

1）三維監控功能。該功能的監測對象包括采煤機、液壓支架（群組和單機）、運輸機構、輔助系統和環境，其監測內容以設備的位置和姿態為主，運行和健康數據為輔。同時包含采煤機和液壓支架的動作控制。

2）故障預警功能。該模塊可以在設備故障時做出警示，呈現故障動畫，同時具有記錄故障的作用。

3）數據可視化功能。該模塊可以分類統計所有數據，并以圖表形式展示變化趨勢。該功能模塊中將數據分為實時數據和歷史數據2種類型。

在用戶調研過程中發現，用戶對系統功能的需求度存在差異，例如，同樣是三維監控功能，綜采三機協同運動監測需求度遠高于三機單體的監測需求度，在系統交互邏輯設計中，三機協同監測具有較高的邏輯層級。根據用戶需求度完成的功能優先級排序設計，可用于指導界面交互邏輯圖設計，見圖4。

圖4 系統功能優先級排序

3 情境求解

情境求解的目標是分析、解決設計問題，具體包括概念設計、原型設計和視覺設計的過程。

3.1 概念設計

產品功能的交互邏輯設計決定了系統界面的層級關系和交互形式。系統功能優先級越高，相應的功能模塊層級越高，從而提高了用戶操作的便捷度，優先級較低的功能作為上一級功能的子節點。遵循上述要求，完成所有系統功能的交互邏輯，見圖5。該設計結果是根據監測對象對系統功能進行分類，并依據功能優先級完成交互界面的層級劃分，從而有效避免界面元素的單一堆積。

圖5 系統交互邏輯

3.2 原型設計

運用簡單形狀和灰階色彩填充的線框圖以完成原型設計，并規劃系統界面的功能、比例和布局，最終完成了一組低保真度的設計原型。

該過程先對監測系統界面元素進行分類，具體有標題信息、虛擬場景呈現、功能菜單欄、子功能控制和信息呈現。隨后根據系統功能優先級、用戶認知和行為習慣，完成4類界面元素的布局設計，見圖6。

圖6 界面元素布局設計

標題信息區用于提醒用戶當前所在的功能層級，將其置于界面上方符合用戶的認知習慣，提高了信息識別效率。三維監測功能的優先級最高，因此虛擬場景區在界面中的面積占比最大，處于視覺中心。菜單欄區用于切換功能模塊，將其置于界面左下方符合用戶的認知習慣，且滿足易用性的要求。子功能區域以顯示信息為主且操作較少，置于屏幕右側。

最后根據元素布局圖，以完成綜采工作面虛擬監測系統交互界面的低保真設計，見圖7，界面跳轉流程如圖中箭頭所指方向。該設計結果的功能劃分方式具有相似性，各層級的系統界面布局具有一致性，可以在用戶操作時提供暗示，最大程度地提高識別效率和操作的準確度，同時有效避免元素堆積，帶給用戶簡潔、整齊的視覺效果，提供最大的虛擬監測視角，便于用戶觀測。

3.3 視覺設計

該過程在原型設計的基礎上，從視覺角度對用戶界面的圖形、符號和文字進行設計，得到了高保真度的設計結果。設計以圖形替代文字，運用彩色來增強視覺效果，并對按鍵、文字、文本框等界面元素造型進行分類設計，從而增加界面的識別效率，提高系統界面的用戶體驗感。

在綜采工作面虛擬監測系統設計中，選用藍色系為主色，無彩色系為輔助色。藍色隱喻著安全和沉靜，可以增強用戶對系統的信任感，同時安撫用戶工作中極易產生的負面情緒。同時結合六邊形的線、面元素，以增強虛擬監測系統的科技感。

系統主要控件的圖標見圖8，展示了系統主要控件的圖形符號。線和面形象化的組合方式，提取了綜采設備的造型元素，勾畫了符合用戶認知習慣的圖標，以圖形輔助文字圖標，解決現有系統界面識別效率低的問題，增加產品易學性和交互效率。系統界面的高保真設計見圖9，其中圖9a和圖9b是面向采煤機和場景漫游三維監測功能的部分界面展示，圖9c是數據可視化功能部分界面展示，圖9d是功能預警部分界面展示。虛擬監測系統界面注重呈現虛擬場景，其界面元素有較強的層級關系和立體空間感，在元素設計時可以通過透視的視覺效果來增強界面的空間感，運用透明度和線面關系強化界面的層次感。

圖7 系統界面的保真設計

圖8 系統主要控件的圖標

圖9 系統界面的高保真設計

4 系統開發與測試

4.1 系統開發

在完成情境求解的設計過程后，選擇綜合性較高Unity3d為系統開發引擎，按照改進設計結果完成系統開發。以液壓支架單機監測界面開發為例，見圖10。

圖10 液壓支架單機監測

4.2 系統測試及評價

系統界面交互評價因素有著不易確定、描述模糊的特點，因此采用模糊綜合評價法，實現量化評價因素，對系統用戶體驗感進行綜合評價。模糊綜合評價法是一種基于模糊數學變換理論和隸屬度原則，對多因素制約的對象進行定量分析的綜合評價方法[19-20]。

根據現有界面的不足和設計流程，將界面用戶體驗感的評價因素分為2級，運用層次分析法和專家打分法確定各個評價因素的權重，綜合評價因素及權重值見表1。

表1 綜合評價因素及權重值

Tab.1 Factors and weight value of comprehensive evaluation

根據年齡、工種和工作年限，選取50名參與汾西煤礦綜采智能化培訓人員為調研對象，其中綜采工作面操作工25人，集控中心工作人員25人，其中25歲以下5人，25～35歲15人、36～45歲20人，46～55歲10人，實驗對象群按照年齡比例進行了篩選，工作年限為5年以下有2人，5～15年有34人，15年以上有14人。確定實驗對象后，引導用戶使用綜采工作面虛擬監測系統，完成相同操作（綜采工作面三機協同運行情況監測，監測視角切換及設備控制，設備運行數據記錄），并由用戶為所有評價因素進行打分。測試實驗見圖11。

試驗過程分為2個階段。第1階段為提出問題階段，實驗對象使用如圖2的監測系統，并進行評分；第2階段為系統開發完成后，實驗對象操作改進后的監測系統并進行評分。改進前后2級因素評價結果，見表2。

圖11 測試實驗

表2 2級因素評價結果

Tab.2 Results of level 2 factor evaluation

各層級的備擇集={1,2,3,4}={好，較好，一般，差}分別對應“90-100，70-89，50-69，<50”，采用加權平均計算法計算結果：

5 結語

綜采工作面虛擬監測系統是智慧礦山發展的重要組成部分，在當今重視用戶體驗的時代，該系統界面的交互研究必然受到重視。針對當前綜采工作面虛擬監測系統界面交互體驗感差的問題，提出情境設計和用戶體驗相結合的界面交互設計方法，從系統功能、交互流程和色彩布局多方面對系統進行改進設計。通過“概念—原型—視覺”的情境求解方式實現了系統界面從無到有的設計過程。以模糊綜合評價法量化評價因素，實驗驗證了該設計方法的合理性和有效性。

將界面交互設計理論運用于新行業，從較新的角度分析綜采工作面虛擬監測系統的設計方向，將用戶為主的設計理念融入綜采工作面監測系統的設計開發中，從而增加綜采工作人員對該系統的接受程度，并為以后的綜采虛擬系統界面設計提供理論支撐。

此外，情境設計在綜采監測系統界面交互設計中的成功應用，為工業類監測系統的設計和開發提供了行之有效的理論參考，進而提高了工業領域對人性化的重視，增強了其他工業類監測系統的用戶體驗。

[1] 李阿樂, 鄭曉雯, 唐哲. 虛擬綜采工作面三機運動狀態監測系統研究[J]. 煤礦機械, 2016, 37(8): 41-44.

LI A-le, ZHENG Xiao-wen, TANG Zhe. Research on three Machine Motion Monitoring System in Virtual Fully Mechanized Mining Face[J]. Coal Mining Machinery, 2016, 37(8): 41-44.

[2] XIE J C, YANG Z J, WANG X W, et al. A Virtual Reality Collaborative Planning Simulator and Its Method for Three Machines in a Fully Mechanized Coal Mining Face[J]. Arabian Journal for Science and Engineering, 2018, 43(9): 4835-4854.

[3] XIE J C, YANG Z J, WANG X W, et al. A Remote VR Operation System for a Fully Mechanised Coal-Mining Face Using Real-Time Data and Collaborative Network Technology[J]. Mining Technology, 2018, 127(4): 230-240.

[4] 謝嘉成, 王學文, 郝尚清, 等. 工業互聯網驅動的透明綜采工作面運行系統及關鍵技術[J]. 計算機集成制造系統, 2019, 25(12): 3160-3169.

XIE Jia-cheng, WANG Xue-wen, HAO Shang-qing, et al. Operation System and Key Technology of Transparent Fully Mechanized Mining Face Driven by Industrial Internet[J] Computer Integrated Manufacturing System, 2019, 25(12): 3160-3169.

[5] 謝嘉成, 楊兆建, 王學文, 等. 綜采工作面三機虛擬協同關鍵技術研究[J]. 工程設計學報, 2018, 25(1): 85-93.

XIE Jia-cheng, WANG Xue-wen, HAO Shang-qing, et al. Operation System and Key Technology of Transparent Fully Mechanized Mining Face Driven by Industrial Internet[J] Computer Integrated Manufacturing System, 2019, 25(12): 3160-3169.

[6] 謝嘉成, 楊兆建, 王學文, 等. 虛擬現實環境下液壓支架部件無縫聯動方法研究[J]. 工程設計學報, 2018, 25(1): 85-93.

XIE Jia-cheng, YANG Zhao-jian, WANG Xue-wen, et al. Research on Seamless Linkage Method of Hydraulic Support Components in Virtual Reality Environment[J] Journal of Engineering Design, 2018, 25 (1): 85-93.

[7] 喬春光, 王學文, 謝嘉成, 等. 刮板輸送機水平面形態檢測方法[J]. 工礦自動化, 2018, 44(8): 52-57.

QIAO Chun-guang, WANG Xue-wen, XIE Jia-cheng, et al. Detection Method of Horizontal Plane Shape of Scraper Conveyor[J] Industrial and Mining Automation, 2018, 44(8): 52-57.

[8] 張慶, 王學文, 謝嘉成, 等. 基于捷聯慣導系統的采煤機定位與姿態調整[J]. 工礦自動化, 2017, 43(10): 83-89.

ZHANG Qing, WANG Xue-wen, XIE Jia-cheng, et al. Positioning and Attitude Adjustment of Shearer Based on Strapdown Inertial Navigation System[J]. Industrial and Mining Automation, 2017, 43(10): 83-89.

[9] 王學文, 謝嘉成, 郝尚清, 等. 智能化綜采工作面實時虛擬監測方法與關鍵技術[J]. 煤炭學報, 2020, 45(6): 1984-1996.

WANG Xue-wen, XIE Jia-cheng, HAO Shang-qing, et al. Real Time Virtual Monitoring Method and Key Technology of Intelligent Fully Mechanized Mining Face[J]. Journal of Coal, 2020, 45(6): 1984-1996.

[10] 胡珊, 蔣旭, 符凱杰, 等. 基于SEM的交互式公共導識系統體驗設計研究[J]. 圖學學報, 2020, 41(2): 204-209.

HU Shan, JIANG Xu, FU Kai-jie, et al. Research on Experience Design of Interactive Public Guidance System Based on SEM[J] Journal of Graphics, 2020, 41(2): 204-209.

[11] 曾棟. 面向用戶體驗的產品造型設計流程研究及應用[J]. 現代制造工程, 2012(9): 43-47.

ZENG Dong. Research and Application of Product Modeling Design Process for User Experience[J]. Modern Manufacturing Engineering, 2012(9): 43-47.

[12] 王文娟, 張碧含, 符夢婷, 等. 無人物流車的車外屏人機界面設計研究[J]. 圖學學報, 2020, 41(3): 335-341.

WANG Wen-juan, ZHANG Bi-han, FU Meng-ting, et al. Research on Man-Machine Interface Design of Exterior Screen of Unmanned Vehicle[J] Journal of Graphics, 2020, 41 (3): 335-341.

[13] BERGSTROM J R, SCHALL A. Eye Tracking in User Experience Design[M]. San Francisco: Morgan Kaufmann, 2014.

[14] 謝偉, 辛向陽. 基于無意識認知的交互設計研究[J]. 現代電子技術, 2016, 39(12): 22-25.

XIE Wei, XIN Xiang-yang. Research on Interaction Design Based on Unconscious Cognition[J] Modern Electronic Technology, 2016, 39(12): 22-25.

[15] 王熙元, 張依云, 鄭迪斐. 醫療監測設備人機交互界面情感化設計[J]. 包裝工程, 2018, 39(2): 113-118.

WANG Xi-yuan, ZHANG Yi-yun, ZHENG Di-fei Emotional Design of Human-Computer Interaction Interface of Medical Monitoring Equipment[J] Packaging Engineering, 2018, 39(2): 113-118.

[16] 吳劍斌, 張競元, 張凌浩. 基于情境感知的車載信息娛樂系統交互設計研究[J]. 包裝工程, 2018, 39(16): 189-196.

WU Jian-bin, ZHANG Jing-yuan, ZHANG Ling-hao Research on Interaction Design of Vehicle Infotainment System Based on Context Perception[J] Packaging Engineering, 2018, 39(16): 189-196.

[17] 羅仕鑒, 龔蓉蓉, 朱上上. 面向用戶體驗的手持移動設備軟件界面設計[J]. 計算機輔助設計與圖形學學報, 2010, 22(6): 1033-1041.

LUO Shi-jian, GONG Rong-rong, ZHU Shang-shang. User Experience Oriented Software Interface Design of Handheld Mobile Devices[J] Journal of Computer Aided Design and Graphics, 2010, 22(6): 1033-1041.

[18] 尉雪玲. 情境分析法的老年室內助行產品設計研究[J]. 設計, 2016(5): 28-29.

WEI Xue-ling. Research on the Design of Indoor Walking aid Products for the Elderly Based on Situational Analysis[J]. Design, 2016 (5): 28-29.

[19] 楊少梅, 王婷, 李勝利. 基于模糊層次分析法的微信英語學習平臺用戶滿意度綜合評價——以水滴閱讀為例[J]. 圖書情報工作, 2019, 63(21): 97-104.

YANG Shao-mei, WANG Ting, LI Sheng-li Comprehensive Evaluation of User Satisfaction of Wechat English Learning Platform Based on Fuzzy Analytic Hierarchy Process: Taking shuidi Reading as an Example[J] Library and Information Work, 2019, 63(21): 97-104.

[20] 趙彩云, 李娟莉, 任家駿, 等. 基于CATIA的直立程控健身車人機工程仿真與評價[J]. 機械設計, 2019, 36(4): 140-144.

ZHAO Cai-yun, LI Juan-li, REN Jia-jun, et al. Ergonomic Simulation and Evaluation of Vertical Program-Controlled Fitness Vehicle Based on CATIA[J]. Mechanical Design, 2019, 36(4): 140-144.

Interaction Design of Virtual Monitoring System for Fully Mechanized Coal Mining Face

SUN Meng-zhen, LI Juan-li, XIE Jia-cheng, LI Su-hua

(Taiyuan University of Technology, Taiyuan 030024, China)

The purpose of this paper is to solve the problem of poor user experience caused by chaotic function, lack of humanization research in color, layout and interactive flow of the virtual monitoring system for fully mechanized coal mining face. Combining the situation design theory with the user experience hierarchy model, an interactive design method is proposed to construct the interface of virtual monitoring system in fully mechanized coal mining face. Firstly, this method completes the requirement definition and function analysis, and then prioritizes the system functions. Then, in the context solution process of “concept-prototype-vision” situation, interactive logic and visual elements are designed, and an efficient interactive design model is put forward. Finally, Unity3d development engine is used to develop the design scheme of the above virtual monitoring system.The fuzzy comprehensive evaluation method is adopted, and the experiment proves that the design scheme has a good user experience. The design method of system interface interaction in this paper is adopted to vertify that the design scheme has a good user experience through experiments, which also provides theoretical support for interaction design of virtual system interface.

scene design; user experience; interactive design; virtual monitoring; fully mechanized coal mining face

TB472

A

1001-3563(2022)06-0134-09

10.19554/j.cnki.1001-3563.2022.06.018

2021-12-23

國家自然科學基金（52004174）；中國博士后科學基金資助（2019M651081）；山西省研究生教改（2019JG047）

孫夢禎（1994—），女，碩士生，主攻工業設計。