多模態視角下露天礦安全雙控管理系統移動端交互設計研究

何 畔， 寧 芳

（中國礦業大學 建筑與設計學院， 江蘇 徐州 221000）

0 引言

煤炭是我國最重要的一次性能源和重要的戰略資源。 煤礦安全生產問題一直是社會關注的焦點。 2016 年10 月9 日，國務院安委辦印發《關于實施遏制重特大事故工作指南構建安全風險分級管控和隱患排查治理雙重預防機制的意見》[1]。 露天煤礦安全雙控管理系統就是根據國家煤礦安全生產標準化的基本要求， 構建的基于安全風險分級管控和隱患排查治理雙重預防管理機制的煤礦安全管理平臺[2]。 在實際煤礦安全生產工作中，由于隱患排查治理效率低， 給煤礦安全生產目標的實現帶來了極大壓力。 煤礦企業現有的單模態信息傳遞的管理方式已經不能滿足煤礦企業對安全生產信息化、 智能化管理的需求。 對于信息的多模態交互設計探索已成為煤礦企業安全生產信息化、智能化管理的趨勢。

1 多模態概念

1.1 多模態交互

多模態一般指視覺、聽覺、嗅覺、味覺和觸覺等多種感官模態的組合。 多模態人機交互是指通過多種模態或信道對輸入做出響應的系統[3]。 一般是指人們通過視覺、聽覺、觸覺等與計算機進行交互，從而達到模擬人類交流方式的目的。 這是一種有別于傳統的單模態的人機交互技術。 主要依賴于視覺實現人機交互，而聽覺和觸覺感官鮮少被使用[4]。 多模態交互可以利用各種交互方式和設備之間的互補性，有效地結合多感官信息，可以顯著提高用戶輸入界面的識別率，提高交互的自然性和高效性[5]。 多個模態的冗余性不僅可以帶來強大的魯棒性， 而且可以更好地適應環境和用戶，擴寬用戶的選擇度。

1.2 多模態用戶界面

多模態用戶界面是一種以視線跟蹤、語音識別、手勢輸入為基礎的多媒體界面。 讓使用者可以在自然、并行、協作的情況下，利用多種模態或多個通道進行交互操作，從而迅速地獲取使用者的意圖， 從而提高人機交互的高效性和自然性[6]。多模態用戶界面較于單模態用戶界面而言，多模態表征可以使信息表達的更加充分，避免單模態表征使人體單個感官認知負荷超載。

1.3 多模態展示

展示就是將信息呈現給用戶， 信息呈現主要從兩個角度展開分析：一是呈現信息的方式，另一是呈現的信息內容[7]。 根據多模態相關的定義，本文將多模態展示劃分為多模態提示和多模態呈現。 多模態提示是指向用戶提供如視覺、聽覺、觸覺等的感官刺激，從而引導用戶關注多模態呈現。 多模態呈現就是在展示界面以多種符號形式進行視覺表征，調用視覺通道、聽覺通道、觸覺通道等多種呈現通道以并行或關聯的進行信息編碼， 強調在信息的貯存、加工與提取中，采用以語言為基礎和以意象為基礎的加工系統，有助于大腦信息加工潛能的激發。在人機交互的過程中，用戶通過視覺通道、聽覺通道與觸覺通道等感官通道接受的信息所呈現的方式分別稱之為視覺呈現、聽覺呈現和觸覺呈現。

（1）視覺呈現。 據研究發現，視覺捕獲了80%的外部信息，信息主要是通過視覺呈現表征的。數字界面的視覺元素主要包括文本、圖形、圖片等，毋庸置疑，信息視覺呈現的特點：可視化、抽象化、信息傳遞效率高、信息接收速度快、大腦對視覺信息的加工能力強于其它感官。 但是，信息的視覺呈現也有其固有的缺點， 它很容易受到使用環境的影響，需要用戶主動注意，才能將有意的部分轉化為知覺加工。

（2）聽覺呈現。 除了視覺，聽覺是獲取信息的最主要途徑，是人們感知周圍環境的一種方式。聽覺呈現通過聲音來表達信息，包含非語言音頻和語言音頻。非語言音頻是指聲音訊號，是抽象的聲調，可以以結構化的組合來創建聽覺信息。聽覺對人體的刺激比視覺的刺激要大，人類對聽覺的感知能力更強，聲音信息會被優先捕捉。且聽覺信息會吸引用戶注意力，引導用戶關注界面。 然而，聽力呈現受到周圍環境的制約，很容易被周圍噪聲的干擾。

（3）觸覺呈現。觸覺是由輕微物理刺激引起皮膚淺層感受器興奮的一種皮膚感覺。 當使用者的注意力不在顯示畫面上時，使用觸覺呈現來吸引注意力，或是通過交替的振動，強度的變化等來表征具體的訊息。在觸摸屏移動設備界面設計中，我們最常用觸覺呈現即為振動觸覺，它可以作為操作反饋也可以成為信息傳達通道。 振動觸覺包括五個特性：頻率、振幅、波形、持續時間、節奏。針對這五個特性的設計研究， 即可得到多種不同呈現信息的方式。 人類對觸覺通道的反應比視覺、聽覺通道更快，所以觸覺訊息會比視覺訊息、聽覺訊息來得更迅速；觸覺信息基本不會受到外界干擾， 聲音、 光線等對其沒有任何影響；然而，觸覺信息的表達卻并不直觀。

1.4 多模態交互設計方法

交互設計方法是指在進行交互設計活動時， 用以指導設計和推進設計進程的戰略性理論框架， 包括設計流程和方法工具。 在相應的場景中規劃和設計用戶的行為邏輯是交互設計的重要目標。 多模態交互設計方法模型旨在交互設計程序的基礎上，結合場景，加入多模態信息傳播流程的問題研究[8]。文章介紹了一種多模態交互設計方法，如圖1 所示，即用戶根據需要把事件信息通過多種模態或多個信道輸入到響應系統。 多模態用戶界面通過對事件信息的集成整合， 可以迅速地捕捉用戶的表達意圖，從而進行多模態信息表征。根據用戶所處的場景與時間兩個維度，進行基于視覺、聽覺、觸覺的多模態提示設計。 根據不同的事件信息的特點選擇合適的多模態呈現方式。最后進行多模態反饋的一個交互設計流程。多模態提示和多模態呈現在一個事件流程中可以多次出現，前、后可以表征相同，可以表征不同。 在此基礎上，利用多模態提示與多模式呈現技術進行信息反饋， 建立一個閉合的事件信息處理系統。

圖1 多模態交互設計方法

2 露天礦安全雙控管理系統

2.1 系統介紹

露天礦安全雙控管理系統就是把安全生產風險分級管控與隱患排查治理雙重預防機制應用到煤礦安全信息化建設中來，在互聯網和其他軟硬件配置的幫助下，通過信息的收集和整合來保證煤礦安全生產管理。 風險源分為“人、機、環、管”四大類。隱患是指某個風險源的措施失效、 或者措施不到位所形成。 隱患排查治理工作就是對“人、機、環、管”所屬風險類型的危險源管理措施和作業標準進行的落實操作。 隱患整改類型一般分為： 立即整改、限期整改。

2.2 問題提取

隱患排查治理流程見圖2，分為隱患排查、隱患登記下達、隱患治理整改、隱患復查驗收，是一個環環相扣的閉環管理工作流程。 對鄂爾多斯市現存露天礦調查研究發現， 現有的安全雙控管理系統在隱患排查與隱患登記下達環節， 工作人員進行隱患信息登記的方式是排查出隱患后， 在現場使用紙質文件匯總記錄隱患信息后再登錄PC 端系統進行隱患信息登記，這樣的事故隱患信息通常存在著關鍵字段缺失、記錄不規范，數據形式單一等問題，地理位置信息也并不確切。 在隱患治理整改環節，采用的是在PC 端系統中手動點擊“短信提醒”按鈕發送短信提醒，或者線下進行電話提醒，通過單一模態的信息發給相關的技術人員。 信息傳達的及時性和有效性得不到保障。 一些需要當天立即整改的風險隱患可能就拖成了事故。文章將根據露天礦的隱患排查治理流程，進行事件信息發展流程的交互設計探索。

圖2 隱患排查治理流程

2.3 需求分析

在隱患登記下達階段， 隱患信息需要及時的錄入系統，同時要關注錄入系統信息的多樣性，多模態信息或多通道信息可以互為補充，互為限制，提高隱患信息正確表達的效率。據調查研究發現，露天礦的安全雙控管理系統普遍只有PC 端系統，給隱患排查治理工作造成了很多不便。 可以增加移動端，方便文本信息、圖像信息、視頻信息、音頻信息和位置信息的及時上報。在隱患登記下達與隱患治理整改環節，需要提高信息傳遞和展示的效率，可以通過多模態提示的方式，進行基于視覺、聽覺、觸覺的多模態提示和根據事件信息的特征對用戶進行基于視覺呈現、聽覺呈現、觸覺呈現的多模態展示，從而提高事故隱患信息傳遞和展示的效率。

3 移動端交互設計

3.1 任務事件梳理

事件信息是一種非結構化的復雜信息，現有的單一模態、靜態的展示方法對時序、結構和邏輯的表達并不清晰，因此用多模態展示方法對其進行再梳理。按照場景與特征兩個維度，將隱患排查治理流程中的事件信息進行梳理。

基于場景維度把隱患事件信息“嘈雜-安靜”兩種狀態分為“強模態-弱模態”進行多模態提示設計。基于時間維度把隱患整改類型中的“立即整改-限期整改”兩種狀態分為“強模態-弱模態”。 在移動端多模態提示中，以警示鈴聲、 警示震動的物理刺激讓用戶快速覺察到提示信息。 從而引導用戶關注多模態呈現信息。 把警示鈴聲、警示震動細分，運用較強節奏的警示鈴聲、較強振幅與節奏的警示震動對“強模態”進行多模態信息表征。 運用較舒緩節奏的警示鈴聲與較舒緩的振幅與節奏的警示震動對“弱模態”進行多模態信息表征。

隱患排查治理工作是對“人、機、環、管”所屬風險類型的危險源管理措施和作業標準進行的落實操作。 對“人機環管”隱患事件信息進行特征分析：人員的不安全行為原因主要是人員對于隱患的認識不到位、排查不準確、記錄不規范等問題； 設備問題主要存在于隱患排查不到位、不及時， 沒有嚴格按照規章制度執行隱患排查治理工作；環境指自然環境和作業環境兩個方面，主要存在管理制度落實不到位， 作業場所仍有未佩戴個人防護工具的等情況；管理上的問題主要是隱患排查制度的不嚴格執行、治理方案的不落實、檔案記錄的不規范等問題；隱患事件信息依次呈現出因果性、邏輯性、時序性的特點。根據隱患事件信息的特點，隱患排查治理信息展示策略為：①選用視覺呈現中的流程圖加文字講解為主，每個分級步驟完成后可以給予適當觸覺反饋為輔的隱患處理方案呈現方式，規范實操作業流程；②通過視頻講解（視覺呈現加聽覺呈現）的方式，規范實操流程，并穿插強警示教育。這種以視覺呈現為主，聽覺呈現、觸覺呈現為輔的多模態呈現方式，不僅豐富了展示內容和形式，也為用戶提供了更直觀形象了解隱患事件信息的機會。 文本、圖像、視頻等都是視覺呈現，視頻中聽覺呈現是指聽文字字幕和聲音接受來傳達信息。此呈現方式需要事先把隱患事件信息按照不同模態的呈現形式提前編碼錄入到系統中，以供用戶選擇。

3.2 移動端信息架構

基于隱患排查治理事件的信息架構見圖3， 將隱患排查治理事件信息放入事件流中進行分析， 分為輸入模塊、解讀展示模塊、反饋模塊。

圖3 移動端信息架構

（1）輸入模塊。 輸入模塊由兩部分組成，一部分是外部（露天礦）到移動端系統，另一部分是移動端系統到PC端系統。 第一階段，露天礦員工根據實際需要，將相應的文本信息、圖像信息、視頻信息、音頻信息、位置信息等多種模態的隱患排查登記信息，準確、清晰、及時地錄入移動端系統，為后續信息處理做準備。 第二階段，PC 端系統對前期獲得的多模態信息進行優化、篩選和提煉，提煉出具有傳遞價值的信息，結合經驗，對PC 端系統介質中的必要信息進行編碼和物化，從而進入解讀展示模塊。

（2）解讀展示模塊。對PC 端傳遞的信息進行解碼，用視聽符號形式進行用戶界面的視覺表征， 視聽符號傳遞的大部分信息是以一系列流程圖的形式呈現給接受者，而流程圖是視聽符號最主要的編碼方式。 利用連續畫面來傳遞信息的特點是生動、形象，信息量大，這也是連續圖像的突出優勢。 然后選擇多模態提示與多模態呈現的呈現形式進行隱患整改信息的傳遞與展示。

（3）反饋模塊。 在工作人員的認知結構中，需要知識儲備和經驗來解碼、執行和應對演示信息。整治責任人通過分析隱患排查治理流程整改意見，結合實際操作經驗，進行施工整治。 并通過移動端系統把整改后的多模態信息進行上傳，等待反饋信息，從而開展后續工作。

3.3 移動端交互設計頁面結構與界面

移動端交互設計頁面結構見圖4， 主要分為4 個部分“首頁”主要是風險提示，隱患信息的最新動態顯示、統計分析圖、常用功能索引。“風險”主要包括人機環管專項風險辨識查詢，以及風險任務清單和工作細節。“隱患”主要是體現出隱患治理的全過程。即隱患登記、隱患治理整改、隱患排查驗收、隱患延誤審批、隱患延誤處理、隱患統計分析。“我的”界面簡潔清晰，主要分為待辦信息和歷史信息。

圖4 移動端交互設計頁面結構

移動端交互設計界面見圖5，由于是露天礦安全雙控管理系統的移動端系統，屬于工具類的產品，用戶群體是露天礦員工， 因此界面的設計風格采用了藍紫色系和較為簡約的扁平化風格設計， 以此來突出多模態信息在界面中的展示，從而提升用戶的隱患治理排查工作的效率。

圖5 移動端交互設計界面

4 結束語

文章從多模態視角出發， 將多模態交互設計作為研究對象，以多模態信息傳播流程為線索，構建了基于多模態輸入、多模態界面展示、多模態提示與多模態呈現、多模態反饋的多模態交互設計模型。 結合場景和時間兩個維度分析研究，對多模態提示方式進行設計。結合事件信息特點的分析研究，對多模態呈現方式進行設計，提高了信息傳播與展示的效率。 并對露天礦安全雙控管理系統移動端進行交互設計實踐。 文章的研究為露天礦的安全生產信息化、智能化管理提供了一定的借鑒。然而在研究過程中，文章對于多模態提示僅考慮了“嘈雜-安靜”一個維度， 對于影響多模態呈現的事件信息的分析還不夠深入，今后仍需更加深入的分析研究。