多模態人機混合交互智能控制技術

王振亞　代京

【摘 要】人機融合智能操縱技術是人機混合智能的一個重要研究方向，旨在通過采集人體腦電信號、眼動軌跡等生理特征參量，建立人-機-環境一體化的協作通路，實現非常規物理操作通道下對外部產品的實時控制。本文創新性的提出一種腦控、眼控、增強現實等多種人機交互手段復合應用的新型人機融合智能操控技術框架，并建立相關的演示平臺，提升針對單通道交互的人機融合控制精度與魯棒性，實現人-機-環三個方面的安全保障、性能提升和能力拓展。

【關鍵詞】人機融合；腦機接口；眼動跟蹤；增強現實

中圖分類號： TP242 文獻標識碼： A 文章編號： 2095-2457（2018）09-0011-002

DOI：10.19694/j.cnki.issn2095-2457.2018.09.004

軍委科技委主任劉國治認為“人機混合智能將是未來智能的最高形式”，人機融合作為混合增強智能發展的一個關鍵方向，對未來載人航天，遙操作探測等領域能夠起到重要的支撐作用。隨著計算機技術、傳感器、可穿戴設備及人工智能技術不斷取得階段性的進展，人機一體化也越來越廣泛地引起了人們的關注，其研究核心是利用新型交互邏輯實現人體行為機能增強，建立異源多模態的人機交互范式，實現人與裝備之間智能、自然的人機交互能力，建立一體化協同的信息流通機制。

本文針對人機協作的應用場景，創新性的提出一種腦控、眼控、增強現實等多種人機交互手段復合應用的新型人機融合智能操控技術框架，并構建一個全作業場景的視覺環境和便捷的輔助信息獲取途徑，重點解決人機協同作業中控制通道不足的問題。首先，進行頭盔顯示器與視點跟蹤式眼動儀的結構一體化設計，開發與數字頭盔相匹配的集成嵌入式增強現實作業環境，實現基于眼動跟蹤的機械臂自由度選擇和動作預選，然后通過對腦機接口穩態視覺誘發范式控制信息的識別，實現機械臂六自由度控制動作的穩定意圖理解和精細控制。與現有技術相比，解決了單通道控制能力較弱、魯棒性和穩定不足的問題。

1 頭盔顯示器與視點跟蹤式眼動儀的結構一體化設計

本文采用的數字頭盔顯示功能為腦-機交互提供指令呈現，通過視覺跟蹤檢測和腦-機信號檢測，實現對控制意圖的解析，數字頭盔是腦眼協同控制的硬件平臺，其內置CPU、GPU和專門的全息處理器。黑色的鏡片上包含了透明顯示屏，并內置了一整套的傳感器用來實現各項預置功能。雙透明鏡片各顯示左右眼的內容，通過使用者的大腦，合成真實的3D全息圖像，但使用者同時可以看到真實空間的物體。頭盔上的電腦可以自主實現全息計算。使用者只要用目光和語音與內置的功能齊全的計算機互動即可。

數字頭盔基于主動投射共外線光速來提取特征，本文設計的裝置是以雙透明鏡片為基礎，每只眼睛周圍設置8個低功耗紅外LED，將眼球追蹤傳感器置于眼鏡片下。檢測裝置采用模塊化開發，使其很好的整合在頭盔之中，同時可以根據使用者的特性將鏡片置于特定位置，追蹤速度達到120～380Hz，能夠跟上眼睛的運動速度，實現準確、低時延的眼球追蹤。

2 基于數字頭盔的嵌入式增強現實環境設計

針對智能操縱任務需求，本文在數字頭盔中建立增強現實場景環境，為基于腦電信號和眼動軌跡的新型人機交互控制模式提供支撐。該交互場景以太空作業環境為背景，包括機械臂建模、背景建模、控制軌跡建模等。

機械臂建模：按照真實的六自由度機械臂進行三維建模。各個自由度單獨建模，結構細節和尺寸與真實結構相同，然后按順序組合到一起。每個自由度在運動時，不影響另外自由度的狀態，但是，整個機械臂按照從下往上的主從關系動作。即底座旋轉時，帶動其上部分；機械手旋轉時，帶動機械手動作，但子部件動作時，主部件不跟隨運動。每個自由度的顏色有正常紋理顏色和高亮顏色二種。高亮顏色為紅色，表征該自由度已經被選中，將要進行步進或連續動作。

背景建模：近處建立幾個星球模型，以模擬太陽系的九大行星，在各自的橢圓軌道上運行。星球模型的表面貼圖與真實太空中的星球一致，給操作者以處于真實太空的感受。機械臂放置于星球表面上，用一帶星球表面紋理貼圖的大平面來表征，為操作者提供真實沉浸的感受。

控制軌跡建模：對被抓持物體，建立出球體和正六面體。被持物初始狀態置于地面上。動作軌跡符合機械臂的操作原理，每次只有一個自由度動作，然后換為下一個自由度動作。動作時間與真實的六自由度機械臂的對控制者做出的操作響應一致。

3 基于腦電信號與眼動信號的自然交互方法

本文提出了一種基于腦眼融合的智能控制與操縱方法，該方法主要針對在作業過程中腦電信號識別較慢等問題，將眼動跟蹤和腦電信號相融合，首先通過視點估計確定大致的相對位置關系，然后利用腦電信號分類實現更為準確的位置定位。

3.1 眼動跟蹤算法

在硬件設備的基礎上，本文眼動跟蹤控制的核心是通過角膜反射法實現關注點的精確測量。當眼球運動時，光以變化的角度射到角膜，得到不同方向上的反光，使得角膜表面形成的虛像因眼球旋轉而移動，再經信號處理得到可定位的眼動信號。

眼動視覺數據的處理包括噪聲濾除、識別定位及局部校準與補償等，核心目標是提取出用于人機交互所必需的眼鏡定位坐標。眼動跟蹤算法設計主要分為特征點坐標提取和數據中斷處理兩個部分。

（1）特征點坐標提取

該部分主要完成角膜反射光斑中心坐標和瞳孔中心坐標位置的提取工作。首先，利用二值法提取普爾欣影像中的最亮斑點（中心點）的坐標，并通過求解公式（1）的極點作為亮度的最佳閾值。以最佳閾值為門限二值化眼圖后，找到面積最大的反射光斑，然后求取其幾何中心坐標（xcomea，ycomea）作為角膜反射光斑的中心位置。

在此基礎上，本文利用延展星射線法來實現瞳孔輪廓特征點提取，即從圖像中一個初始點延伸出數條等角度間隔的射線，然后沿著這些射線向外，對射線上的點逐像素求導。當某一點的灰度導數的變化大于某個門限閾值的時候，說明圖像上這個點的灰度值發生了突變，很有可能是瞳孔輪廓上的特征點。

（2）數據中斷處理

在處理連續數據的時候，有時候會遇到睫毛或眼瞼部分遮蔽了瞳孔的情況，或由于眼睛本身的固有抖動，以及眨眼等因素，造成了算法無法提取出相應地數據，即所謂的數據中斷，進而造成視線在跟蹤視場上目標注視存在一定困難，無法適應現場快速變化的情況。為此，本文利用前幾幀獲得的數據來平滑預測當前幀中的數據。假設原函數f（t）在N個順序時刻的測量值為f（ti）（i=1，2，3，…，N），且f（t）可以用如下公式進行最佳線性逼近：

則Ti時刻測量值與逼近值之間的誤差可計算為：Δεi=f（ti）-a0-a1ti，對N個點估計的均方差為：

對缺失點平滑逼近的核心就是對公式（3）取最小值，本文采用最小二乘法建立E（Δεi）關于自變量a0和a1的二元函數，進而利用消元法求解，實現對缺失點數值的有效估計。

2）腦電信號信息識別算法

在眼動跟蹤的基礎上，本文腦電信號刺激生成的方法是穩態視覺誘發算法（SSVEP），分類識別選用的算法是線性判別式分析（LDA）。LDA在腦-機接口領域中有著十分廣泛的應用，且達到了令人滿意的效果，它把高維樣本投影到最佳的鑒別矢量空間，投影后保證原樣本在該新的子空間中有最佳可分離性。

LDA算法的具體過程是：

對于特征為d維的N個樣本X=[x1，x2，…，xn]T，其中在類別ω1中有N1個樣本，另外N2個樣本在類別ω2中。用ω表示投影方向，則樣本X經過ω投影之后可表示為：y=ωTx。當x為二維時，只需找到一條投影后能使特征點分離的直線即可（方向為ω）。

測試樣本經過特征投影后，其決策值加和的符號決定了分類類別，也就是對應的控制輸出。在本文實驗中，每輪刺激都各會觸發一次SSVEP信號。在線判斷時，只需要將刺激套用LDA模型投影后，判斷最大投影值，并對其交叉后就可以得到控制輸出目標了。

本文可在AR環境中，生成腦機控制所需的刺激界面。以SSVEP刺激為例，需要在增強現實環境中，建立不同頻率閃爍的刺激塊，對操作者形成相關的刺激。該刺激應與電子屏幕上的刺激形式保持一致，保證人接收刺激的有效性，刺激可采用菜單式的方式來呈現。

4 案例驗證

在腦電信號測試方面，本文構建了離線和在線模塊，采用留一法對腦電信號進行測試。在數字頭盔控制過程中，得到腦眼協同控制信號的初始和抓取標定邏輯如圖2所示。

機械臂6個自由度的運動狀態如下表所示，通過建立視覺誘發刺激，可以建立相關的腦電識別模型，包括自由度1：底座的持續旋轉；自由度2：豎直平面內的持續轉動；自由度3：豎直平面內的步進式（步進角度較大）；自由度4：豎直平面內的步進式（步進角度較大）；自由度5：機械手底座步進式（步進角度較小）轉動；自由度6：往復進行抓取動作。

在協同控制過程中，本文將離線訓練的停止標準設為：連續兩個試次的十輪平均正確率都在0.85以上。同時，為了保證離線模塊既能準確建模，又不至于花費太長時間，將試次數控制在5～20之間，經過離線動態停止的優化后，經過充分訓練的被試者腦眼協同控制正確率可達到95%左右，腦電信號識別正確率達到90%以上。

【參考文獻】

[1]李琳.基于穩態視覺誘發電位的腦機接口系統設計及相關算法的研究[D].浙江理工大學，2017.

[2]程時偉，孫志強.用于移動設備人機交互的眼動跟蹤方法[J].計算機輔助設計與圖形學學報.2014（08）：1354-1361.

[3]余威.基于腦機接口技術的智能小車控制系統的研究與設計[D].武漢理工大學，2015.