基于圖像處理技術的人機交互系統設計與實現

張青 常能

關鍵詞： 圖像處理; 人機交互; 系統設計; 特征點坐標; 數字信號; 維納濾波算法

中圖分類號： TN911.73?34; TP393 ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2018）24?0149?04

Design and implementation of human?machine interaction system

based on image processing technology

ZHANG Qing， CHANG Neng

（ShanDong JiaoTong University， Jinan 250357， China）

Abstract： Since the human?machine interaction system based on mixed EEG signals and visual information cannot effectively repair the defective images in complex environments， and has poor human?machine interaction performance， a human?machine interaction system based on the image processing technology is designed. The system is divided into the on?chip functional module and external circuit module. The image processing module in the on?chip functional module preprocesses images， restores images， and collects the feature point coordinates. In the system， the 8255A chip is used as the hardware interface of the human?machine interface. The A， B and C interfaces of the chip are respectively connected to the data line， control line， and alignment line， so as to realize information transmission of the human?machine interaction interface. The system converts images into digital signals by using a camera with a USB. After sending the digital signals to the computer， images are repaired by using the Wiener filtering algorithm. The experimental results show that the designed system can complete the applicator′s action instructions accurately， has a high instruction recognition accuracy rate and recognition speed， and has good human?machine interaction performance.

Keywords： image processing; human?machine interaction; system design; feature point coordinate; digital signal; Wiener filtering algorithm

0 ?引 ?言

人機交互系統是指通過計算機的輸入、輸出設備，運用有效的方式實現人和機器交流、對話、交換信息的系統。應用者可以使用鍵盤、鼠標、操作桿和位置追蹤器等設備，通過手、腳、聲音、肢體動作甚至腦電波等向人機交互系統中傳達信息，人機交互系統則依照應用者的指示完成相應的指令和操作。因此，人機交互系統在醫療、軍事、工業等領域具有重要的應用價值。當前人機交互系統已經處于多通道、多媒體的智能人機交互階段。相關人員設計出的人機交互系統都存在一定的問題，如文獻[1]中設計的基于混合腦電信號及視覺信息的智能輪椅人機交互系統，基于海量電腦信號以及視覺信息進行交互分析，在復雜環境中無法對瑕疵圖像進行有效修復，人機交互性能差;文獻[2]設計了基于Leap Motion的虛擬農作物人機交互系統，該系統采用Leap Motion仿真軟件實現虛擬人機交互，交互過程存在圖像呈現效果差，對操作人員的指令識別正確率較低的弊端。因此，設計基于圖像處理技術的人機交互系統，實現高質量高效率的人機交互體驗。

1 ?基于圖像處理技術的人機交互系統設計與實現

1.1 ?系統框圖設計

本文設計的基于圖像處理技術的人機交互系統使用國外某公司的DE2主板[3]作為系統硬件平臺，其由片上功能模塊以及外部電路模塊構成，系統整體框圖如圖1所示。圖中虛線內部分是Verilog語言編輯的片上功能模塊，采用AVALON?MM總線[4?5]和NIOS接口;虛線外是不能在片內實現的外部電路模塊。系統所有圖像特征點坐標的獲取都是由圖像處理模塊單獨實現，該模塊在NIOS CPU的協助下，與PS/2模塊共同構成一個用于選取參考點的用戶接口[6]。CPU通過圖像處理模塊讀取當下幀的特征點坐標，并根據連續幾幀圖像中特征點方位的變化情況通過USB通信接口以鼠標和鍵盤的方式把指令傳送給計算機。

1.2 ?系統軟件設計

1.2.1 ?利用維納濾波算法對圖像進行修復

運動模糊圖像的恢復是圖像模型化的一個重要方式，即根據圖像的物理特征推算它的數學模型[7?8]。以運動模糊圖像恢復為例，當圖像傳感器和被拍攝物體間的相對運動足夠快時，圖像傳感器所獲取的圖像就會產生“運動模糊”，即圖像拍攝時受到圖像和傳感器間的均勻線性運動影響而產生的模糊現象[9]。有很多算法可以從噪聲中獲取信號波形，維納濾波算法是最基礎的算法，該算法適用于需要從噪聲中提取出整個有效信號的處理。維納濾波算法的計算過程框圖如圖2所示。

圖2中，圖像被線性點擴展函數模糊，并且圖像在疊加噪聲中形成了退化圖像，維納濾波算法通過濾波器去除卷積，得到恢復圖像。

1.2.2 ?VC++上位機利用串口發送數據

所設計的系統中，人機交互界面與芯片控制器是通過無線通信進行信息交流的，芯片控制器能夠應用標準SCI通信協議，因此在VC++上位機中采用MSComm部件進行開發。此部件允許應用程序訪問串口，在應用程序中嵌入MSComm部件后便能夠實現計算機串口接收發送數據的操作[10]。

操作時只需將VC++上位機設定成串口通信模式，運用通信模塊將信號傳輸出去，芯片控制器便能夠準確獲取信號并展開相應的數據處理工作。串口發送數據流程圖如圖3所示。

2 ?實驗分析

2.1 ?指令識別正確率和識別速度驗證

為了驗證本文系統的性能，實驗在不同光照條件、不同指令數的情況下，對本文系統進行性能測試。實驗采用主頻為2.5 Hz，內存為512 MB的計算機，圖像獲取設備采用帶有USB接口的CMOS彩色攝像頭，獲取圖像的大小為640×480像素，此外實驗還運用了照度計和色溫箱。

本文系統中手指被攝像頭捕捉的細微動作通過處理后轉換成操控計算機的指令代碼。實驗時，某位操作人員任意選取指令數1～16中的一個數值，另一位操作人員將手指在攝像頭前做出與指令相對應的細微動作，攝像頭捕獲一系列手指細微動作的視頻流，通過人機交互系統的解析，通過屏幕顯示出指令識別的結果。實驗主要通過識別率、識別速度和識別指令來衡量本文系統的性能;選取基于混合腦電信號及視覺信息的人機交互系統和基于Leap Motion的人機交互系統作為對比對象。當指令數為5時本文系統的實驗數據如表1所示，另外兩種系統的實驗數據分別見表2、表3。

根據表1～表3的實驗數據，可以得出以下結論：

當環境照度在10 lux以上時，光照強度的變化對系統的識別速度和識別效果影響不大，當照度低于10 lux時，三個系統的正確率均較低，人機交互系統基本無法正常工作。當照度高于10 lux時，相同光照條件下，本文系統對指令識別的正確率均在99%以上，而另外兩個系統的正確率僅在80%～90% 之間。此外，在指令識別速度上，本文系統平均每次識別的時間在140 ms左右，而另外兩個系統平均每次識別的時間分別為160 ms左右和180 ms左右。由此可見，本文系統具有較高的指令識別正確率和識別速度。

2.2 ?輸出圖像精確度驗證

將本文系統與基于混合腦電信號及視覺信息的人機交互系統、基于Leap Motion的人機交互系統的輸出圖像的穩定性進行對比實驗。測試人員在屏幕上輸出6個不同的點作為標記點，同時在攝像頭獲取到的圖像點上添加了標準差為2像素的高斯噪聲。實驗對系統輸出的投影圖像進行100次運算，計算因修改標記點和投影基點數量造成的圖像誤差的平均值，實驗得到3個系統輸出圖像的精確度結果如圖4所示，由該圖可以看出，相對于其他兩種系統，本文系統在相同標記點和投影點的情況下，具有較低的輸出圖像誤差，說明本文系統輸出的圖像具有較高的精確度。

3 ?結 ?論

本文基于圖像處理技術的人機交互系統通過識別操作者的肢體動作來實現對PC的控制。實驗表明，本文系統在光照良好、光照一般條件下進行人機交互過程中，對于指令識別正確率都高于99.4%，而在光照很暗的條件下利用本文系統進行識別的正確率達到62.3%，說明本文系統進行人機交互時精度高、穩定性強;并且本文系統進行人機交互的時間保持在141～143 ms之間，低于其他兩種系統的識別速度，說明本文系統是一種高質量的人機交互系統。

參考文獻

[1] 張毅，尹春林，蔡軍.混合腦電信號及視覺信息的智能輪椅人機交互系統[J].智能系統學報，2016，11（5）：648?654.

ZHANG Yi， YIN Chunlin， CAI Jun. On a hybrid electroencephalograph and visual information intelligent wheelchair human?machine interactive system [J]. CAAI transactions on intelligent systems， 2016， 11（5）： 648?654.

[2] 吳福理，丁胤，丁維龍，等.基于Leap Motion的虛擬農作物人機交互系統設計[J].農業工程學報，2016，32（23）：144?151.

WU Fuli， DING Yin， DING Weilong， et al. Design of human computer interaction system of virtual crops based on Leap Motion [J]. Transactions of the Chinese Society of Agricultural Engineering， 2016， 32（23）： 144?151.

[3] LI J， BAI Y F， HE J L. Design and implementation of embedded video surveillance system based on human detection [J]. Applied mechanics & materials， 2014， 513： 4535?4538.

[4] 馬莉，王建國，韋勇宇，等.基于圖元的火控系統人機交互界面的實現[J].火力與指揮控制，2017，42（7）：170?174.

MA Li， WANG Jianguo， WEI Yongyu， et al. Realization of the human?computer interaction interface of fire control system based on graphic element [J]. Fire control & command control， 2017， 42（7）： 170?174.

[5] 符斌，任鴻翔，李小濤.觸控式航海模擬器人機交互系統優化設計[J].艦船科學技術，2017，39（11）：110?114.

FU Bin， REN Hongxiang， LI Xiaotao. Optimal design of touch?sensitive human?computer interaction of ship maneuvering simulator [J]. Ship science and technology， 2017， 39（11）： 110?114.

[6] 夏鯤，曾彥能，葛越，等.戶用光伏并網逆變器人機交互系統開發及應用[J].電源技術，2016，40（2）：379?381.

XIA Kun， ZENG Yanneng， GE Yue， et al. Development and applications of human machine interface system in photovoltaic grid?connected inverter for household [J]. Chinese journal of power sources， 2016， 40（2）： 379?381.

[7] 胡云普，麥宋平，謝翔.一種基于高頻率投影儀—攝像頭的人機交互系統[J].計算機應用研究，2017，34（3）：907?910.

HU Yunpu， MAI Songping， XIE Xiang. High?frequency pro?cam based human?computer interaction system [J]. Application research of computers， 2017， 34（3）： 907?910.

[8] 王道檔，趙超杰，孔明，等.基于圖像處理的膠囊外形快速檢測系統設計[J].電視技術，2014，38（19）：216?220.

WANG Daodang， ZHAO Chaojie， KONG Ming， et al. Design of rapid detection system for capsule shapes based on image processing [J]. Video engineering， 2014， 38（19）： 216?220.

[9] 羅杰，張之明.基于圖像處理技術自動報靶系統綜述[J].激光雜志，2016，37（7）：1?6.

LUO Jie， ZHANG Zhiming. Survey on automatic target?scoring system based on image processing technology [J]. Laser journal， 2016， 37（7）： 1?6.

[10] 戴美松，張小斌，李秀根，等.基于圖像處理技術梨果實尺寸測定系統的研發與應用[J].園藝學報，2016，43（4）：763?770.

DAI Meisong， ZHANG Xiaobin， LI Xiugen， et al. Development of a size measurement system for pear fruit based on image processing technology [J]. Acta Horticulturae Sinica， 2016， 43（4）： 763?770.