視覺感知技術在人機交互小車控制中的應用研究

北方工業大學電子信息工程學院 段凱強 蘇媛媛 李可心 谷 科

視覺感知技術在人機交互小車控制中的應用研究

北方工業大學電子信息工程學院 段凱強 蘇媛媛 李可心 谷 科

基于視覺感知技術完成了一種智能人機交互小車的設計。該小車采用Arduino開發板作為系統控制處理器，擁有集手勢識別技術、人臉識別技術、語音識別技術于一體的的多功能控制系統。基本實現了調整小車的運動方向與速度的功能。且運行可靠穩定。該技術可以應用于殘障人智能輪椅、服務機器人、智能玩具、無人駕駛機動車、倉庫等領域。

視覺感知技術；Arduino；人機交互

1.引言

近年來，隨著計算機技術的迅速發展，人機交互逐漸成為計算機應用科學的熱門領域。其中，基于視覺感知的識別技術作為人機交互中的一個重要研究方向，得到了大量理論研究人員和工程技術人員的關注，涌現出了許多優秀成果。隨著視覺感知技術的成熟，開發者將其應用到人類生活中，特別是家電領域，使得家用電器逐步走向智能化、人性化。無人駕駛小車就是其典型應用之一，本文將語音識別技術、人臉識別技術、手勢識別技術結合起來，設計和實現一種具有多功能的智能小車，具有一定的應用價值。簡單地詮釋了人機一體化的設計思想。且設計理念縮短了人機界面的距離，增強了互動性和智能性，同時使得將信息技術和控制技術引入到車輛的操縱控制中，形成機器智能，使操縱者的感知、決策和執行能力擴展成為可能[1]。

2.系統設計

本設計選用了Arduino作為開發平臺，也是智能小車的車身。它是一個基于開放原始碼的軟硬件平臺。具有類似Java、C語言的IDE (Integrated Development Environment)集成開發環境。板子上的微控制器可以通過Arduino的編程語言來編寫程序，廣泛應用在電子系統設計領域。

本系統由信號采集模塊、信號處理分析模塊和各種執行部件組成，系統結構如圖1所示。

圖1 智能小車系統結構

圖像采集設備我們選用了3D攝像頭，它在整個系統中起到了至關重要的作用。經查閱資料我們了解到，3D攝像頭使用了“主動立體成像原理”，它模仿了人眼的“視差”原理，通過打出一束紅外光，以左紅外傳感器和右紅外傳感器追蹤這束光的位置，然后用三角定位原理來計算得出3D圖像中的“深度”信息。在不使用任何其它輔助設備的情況下，3D可以在日常生活場景中采集圖像。實現與周圍環境的交互，支持人臉識別，表情識別和手勢識別。

系統整體工作流程如圖2所示，在程序初始化后，信號采集模塊不斷地對端口進行掃描，檢測并判斷有無聲音或者圖像信號，若存在有效信號，則3D攝像頭馬上進行人臉識別，檢測使用者是否為主人，識別成功后信號處理模塊則對不同類型的信號進行采集、分析、處理，最后根據信號處理結果做出相應反饋動作，如前進、后退、轉彎、加速等[2]。

圖2 系統工作流程

3.核心技術

3.1 手勢識別系統

本設計的手勢識別系統包括手勢獲取、圖像預處理、手勢分割、手勢特征提取、手勢分析和識別等部分。基本實現了利用手勢識別的結果對小車的行進、轉向控制的目標，其流程如圖3所示。

為了使所研究的系統能有更好的的適用性，本文主要采用基于表觀的手勢模型，首先由3D攝像頭獲取手勢圖像，再將RGB圖像轉換成HSV圖像，對手勢圖像進行預處理。之后采用基于H值的靜態手勢分割方法，此方法是結合了最大類間方差法圖像分割法和膚色分割法的主要思想。然后通過將分割后的圖片進行處理分析操作，將手勢從手勢圖像中分割出來。分割完成后對手勢信息進行分析，主要是提取方向等有用信息，本系統采用手勢的外接矩形框的長寬關系、手勢的形心和矩形框的中心關系作為特征來識別手勢所處的角度，進而識別手勢的方向。發射模塊將手勢識別結果進行無線發射。首先通過用戶編程獲取數據，經過Zig2 Serial USB轉串口信號轉換板傳送給無線通訊模塊Zig - 100發射手勢控制方向編碼，接下來小車上的Zig-100無線通訊模塊接收手勢控制方向編碼，傳送給小車控制系統。這樣就實現了小車根據手勢信息編碼來進行運動的目標[3]。具體手勢識別系統的組成如圖3所示。

圖3 手勢識別系統

經比對多次試驗結果后我們發現，手勢圖像的獲取方式和周圍的環境有很大關系。處理方式的靈活度較差，例如，若獲取的圖像中的光線亮度差別很大，其選定的閾值范圍也完全不同。

3.2 語音控制系統

語音識別技術，也被稱為自動語音識別(Automatic Speech Recognition, ASR)，其目標是將人類的語音中的詞匯內容轉換為計算機可讀的輸入，例如按鍵、二進制編碼或者字符序列。本設計語音識別系統模塊實現的目標為：通過語音識別模塊，識別使用者說話的內容，并發送信號給arduino開發板，由arduino程序去控制小車執行相應的反饋動作，例如前進加速等等[4]。從而實現人機互動。

我們的語音控制系統工作原理為：使用者發出的語音信號由語音識別模塊進行語音識別，語音芯片我們選擇了帶聲庫的syn6288，它將語音轉換成數字形式的控制命令[5]；控制命令經串口發送給Arduino開發板，Arduino開發板接收命令并做出響應；小車模型實現各種動作的反饋。其中，Arduino接收端控制程序和發送端控制程序需要按控制要求開發完成后，從PC機上下載到開發板及手機上[6]。具體系統模型如圖4所示。

圖4 語音識別系統

在測試過程中我們發現，在語音命令輸入后，由于噪聲等原因，導致最終執行結果錯誤率較高。因此，我們加入了預處理模塊，盡可能的消除噪音，提升語音質量，排除外界干擾。后續實驗結果表明，加入預處理之后指令執行錯誤率明顯降低。

4.總結

本文以智能小車多方式控制為應用背景，研究了視覺感知的識別技術的手勢識別技術，及語音控制技術。并介紹了該技術在Arduino作為開發平臺上的實現，并利用該技術對于智能小車進行了基本的行進動作控制，驗證了方法的有效性。雖然系統基本實現了所需的識別與控制功能，但仍有改進的地方，比如如何有效濾除語音控制時的噪音；如何降低系統對光線明亮影響的敏感度；如何進行雙手勢識別控制等[7]。因此，在后續研究中我們將在理論和實現上做進一步的完善。

[1]張振友,李娜.基于移動終端的感知計算技術初探[J].技術與市場,2015.22.12 171.

[2]張曉辰,殷龍,陳永亮,嚴磊,曲衡,王曰海.基于視覺的智能電子寵物[J].電子產品世界,2014.12.

[3]王慧,介龍梅.基于多傳感器/目標識別的電子寵物視覺系統[J].計算機工程,2006.6 35.11 178-180.

[4]梅明亮,王翠鳳,何炳蔚.基于視覺的手勢識別技術及在小車控制中的應用[J].長春大學學報,2016.8 26 8 24-31.

[5]林敏,李強.基于arduino的語音控制系統[J].科技資訊,2016.15.038 38-40.

[6]李新科,高潮,郭永彩,何衛華.基于語音識別和紅外光電傳感器的自循跡智能小車設計[J].傳感器與微系統(Transducer and Microsystem Technologies),2015.30.12 105-108.

[7]馮平,張治中.多功能語音控制小車設計與實現[J].寰宇通信,87-90.

We design an car of intelligent human-computer interaction. It based on visual perception.The car uses the Arduino as a system control processor, and it has a multifunctional control system of gesture recognition, face recognition technology and speech recognition technologies.The car has the ability to adjust the direction and speed of movement. This technique can be applied to intelligent wheelchairs for disabled people, service robots, intelligent toys, unmanned vehicles, warehouses and other felds.

visual perception; Arduino; human-computer interaction