基于虛擬成像技術與語音人機交互技術的移動終端的研究*

林　峻，陳錦彪

(廣東電網有限責任公司 佛山供電局，廣東 佛山 528000)

?

基于虛擬成像技術與語音人機交互技術的移動終端的研究*

林峻，陳錦彪

(廣東電網有限責任公司 佛山供電局，廣東 佛山 528000)

摘要：在智能電網發展背景下，針對電力一線作業人員應用平板電腦與PDA等，存在戶外攜帶便利性較差，不能簡化原有的工作，需要雙手拿平板電腦或PDA操作錄入等問題，結合電網發展對電子化作業的需求，探索將虛擬成像技術與語音人機交互技術應用于移動終端，詳細闡述了其技術原理與實現方式，采用成熟的Mediatek平臺與Android操作系統，配備高像素數碼攝像頭、雙麥克風降噪處理系統，同時實現WCDMA、GSM、GPS、藍牙和WiFi等通信定位功能，將所有功能集成于電力安全帽，形成移動作業的新平臺。解放電力工作人員雙手，實現了作業同時電子化辦公、電力系統內的數據交換及遠程可視指導作業等。在配網電力檢修操作中進行新作業模式嘗試，摸索出了科技成果在員工操作培訓模式的改進方式，形成了全新的高效作業方式，具有良好的應用前景。

關鍵詞：虛擬成像技術；語音人機交互；移動終端

近年來，隨著我國智能電網建設進程的不斷推進，對電力一線工作用安全頭盔的要求也日益提升。傳統的電力安全頭盔起著防止高空墜物，降低頭部傷害的作用，隨著電網自動化和智能化技術的發展，亟需便攜、智能和靈活的電子化作業移動終端，通過虛擬成像技術和語音人機交互技術，推動傳統頭盔向智能移動終端的升級。

1研究新型智能移動終端是電網發展的需要

1.1電力信息化發展現狀分析

近年來，隨著安卓系統的迅速普及，平板電腦和PDA在一線作業員工手上開始逐步使用。電力信息化系統從簡單的表單，發展到后來的流程化管理，從少數人使用發展到每一個人的辦公桌面上。現在，正在努力從每一個人的桌面發展到電力檢修等作業一線。

然而，移動終端的普及還存在一些制約因素，包括：1)強光下查看時反光比較明顯，盡管現在液晶屏廠家推出了全視角的IPS電容屏，顯示效果還是不盡人意；2)平板電腦屏幕尺寸過小，顯示出來的字體過小，對于一線員工來講，辨別起來比較困難，尤其是對于那些年齡大的職工；3)操作不方便，尺寸小了，看不清，尺寸大了，端不了，攜帶也不方便；4)解放不了雙手，使用時，始終需要用雙手端著；5)遇到下雨天，屏幕一沾水，屏幕操作就會失靈。

1.2電網發展對電子化作業的需求

電力系統的信息化迫切地要求便于攜帶、方便使用的電子化作業移動終端，最終需要的是一種能解放雙手、便于攜帶、功能強大和完全不影響一線人員作業的智能移動終端。而將虛擬成像技術與語音人機交互系統的移動終端應用于電力安全帽，使一線作業人員穿戴的人身防護工具擁有平板電腦、PDA等工具所有的功能，并在此基礎上形成具有及時通信、攝像和導航等功能的超級終端，既能解放雙手作業，又能通過語音交互完成電子化作業，這樣的設備是作業一線需要的。

基于上述分析，本文開展了基于虛擬成像技術與語音人機交互技術的移動終端的研究，開發出一種基于虛擬成像技術與語音人機交互系統的移動終端，將虛擬成像和語音人機交互技術應用到電力員工的作業一線。不需要攜帶繁瑣的設備，走到哪里，工作到哪里；及時發現問題，迅速解決問題；規范電力檢修操作，推動智能電網的建設進程[1]。

2虛擬成像技術與語音人機交互技術簡介和原理分析

2.1虛擬成像技術及其實現原理

虛擬成像技術是通過投影儀將影像投影到棱鏡上，然后在人的視網膜上聚焦，在看到的現實圖像上重疊圖層成像，所成的虛像距離焦點無限遠，使得使用者可以同時看到現實的內容與現實景物，虛擬成像技術最明顯的體現就是頭盔微顯示器。

虛擬成像實現需要微型投影儀、棱鏡，投影儀將圖像投影出來，通過棱鏡反射到人眼的視網膜上，形成一個遠處的虛擬圖像(見圖1)。虛擬成像的具體原理如圖2所示，投影儀將圖像投影，投影光線經過棱鏡反射，然后投入到人眼視網膜上形成虛擬圖像。由于投影光線和現實圖像光線是平行疊加，所以形成的虛擬圖像和現實圖像也是疊加在一起的。

圖1　虛擬成像技術

圖2　虛擬成像的具體原理

虛擬成像移動終端采用投影式光學系統，在現有的視頻眼鏡的基礎上，深入研究其成像原理，根據其電氣接口標準，外加對應的橋接芯片連接到微型智能系統，并使其能正常運行在當前流行的Android系統中。由微型智能系統的視頻輸出至微型投影儀上，虛擬圖像通過投影透鏡折射后，再由與光軸成45°角的分光鏡反射到回射屏上，回射屏將入射光線沿與入射相反的方向反射回去，進入人眼中；而來自真實環境的光線則直接通過回射屏和分光鏡進入人眼，從而實現虛擬圖像與真實環境的疊加。虛擬成像技術可以解決小體積的大屏顯示技術，使微機的顯示系統很方便地應用于穿戴式的移動終端上[2]。

2.2語音人機交互技術及其實現原理

語音人機交互技術的核心是語音的識別及人機的交互控制。

語音的識別可以采用現有成熟的語音識別引擎，將常用的語音指令通過語音建模形成矢量模型存入本地語音庫，例如，增加、刪除、更改、查找、打開、關閉及數字1、2、3、…、9等常見操作命令的語音庫，使其實現本地化[3]。

語音通過語音引擎識別后轉換成字符，字符與相應的計算機指令匹配后，調用計算機指令集，通過計算機的指令接口，可以觸發計算機的相應操作。從而實現計算的語音操作。

第三方軟件的語音操作可以通過統一的語音指令接口，由第三方軟件監聽相應的指令，從而實現對第三方軟件的語音操作。其實現方式如圖3所示。

圖3　語音人機交互系統的實現方式

通過上述方式，可以實現語音對系統及第三方軟件的控制，從而實現人機交互，解放雙手，提高一線員工的作業效率。

3基于虛擬成像技術與語音人機交互技術的移動終端的研究

3.1移動終端技術路線

首先，根據需要確認以目前產業鏈最為成熟的Mediatek平臺，設計出基于Android操作系統的微型嵌入式移動終端。配備大容量鋰電池，支持移動適配器(Travel Adapter)充電，并設計高效合理的快速開關式充電方案,系統將優化電源管理方案,使待機電流、關機電流以及工作電流盡可能小。

其次，考慮到現場作業可能需要拍照并上傳至系統，配備支持高像素數碼拍照功能的攝像頭。為提高聲控的人機交互系統效果和用戶體驗，采用雙麥克風降噪處理系統。根據微型顯示器(HMD)模組的接口需求，采用LVDS轉接芯片，實現嵌入式移動終端的視頻輸出至HMD模組。其他的可通過Mediatek的手機移動芯片基帶實現WCDMA、GSM、GPS、藍牙和WiFi等常用的通信定位功能，為以后的移動作業通信奠定基礎[4]。

3.2移動終端實現方式

移動終端將目前世界最前沿的虛擬成像技術，并輔以可以連接無線網絡的微型化的嵌入式系統，應用于電力安全帽中，形成一種全新的信息化移動終端，該終端相當于將一臺擁有超大屏幕的大型計算機系統嵌入至電力安全帽里面，它將有利于解決電力工作人員攜帶筆記本或者平板電腦的不便捷問題，特別是惡劣環境下(比如環境光過亮以至于看不清電腦屏幕顯示，或者下大雨情況下)的戶外作業等，且極好地解決了便攜音視頻設備與超強功能的便攜設備的矛盾——大型屏幕顯示與極小的體積的矛盾。無線網絡則可有助于將現場調試的數據上傳至電力系統。考慮到現場調試的便捷性，移動終端還將語音控制系統集成于電力安全帽中，并針對電力業務系統軟件實現語音控制，這在目前業界屬首創， 即使谷歌眼鏡亦未實現該功能。它將解放電力工作人員敲打鍵盤的雙手，實現更便捷的現場辦公，配合無線網絡還可以實現電力系統內的數據交換,以及遠程控制和遠程調試。基于虛擬成像技術與語音人機交互技術的移動終端的外觀圖如圖4所示。

圖4　移動終端的外觀圖

3.3移動終端實現意義

基于虛擬成像技術與語音人機交互系統的移動終端在佛山順德供電局的某變電所演示了配網電力檢修操作，進行了提高電力檢修質量及安全性的新作業模式嘗試。摸索出了新科技成果在員工操作培訓模式的改進方式，形成了全新的高效作業方法。

4結語

隨著智能電網的發展，電力系統的信息化迫切地要求便于攜帶、方便使用的電子化作業移動終端。基于虛擬成像技術與語音人機交互技術的移動終端能夠較好地解決這些問題，不僅能夠解放一線人員的雙手，而且便于攜帶、功能強大和完全不影響一線人員作業；因此，具有良好的應用前景。

參考文獻

[1] 江潔，王昊予，張廣軍．虛擬擴展成像在大視場姿態角測量中的應用[J].北京航空航天大學學報，2011，6(22)：6-8．

[2] 石磊，范志剛. 虛擬紅外成像器件的模擬輸出電路設計[J].自動化技術與應用，2012，6(10)：66-69．

[3] 張哲超.成像系統中的光譜反射率重建[D].杭州：浙江大學，2010.

[4] 丁玲.考慮相位加權的鄰點濾波虛擬成像處理技術[J].科技通報，2014，6(12)：44-46．

* 中國南方電網有限責任公司科技項目(030600KK52140058)

責任編輯彭光宇

The Research of Mobile Terminals based on Virtual Imaging Technology and Voice Human-computer Interaction Research of Mobile Terminal

LIN Jun， CHEN Jinbiao

(Guangdong Power Grid Co.,Ltd.， Foshan Power Supply Bureau， Foshan 528000， China)

Abstract：Under the background of the smart grid development, the tablet computers and PDA when applied in the power line homework personnel have poor outdoor carrying convenience, can not simplify the original work, need hands to carry tablet PC or PDA. Combined with power grid development on the demand of electronic exploration, apply virtual imaging technology and speech interactive mobile terminals, elaborate on the technical principle and implementation way, use the mature Mediatek platform and Android operating system, equip with high pixel digital photo head and the double microphone down processing. Realize the WCDMA and GSM, GPS, bluetooth and WiFi positioning functions at the same time loith as communication and integrate functions in the power safety helmet to form the new platform of mobile operations. Hands liberation tapping at a keyboard power staff achieves the operating electronic office in the power system data exchange and remote visual guidance, etc. New operations are tried in the operation of the power distribution network maintenance mode, the scientific and technological achievements in the improvement of operation training mode are got, and form new practices with a good application prospect.

Key words:virtual imaging technology， voice human-computer interaction， mobile terminals

收稿日期：2015-06-05

作者簡介：林峻(1972-)，男，助理工程師，技師，主要從事電力系統自動化、軟件工程等方面的研究。

中圖分類號：TM 0

文獻標志碼:A