基于圖像識別的大屏幕人機交互系統建設與實踐

李厚恩　余里程　廖耀隆

摘要：本文在圖像識別基礎上，以期解決人機交互系統內攝像頭標定復雜問題，提出一種全新的人機交互系統建設途徑。首先分析了基于圖像識別的大屏幕人機交互系統概述，同時闡述了系統建設原理，最后總結了系統建設實踐。

關鍵詞：圖像識別；人機交互；系統建設；系統實踐

中圖分類號：TP391.41 文獻標識碼：A 文章編號：1007-9416（2019）01-0092-02

目前應用的人機交際系統主要包含兩種，一是借助激光筆，實現遠距離的交互，另一種則是實現人體一部分，比如：手部、眼睛等部位的遠距離交互。人體部位交互不需要外部設備的協助，在實際應用中，這類交互技術更加自然與友好。本文主要研究的是基于圖像識別的大屏幕人機交互系統建設與實踐，詳細闡述如下。

1 系統概述

本文研究的基于圖像識別的大屏幕人機交互系統，通過利用人眼交互，以此獲取眼球內的轉動信息，將攝像頭集中在用戶關注的位置，以此實現對計算機系統的控制，采集相關的視頻圖像[1]。借助人手可將眼球信息投放在大屏幕上，因而又稱之為手勢識別基礎上的人機交互。

本文研究的基于圖像識別的大屏幕人機交互系統，主要是將兩個廣角攝像頭分別安裝在A點、B點，安裝點需要與大屏幕正對，且鏡頭一致對準地面。用戶只需要在攝像頭與地面之間的任意距離位置，移動手臂，一般采取上下移動、左右移動兩種，通過控制大屏幕內的鼠標定點。在鼠標移動到指定位置后，用戶站在原地，彎曲會伸展食指就可實現鼠標點擊。此人機交互系統的每個攝像頭主要負責用戶手部圖像采集，通過獲取用戶之間的二維圖像位置坐標，在透視投影模型的支持下，以此將指尖成像點與地面之間的坐標位置求解出來。將攝像頭位置、地面坐標視作一條直線，系統總計2條直線，兩條直線交互，則能夠將指尖空間坐標求解出來，以此獲取之間空間做標與屏幕二維碼做標。通過將物理做標轉換為專門的邏輯坐標，可求解出手指指向屏幕的實際坐標，以此實現大屏幕的精準定位。在系統完整定位之后，通過采集用戶指尖視頻圖像，可判斷食指狀態。

2 基于圖像識別的大屏幕人機交互系統建設原理

本系統的攝像頭，采取的是透視投影成像模型，如圖1所示。透視投影O型在實際應用中，可將一個場景光線透過投影屏幕，聚集在中心。在投影中心位置，與成像平面垂直，以此形成投影軸/光軸，此階段，x，y，z點固定。

透視投影映射圖2所示，攝像頭的平面直角坐標系，其原點處于投影中心，坐標軸與投影軸相互重合，指向特定的場景，x軸與y軸圖像平面坐標與、軸平行，此階段xy平面與圖像平面之間的距離用表示，也稱之為攝像頭的焦距[2]。實際攝像頭中，圖像平面集中在投影中心后面距離位置，其投影圖像屬于倒立圖像。此階段場景內的y點、x點、z點坐標需要在圖像平面相交點上獲取。

3 基于圖像識別的大屏幕人機交互系統建設實踐

以主配網電網為例，系統建設分析如下。

3.1 個性化專題監控

（1）設備全維度在線監測。通過“電網-變電站/輸電線路-設備”個層次遞進展示整個深圳電網設備整體情況，實現不同層次的用戶掌握電網及設備運行情況。（2）電網全維度監測。電網全景信息用于展示整個深圳電網設備全維度在線監測的情況，包括：電網規模、各類關鍵設備數量、關鍵設備狀態評價結果、各類設備壽命分布情況、不同等級的設備風險次數、不同等級的電網風險次數、電網污區分布情況等。（3）變電站全維度監測。電網全景信息用于展示整個變電站設備全維度在線監測的情況，包括：變電站基礎信息、變電站運行信息、變電站各類狀態監測覆蓋情況、接入情況、在線情況、變電站的設備狀態評價結果、基準態評價結果、風險評估結果等。（4）輸電線路全維度監測。輸電線路全景信息用于展示架空線路和電纜線路設備全維度在線監測的情況，具體如包括：輸電線線路走勢、線路運行信息、輸電線路桿塔狀態、線路負載率、輸電線路實時視頻等。（5）設備全維度監測。設備全景信息用于展示單體設備的全景信息，包括：單體設備的安裝、采購、項目、運行、維修、價值、缺陷、壽命、狀態、狀態評價結果、風險評估結果、基準態分析結果和故障預測結果等信息。（6）缺陷分布統計。以巡維中心、廠家為維度進行缺陷對比分析，支持鉆取具體的缺陷信息，具體展示包括：設備運行年限平均故障率、廠家設備故障指數、某類設備非正常狀態趨勢分布、某類設備非正常狀態運行年限分布、展示某類設備非正常狀態廠家分布、缺陷數據統計分析結果等。（7）客戶全方位指標監控。展示各服務渠道的客戶訴求、客戶服務情況，監控客戶訴求（包括12398、12345等外部渠道）的受理、分布、處理、跟蹤并閉環以及后續處理，回訪情況，以便發現客戶服務薄弱環節，同時對客戶供電質量、客戶問題、故障停電進行實時監控。（8）電動汽車充電運營監控。展示深圳供電局目前拓展的電動汽車充電競爭性業務的總體運營情況，具體展示內容包括：充電站樁規模、充電樁當前運行情況、充值金額、充電金額、充電電量、充電樁利用率等。（9）低壓集抄指標監控。展示深圳供電局低壓集抄建設和集抄運行的總體情況，具體展示內容包括：集抄覆蓋率、終端在線率、數據采集完整率、遠程抄表投入率、遠程抄表成功率、已驗收臺區數、已驗收電表數等[3]。

3.2 大屏展示

3.2.1 大屏（含控制終端）展示

（1）大屏展示手段。通過大屏動態切換或者大屏拼接的方式演示簡短視頻、展示綜合場景，供會議或者匯報使用，同時也可以設置若干主題供監控人員使用。展示內容需要能適應多種分辨率的大屏，包括中央區域大屏、兩側區域大屏以及入口區域大屏。（2）終端控制。搭建移動終端和大屏展示的互動工作臺，通過移動終端發出指令，發給可視化監控系統進行互動展現，并可根據大屏配置最優化展示效果[4]。

3.2.2 視覺效果設計與場景展示

將深圳供電局各部門各層級關注的關鍵指標信息、月報指標信息、個性專題指標信息以及網公司關鍵指標信息，運用視覺設計手段，通過標志的造型和特定的色彩等表現手法，使企業的經營理念、管理特色、服務標準等形成一種整體形象，展示深圳電網良好形象。

包括建立生產域視覺效果場景設計、投資計劃域視覺效果場景設計、物資域視覺效果場景設計、基建域視覺效果場景設計、營銷域視覺效果場景設計、人力資源域視覺效果場景設計、財務域視覺效果場景設計、信息域視覺效果場景設計、電網發展視覺效果場景設計、資產全生命視覺效果場景設計、設備全維度視覺效果場景設計、客戶全方位視覺效果場景設計、電動汽車充電運營視覺效果場景設計、低壓集抄視覺效果場景設計。實現不同主題域的視覺效果設計[5]。

通過視覺效果設計的場景，運用視頻處理、三維動畫、數字合成等技術，構建生產域視覺效果視頻與動畫組件、投資計劃域視覺效果視頻與動畫組件、物資域視覺效果視頻與動畫組件、基建域視覺效果視頻與動畫組件、營銷域視覺效果視頻與動畫組件、人力資源域視覺效果視頻與動畫組件、財務域視覺效果視頻與動畫組件、信息域視覺效果視頻與動畫組件、電網發展視覺效果視頻與動畫組件、資產全生命視覺效果視頻與動畫組件、設備全維度視覺效果視頻與動畫組件、客戶全方位視覺效果視頻與動畫組件、電動汽車充電運營視覺效果視頻與動畫組件、低壓集抄視覺效果視頻與動畫組件。實現不同主題域的視頻展示，展示深圳局運營監控成果。

4 結語

綜上所述，本文是在圖像識別原理基礎上，提出的一種全新的大屏幕人機交互系統構建方式，通過應用雙目立體視覺，解決了大屏幕人機交互系統內的攝像標定問題，順應時代發展需求，融入了各類全新的技術，提出了一種更加簡單的空間定位方式。

參考文獻

[1] 盧思羽.基于多模態人機交互的虛擬樂器演奏系統研發[D].華中師范大學，2016.

[2] 郭星.大屏幕人機互動中若干關鍵技術研究[D].安徽大學，2013.

[3] 李建新.大屏幕多媒體互動展示系統實現技術與設計[D].安徽大學，2012.

[4] 李志.基于圖像識別的大屏幕人機交互系統研究[D].安徽大學，2010.

[5] 黃燕榮.基于視頻輸入的虛擬交互系統的設計與實現[D].大連理工大學，2004.

Abstract：On the basis of image recognition， in order to solve the complex problem of camera calibration in human-computer interaction system， this paper proposes a new way to build human-computer interaction system. Firstly this paper analyses the overview of large screen human-computer interaction system based on image recognition， expounds the principle of system construction， and finally summarizes the practice of system construction.

Key words：image recognition； human-computer interaction； system construction； system practice