智能家居系統全景界面可控點自動識別的研究

唐菲菲　果連成　張珣

摘要：為了滿足人們對家居系統客戶終端個性化智能化的需求，提出了360°全景漫游的交互界面，及對其中的家居可控點狀態(tài)的自動識別。全景漫游技術根據surf算法在圖像尺度空間提取特征點，通過圖像拼接，生成場景在不同視線方向上的透視視圖；以窗簾為例，利用灰度共生矩陣提取可控點紋理特征值，根據支持向量機進行分類。實驗表明，surf算法具有良好地魯棒性及高效的配準速度，同時基于紋理特征的模式識別，能較準確地區(qū)分圖像中的可控點狀態(tài)。

關鍵詞：智能家居； 全景漫游界面； 模式識別； 紋理特征； 圖像拼接

中圖分類號：TN98?34 文獻標識碼：A 文章編號：1004?373X（2013）02?0032?04

0 引 言

智能家居無疑是近年來炙手可熱的概念，一些高檔的住宅小區(qū)已經配套了比較完善的智能家庭網絡，其中人機交互界面的友好化已作為一個最大的亮點。系統智能化程度的提高大大降低了居住者管理及控制家居工作量的同時，也增加了家庭成員對復雜的操作界面的認知能力，如面對滿目的按鈕和圖標、雜亂的界面主題，反而會令一些簡單的操作變復雜，甚至還會對一些不熟悉這些操作界面的人，如老人、孩子、訪客等造成新的困擾[1]，使智能家居系統的智能化有些本末倒置。

智能家居人機交互界面隨著計算機技術的飛速發(fā)展已經經歷了4個階段。最早的命令行界面可以看成第一代智能家居人機界面。當時人被看成操作員，機器只能作出被動的反應，人只能使用手一種交互通道通過鍵盤輸入信息，界面輸入只能為靜態(tài)單一字符，因此，這種人機界面交互的自然性和效率都很差。緊接著的以窗口、圖標、菜單和指點裝置為基礎的人機交互界面可以看作第二代智能家居人機界面，如在WIMP界面中，基于圖形方式的界面，輸出靜態(tài)/動態(tài)二位圖形/圖像及其他多媒體信息。近期的多通道人機界面是基于視線跟蹤，語音識別，手勢輸入、感覺反饋等新的交互技術，用戶可以使用自然的交互方式，如語音、手勢、眼神、表情等與計算機系統進行協同工作，利用感知能力在3D模型的虛擬現實家居系統中漫游，如MMI可以看作是第3代人機界面[2]。隨著人們的不斷創(chuàng)新，以求推出最容易和掌握的控制界面，基于自適應模式識別的360°全景圖像與第三代人機界面的融合，可以看作是第4代人機界面，目前用于觸摸屏設備的swipe技術正式采用了以實景為背景的界面已給用戶帶來全新的環(huán)境控制體驗。在基于系統界面“皮膚”是室內的360°全景實景照片的基礎上，采用針對圖像中可控點如燈、門、窗簾狀態(tài)的自動智能識別技術，滿足客戶對“所見即所得”人機界面的要求。

本文主要研究在VS 2008+OpenCV工具平臺上，對智能家居系統以360°實景圖像為背景的界面中的窗簾部分進行的模式識別。

1 虛擬全景人機界面的實現

三維全景漫游是指在由全景圖像構建的全景空間里進行切換，達到瀏覽各個不同場景的目的，目前比較流行的方法是采用普通數碼相機采集的圖片作為場景的虛擬表示，通過對具有重疊部分的圖像進行拼接融合，合成一幅較大視角的場景圖像，即全景圖，對全景圖進行重投影，可以實現在不同視域和視角方向下的透視視圖[3]。

本文采用2006年bay等提出的基于特征點全景圖像配準的SURF（Speed Up Robust Feature）算法進行圖像拼接[4]，其具有可重復性和魯棒性，還有較快的計算速度。

1.1 特征點檢測

Surf算法對特征點的檢測是基于尺度空間理論，依據Hessian矩陣行列式的局部最大值定位特征點位置[5]。對于圖像I中的任意一點u=（x，y）在尺度為σ下的Hessian矩陣H（u，σ）可以定義如下：

[H（u，σ）=Lxx（u，σ）Lxy（u，σ）Lyx（u，σ）Lyy（u，σ）]（1） 式中：[Lxx（u，σ）]是高斯函數二階導數與圖像I在點u處的卷積，以此類推得到[Lxy（u，σ）]，[Lyx（u，σ）]和[Lyy（u，σ）]。Hessian的行列式為：

[det（H）=Lxx×Lyy-Lxy2] （2）

Bay等人提出用框式濾波器近似高斯二階導數，框式濾波器在x，y，xy三個方向上的近似分別記為[Dxx]，[Dyy]和[Dxy]，大大提高了運算效率。得到近似的Hessian矩陣[H（approx）]，如下：

[det（Happrox）=Dxx×Dyy-（0.9×Dxy）2] （3）

利用尺度空間被表述為金字塔的原理，使原始圖像保持不變而只改變?yōu)V波器大小，特征點檢測過程中使用與圖像解析度相對應大小的濾波器快速檢測及定位特征點。

1.2 特征點的描述

SURF特征描述符利用Hessian快速檢測出來特征點的尺度，來描述像素點強度的分布情況。為保證旋轉不變形，首先以特征點為中心，計算半徑6s（s為特征點所在的尺度值）的鄰域內的點在x，y方向的Harr小波（Harr小波邊長去4s）響應，并給這些響應值賦高斯權重系數，靠近特征點的響應貢獻大，遠離特征點的響應貢獻小，計算所有特征點的Harr小波響應向量進行累加，選擇最長矢量的方向為該特征點的主方向。

以特征點為中心，首先將坐標軸旋轉到主方向，按主方向選取邊長為20s的正方形區(qū)域，將該窗口區(qū)域劃分為4×4的子區(qū)域，在每一個子區(qū)域內，計算5s×5s范圍內的小波響應，相對于主方向的水平、垂直方向的Haar小波響應分別記為dx，dy，賦予響應值以權值系數，對每個子區(qū)域的響應以及響應的絕對值相加形成[dx，dy，dx，dy]，因此對每個特征點形成64維的描述向量，再進行向量的歸一化處理[6]，即可描述特征點。

2 可控點自動識別

在全景漫游的人機交互界面中，利用圖像處理技術對可控點如窗簾、燈、門等設備進行識別，本文以窗簾為例進行分析。據常識可知窗簾關時，窗戶部分應該是透明玻璃或者空氣（即什么都沒有），兩者的紋理是一樣的，都是一個常數圖片；窗簾關時，窗戶部分應該是窗簾，從而我們可以以該圖片中玻璃與窗簾的紋理特征為依據進行分類。

2.2 支持向量機的圖像識別

支持向量機（SVM）是建立在統計學習理論的VC維理論和結構風險最小的原理基礎上的，根據有限的樣本信息在模型的復雜性和學習能力之間尋求最佳折中，本文中就是利用支持向量機來完成分類的。訓練之前首先將特征數據映射到0～1范圍內，以防大量的大數據計算問題。訓練時將窗簾開、關的標號設定為[0，1]，選徑向基函數為核函數。選擇窗簾開、關圖像各100張作為樣本來訓練SVM，另取50張作為測試樣本，正確率達到98%。本文選取的4個參數及已經訓練的分類器能較好地完成窗簾圖像的自動識別[9?10]。

3 結 語

本文首先了解基于SURF算法圖像拼接的360°全景技術，在三維漫游人機交互界面的基礎上研究灰度共生矩陣及窗簾和玻璃紋理特征，通過SVM成功地對其狀態(tài)進行識別。同樣地可以對系統中其他家居如燈的開關狀態(tài)，門的開關狀態(tài)等進行自動圖像識別，從而形成一個家居人機界面可控點的智能識別系統。該系統可以避免人力資源的消耗，適應于不同類人群的需求，同時基于真實圖像拼接的全景圖的界面，增加了用戶的真實現場感和交互感受，這是未來虛擬控制界面發(fā)展的一種趨勢。本文下一步工作是根據用戶的空間位置及觀察方向實時地調入響應的實景圖像，使其與用于模式識別的圖像更新達到同步。

參考文獻

[1] 董士海.人機交互的進展及面臨的挑戰(zhàn)[J].計算機輔助設計與圖形學學報，2004，16（1）：1?5.

[2] 張斌，繞培倫.智能家居人機交互績效的實驗分析：界面智能程度及人物認知模式的影響[J].工業(yè)工程與管理，2007（3）：99?103.

[3] 趙毅力，徐丹.基于全景圖像的虛擬漫游系統研究[J].計算機與現代化，2011（6）：11?14.

[4] BAY H， TUYTELAARS T， COOL L. SURF：speeded up robust features [C]// Proceeding of the 9th European Conference on Computer Vision. [S.l.]： UCCV， 2006： 404?417.

[5] 劉奇，何明一.基于SURF特征匹配的圖像拼接算法[J].測控技術，2010，29（10）：27?31.

[6] 李軍，吳潔明.一種改進圖像拼接算法的仿真研究[J].計算機仿真，2012，29（2）：273?276.

[7] 高程程，惠曉威.基于灰度共生矩陣的紋理特征提取[J].計算機系統應用，2010，19（6）：29?32.

[8] 苑麗紅，付麗，楊勇，等.灰度共生矩陣提取紋理特征的實驗結果分析[J].計算機應用，2009，29（4）：1018?1021.

[9] 何敏，王培培，蔣慧慧.基于SVM和紋理的煤和煤矸石自動識別[J].計算機工程與設計，2012，33（3）：1118?1121.

[10] 謝賽琴，沈福明，邱雪娜.基于支持向量機的人臉識別方法[J].計算機工程，2009，35（16）：186?188.