“5G+AI”在智能家居中的應用研究

謝國坤 張培培

摘 要：隨著大屏幕在消費市場中的普及以及在線和離線視頻資源的豐富，在家中享受動態的遠程風景已成為一種有趣的應用。文章提出了一種5G+AI系統，供用戶交互式地欣賞偏遠地區的不同風景。該系統了解當前環境，并且遠程風光視頻中的天氣狀況以不同方式與本地環境相關聯，以為用戶帶來自然愉悅的觀看體驗。同時，該系統能夠根據用戶的位置和視角變換風景視頻的布局，使用戶在走動并在屏幕前四處張望時，感覺就像是通過真實的窗戶觀看外面的風景。實現了一個由大屏幕和幾個低成本傳感器組成的原型，并進行了一系列測試。結果表明，所提出的系統可以有效改善用戶觀看自然風光的體驗，并使過程更加愉悅。該系統適合各種尺寸的屏幕，并且易于安裝，使其成為智能家居中的可擴展且易于使用的消費類設備。

關鍵詞：大屏幕;智能家居;5G+AI系統的虛擬窗口

中圖分類號：TN929.5? 文獻標識碼：A ? ? 文章編號：1001-5922（2021）10-0071-05

Research on the Application of “5G+AI”in Smart Home

Xie Guokun， Zhang Peipei

（Xi an Traffic Engineering Institute， Xi an710300， China ）

Abstract：With the popularity of large screens in the consumer market and the abundance of online and offline video resources， enjoying dynamic remote scenery at home has become an interesting application. This paper proposes a 5G+AI system for users to interactively appreciate different scenery in remote areas. The system understands the current environment， and the weather conditions in the remote scenery video are related to the local environment in different ways to bring users a natural and pleasant viewing experience. At the same time， the system can change the layout of the scenery video according to the users location and perspective， so that when the user is walking and looking around in front of the screen， it feels like watching the outside scenery through a real window. A prototype consisting of a large screen and several low-cost sensors was realized， and a series of tests were carried out. The results show that the proposed system can effectively improve users experience of viewing natural scenery and make the process more enjoyable. The system is suitable for screens of various sizes and is easy to install， making it an expandable and easy-to-use consumer device in the smart home.

Key words：large screen; smart home; virtual window of 5G+AI system

0 引言

大屏幕的制造技術在最近的二十年中發展迅速。隨著成本的不斷降低，它已成為智能家居中的重要組成部分[1-2]。它有效地增強了日常生活中的各種娛樂和商務功能，例如電視和電影觀看，游戲，電話會議等[3-4]。隨著風景視頻資源的豐富，還可以通過大屏幕欣賞美麗的風景，并可以通過房間中的真實窗戶觀看[5-6]。例如，從北京的房間欣賞倫敦泰晤士河的動感風光，或者從巴黎觀看悉尼的屈臣氏灣，而不必出國旅行，將是很有趣的。風景查看功能將大屏幕變成智能家居中的一扇窗戶，并有效地將本地環境連接到世界上的偏遠地區[7]。

但是，由于以下兩個原因，僅將遠程風景復制到屏幕上供用戶觀看并不能提供令人滿意的觀看體驗：首先，遙遠的風景與當前的本地環境沒有很好的關聯，這意味著屏幕上顯示的內容與用戶現實生活中的內容完全脫節，從而導致觀看的不自然感[8-9]。特別是，通常被忽略的天氣條件已被證明對人類的情緒狀態有很大的影響。例如，如果外面的天氣晴朗，而屏幕上顯示的是陰天的景色，則會給用戶帶來明顯的前后不一的感覺，從而降低了沉浸式的觀看體驗[10]。

為了解決這些問題，本文提出了一種新穎的屏幕系統。與具有簡單的視頻播放功能的普通大屏幕不同，該系統能夠了解當地的當前天氣狀況，并在考慮到用戶的主觀感受和用戶的主觀感受的情況下自動對顯示的風景進行相應的更改。模擬人類在真實窗口前感知到的圖像的轉換，從而使用戶可以行走并在屏幕前四處張望，以不同角度欣賞更真實的風景。通過將這些功能集成在一起，所提出的系統使大屏幕的風景觀看功能更加智能，并在很大程度上改善了用戶體驗。

1 “5G+AI”的智能家居系統

擬議系統的硬件包括兩組設備：室外設備和室內設備。室內設備包括一個帶有嵌入式計算單元的大屏幕，用于顯示風景視頻和數據處理，以及一個紅綠藍（RGB）攝像頭和一個用于監視用戶活動的深度攝像頭。包括電荷耦合器件（CCD）攝像機和溫度傳感器的戶外設備用于感測當前的天氣狀況并將數據傳輸到屏幕。圖1顯示了所提出系統的硬件配置。

所提出的系統的關鍵特征是使用戶能夠在室內欣賞5G+AI系統的遠程風景，并具有通過真實窗口向外觀看的體驗。為了產生通過真實窗戶的感覺，將大屏幕放置在房間的墻壁上，并將處理后的風景視頻顯示在屏幕上。為了使其更加逼真，將帶有彩色外部框架和透明內部的虛擬窗口圖像疊加到視頻上。選擇框架的顏色以使其與墻壁的顏色完美融合。透明區域中的視頻部分是可見的，另一部分將被窗框遮擋。

2 “5G+AI”系統的視頻合成

2.1 模式分類

使風景視頻“5G+AI”系統的目的是通過提供適當的天氣條件來滿足用戶的心理需求，這可以促進用戶的積極情緒。根據對人類情感的研究，自然情感和放松情感是人類最重要的兩種積極情感。因此，該系統為用戶提供了兩種欣賞風景視頻風格的方式：一致方式和放松方式。采用不同的策略來自動合成視頻。放松模式旨在通過為風景提供所需的天氣條件來減少用戶因實際環境的當前天氣而帶來的不適感。例如，如果外面下著大雨，將顯示帶有陽光的美麗偏遠風景，使用戶感到愉悅;如果天氣炎熱，外面有強烈的陽光，則會呈現有雨甚至雪景的風景，以幫助用戶感到涼爽。

這兩種不同的模式為用戶提供了觀看遠程風景的不同體驗。在每種模式下，都會分別處理穩態和動態天氣狀況。接下來，將介紹每種模式下的詳細處理方案和算法。

2.2 一致模式

為了模擬風景視頻中的室外天氣條件，將穩態和動態天氣條件都從室外環境的實時視頻傳輸到遠程風景的實時視頻，實時視頻中的關鍵幀會定期（每5s）提取一次。風景視頻的每一幀（即源視頻），以及實時視頻的最新關鍵幀（即參考視頻），首先從RGB空間轉換為LAB空間。

式（1）中，l、α、β和r、g、b分別代表每個像素在LAB空間和RGB空間中的相應分量的值。在LAB空間中，l代表照明信息，α，β分別包含紅色/品紅色和黃色/藍色的顏色信息。使用LAB空間是因為它可以逼近人類視覺，尤其是人類感知的亮度要比RGB顏色模型好得多，后者只是將紅色，綠色和藍色相加。式（1）中的M是3×3轉換矩陣。然后，計算源視頻幀和參考視頻幀中l、α和β分量的均值和標準差。接下來，將目標視頻幀的l、α和β計算為：

式（2）中，kt和ks是LAB空間中的目標值和源值，、和、分別是源幀和參考幀的計算平均值和標準偏差。

最后，通過乘以式（1）中的M的倒數，將LAB空間中的值轉換回RGB空間，即可獲得合成視頻幀。

3 基于身體位置和視角的視頻轉換

為了使觀看過程更加逼真，應首先分析人眼中真實的窗戶和風景在兩個重要因素方面的轉換：身體位置和視角。身體位置pu=（xu，yu，zu）指的是3D空間中用戶頭部的x、y和z坐標，其中x和y是平行于窗口的平面上的水平和垂直方向，而z是垂直于窗口的方向。對于視角，考慮用戶面部圍繞用戶頭部的矢狀軸和垂直軸的旋轉角度? ? ? ? ? ? ? ? ? ? 。

如圖2（a）所示，當zu改變時，感知窗口區域的寬度的改變可以計算為：

式（3）中，w'和w分別是感知窗口區域的新寬度和舊寬度。是的變化，而代表人眼的中心視角?？梢钥闯雠c成正比。類似地，高度的變化也與成正比。因此，感知窗口的面積的變化與的平方成正比。

圖2（a）或平行于窗口圖2（b）移動或旋轉面部圖2（c）時，感知到的窗口在水平方向上的變化。

當用戶在平行于窗口的水平方向上移動時（即xu發生變化，如圖2（b）所示），感知到的窗口區域在水平方向上的位置變化等于用戶移動距離，而 感知窗口區域的寬度保持固定（即）。相同的規則適用于用戶垂直移動平行于窗口的情況（即，當改變時）。

3.1 計算成本

計算視頻處理每個步驟的平均計算時間，結果如表1所示。對室外天氣條件的分析，包括穩定的室外天氣條件的提?。◤腞GB顏色空間到RGB顏色空間的轉換）。LAB空間和動態條件檢測大約需要45ms，并且處理風景視頻每一幀的時間總共大約需要23ms。如結論所述，風景視頻的處理與室外實況視頻的處理是分開的，因此，對于30FPS速率的風景視頻，可以實時完成計算。

3.2 不同屏幕的最佳觀看范圍

為了在建議的系統中建議用戶運動的有效區域以進行風景觀看，研究了不同尺寸屏幕的最佳觀看范圍。在此測試中，將投影儀調整為將不同大小的區域投影到大屏幕上（如圖3所示）。投影區域的比例設置為16∶9，寬度從1.1～4.2m不等。小尺寸對應于普通液晶顯示器（LCD）電視的尺寸，大尺寸表示電視墻。要求用戶在室內自由行走以觀看風景視頻，并記錄他們感到舒適的范圍（從用戶到屏幕的最小和最大距離）。平均結果如圖3所示。

可以看出，隨著屏幕尺寸的增加，不僅最小和最大觀看距離，而且觀看范圍也會變大。當為建議的系統使用不同尺寸的屏幕時，此結果為設置有效的觀看范圍提供了參考。

3.3 視頻合成的有效性

首先進行客觀測試，以評估穩定天氣轉移和動態天氣檢測的算法。為了評估穩定天氣轉移算法的有效性，計算了室外實時視頻與合成前后的風景視頻之間的相似度。為此，將10個原始風景視頻及其合成圖像（未添加動態天氣效果）中的每一個的20個隨機選擇的幀分別與室外視頻的相應參考幀進行比較。

為了判斷動態天氣狀況的檢測是否準確，在不同天氣條件下的20d測試中，計算了“真陽性（TP）”、“假陽性（FP）”、“真陰性（TN）”和“假陰性（FN）”的數量。總共200次 這些定義的含義及其編號如表2所示。

從表2可以計算出，總精度AC =（TP + TN）/（TP + FP + TN + FN）為0.94，足夠用于判斷動態天氣狀況。

從以上測試結果可以看出，天氣檢測和視頻合成算法可以準確檢測室外天氣并將其傳輸到風景視頻。這為第四節中定義的規則提供了可靠的實現。

接下來進行用戶研究。首先要求用戶從真實的窗戶向外看，以清楚了解當前的室外天氣狀況，然后以隨機順序將隨機選擇的視頻及其合成版本顯示在屏幕上。在觀看每個視頻60s后，用戶在0至10間打了一個標記，以描述他/她的滿意度。對于一致模式，如果視頻中的天氣似乎與外界天氣完全不一致，則標記為0，如果兩者完全匹配，則標記為10。對于放松模式，如果視頻在很大程度上緩解了室外天氣條件帶來的負面情緒，則給出10;如果根本不起作用，則給出0。計算每種模式下的平均值（均值）和標準偏差（std）。

圖5顯示了以一致模式（均值= 8.9，std = 0.4和均值= 3.1，std = 0.3）和松弛模式（均值= 8.6，std = 0.8和均值= 3.8，std = 0.9）。在松弛模式下，結果的標準偏差似乎更大，因為評估更加主觀。顯然，兩種模式下視頻合成的結果都好得多，這證明了合成視頻確實給了用戶自然的感覺并有助于促進他們的積極情緒。

4 結論

本文介紹了一種上下文相關的屏幕系統，該系統允許用戶在移動和環顧四周時從適當的角度欣賞遠程風景視頻，并具有通過真實窗口觀看的類似體驗。與普通屏幕的簡單顯示功能不同，此系統中顯示的風景視頻與室外的當前天氣狀況相關。通過以兩種不同的模式自動合成視頻，該系統可以通過顯示天氣狀況相似的場景使用戶感到逼真，或者通過呈現天氣狀況不同的場景來幫助減輕他們的負面情緒。視頻合成和轉換的計算速度足夠快，可以實時處理各種風景視頻。該系統適用于各種尺寸的屏幕，并且系統中使用的電子傳感器簡單且成本低廉。這使其適用于智能家居中的大屏幕。將來，該系統可以擴展為處理和顯示偏遠地區的實時視頻。

參考文獻

[1]位恒曦，劉衛玲，賀云凱，等.Android平臺i-Jetty服務器在智能家居中的應用研究[J].電子技術應用， 2014（01）：14-16.

[2]蔣科輝，楊慧民，樊小平.基于通用即插即用的服務監控機器人在智能家居中的應用[J].計算機應用研究，2014，31（012）：3637-3641.

[3]Per Lynggaard，Knud Erik Skouby .Deploying 5G-Technologies in Smart City and Smart Home Wireless Sensor Networks with Interferences[J].Wireless Personal Communications，2015，81（4）：1399-1413.

[4]黎艷，盧燕青，張榮.基于eUICC的智能家居認證方案[J].電信科學，2018，034（04）：129-135.

[5]李春燕.國家數字家庭基地舉辦智能家居應用及標準研討會[J].電視技術，2013（S1）：7-9.

[6]Samrat Vikramaditya Tiwari，Atul Sewaiwar，Yeon-Ho Chung.Color coded multiple access scheme for bidirectional multiuser visible light communications in smart home technologies[J].Optics Communications， 2015，353：1-5.

[7]N.K. Suryadevara，S.C. Mukhopadhyay，R. Wang，et al.Forecasting the behavior of an elderly using wireless sensors data in a smart home[J].Engineering Applications of Artificial Intelligence，2013，26（10）：2641-2652.

[8]Christian Reinisch，MarioJ Kofler，Félix Iglesias，et al.ThinkHome Energy Efficiency in Future Smart Homes[J]. Eurasip Journal on Embedded Systems，2011，2011：1-18.

[9]Ejaz W ，Anpalagan A ，Imran M A，et al.Internet of Things （IoT） in 5G Wireless Communications[J]. IEEE Access，2017，4：10310-10314.