智能可視化信息提示鏡子設計

奚杏杏 張傳杰 王欣

摘 要：隨著科技的進步和人們生活水平的提高，人們對家庭生活的舒適度、安全度的要求越來越高，智能家居應運而生。智能家居是未來家庭生活的發展趨勢，在創造安全舒適便利的生活環境，改善人們的生活質量上起到極大的作用，隨著人們生活水平的提高，人們不斷對居住環境提出來更高的要求，越來越注重家庭生活空間的舒適、安全和便利，因此智能家具的市場前景非常廣闊，從發展趨勢上來看，智能家居的日益普及將會是一種必然。

關鍵詞：安全度;智能家居;便利舒適

1、引言

隨智能物聯網發展迅猛，要把萬物連接進互聯網的理念擴展到生活的方方面面，智能家居的興起推動社會的發展，智能家居作為一個新生產業，處于一個導入期與成長期的臨界點，市場消費觀念還未形成，但隨著智能家居市場推廣普及的進一步落實，培育起消費者的使用習慣，智能家居市場的消費潛力必然是巨大的，產業前景光明。智能家居在中國的發展經歷的四個階段，分別是萌芽期、開創期、徘徊期、融合演變期

目前國內外產品沒有像智能可視化信息提示鏡子這樣混合集成多種系統的先例，沒有有效地將人臉識別[1]、語言助手和推薦系統有效結合。智能可視化鏡子是一款融入人臉識別和互聯網技術的智能物聯網鏡子，當用戶在使用鏡子的時候，通過自身集成的超聲波傳感器、攝像頭和高性能的處理器自動感知并檢測出用戶的身份，然后根據用戶的身份ID推送預先定制的備忘信息和收到的其他用戶向使用者推送的信息，這些信息可以文本、圖片信息，也可以是生動的自拍或者其他視頻信息，可以在用戶早上出門前提醒用戶一些重要的事情和天氣情況。

智能鏡子是一個較新的產品概念，是智能系統的衍生產物。智能鏡子，以鏡面顯示將屏幕和鏡子的界限打破，讓承載信息的屏幕更好更無縫地融合進人們的生活。家用智能鏡子的硬件組成分為輸入和輸出兩大塊。用戶所有的操作，對產品本身進行的所有輸入指令反應可落實為：觸控屏、按鍵、攝像頭捕捉[2]、麥克...乃至一些外接的傳感器設備，諸如體脂測量、體重計、紅外光譜等，而智能鏡子給用戶所有的輸出信息媒介，則可以通過屏幕顯示、揚聲器、燈光等等，也可以通過Wi-Fi或藍牙模塊，連接至用戶的移動設備和云端。

2、主要內容

2.1產品介紹

在沒有人站在鏡子前時，鏡子的LCD屏處于自動熄滅的低功耗狀態，核心主控處于深度休眠狀態（以便節省功耗）。

當超聲波傳感器檢測到人靠近到一定距離時候，開始工作模式：攝像頭啟動，采用Github上現成的人臉識別系統，識別家庭成員根據不同成員顯示不同信息目前人臉識別系統的準確率達到99.8%以上，可以通過人臉有效地識別不同用戶。通過集成現成的人臉識別技術，提高整個系統的可用性，在多種技術[3]（嵌入式開發、信息顯示開發等等）融合的情況下，增加了系統的容錯能力、交互方式以及使用方式，同時兼顧系統的開發難易程度，使得人臉識別功能在盡量提高精度的同時，不耽誤整個系統的開發，增加了可行性。

用戶數據采集分析處理系統。針對用戶的使用情況，構建用戶模型[4]，采用個性化推薦方式。使用基于Python的Crab開源推薦軟件實現主題和用戶的協同過濾，語言交互系統集成，采用谷歌的Assistant語音助手系統，提供和用戶的交互。

利用雙面鏡顯示開啟時候，內容可以透過鏡子顯示內容通過給嵌入式系統匹配合適系統的方式，來盡量將硬件的驅動式的開發方式轉化成軟件的開發。極大的提高了已有的軟件開發成果，降低了硬件開發的不確定性，方便調試和功能的改善，為項目的進展提供了堅實的技術條件。

硬件采用的核心主控為樹莓派3代B+[5]，作為目前使用最廣泛的單片機核心主控，資源廣泛，可以通過加載多種嵌入式系統，包括Linux（Debian、ArchLinux）、Windows 10 物聯網核心版、Snappy Ubuntu Core或RaspBMC等。

液晶屏幕采用14寸LED顯示屏，具有亮度高，色域廣，反應快，可獨立開關并且不含有害物質汞等諸多優勢，壽命更長，耗電更低，還更環保。

Python[7]所擁有的完整的生態環境十分有利于進行數據分析處理，比如，"大數據"分析所需要的分布式計算、數據可視化、數據庫操作等，都可以通過Python中的十分成熟的模塊完成。

軟件的開發核心功能是人臉識別，可以采用現成的人臉識別算法和訓練模板文件，可以加速項目開發，更好的保證本項目產品的質量。

人臉識別是本產品最重要的一個環節，智能可視化鏡子是一款融入人臉識別和互聯網技術的智能物聯網鏡子，人臉識別的算法[7]有：基于人臉特征點的識別算法、基于整幅人臉圖像的識別算法、基于模板的識別算法、利用神經網絡進行識別的算法，這些算法都體現在二維空間的基礎上進行識別，而我們的使用的是三維人臉識別。

2.2人臉識別的過程：

第一階段是非自動識別階段：主要研究如何提取人臉識別所需的特征，通過簡單的語句描述人臉數據庫成為待識別人臉設計逼真的摹寫來提高面部識別率，第二階段人機交互階段：這一階段雖然實現了一定的自動化，但仍然不是一個完全自動的識別系統。第三階段自動識別階段：這一階段真正實現了機器自動識別，產生了眾多人臉識別方法，出現了多種機器全自動識別系統。近些年來，隨著高速度、 高性能計算機的發展，人臉識別方法有了較大的突破，提出了多種機器全自動識別系統。

但識別過程中光照環境、面部[8]形體變化、年齡改變等會影響到識別的精確度，相似人臉、發型變化、背景以及是否佩戴眼鏡或口罩都會給人臉識別帶來困難。

3.3本產品主要人臉識別特殊之處體現在：

1采用主動成像技術，使得到的成像具有在固定照明條或不受照明變化影響條件下獲得圖像的特點。

2從圖像中估計出人臉的不同姿態，再設法將其變換回人臉的標準姿態，用標準的人臉識別方法進行識別，對不同的人臉姿態進行有效識別。

3、實驗：

當前持續蔓延的新型冠狀病毒肺炎疫情，出門戴口罩已經成了人們的習慣，而帶有人臉識別功能的設備如手機、門禁等，竟然檢測不出是否是本人，尤其在密集人群的場所，這就給人臉識別帶來很大的困難。

3.1通常二維人臉識別的做法是：

根據二維圖片上的人臉關鍵點，將二維的口罩貼圖和二維圖片中的人臉做一個對齊，然后根據口罩的mask圖來完成填加口罩操作，戴上口罩讓設備檢測不出的主要原因是人臉關鍵點檢測的精度受影響，人像信息減少，導致學習到的特征判別性隨之較少，這就導致局部遮擋的二維人臉識別準確率就會極具下降，無法正確的識別出是不是本人。

3.2三位識別的優點：

三維識別是先重建三維人臉模型，再將口罩的三維模板模型與三維人臉模型做非剛性對齊，從技術上來講，數據端通過各種途徑生成大量二維、三維遮擋數據，用于優化網絡，算法端則是增大眼睛部分特征，通過局部特征與全局特征相結合的方式，提升模型在遮擋情[z1]況下的識別率從而完成模擬加口罩的操作，可以有效地識別戴口罩人群。

3.3二維、三維識別的對比：

對于戴口罩人臉識別這件事，“戴口罩識別”與“戴口罩身份識別”有著本質上的區別，前者只需檢測有無戴口罩，后者需要識別的那么毒變得非常巨大，而加入深度信息的三維人臉識別，其采用基于人臉全局特征及局部特征相結合的方法，同時充分利用人臉未遮擋部位的三維幾何信息進行三維人臉識別研究，相對于普通的二維人臉識別一般會有20%-30%的準確率提升，在測試中三維戴口罩人臉身份識別的準確率可以達到97%，標準底庫可做到三萬人，加上輕網絡模型支持達到十萬人級別，重網絡可達到百萬級以上，能夠有效應對戴口罩等遮擋場景的人臉識別。

4、總結

5G網絡的到來，智能物聯網發展迅猛，要把萬物連接進互聯網的理念擴展到生活的方方面面。智能可視化信息提示鏡子把日常用的鏡子連接進網絡，具備會話交流功能并且能夠通過和用戶的交互，理解用戶需求，實時推送各種推薦信息，智能可視化信息提示鏡子是基于社交理念的產品，主要的設想是增加人們之間溝通交互方式，使人們在互聯網交流的今天，能更多的通過鏡子視頻的方式進行面對面的溝通交流，提高人們的社交能力和互動性。

參考文獻：

[1]陳雅茜，雷開彬.人臉識別技術綜述[J].西南民族大學學報（自然科學版），2007，

[2]龔雯.陳麗華，沈建國.基于幾何特征的人臉正面圖像特征提取，現代計算機.

[3]劉曉寧.基于三維模型的人臉識別技術研究.西北大學博士學位論文.2006，05：1.

[4]趙麗紅.人臉檢測和識別算法的研究與實現.東北大學博士學位論文2006，01.

[5]樹莓派3代B+.樹莓派3B+是在2018年pi日（3月14日）發售的目前為止樹莓派家族當中最新，性能最強，也是功耗最高的一款產品。

[6]Python：一個高層次的結合了解釋性、編譯性、互動性和面向對象的腳本語言。

[7] 劉學勝.基于PCA和SVM算法的人臉識別，計算機與數字工程.

[8] 山世光.面部特征檢測與識別的研究與實現.哈爾濱工業大學，1999年7月

[9] 倪世貴，白寶鋼.基于PCA的人臉識別研究.現代計算機2011.02

國家級大學生創新創業訓練計劃項目：201910453025

（泰山學院-物理與電子工程學院? ? 271000）