基于人臉屬性識別廣告精準投放智能新媒介系統設計

鄭煜輝 陳 磊 辛光紅

(三亞學院，海南 三亞572000)

1 概述

零售場所中常采用海報、LED 廣告機、櫥窗等投放廣告。這些廣告采用無差別化的廣告推送，無針對性、效果并不理想。商場中的落地玻璃墻、玻璃櫥窗等透明隔離設施是商家展示內部商品的重要窗口，受空間的限制，商場的透明隔離設施展示的僅為有限的實物商品，利用率很低。如何將透明隔離設施高效利用起來進行智能化廣告投放具有巨大的經濟價值[1]。

2 系統結構設計

本系統通過樹莓派輸出高低電平控制高分子透變膜實現透明和背投狀態轉換。樹莓派配置攝像頭進行圖像采集，通過WIFI 網絡與云服務器通信傳輸人臉數據，人臉數據在本地建模分析后樹莓派又控制投影儀投放相應的廣告最后在透變膜上顯示。硬件配置結構如圖1 所示。本系統控制核心采用樹莓派，作為便攜式卡片計算機具備HDMI 圖像輸出，GPIO 控制、USB接口、WIFI 通信等功能，性能上可以滿足本系統設計需求，而且極大的降低了系統成本和實施難度。本系統所述的高分子液晶投影膜由樹莓派通過繼電器進行控制。樹莓派的GPIO P21 口輸出高低電平控制繼電器的Relay_Ch3 進行透明和非透明的相互轉換。繼電器控制電路如圖2 所示。系統圖像采集攝像頭采用USB Type-C 接口支持USB 3.0 協議，攝像頭兩側預留了雙目攝像頭接口可實現立體視覺系統，方便后期擴展[2]。

3 系統運行流程

系統檢測到沒有游客靠近貼有高分子液晶透變膜的透明隔離設施時（如櫥窗等），透變膜為透明狀態，當游客通過或者駐足于透明隔離設施，系統控制透變膜轉變為背投狀態，并將攝像頭采集到的人臉圖像上傳至云平臺。云端通過計算返回觀看者的年齡、性別、表情、顏值、姿態、有無戴帽子、眼鏡、口罩等信息至樹莓派并將數據儲存在云端人臉庫中。樹莓派通過眼球跟蹤技術獲取游客的注視廣告區域，時長等信息判斷游客是否喜歡廣告內容，通過掃碼付費等商業手段獲取交易金額，然后將上述信息發送至云端與獲取的人臉屬性信息匹配，生成閉環數據。經過一定的數據累積后，訓練機器學習隨機森林模型，挖掘客戶消費能力、偏好趨向，實現廣告精準投放。

圖1 硬件配置結構圖

圖2 繼電器控制電路

圖3 系統運行流程圖

4 云端接口開發

騰訊云平臺利用其超大的用戶數量具有明顯的數據庫資源優勢。本系統利用騰訊云人臉檢測接口、人員庫接口、人臉搜索接口實現了人臉識別和人臉數據庫建立功能。本項系統中人臉檢測是核心接口，云端檢測給定圖片的人臉及相應的面部屬性和位置坐標信息。面部屬性包括性別（gender）、年齡（age）、表情（expression）、魅力（beauty）、眼鏡（glass）、發型（hair）、口罩（mask）和姿態(pitch，roll，yaw)，人臉質量信息包括整體質量分（score）、模 糊 分（sharpness）、光照 分（brightness） 和 五 官 遮 擋 分（completeness）。返回系統的返回值包括FaceInfos 人臉信息表和FaceQuality 人臉質量信息，其中FaceInfos 有我們關注的人臉信息，比如gender,age,beauty(顏值)和expression（微笑程度）等。FaceQuality 則包含了一個重要字段就是圖像人臉的質量得分score。這里我們提取年齡和性別、顏值、表情、有無帶帽子、帶口罩、帶眼鏡等字段[3-4]。

5 廣告精準投放模型

模型原始數據為通過走訪調研大型商場商鋪，依據主觀經驗數據訓練得來，獲取真實大量數據訓練模型是首要任務。擬先在商場電梯、樓梯口根據顧客年齡性別以及所處的位置信息，進行樓層引導和商鋪推送。如果顧客根據推送到達了相應的樓層或商鋪則實現了初步引導價值。顧客根據推送到達了相應的樓層或商鋪，進而在商普玻璃幕墻推送具體的商品，依據眼球跟蹤和購買情況得到顧客消費趨向的真實數據，最終以真實數據訓練模型，得到能實現廣告精準投放的模型，實現數據價值[5]。模型實現過程如圖4 所示。

圖4 廣告精準投放模型實現過程

6 眼球跟蹤技術

眼球跟蹤是本系統的關鍵技術和重要反饋環節。通過眼球跟蹤判斷當前人臉是否注視廣告區域以及注視時長。如果注視廣告區域，開始計時，當檢測到當前人臉不再注視廣告區域，計時結束，返回時長結果。然后通過注視時長等數據判斷該游客是否喜歡此廣告，如果喜歡則彈出商品二維碼游客可以關注或下單。如果游客下單我們就得到了此游客的數據。如果不喜歡，則說明模型預測的不準確我們需要進一步修正模型。

圖5 眼球跟蹤系統應用

圖6 人臉及眼部分割圖

采集到人臉圖像后截取出左右眼部區域的ROI 圖像[8]，這個截取過程就是簡單的根據先驗知識，對于如圖6 所示的一張人臉圖像左右眼的區域大小和位置大概是固定的，整幅圖像的長寬分別為wI，hI。眼部區域的長寬為wE，hE，則有：

截取出了眼部ROI 圖像后每個像素點都可以計算出梯度，而梯度包含了幅值和方向。對于眼部圖像而言，越是靠近眼球中心的位置，灰度值就越低，就會有更多的梯度方向的連線交于眼球。 最后，根據梯度方向的眼球定位算法實現眼球跟蹤[6-7]。

7 結論

本系統采用高分子液晶膜將透明隔離設施變成一種智能新型媒介。不僅提高了櫥窗和大透明玻璃的利用率，提高了購物樂趣，還解決了游客對廣告的反饋的局限，提供一個新的購物交互入口。通過機器視覺、人工智能等新技術與商業模式有機結合，方案合理高效的獲取了人臉屬性與消費能力、偏好趨向的閉環數據樣本、訓練隨機森林模型，實現了廣告精準投放。