基于深度學習的視頻電商智能推薦與AI識別關鍵技術研究

童謠

摘要：隨著電子商務網站和在線視頻播放平臺的發展，視頻電商已經成為電子商務公司和在線視頻播放平臺的核心發展業務。視頻電商可以擴展現有電子商務公司的業務范圍。其次視頻電商也可以幫助視頻播放平臺將視頻觀看流量轉化為商業收益。為解決流量轉化率低、成交率低、電商直播場景粗糙以及用戶體驗較差的難題，需要極致的高清視頻配置，對商品進行更多細節展示，電商直播場景打造得更加逼真。本文研究了基于深度學習（Deep Learning）、統計學習和強化學習的針對在線視頻電商平臺應用的關鍵技術和算法。運用人工智能（Artificial Intelligence）AI技術實現智能推薦、智能識別與精準匹配等功能，在語音和圖像識別方面取得卓越成效，使機器模仿視聽和思考等人類的活動，解決了視頻電商應用領域很多復雜的模式識別難題，使得人工智能相關技術在視頻電商應用方面取得了很大進步，本文主要研究對象是針對在線視頻廣告推薦任務來開展，結合多種關鍵技術發明了一個名為Video eCommerce ++的在線視頻廣告推薦系統，從視頻匹配推薦關鍵技術、視頻超鏈接預測、自動通用屬性識別三個方面進行舉例說明，以期為電子商務行業和AI行業科研人員提供有價值的參考。

關鍵詞：視頻電商;深度學習;智能推薦;AI識別;視頻超鏈接預測;

1前言

隨著人工智能（Artificial Intelligence）的發展，越來越多的基于深度學習（DL， Deep Learning）、統計學習和強化學習的新方法被廣泛地用來提高現有的識別、檢索和推薦系統的性能。在這樣的時代背景下，本文主要研究了基于深度學習、統計學習和強化學習技術的視頻電商關鍵應用技術。這一系列的研究成果將直接為視頻電商業務平臺的建設和發展提供理論與系統支持[1]。隨著AR、VR等黑科技在電商直播場景中的廣泛應用，直播電商對于底層技術的要求也會越來越高。在未來，那些能夠為消費者提供低延時直播的觀看服務、高清的視覺享受和安全的購物體驗的直播電商終將脫穎而出，贏得市場的青睞。

2 視頻匹配推薦關鍵技術

2.1 在線視頻廣告推薦

商品廣告可以幫助用戶了解到商品的具體信息。不同于傳統電子商務平臺的廣告推薦，在線視頻廣告推薦旨在幫助用戶能在觀看視頻的同時瀏覽到符合其購物興趣的商品廣告。在線視頻廣告推薦需要同時考慮用戶、商品和視頻及其相互之間的關系，并解決傳統商品廣告檢索和推薦系統所普遍存在的冷啟動和數據稀疏等經典問題。除此以外，在線視頻廣告推薦還需要通過分析視頻的內容來決定合適的廣告插入點，進而減少對用戶觀看體驗的干擾。同時為了能夠對海量用戶的在線行為作出實時響應，大規模在線視頻廣告推薦系統還需要實時地完成模型的訓練和測試[2]。

2.2 視頻衣物精確匹配

不同于傳統的基于街拍圖像的相似性衣物匹配系統，在線視頻衣物精確系統旨在幫助用戶在觀看視頻的同時可以精確地購買到視頻中出現的明星同款。在線視頻衣物精確匹配系統必須同時解決[3]：（1）電商網站衣物圖像的復雜背景及各種噪聲（例如：形變、扭曲和遮擋），（2）在線視頻播放平臺中的衣物序列的動態變化（例如：多視角）。除此以外，在線視頻衣物精確匹配系統還需要分析視頻衣物序列，來決定最佳的衣物匹配結果插入點，進而減少對用戶觀看體驗的干擾。同時為了能夠實時解決海量衣物的精確匹配，大規模在線視頻衣物精確匹配系統還需要實時地完成模型的訓練和測試。綜上所述，本文認為大規模在線視頻衣物精確匹配任務是一個極具商業價值和學術意義的研究課題[4]。

2.3 視頻超鏈接預測

和網頁超鏈接相類似，視頻超鏈接旨在幫助用戶瀏覽在線視頻。不同于網頁超鏈接，視頻超鏈接還必須要考慮用戶、視頻及其之間的相互關系。系統推薦的視頻超鏈接必須同時滿足流行性、確定性和多樣性。其中流行性可以保證推薦的視頻鏈接可以包含足夠多的話題和內容。確定性可以保證推薦的視頻超鏈接能夠對當前瀏覽的視頻提供清晰和明確的補充說明。

2.4 自動通用屬性識別

在計算機視覺和多媒體研究領域，屬性識別被公認為是檢索、匹配和推薦等系統的基礎。屬性識別模型可以對輸入圖像得到其所包含的語義信息。不同于傳統的屬性識別方法需要人為設計屬性識別網絡和解決不同屬性集合之間的遷移問題，本文研究的自動通用屬性識別模型旨在自動設計屬性識別網絡和遷移不同的屬性集合[5]。

針對這些問題，如圖1所示，本文提出了一個名叫Video eCommercet+的大規模在線視頻廣告推薦系統。該系統可以將電子商務網站的商品廣告推薦給視頻播放平臺的用戶。其中的商品是來自阿里巴巴集團旗下的最大的B2C在線零售平臺天貓商城的10億個商品廣告。視頻則是來是阿里巴巴集團旗下的天貓魔盒的8000部電影、2600部電視劇、2100個娛樂節目和25000個教育節目。該系統的設計目標是在語義相關的視

系統的業務流程頻關鍵幀中向不同的用戶展示符合其購物個性化需求的商品廣告。據本文所知，Video ecommercet+是第一個在線大規模視頻廣告推薦系統。該系統可以綜合考慮用戶、視頻和商品之間相互關聯。

3 Video eCommercet+系統框架及預處理步驟

3.1 系統框架概述

木章提出了一個名為Videoe Commercet+的大規模在線視頻廣告推薦系統，其框架圖如圖2所示。

首先該系統對視頻和商品進行預處理。在視頻結構分析之后，視頻被表示為一組關鍵幀的集合。通過在關鍵幀中進行物體檢測和場景分類，該系統獲得視頻關鍵幀的視覺和語義信息。于此同時，該系統也對商品做了類似的預處理，以獲得商品的視覺和語義信息。在處理步驟之后，該系統利用雙因素回歸模型（Incremental Co-Relation Regression，ICRR），用戶購物興趣挖掘模型（User Preference Diffusion，UPD）和視頻場景重要度排序模型（Video Scene Importance Model，VSIM）來分別得到用戶、視頻和商品之間關聯關系。

3.2視頻和商品預處理

對視頻進行結構化分析。該方法比較連續視頻幀之間的變化，可以大致確定視頻的鏡頭分布。每個鏡頭將包含最多視覺信息的視頻幀作為鏡頭的關鍵幀。這里規定每個鏡頭只含有一個關鍵幀。這樣做的好處是，保證廣告推薦點的稀疏性，從而盡減少對用戶觀看體驗的影響。最終經過視頻結構化分析，本章可以將視頻表示成為一組關鍵幀集合。

在物體檢測預處理中，因為需要支持海量的商品和視頻，所以無法對視頻關鍵幀中的所有的物體都標注檢測框。為了解決這一問題、本章采用文獻[7]提出的自適應大規模物體檢測框架。不同于傳統的方法需要標注所有被檢測物體的檢測框，該方法可以只需要標注視頻幀中含有的物體類別。這里本章利用了原作者提供的預訓練模型在170個常見商品類目中對預訓練模型進行微調。微調后的檢測模型可以有效地支持170個常見的商品類目，這些類目包含服裝、家具和電器等常用商品[6][7]。

3.4 用戶購物興趣挖掘模型

本節介紹了用戶購物興趣挖掘模型（User Preference Diffusion，UPD）。受之前工作182的啟發，本章利用了異構信息網絡中的元路徑來得到用戶對于商品的購物興趣偏好。在介紹UPD模型之前，本小節將先介紹異構信息網絡和元路徑的定義。

3.5 用戶購物興趣挖掘模型融合參數分析

本小節將詳細分析用戶購物興趣挖掘模型（UPD）模型中的元路徑融合參數。首先實驗按照視頻類別，將數據集分為電影、電視和綜藝，來探究不同種類視頻的元路徑融合參數。其次按照視頻的上傳時間，實驗將視頻按照上傳時間為三個子數據集，即2015-11，2015-12和2016-01，來探究元路徑融合參數對于時間變化。其中按照時間劃分的三個子數據集的視頻數量大致相同。同時為了保證實驗結果的準確性，在天貓魔盒平臺邊看邊買項目中一共采集了十組用戶（每組400人）來進行交叉驗證。

分布式實現。在實際系統實現中，Videoe Commerce會把雙因素回歸模型（ICRR）的結果輸入了到這些用來對照的檢索或推薦系統中，從而獲得最終的廣告推薦結果。

圖4顯示了Videoe Commercet+系統和其他對照方法的對比結果。總的來說，Videoe Commercet+在所有指標上都優于其他的對照方法。這一結果充分說明了該方法的有效性。其次我們發現三種推薦模型比三種檢索模型都取得了更好的結果。系統推薦結果示例如下圖5所示

結論

隨著電子商務網站和在線視頻播放平臺的發展，視頻電商已經成為電子商務公司和在線視頻播放平臺的核心發展業務。視頻電商可以擴展現有電子商務公司的業務范圍。其次視頻電商也可以幫助視頻播放平臺將視頻觀看流量轉化為商業收益。在這樣的時代背景下，本文研究了基于深度學習、統計學習和強化學習的針對在線視頻電商平臺應用的關鍵技術和算法。其主要研究工作包括：針對在線視頻廣告推薦任務，本文提出了一個名為Video eCommerce ++的在線視頻廣告推薦系統。

參考文獻：

[1]付云.2011，電商與視頻的協奏曲[J].互聯網周刊（22）：19.

[2]黃升民，劉珊.2011.三網融合下“全媒體營銷”建構[J].現代傳播（中國傳媒大學學報），（02）：1-8.

[3]黃升民，周艷，龍思薇2013，八問OTT-OTTTV對電視產業的影響和對策解析[J.現代傳播（中國傳媒大學學報），（10）

[4]韓溢.2014.視頻與電商合一，距離品效雙贏還有多遠？[J].成功營銷，（12）：18-19.

[5]高森宇.2015？社會化網絡中“粉絲經濟”的營銷分析J.現代傳播（中國傳媒大學學報），（10）：118-121.

[6]康瑾.2015，原生廣告的概念、屬性與問題[J].現代傳播（中國傳媒大學學報），（03）：112118.

[7]孔清溪.2009，隱性與顯性的優勢互補-內容營銷與傳統廣告的全方位解析[J.廣告大觀（理論版），（02）：17-20

[8]李蕾.2014，內容營銷理論評述與模式分析[J].東南傳播，（07）：136-139.[29]林雍，王興華.2016，探析網絡視頻的產業化發展-以愛奇藝為例[J].今傳媒，（05）

[9]彭蘭.2015，場景：移動時代媒體的新要素[J].新聞記者，（03）：20-27.