張興旺 李晨暉 麥范金
(1.桂林理工大學 廣西桂林 541004)
(2.廣西礦冶與環境科學實驗中心 廣西桂林 541004)
目前,大數據已經滲透到所有行業和領域。自2008年以來,麥肯錫、IDC、Gartner 等戰略咨詢公司,《The New York Times》、《The Wall Street Journal》、《Forbes》等商業報刊,《Nature》、《Science》等科研雜志,《軟件學報》、《中國計算機學會通訊》、《計算機學報》等國內學術期刊,都安排了大量版面對大數據進行介紹。大數據基礎理論、學術環境和應用研究的火熱給信息移動推薦領域的研究帶來的新的思路、原則和方法,進一步將我們帶入到了大數據信息化時代,從而會產生兩個突出矛盾,一是可獲取的信息量的爆炸性增長與用戶選擇信息能力的局限性之間的矛盾,二是同時共現的信息量的極度豐富和用戶感興趣信息局限性之間的矛盾。這兩個矛盾的核心科學問題,就是如何從大數據中挖掘出用戶感興趣的信息,并按照用戶所喜歡的方式推薦給相應用戶。基于此思想發展起來的信息移動推薦是融合當前各種先進技術的信息服務新模式,利用移動網絡環境(移動互聯網、無線傳感網等)在信息推薦方面的優勢并克服其帶來的不利條件。孟祥武[2]、劉建國、許海玲、王立才等已對移動推薦系統、個性化推薦系統、互聯網推薦系統、上下文感知推薦系統的概念及研究進展做出了充分論述,指出信息移動推薦服務正成為大數據時代的重要研究課題,面向大數據的信息移動推薦服務模式是一種面向主動服務、 提高信息利用率、解決“移動信息過剩”問題等的新模式和和新技術手段。
面向大數據的信息移動推薦服務模型作為大數據知識服務體系的一個子集,除了擁有大數據知識服務的共性特征之外,在數字化、網絡化、物聯化、虛擬化、綠色化、智慧化及個性化(共性特征)的基礎上,其更為突出的典型特征可以概括為:
(1)面向移動情境感知的推薦。用戶行為模式和知識服務需求正隨著智能手機、PDA、平板電腦等移動智能終端及移動信息環境的完善與普及發生著革命性的變革,為個性化推薦提供了豐富的情境信息。與傳統的情境感知技術相比,面向大數據的移動情境感知更為強調RFID射頻數據、傳感器數據、社交網絡交互數據及移動互聯網數據等幾個大數據主要來源的綜合描述,而移動情境感知范圍不僅包括大數據環境中的時間、地點、用戶行為等基本信息,還包括各種類型的傳感信息及物聯信息等,通過綜合分析移動情境感知的內涵、特征及運行機理,可以盡可能的還原大數據環境下用戶行為模式和大數據網絡環境的實時情境,借此分析、預測其知識服務需求,從而更好為信息移動推薦提供更全面、更可靠的情境模擬。
(2)面向大數據移動用戶的物理世界真實反應的推薦。大數據環境下移動用戶所擁有的一些自然屬性與傳統網絡環境下的信息用戶頗為不同: 一是大數據移動環境下所有用戶信息都是真實的 (如移動用戶都是采用實名制);二是大數據移動環境中的各種復雜結構化、半結構化和非結構化的大數據,直接反映的用戶之間的移動社交網絡關系,用戶特征的共性關系、用戶行為的相互關系、 知識服務的因果關系等的整體特征隱藏在數據網絡中;三是大數據移動環境中的用戶的所有行為(如位置信息、行為信息、身份信息及行為過程等)都是用戶在物理世界的社交活動中的真實反應。
(3)面向大數據移動用戶行為預測的推薦。有研究表明,用戶在移動網絡中的行為會被許多微妙因素所影響,而通過用戶在大數據移動環境中的行為軌跡及其在網絡中社交關系的動態變化,可以對用戶行為、用戶情感、用戶知識服務需求等進行分析、建模、預測。從而通過對用戶在大數據移動環境的足跡、點擊歷史、瀏覽歷史、信息反饋,直接真實的展示用戶的性格、偏好、意愿等相關數據進行分析之后,幫助信息服務機構感知知識服務市場、感知用戶需求和能力、感知未來發展形勢等,以便信息服務機構對價值評估、 服務能力和服務水平等做出更科學的決策,進而推薦更為合適的信息。
(4)面向多維大數據交叉利用的推薦。在大數據移動環境中,數據與數據之間的關系大體可分為三類:一是依賴關系,如用戶的個人屬性信息(如心情、位置、身份、電話、社交等數據)與用戶個體之間,如果用戶的個人屬性信息與用戶脫離,那么這些數據也就失去了真實意義;二是協作關系,如用戶信息與交通信息(如航空數據、鐵路數據、公路數據等)之間的關系,一旦用戶準備出行,就必然會與交通信息之間產生交互,從而生成新的協作數據;三是交叉關系,如主要是針對社交網絡(包括真實社交與虛擬社交),用戶在大數據移動環境中,不可能只單獨的使用某一種服務(如商業服務、信息服務等),他可能既上人人網、新浪微博與朋友們交流,上互聯網看新聞,又在淘寶、京東、國美在線上購物,同時還與朋友們打電話、發短信,或者在網上搜索學術論文等等,而用戶在這些過程中都會產生不同類型的數據,數據因為用戶、用戶行為或用戶所處環境而產生交集,形成了多維數據交叉的復雜社交網絡。
(5)面向社會化關系遷移的推薦。Sinha 等曾于2001年提出,用戶喜歡來自于周圍朋友的推薦多過于信息推薦系統推薦的信息,而Salganik 等也在2006 年間接地驗證了這一觀點,他們認為在信息推薦體系中,通過對用戶歷史行為進行計算得出的信息服務需求不如社會影響力的重要性。而面向大數據的信息移動推薦服務體系則是兩者的有效結合,其信息移動推薦的結果可能是來自于類似于口碑相傳的社會影響力、 或通過對用戶在大數據移動環境中的歷史行為軌跡的分析,得出的信息移動推薦結果。這一點在傳統的信息推薦體系是難以做到的。
本文給出了一個面向多用戶、 基于主動服務、 能商業、半商業或非商業運行的,面向大數據的信息移動推薦服務模型(見圖1)。與傳統的基于Web 的信息推薦服務相比,面向大數據的信息移動推薦服務模型具有多個技術特征:①信息移動感知、獲取、傳輸、存儲、分析及決策的實時連續性;②數據的真實性、時空性、不同類型數據間的關聯性;③信息移動推薦服務的即時性、即地性。
面向大數據的信息移動推薦模型在整個服務平臺體系架構中顯得頗為重要,它主要用以解決以下三個關鍵問題:
(1)信息移動推薦多維交互數據的感知、獲取、傳輸、存儲、分析及預測等服務的語義獲取。通過大數據環境中部署的大規模、多類型、智慧型的傳感網絡實時感知物理世界中用戶、信息、及其關系網絡的原始活動、半活動及非活動數據,提取信息移動推薦服務過程中,多維交互數據的感知、獲取、傳輸、存儲、分析及預測等服務模型,建立相關的語義表示和關聯模型,生成具有時空特征的抽象用戶群體信息移動推薦一體化網絡。

圖1 面向大數據的信息移動推薦服務模型
(2)信息移動推薦多維交互數據的感知、獲取、傳輸、存儲、分析及預測等服務模式發現、模型構建及部署。通過信息移動推薦多維交互數據的時空特征,對用戶、信息、及其關系網絡的原始活動、半活動及非活動數據進行深度挖掘、分析,發現大數據的交互規律、模式及時空特性、時空規律,從而有效構建科學、合理地信息移動推薦服務模型,并進行針對性部署。
(3)信息移動推薦多維交互數據的感知、獲取、傳輸、存儲、分析及預測等服務在特定移動情境下的演化。在滿足用戶信息移動推薦的抽象模型和用戶服務需求的基本假設等前提下,動態演繹信息移動推薦多維交互數據的螺旋式進化過程,旨在感知、獲取、傳輸、存儲、分析及預測大數據環境中的用戶、信息、及其關系網絡在特定移動情境下的演化趨勢,使信息移動推薦主體、客體及主客體間多維交互網絡能夠以預期模式進行應用及推廣。
面向大數據的信息移動推薦服務平臺為層次化體系架構(見圖2),包括大數據資源層、中間件層、移動推薦核心服務層、推薦可視化交互層和移動推薦應用層。面向大數據的信息移動推薦服務平臺則由中間件層、 移動推薦核心服務層和推薦可視化交互層組成。其中:
(1)大數據資源層涵蓋了數據資源(結構化、非結構化及半結構化數據等)、管理資源、移動推薦服務設計資源、仿真資源、集成資源、試驗資源、計算資源、存儲資源、網絡資源及其他服務資源等,主要提供的是大數據知識服務全生命周期管理過程中所涉及到的各種類型的大數據,在經過處理后,成為面向大數據的信息移動推薦服務資源。
(2)中間件層支持面向各類大數據的信息移動推薦服務資源的虛擬化、服務化、協作化等,從而對信息移動推薦多維交互大數據的感知、獲取、傳輸、存儲、分析及預測等服務過程提供有效支持。
(3)移動推薦核心服務層基于中間件層所提供的接口,提供信息移動推薦服務體系最為重要的各種類型的大數據知識服務功能,包括移動推薦服務部署、注冊、搜索、匹配、組合、優化、調度、運行、服務過程的負載均衡機制、容錯處理、監控、評估、交易及協作等。
(4)推薦可視化交互層為信息移動推薦服務使用者、運營者、開發者、及提供者等提供一種支持異構協同大數據來源的高效能、可視化支撐門戶平臺,以支持這三類用戶的協同交互及使用。通過(移動或非移動)Web 可視化入口,均可為用戶提供一系列信息移動推薦服務資源和能力。

圖2 面向大數據的信息移動推薦服務平臺體系架構圖
(5)移動推薦應用層提供支持單主體完成單領域信息移動推薦、多主體協同完成單領域信息移動推薦、單主體完成跨領域信息移動推薦、 多主體協同完成跨領域信息移動推薦、 多主體協同完成跨領域跨終端信息移動推薦等五種服務模式。參與交互的移動推薦應用層除了支持傳統的移動終端、PC 終端、專業終端及門戶等之外,物聯感知終端、 生物體驗終端及其他隱形終端也是未來大數據處理需求的新興技術體系。
面向大數據的信息移動推薦服務模型所涉及的關鍵技術大致可以分為:
(1)模式、體系架構、各類標準及規范。主要是從系統開發的角度出發,研究面向大數據的信息移動推薦系統的結構、內涵、運行機理、組織、運行及服務模式等方面的技術,同時研究支持實施面向大數據的信息移動推薦服務的相關標準和規范。包括:①支持多主體的、跨領域的、面向大數據的信息移動推薦體系結構; ②大數據環境下信息移動推薦服務的交易、協作、監測、評估、互操作模式; ③面向大數據的信息移動推薦服務的相關標準、規范、協議、方法等,如大數據采集、分類、組織、分析、處理規范、移動推薦核心服務層交互及互操作接口標準規范、感知與接入規范、描述規范、信息移動推薦服務許可、授權標準規范及計費標準等; ④面向大數據的信息移動推薦服務組合建模、 描述、 一致性檢查及可執行模式轉化等; ⑤面向大數據的信息移動推薦服務全生命周期管理模式。
(2)大數據互感、多源信息主動感知、增值及虛擬接入技術。大數據互感、多源信息主動感知等是實現面向大數據的信息移動推薦服務執行過程實時、 離線信息主動推薦的前提和基礎,其目標是針對信息移動推薦過程涉及到的多源信息的采集,在移動推薦過程中引入多傳感技術,為實現不同信息移動推薦服務資源、能力的多源信息的智能互感提供技術支持,從而實現RFID 射頻數據、傳感器數據、社交網絡交互數據、移動互聯數據等主要大數據來源的數據信息的動態有效獲取、分析與預處理。包括:①大數據動態獲取、組織、分析、預處理、處理等技術;②面向大數據的信息移動推薦服務資源、 能力的虛擬化接入技術; ③面向大數據的信息移動推薦服務過程中的多源信息的主動感知與增值技術,其中主動感知技術主要包括多層次服務事件數據模型與描述、 服務過程主動感知模式、 建模過程、 多源移動推薦信息增值技術等部分,而多源實時、離線信息的增值主要基于規則庫、組合運算、數據挖掘等方法實現,且面向多主體、跨領域的用戶,提供基于實時、離線信息處理后的增值推薦信息;④支持參與面向大數據的信息移動推薦服務的底層移動、非移動終端物理設備虛擬化接入、軟硬件互接入技術等;⑤信息移動服務定義封裝、發布、虛擬化技術及相關根據研發等技術; ⑥信息移動推薦服務請求接入和訪問服務平臺技術等。
(3)移動用戶特征提取、相關信息檢索及推薦信息排序技術。移動用戶特征提取、相關信息檢索及推薦信息排序技術是面向大數據的信息移動推薦服務模型的三個核心模塊。移動用戶特征提取模塊通過獲取移動用戶的歷史行為以及其他相關信息(年齡、性別、興趣愛好、瀏覽過的信息、其他行為等)生成用戶特征,以便推薦符合該用戶興趣的信息; 相關信息檢索模塊在接受移動用戶特征的基礎上,快速找到該移動用戶可能感興趣的候選信息,從而生成推薦信息集合; 推薦信息排序模塊則采用機器學習算法,通過優化某一移動推薦指標 (比如信息點擊率、評分等),生成信息移動推薦服務模型,計算得出該移動用戶對該推薦信息集合的認可度,并分別計算推薦信息集合中所有信息的認可度,然后按照某種移動推薦指標進行排序。包括:①移動情境感知中的用戶行為軌跡、行為模式挖掘、用戶行為、移動情境、用戶情感、社交關系預測技術;②面向大數據的信息移動檢索、預處理及索引構建技術;③移動用戶與信息的相關度計算、信息移動推薦服務分類技術及移動用戶信息服務需求智能化挖掘、分析及匹配等技術; ④面向大數據的信息移動推薦服務的融合、管理、運行、優化及反饋等技術;⑤移動情境感知環境下多維交互大數據的時空交互語義獲取、 模式發現及在特定情境下的服務轉化技術。
(4)信息移動推薦過程服務質量信息傳感、監控、可信與安全推薦技術。主要研究和支持面向大數據的信息移動推薦服務的提供者、運營者、使用者、開發者等對信息移動推薦服務進行接入、發布、維護、組織與聚合、管理與調度、監測與評估等操作,包括:①信息移動推薦服務提供端軟硬件資源和服務的傳感、接入管理,如統一接口定義、注冊與管理、認證管理、授權機制、訪問控制等技術;②信息移動推薦的發布、維護、組織與聚合、管理與調度技術; ③信息移動推薦服務的構建與部署、 分解等技術;④移動情境感知終端的嵌入式可信硬件制造、移動推薦智能終端的可信接入、發布技術、可信移動網絡構建、運營等技術;⑤信息移動推薦系統和服務的可靠性技術等。
(5)信息移動給推薦服務的效用評價技術。效用評價機制對于檢驗面向大數據的信息移動推薦服務模型的性能和發現其存在的問題來說十分重要,也是信息移動推薦服務體系不可或缺的技術之一。其主要研究信息移動推薦服務結果、服務模式綜合評價及大數據感知、獲取、組織、分析及預測等綜合評價技術,而數據集和效用評價指標是兩個重要的研究要素。獲取與面向大數據的信息移動推薦服務相關的數據集,要比獲取傳統信息推薦系統相關的數據集更為困難,目前,公開可用的面向大數據的信息移動推薦服務的數據集很少,因此,如何獲取真實、可靠、可用的數據集也是亟待解決的關鍵技術之一。而在確立數據集之后,使用數據集對信息移動推薦服務體系的性能進行評價時,評價指標則是首先需要解決的關鍵問題,如何制定科學、合理的評價指標同樣應當成為待解決的關鍵技術之一。
(6)信息移動推薦服務的業務管理模式與技術。主要研究面向大數據的信息移動推薦服務模式下的業務與服務流程管理的相關技術,包括:①信息移動推薦服務漏乘的動態構造、運營、管理及執行技術;②信息移動推薦服務的成本構成、核算、計價、交易策略以及相應的支付模式等技術; ③信息移動推薦服務體系中各方的信用管理機制及實現技術; ④物理世界與虛擬世界的普適化人機交互技術。
圖3 所描述的技術體系,給出了每個技術小類的含義與主要內容,以及該服務模型所涉及到的部分關鍵技術。
面向大數據的信息移動推薦服務體系將成為我國信息服務領域充分挖掘大數據資源、 提升大數據知識服務核心競爭力的重要支撐手段,也是我國當前發展大數據知識服務領域需要探索的一個重要發展方向。由于面向大數據的信息移動推薦服務體系還是一個嶄新的概念,其相關理論與技術在國內才剛剛起步,在國際上也屬于前沿研究課題,如Netflix 推出的基于大數據分析的個性化推薦系統架構、阿里云推出的基于內容和行為的智能云推薦體系。為促進我國面向大數據的信息移動推薦服務體系的研究、開發、實施、應用與推廣,本文提出了一個面向多用戶、 基于主動服務的面向大數據的信息移動推薦服務模型,建立了一種面向大數據的信息移動推薦服務的體系架構。

圖3 面向大數據的信息移動推薦服務技術體系
當前,面向大數據的信息移動推薦服務體系是一個具有前瞻性和現實性的前沿課題,它的實施與發展應該遵循“以需求為導向、以技術融合為重點、以協同創新為手段、以應用推廣為目標”的指導思想。該服務體系的實現還需在應用需求牽引及相關技術的推動下,開展大量的理論與實踐的研究工作。
[1]周濤,陳恩紅.推薦技術與互聯網廣告[J].中國計算機學會通訊,2013,9(3):6-7.
[2]孟祥武,胡勛,王立才等.移動推薦系統及其應用研究[J].軟件學報,2012,(8):1-18.
[3]劉建國,周濤,汪秉宏.個性化推薦系統的研究進展[J].自然科學進展,2009,19(1):1-15.
[4]許海玲,吳瀟,李曉東等.互聯網推薦系統比較研究[J].軟件學報,2009,20(2):350-362.
[5]王立才,孟祥武,張玉潔.上下文感知推薦系統[J].軟件學報,2012,23(1):1-20.
[6]M.Granovetter.The strength of weak ties [J].American Journal of Sociology,1973,78(6):1360-1380.
[7]R.Sinha, K.Swearingen.Comparing recommendations made by online systems and friends [A].Proceedings of the DELOS-NSF workshop on personalization and rec ommender systems in digital libraries[C].2001.
[8]M.J.Salganilk, P.S.Dodds, D.J.Watts.Experimental study of inequality and unpredictability in an artificial culturalmarket[J].Science,2006,(311):854-856.
[9]於志文,周興社,郭斌.移動社交網絡中的感知計算模型、平臺與實踐[J].中國計算機學會通訊,2012,8(5):15-20.
[10]唐杰,楊洋.移動社交網絡中的用戶行為預測模型[J].中國計算機學會通訊,2012,8(5):21-25.
[11]Xavier Amatrain,Justin Basilico.Netflix 公布個性化和推薦系統架構[EB/OL].[2013-04-03].http://www.cs dn.net/article/2013-04-04/2814767-netflix-ml-archi tecture.
[12]云推薦[EB/OL].[2013-04-03].http://tui.cnzz.com/.