基于大數據和人工智能的用戶行為分析

潘惠蘋

（廣東工商職業技術大學計算機學院，肇慶526000）

得益于大數據技術的支持，互聯網逐步朝著物聯網擴展，并進一步升級為體驗更佳的人工智能，基于大數據和人工智能的用戶行為分析成為可能。以大數據和人工智能的關系為入手點，簡要闡述基于大數據和人工智能的用戶行為分析平臺、內容及流程，并對基于大數據和人工智能的用戶行為分析面臨的問題及解決思路進行進一步探究。

大數據；人工智能；用戶行為分析

0 引言

在大數據和人工智能應用范圍不斷拓展的背景下，基于大數據和人工智能的用戶行為分析獲得了社會各界的關注。基于大數據和人工智能的用戶行為分析，可以對海量用戶行為數據進行深層次分析挖掘，促使數據挖掘成果應用到商業營銷、廣告投放中，實現精準競價管理，控制商業成本。基于此，對大數據和人工智能在用戶行為分析中的應用進行適當探討具有至關重要的意義。

1 大數據和人工智能關系

大數據主要指海量數據，而大數據挖掘則是通過選擇、交換、分析、整合等一系列手段，對海量數據進行處理，發現新的知識，促使海量數據最大化、多頭性、集約性的運用于社會各個方面，創造新的價值[1]。進而帶來“大發展”、“大利潤”、“大科技”和“大知識”。而人工智能中的“深度學習”、“對抗學習”、“增強學習”及其對應的“對抗神經網絡”“卷積神經網絡”均與大數據挖掘具有緊密聯系。特別是人工智能中的“深度學習”，可以促使搜集大數據成為可能，并為用戶行為分析提供足夠的樣本數據。

2 基于大數據和人工智能的用戶行為分析

2.1 基于大數據和人工智能的用戶行為分析平臺

在基于大數據和人工智能的用戶行為分析平臺運行過程中，常用的平臺為基于Google有關大數據論文實現的開源項目——Hadoop，其主要由Apache維護。自2015年Doug Cutting首次提出Hadoop框架以來，Hadoop系統已形成了一個匯集數據存儲、數據剖析、數據管控的大數據+AI生態系統，也具備了獨立完成多種用戶行為剖析子項目的能力。該生態系統以MapRe?duce（Hadoop的分析式并行處理框架）為核心，可以對HDFS（Hadoop上一個分布式文件系統）上海量數據進行批量分析[2]。同時在海量通用計算單位的支持下，通過價格較低的商業硬件運作，高校執行高吞吐量批次并行核算，并將核算結果分類存儲。

雖然Hadoop具有高可靠性的按位數據處理存儲能力、自動備份及自動失敗任務重啟的高度容錯性及管理數以千計的并行計算、儲存節點能力，但是其實際性能仍然與硬件的理論性能存在差距，單一的管理文件系統的命名空間容量和性能有限，且受集群“管理者”——Jobtracker（整個MapReduce計算框架中的主服務）的設計嚴重制約，使得Hadoop集群的節點數量被限制到2000個左右。基于此，可以在x86集群水平的基礎上，以消除Hadoop單點故障、改進MapReduce、完善數據管理和數據源整合為目標，對基于大數據和人工智能的用戶行為分析平臺進行進一步完善。如榮之聯就在Hadoop框架基礎上，推出了可消除單點故障制約的智慧商業情報大數據平臺。其不僅可以對社交媒體、新聞、工商信息、法律訴訟信息及著作權專利信息等企業數據進行監測，而且在傳統數據檢索式監控功能上增設了智能推薦、用戶畫像分析、算法預測等功能，充分滿足了市場、商務運營業務需求，為用戶行為分析服務落地提供了保障。

2.2 基于大數據和人工智能的用戶行為分析內容

用戶行為通常指用戶通過中間資源進行某種商品或服務使用、購買、評價的記錄，以及用戶自身基礎信息[3]。｛屬性1，屬性2，…，屬性N｝這一屬性組合是用戶行為的主要表示方式，基于大數據和人工智能的用戶行為分析主要是在這一屬性組合方式的指導下，搜集更加詳細的目標用戶行為屬性數據，其大多來自于用戶日志信息（注冊信息、網絡購物、消費記錄、活動軌跡、社交互動等）、外界環境信息（手機上網用戶增長、移動互聯網流量、自費套餐等）、用戶主體信息（姓名、性別、名稱、受教育程度、興趣愛好、住址等）。

根據目標用戶行為屬性組合特征，基于大數據和人工智能的用戶行為分析可以經特定渠道，全方位搜集、剖析評估用戶在線上行為數據。其中用戶日志信息還包括網站日志、用戶瀏覽日志、搜索引擎日志等內容。網站日志、用戶瀏覽日志主要是目標用戶在某一網站的一系列瀏覽行為數據；搜索引擎日志主要指引擎日志系統所記錄的用戶行為信息。根據上述數據，在Hadoop開源框架中構建用戶行為數據計算模型和情感交換計算模型。隨后從海量數據中，通過人工智能技術，預測用戶行為發生概率，達到用戶畫像與企業營銷業務的深層次結合，打通企業內外部數據壁壘，促使大數據和人工智能為企業賦能。

需要注意的是，由于基于大數據和人工智能的用戶行為數據分析對象為海量數據，存在較多噪音，特別是用戶日志信息，其涉及了較多的目標用戶隱私數據。基于此，為避免大數據和人工智能工具對用戶個人隱私侵害，相關日志工具在內部設置了加密模塊，將部分用戶行為細節進行了模糊化或隱蔽處理，導致基于大數據和人工智能的用戶行為實時分析、準實時分析或離線分析結論經常存在較大的不可靠性。

2.3 基于大數據和人工智能的用戶行為分析流程

現階段基于大數據和人工智能的用戶行為分析已經憑借強大算法引擎與大數據處理能力打通了“從數據到模型，從模型到場景化應用”的全流程，全面貫徹了“智建模、易應用”的全新設計理念，為人工智能時代用戶行為分析高效、精準開展提供了有效支撐[4]。

基于大數據和人工智能的用戶行為分析主要包括數據接入、數據處理、模型構建、模型評估、模型管理、用戶行為分析場景設計及應用幾個環節。其中數據接入主要指接入MPP數據庫、文本文件、關系型數據庫、流數據、接口數據等多種類型數據源，實現不同類型統一接入管理，為用戶行為數據分析奠定堅實數據基礎；而數據處理則是從多個節點入手，綜合利用平衡、異常值檢測、抽樣、缺失值處理、平衡、轉換、孤立點分析等數據處理手段，對海量復雜用戶行為數據進行快速處理。同時綜合利用數據追加、數據拆分、數據連接、數據分解、數據差集等數據融合手段，在短時間內進行用戶行為數據表級處理。在這個基礎上，利用特征工程方法，如主成分分析、變量選擇、自動特征、WOE編碼、變量選擇、分箱等，快速明確用戶行為數據特征。并將SQL、Java、R、Python、Scala等腳本語言無縫集成，為用戶行為分析模型構建及人工智能靈活擴展奠定基礎。

在基于大數據和人工智能的用戶行為分析模型構建過程中，主要利用推薦、關聯、回歸、聚類、時間序列、分類、綜合評價等幾種類型機器學習算法，對海量用戶行為文本數據的主旨話題、觀點情感進行分析，或者提取關鍵詞信息，進行自然語言分析。同時嵌入自動學習、深度學習、集成學習等多種類型人工智能分析算法，保證用戶行為分析更加智能高效。在基于大數據和人工智能的用戶行為分析數據構建完畢之后，可以根據特定行業情景，制定模型評價指標，在交叉驗證的模型評估方法支持下確定用戶行為分析模型泛化能力。并對用戶行為分析模型建立整個過程每一個環節進行詳細解讀，從多模型中選擇最優模型。在這個基礎上，依據簡便快捷原則，綜合里一共模型倉庫、模型在線監控、模型在線部署工具，對用戶行為分析模型進行利用、讀取、輸出，構建閉環模型管理網絡。

場景設計及實現是基于大數據和人工智能的用戶行為分析關鍵環節，一般需要在線完成基于模型結果的業務場景設計，促使用戶行為分析落地，實現端點到端點的用戶行為分析數據應用。如在基于用戶畫像的精準化廣告投放與推薦場景中，可以依據競價機制，構建基于大數據和人工智能的程序化廣告交易平臺，其可以通過實時計算解決廣告流量售賣中利潤最大化問題，并在智能電視終端收集海量用戶行為數據，對用戶行為進行深度分析、多維度挖掘，尋找用戶潛在行為規律，細分廣告領域上偏好及新增特定場景需求。同時作為單獨廣告場景進行廣告用戶群劃分，為精準化廣告投放提供依據；而在車企行業管理模型，可以利用基于大數據和人工智能的用戶行為模型，將網絡數據與車企內部數據打通，對車企自身擁有脫敏用戶行為數據進行實時動態更新，為周邊活動智能推薦、二手車買賣推薦、汽車養護信息推送提供依據。

3 基于大數據和人工智能的用戶行為分析面臨問題及解決思路

基于大數據和人工智能的用戶行為分析平臺面臨著目標用戶行為數據處理量大、目標用戶行為分析過程成本高等多個方面的技術挑戰[5]。

3.1 目標用戶行為數據處理量大

互聯網、物聯網時代，每一個用戶都涉及了TB甚至PB級行為數據，傳統大數據和人工智能分析模式雖然可以滿足目標用戶行為數據分析要求。但是無法滿足OLAP（聯機分析處理）高效運行需求。針對上述問題，可以將NoSQL數據庫引入到大數據和人工智能分析過程中，在擴展大數據和人工智能分析空間的同時，經水平擴展讀寫負載，促使基于大數據和人工智能分析的用戶行為信息分析訪問性能提升，最終實現可擴展的數據存儲、靈活快捷的數據訪問。

3.2 目標用戶行為分析過程成本高

以往大數據和人工智能分析在進行目標用戶行為分析時進行高額度軟件授權許可費用支付，導致基于大數據和人工智能的用戶行為數據分析平臺建成運營成本較高。基于此，可以進一步挖掘Hadoop開源框架優勢，設置經濟性更加突出的用戶行為數據分析方法，實現系統的低成本、高效率運營。

4 結語

綜上所述，基于大數據和人工智能的用戶行為數據分析已成為剛需，對于行業發展的重要性日益突出。因此，在基于大數據和人工智能的用戶行為分析過程中，應根據現有大數據挖掘算法及人工智能技術應用情況，對數據挖掘模型庫進行優化改進。優先應用Hadoop并行計算框架，充分發揮數據資產隱形優勢，為精準營銷、精準服務的實現提供保障。