數(shù)據(jù)驅(qū)動型決策在零售業(yè)的重要性以及相關數(shù)據(jù)挖掘問題

錢竹

（數(shù)碼設計雜志社社長、總編輯）

引言

全渠道零售，即在所有線上和線下渠道整合營銷、客戶關系管理，以及庫存管理的崛起產(chǎn)生了大量的關聯(lián)數(shù)據(jù)，大大增強了數(shù)據(jù)驅(qū)動型決策的重要性和能力。

在這篇文章里， 我們將描述一個假想的收入管理平臺，這一平臺基于零售商的數(shù)據(jù)并控制零售策略的很多方面，如價格、營銷和倉儲。

我們專注在將經(jīng)濟學框架和數(shù)據(jù)挖掘方法的組合有以下兩個主要的原因：

我們可以從經(jīng)濟學教科書上找到上百個與零售有關的經(jīng)濟學模型，因為關于市場、折扣、競爭等問題在上個世紀得到了深入的研究。然而，許多模型都是高度參數(shù)化的（即嚴格的由帶有有限參數(shù)的公式所定義）并且不能足夠靈活而精確地對現(xiàn)實世界的問題建模。但數(shù)據(jù)挖掘提供了很多非參數(shù)建模技術(shù)，可以幫助創(chuàng)建靈活而實用的模型。在最近十年里，也有許多成功的平衡抽象模型和機器學習技術(shù)的文章和案例研究已經(jīng)發(fā)表。

快速的數(shù)據(jù)循環(huán)使得在現(xiàn)代零售業(yè)中可以使用相對簡單的模型做出更加準確的預測，因為小規(guī)模增量式的預測一般而言要比大決策更加容易。

例如，因為對于一個新的顛覆性產(chǎn)品在消費者心中的感知價值是未知的，要計算它的最優(yōu)價格是很困難的。但是根據(jù)需求和庫存水平實時調(diào)整促銷價格則是相對容易的。有一些成功的商業(yè)解決方案對價格優(yōu)化就幾乎丟棄了經(jīng)濟學模型，簡單的根據(jù)銷售閉環(huán)的反饋情況來決定價格的上升和下降。

以上兩點意味著在零售業(yè)自動化決策和動態(tài)優(yōu)化具有很高的潛力，因此我們專注于研究這個領域。本文很大篇幅用于綜述零售業(yè)者和研究人員發(fā)表的成果，這些成果都是他們在綜合應用抽象經(jīng)濟學模型和數(shù)據(jù)挖掘方法構(gòu)建實際的決策和優(yōu)化系統(tǒng)中產(chǎn)生的。

本文主要受到 3 個案例研究的啟發(fā)，分別出自 Albert Heijn，荷蘭最大的連鎖超市，Zara，一家國際服裝零售商，以及 RueLaLa，一家創(chuàng)新在線時尚零售商。我們同樣綜合了來自 Amazon、Netflix、LinkedIn 和許多獨立研究者和商業(yè)項目的結(jié)果。同時，我們避免使用那些缺乏實踐支持的學術(shù)結(jié)果。

我們的研究主要著眼于與收入管理相關的優(yōu)化問題，包括營銷和定價等問題。更加特殊的數(shù)據(jù)挖掘應用，如供應鏈優(yōu)化和欺詐檢測， 數(shù)據(jù)挖掘過程實現(xiàn)的細節(jié)（如模型質(zhì)量的驗證）則不在這我們研究的范疇內(nèi)。

我們首先引入一個簡單的框架將零售商的行為，利潤和數(shù)據(jù)聯(lián)系在一起。此框架將作為更統(tǒng)一的方式來描述分析問題。

本文的主體部分探討了一系列與零售業(yè)相關的優(yōu)化問題。我們將在不同章節(jié)逐個介紹這些問題。每個章節(jié)會簡要描述問題，并提供一組業(yè)務案例和應用，以及詳細介紹如何將問題分解成經(jīng)濟學模型和數(shù)據(jù)挖掘任務，使得可以通過數(shù)值優(yōu)化方法來解決業(yè)務問題。然后，我們會有一個章節(jié)專門討論這些方法在實際應用中的可期的經(jīng)濟收益。 最后，總結(jié)部分會對這些問題之間的依賴關系進行討論，從而闡明一般的原則和關鍵點。

1 優(yōu)化框架

本文介紹了6個主要與營銷和定價相關的優(yōu)化問題，這些問題都能夠應用數(shù)據(jù)挖掘技術(shù)來解決。盡管這些問題非常不同，但我們嘗試建立了一般性的框架來幫助設計求解所需的優(yōu)化和數(shù)據(jù)挖掘任務。

該框架的基本思想是用一個經(jīng)濟指標，例如毛利率作為優(yōu)化目標，并將這一目標作為零售商行為（如營銷活動或者分類調(diào)整）的函數(shù)。

同時計量經(jīng)濟學目標也是數(shù)據(jù)的一個函數(shù)，即計量經(jīng)濟模型應該被零售商的特性參數(shù)化，從而在其輸出中產(chǎn)生一個數(shù)值，如毛利率。

例如，某零售商在計劃一個郵件營銷活動。可行的行動空間可被定義為一組對于每個客戶發(fā)送/不發(fā)送決策集合，而活動的毛利率則決定于營銷動作（有些人會接受激勵而另一些人不會）以及給定客戶的期望收入和郵件成本。這一方法可以更形式化的由如下公式表達：

此公式里G是可用于分析的數(shù)據(jù)，是零售業(yè)者行為和決策空間， 是計量經(jīng)濟模型函數(shù)，其參數(shù)是d和A，而A0是最優(yōu)策略。這一框架由文獻[JK98]整理提出。

模型G的設計十分依賴于問題本身。在大部分情況下，對毛利率建模和優(yōu)化都是合理的。但是，有些情況下其他的目標也是有可能的，就如下一章探討的響應建模。同時需要注意的是優(yōu)化問題（1）也跟時間有關系，因為環(huán)境會隨著如新產(chǎn)品的上架、競爭對手的行動等因素變化，零售業(yè)者自己的行為也會產(chǎn)生影響。

數(shù)據(jù)挖掘在這一優(yōu)化問題中的角色是非常重要的，因為計量模型G通常都比較復雜且必須基于數(shù)據(jù)通過回歸等數(shù)據(jù)挖掘技術(shù)學習確定。

在某些情況下因為復雜性太高（如用戶的行為很難精確預測）或者因為無法將現(xiàn)有數(shù)據(jù)做外推（如對于完全新的服務），模型是無法完全確定的。這時，可以用A/B測試和問卷調(diào)查來獲得額外的數(shù)據(jù)來改進模型的精度。

1.1 問題1: 響應建模

1.1.1 問題描述

在廣告或者特價優(yōu)惠活動中，需要決定將一些資源投放給一些客戶。而這些資源都是有成本的，如郵寄印制商品的目錄的資金成本，或者一些負面效應（如使得用戶取消郵通知訂閱）。

同時， 這些資源將會影響用戶的決策，如促使他們更多地消費或者購買更高價值的產(chǎn)品。其目標是找到一組最靠譜的候選客戶，對他們投入資源后能夠使得業(yè)績最大化。

投入的資源可以是同質(zhì)的（如所有參加的客戶都得到同樣的激勵）也可以是個性化的。在后一種情況下，零售業(yè)者將對每個不同的客戶提供不同的激勵如不同產(chǎn)品的優(yōu)惠券來最大化總體的收益目標。

1.1.2 應用

響應建模被廣泛的應用在營銷和客戶關系管理上：

確定特定的折扣、優(yōu)惠券和特價，需要識別出客戶對這些激勵的反應。

有這對性的郵件促銷、活動和贈品（如4S店提供的免費太陽眼鏡）通常需要識別出最優(yōu)價值的客戶來降低營銷費用。客戶挽留計劃需要識別出那些可能會離開但可以通過激勵來改變主意的客戶。例如，電商可以向那些放棄購物車或者離開搜索會話的客戶發(fā)送特價優(yōu)惠。

在線目錄和搜索結(jié)果可以根據(jù)客戶對某些商品的的喜好來重新調(diào)整。

響應建模幫助優(yōu)化了電郵促銷來避免不必要的垃圾郵件，這些垃圾郵件可能會讓客戶取消郵件訂閱。

1.1.3 求解

基于以上的討論，我們現(xiàn)在可以認識到這個問題就是資源分配的優(yōu)化問題，而優(yōu)化問題由一個目標函數(shù)驅(qū)動。一個最基本的方法是根據(jù)每個客戶的響應概率和期望凈價值來對促銷活動的整體利潤建模。

這里 Pr(R│u;I) 是給定客戶u對激勵I的響應概率，g(u|R)) 是這個客戶響應的激勵的凈價值，而c則是激勵的成本。公式中第一項是響應從響應用戶獲得的凈收益，而第二項則是對應在沒有響應的客戶上的期望損失。目標是通過找到一組最有可能響應活動并能貢獻高利潤的客戶子集來最大化G。因為公式 (2) 可以約簡如下：

這里 E{g|u;I} 表示對給定客戶在假定他會接受激勵的情況下的毛利率的數(shù)學期望，而客戶的選擇標準則要符合以下條件：

同時，最優(yōu)的客戶子集 U 可以定義為最大化毛利率的子集：

我們也可以以隨機分配激勵為基準的凈值最大化。為此，我們假設參與該次營銷活動的客戶數(shù)固定為 |U|。首先，我們將公式 (5) 展開，顯示的包括對于隨機選取的 |U| 個客戶的營銷活動的期望毛利率。

此處 E{g|I} 是所有客戶上的平均凈價值。這一平均凈價值是常數(shù)，因此在 |U| 確定的情況下在目標函數(shù)中可以被略去。因此，公式（5）在固定 的情況下同樣可以得到（6）：

然而，文獻 [VL02]提出這一模型存在一定的缺陷，因為該模型偏向于易于接受激勵的客戶，而沒有考慮那些有沒有激烈都會貢獻同樣利潤的的客戶。為解決這一 缺陷，我們需要根據(jù)以下四種情況來計算客戶集合 U 的毛利率：

G1 - 根據(jù)公式（5）選擇 U 并向中所有客戶發(fā)送激勵

G2 - 隨機選擇 U 并向 U 中所有客戶發(fā)送激勵

G3 - 根據(jù)公式（5）選擇 U 但是不發(fā)送任何激勵

G4 - 隨機選擇 U 但是不發(fā)送任何激勵

公式（5）是最大化 之差即相較于隨機投放的提升度。另一種方法是優(yōu)化，這一目標函數(shù)不僅僅度量相較于隨機投放的提升度同時還考慮去除掉在同樣的客戶集合上不做任何激勵的提升度。在此情況下，公式（5）變?yōu)槿缦滦问剑?/p>

此處最后一項對應的是未被激勵的客戶的期望凈價值。這一方法被稱為差分響應分析或者提升度建模由文獻 [BE09]提出。

值得注意的是，公式（5）和（8）都不是通過最大化營銷費用來優(yōu)化的。考慮如下情況，每個響應的用戶可以貢獻 100 美元的凈利潤，而激勵費用為1 美元。如果一個客戶組有 100 萬客戶，其中有 0.5% 的潛在響應者，則花費最大的營銷活動是對每個客戶都做觸達則最終將損失 50 萬美元（總的響應者貢獻的 50 萬美元凈價值減去活動費用 100 萬美元）。

公式（8）對于各種類型的價格折扣特別重要(優(yōu)惠券、臨時價格折扣、特價)。考慮如下問題：“一個零售商應該向每天都買蘋果的人提供蘋果優(yōu)惠券嗎？” 根據(jù)公式（5），回答是肯定的。因為這個人很有可能會使用優(yōu)惠券。

然而，更可能的是這個客戶用更低的價格購買了同樣數(shù)量的蘋果，根本上這會降低零售商的利潤。公式（8）考慮了默認的客戶行為從而消除了這一問題。我們在下一節(jié)將繼續(xù)討論價格區(qū)分問題因為這一是個復雜的問題遠超了公式（8）范疇。

公式（5）和（8）中凈收入的數(shù)學期望能夠基于過去客戶對激勵是否接受的歷史數(shù)據(jù)用分類或者回歸模型來確定。這一問題可能是非常有挑戰(zhàn)性的，特別是當需要評估的激勵與過往出現(xiàn)過的都存在某種程度上的差異。

在這種情況下，全規(guī)模的活動上線之前需要在一個客戶測試組上進行測試。另外，對于零售業(yè)者而言毛利率并非唯一的關鍵指標。在公式（5）和（8）中使用的毛利率度量關心的是第一次付款后即時的匯報，從客戶關系管理的角度看這是非常簡單的視角。

零售業(yè)者還會關心其他不同的度量，度量上的多元性是如此巨大以至于有一門專門研究這個問題的經(jīng)濟學分支 - 傾向性建模[SG09, LE13]- 這一學科發(fā)展了不同的模型來預測用戶未來的行為。最重要的傾向性模型包括：

生命價值預測。生命價值模型是估計一個客戶在其生命周期內(nèi)可以貢獻的收入或者利潤總額。這一指標對于那些目標為獲取新客的營銷活動而言是很重要的。

錢包份額預測。錢包份額模型用來估計用戶對于某些類型商品，如雜貨或者服飾，在某一零售商及其在各競爭對手那花錢的比例。這一度量能夠揭示哪些客戶具有貢獻高收入的潛力，因為這一模型能夠用在忠誠計劃和提升使用的營銷活動中。

類型擴展傾向。該模型估計首次購買某一類型的商品后，從休閑產(chǎn)品轉(zhuǎn)換到奢侈品的可能性。這一模型能夠幫助設計目的是獲得使用擴展的活動。

流失傾向。這一模型估計客戶從給定零售商流失并轉(zhuǎn)換到競爭對手的可能性。如果客戶具有較高的流失傾向則可以定向進行挽留活動。例如，一個零售商可以識別出那些放棄了在線購物車或者退出了搜索會話但是提供一定折扣或者贈品后會改變主意的客戶。

購物習慣改變傾向。每個客戶的購物習慣最終確定了其對一個零售商的價值，即客戶的購買頻率、購買什么產(chǎn)品、購買什么類型的產(chǎn)品等等。這些習慣通常是穩(wěn)定的，一旦零售商改變一個客戶的分層，這個分層將會持續(xù)。

因此，零售業(yè)者通常對找到那些對改變習慣比較開放的客戶感興趣， 如那些從一個城市遷移到另一個城市的人群， 從學校畢業(yè)的學生， 剛剛結(jié)婚的人群等等。一個典型的例子是預測客戶是否在懷孕早期 [DG12]因為新生命的誕生會顯著的改變客戶的購物行為。

以上模型都能夠嵌入類似公式（8）的公式來代替毛利率目標。我們在后面的小節(jié)中將針對討價格差異化的情況下對折扣的響應傾向建模的情況仔細探討傾向性建模。關于傾向性建模的更多細節(jié)可以參考 [FX06]和 [SG09]兩本書。

這一框架也能夠擴展到在多個可能的激勵方案中選擇最優(yōu)的方案。例如，一個零售商可以估計對于兩個激烈方案 A 和 B（例如巧克力冰激淋和香草冰激淋）的期望表現(xiàn)然后對于給定的用戶可以根據(jù)以下標準[WE07]來選擇最優(yōu)的選項：

最后，值得注意的是響應建模是與客戶分群緊密耦合的：

響應建模能夠用來檢驗通過聚類行程的客戶分群的可行性。一個分群應該對特定的營銷計劃有持續(xù)的響應。

傾向性模型是基于客戶數(shù)據(jù)訓練得到的回歸和分類模型。客戶分群可以參考對于主要回歸量的分析結(jié)果。另一方面，從聚類結(jié)果中也可以發(fā)現(xiàn)合理的傾向性模型。

1.2 問題2：推薦

1.2.1 問題說明

一組激勵中的每一項激勵對應著一個產(chǎn)品或者其他目錄項目。展示這些激勵并不直接與費用成本相關，但是只有有限數(shù)量的激勵能夠展示給用戶。從這個角度來說，每個激勵的展示都會占用一定的屏幕空間或者客戶的注意力，所以給客戶提供的某個激勵的負面激勵能夠被機會成本的損失來度量。在這樣的目標下就需要將激勵的子集對于每個客戶而言都是個性化的（如網(wǎng)站上的推薦）從而最大化群體的購買表現(xiàn)。

1.2.2 應用

該問題最典型的應用有推薦系統(tǒng)， 個性化搜索結(jié)果， 和定向廣告。 此外還有一些其他重要的應用：

廠商贊助折扣可以歸為這類問題，因為零售商對激勵的成本不關心（由廠商覆蓋這部分成本）, 他們僅關心有效的定向。廠商贊助的活動被廣泛的應用在很多零售細分領域，如雜貨店或者百貨商店，因為這些廠商市場份額的提升有很重的依賴。

交叉銷售的營銷能也夠從推薦模型中獲益，因為一些推薦技術(shù)能夠揭示出客戶畫像中的隱含維度，如生活方式。這些能力對于跨類之間的推薦是特別有用的，可以基于客戶服飾方面的消費行為向客戶推薦家居或者廚具。

推薦系統(tǒng)可以將用戶的購買和瀏覽歷史概括為心理學畫像，因此乏味的著裝品味或者運動型的生活方式能夠量化測量。同樣的技術(shù)也可以根據(jù)競爭者銷售產(chǎn)品的來對競爭者畫像，就像根據(jù)客戶購買來對客戶畫像。一些推薦算法能夠基于文本描述來區(qū)分產(chǎn)品的心理維度，如生活方式等。所以商家可以利用它們來評估產(chǎn)品描述，也可以用來獲得關于產(chǎn)品定位的適當措辭的建議。

特別需要注意的是盡管推薦通常被認為是線上服務特有的，但其所產(chǎn)生的基本原則和技術(shù)對于零售業(yè)的許多方面也是非常重要的。因為這些技術(shù)致力于揭示客戶對產(chǎn)品興趣的隱含關系。而這是零售商最基本的任務。

1.2.3 解決方案

推薦系統(tǒng)在過去20年是非常受關注的研究領域，[JZ10, RR10]兩本書提供了對幾十種在各種論文，演講和白皮書中提出的推薦算法和技術(shù)的系統(tǒng)化視角。

某種程度上，推薦技術(shù)的高度多樣性在于一些實現(xiàn)推薦時遇到的挑戰(zhàn)，如客戶評分的稀疏性，計算的可擴展性，以及缺乏新物品和客戶的信息。

顯然，我們無法在本節(jié)中綜述哪怕一下部分方法和算法，而且在此處探討這些也沒有太多的意義，因為這樣的綜述俯拾皆是。相反我們將關注于驅(qū)動設計推薦系統(tǒng)的目標和效用函數(shù)而基本上忽略這一問題的算法和技術(shù)側(cè)的細節(jié)。

從計量經(jīng)濟學的觀點來看，推薦系統(tǒng)問題與電商和全渠道商業(yè)在很多零售領域的興起帶來銷售品類的快速擴張是緊密相關。大的平類增加了很多非暢銷產(chǎn)品，每一個產(chǎn)品的銷售量和貢獻的收入都是很少的，但是這個“長尾”的總體貢獻是非常顯著的。

傳統(tǒng)推薦技術(shù)如推廣最暢銷的商品不能有效利用非暢銷商品的潛力，這就需要更巧妙的推薦方法在數(shù)百萬他或者她從未探索過的產(chǎn)品中對其進行引導。

因為我們主要關注模型對客戶在產(chǎn)品上的偏好的描述，我們將從根據(jù)效用函數(shù)的復雜性從簡單到負責來介紹使用最廣的推薦技術(shù)。 我們將依據(jù)如下圖所示的推薦技術(shù)層次分類圖。這個層次分類綜合了推薦系統(tǒng)的常用分類，但也不是完全一致：

（1）單一目標

讓我們從單一目標推薦任務的基本定義開始，這一定義被廣泛的應用在推薦系統(tǒng)的文獻之中。零售商向用戶群體 U={u_1,...,u_m } 銷售物品J={j_1,...,j_n }。評分函數(shù) R:J×U 表示一個用戶對一個物品的觀點從負面（“不喜歡”）到正面（“喜歡”），通常使用數(shù)字來表示。

一些用戶和物品對的評分值可以基于用戶的評分或者通過分析購買歷史，網(wǎng)站訪問記錄來估計。推薦任務則可以被定義為對給定用戶-物品對（u,j）評分值r_（u,j）的預測。

有兩種方法可以解決評級預測問題：通過查找與特定用戶過去喜歡的項目相似的項目來獨立估計每個用戶的評分; 也可以通過對來自與給定用戶類似的用戶的評分進行平均來估計評分。這兩種方法分別被稱為內(nèi)容過濾和協(xié)作過濾。

（2）內(nèi)容過濾

內(nèi)容過濾的主要思想是基于對用戶過往對于產(chǎn)品的偏好，行為和購買。盡管不可以對內(nèi)容過濾做不同的解釋， 我們選擇將其作為分類問題[PZ07]來強調(diào)數(shù)據(jù)挖掘的應用：

每個用戶可以被視作一個對物品預測評分的回歸模型。一個特殊的例子是可以用二分類將物品分為兩個類別 - “喜歡”和“不喜歡”。

一個用戶的畫像就是上面介紹的回歸模型的一個實例。這一模型使用該用戶的已知評分（顯示評分，購買歷史等等）來訓練。

給指定用戶的推薦物品列表是通過對所有目錄物品采用該用戶對應的回歸模型預測評分然后選擇那些估計評分最高的物品子集來獲得的。

盡管以上的過程似乎是是比較直接的，但是實際上確實非常挑戰(zhàn)的。因為用戶和物品是根本不同的實體，而且要找到一種可以直接將物品轉(zhuǎn)換成回歸模型可以使用的用戶偏好這種微妙的東西。

最主要的問題是存貨屬性諸如品牌、物品名，或者價格對于衡量物品對用戶的效用是根本不夠的。盡管一些客戶能夠被滿足忠于某品牌或價格取件的特征，但是需要更多微妙而有信息的維度如生活方式或者品味來描述觀察到的模式和共性。

這些隱式的維度對于如電影、書籍、音樂，甚至是如服飾這樣的有形物品都是非常重要的。零售商可以用如下的方法基于標準的分類技術(shù)來對帶有隱含維度的物品打標簽 [GH02]：

例如，服裝可以用諸如時髦、保守、運動等標簽來標識。

標準產(chǎn)品屬性（如文本描述）旨在向客戶提供特定的營銷信息，因此它們隱含地包含了一些無形的屬性。因此，人工評分項目的物品子集可以用于構(gòu)建將從產(chǎn)品屬性映射到隱含維度的分類模型。例如，可以使用貝葉斯分類方法來估計描述在隱含屬性值出現(xiàn)時詞出現(xiàn)的條件概率 Pr（詞項描述 | 隱含屬性值）。物品然后可以通過計算后驗概率 Pr（隱式屬性值 | 項目描述）來自動分類沒有人工評分的商品。

一般化的來看，內(nèi)容過濾和物品建模實際是信息檢索任務，所以許多的為恩本挖掘和搜索技術(shù)（例如，[MA08]的綜述所提到的）可以被用來構(gòu)建推薦系統(tǒng)。我們在此略過這些細節(jié)，因為從計量經(jīng)濟的角度來看這些都不是最重要的部分。

協(xié)同過濾.前面部分提到的隱含維度的問題具有重要意義，此問題可以引導我們了解推薦技術(shù)的第二個系列。這個問題源于根本無法嚴格的對人的口味和傾向建模。

協(xié)同過濾是一種自然的，也許是唯一不需要對系統(tǒng)進行很多人工工作的解決方案 - 推薦決策中對"人的因素"的需求通過其他用戶的反饋來滿足。

最基本的協(xié)同過濾模型 [RE04, BR98]直接由用戶之間的相似度度量來定義：

此處 r_u,j 為用戶 u 對 j 物品的評分，U 是所有用戶的集合或者啟發(fā)式選取的給定用戶的鄰近用戶，λ 是規(guī)范化系數(shù)，sim(u,v) 是兩個用戶之間

的相似度度量， 而是戈丁用戶的平均評分：

假設 J_u 是一組用戶評分過的物品。公式 (10) 使用的平均用戶評分概念來建模用戶比其他用戶在打分傾向上是偏高還是偏低，因為他們有的要求高有的要求低。雖然不是絕對必要，這一修正在實踐是上非常重要并在最開始實現(xiàn)協(xié)同過濾時就被廣泛應用了。

一般用余弦距離或者皮爾森相關系數(shù)來計算評分向量 J_u 和 J_v 之間的相似度。此外，文獻 [ER98, SU09]介紹了很多對于此基本相似度度量進行調(diào)整的多種方法來改進使用中的性能。

模型（10）存在一些顯著的缺陷，首先這一模型的計算復雜性（與物品和用戶數(shù)量成正比）很高，其次用戶的評分是非常稀疏的。評分的稀疏性是指每個用戶都只會對很小一部分物品進行評分，所以在計算向量 J_u 和向量J_v 的相似度時經(jīng)常會出現(xiàn)沒有重合的元素，這會降低推薦的質(zhì)量。

例如，眾所周知 Amazon[SA01]和 Netflix[YK08]的評分矩陣中的評分缺失率達到 99%。為了克服這一限制，基于用戶的模型（10）在通常被概念上非常相似的基于物品的模型 [SA01, YK08]所取代：

其中物品之間的相似度度量是基于那些在兩個物品上都有評分的用戶的基準評分來計算的。基準評分同時考慮了用戶偏差（用戶的平均評分值相較于整體評分的偏差）以及物品偏差（物品的平均評分相較于整體評分的偏差）。

值得注意的是，有一簡單的方法來實現(xiàn)公式（12），此方法通過尋找頻繁項集（被頻繁一起購買的物品）并基于在頻繁項集的同現(xiàn)來計算相似度。這一方法因其簡單被視為“窮人的推薦引擎”[RE03]。

模型（10）和（12）屬于所謂最近鄰模型，這些模型通過分析相似的用戶或者物品的鄰居來估計他們的評分。這一系列的算法也包括很多變種的技術(shù) [SU09]通過使用跟緊湊的概率模型或者其他近似方法來取代計算開銷昂貴的檢查鄰居的方法。

盡管最近鄰模型是一種被諸如亞馬遜等領先的零售商驗證過的推薦技術(shù)。但在根本上這些技術(shù)還是在根本上具有在內(nèi)容過濾中就有的隱含維度所帶來的問題。前面考慮的用戶之間和物品之間的相似度度量對于揭示用戶和無偏之間的復雜關系，其能力是有限的。

這與信息檢索里面的同義搜索和多義搜索棉面臨的問題是類似的，要揭示搜索者的實際意圖，并將其意圖翻譯成文本和查詢之間的相似度是非常挑戰(zhàn)的事情。

為了解決這一問題，一種被稱為隱含語義分析的的技術(shù)被提出來[DR90]。該方法被提出來 10 年后被用來設計推薦系統(tǒng) [SA00]，并開創(chuàng)了一類新隱含因子模型。

隱含因子模型主要的思想能夠被描述如下：評分函數(shù) R 能夠被表達成m×n 矩陣(m 是用戶數(shù)，n 是產(chǎn)品數(shù)), 其中的元素是評分值。這可以被當作一個線性空間問題。

推薦任務則可以被重新定義為用其他評分向量的組合來計算用戶評分向量。實際上，公式（10）自然的就是一種權(quán)重由相似度函數(shù)定義的評分制的線性組合。然而，問題是評分矩陣缺失評分而稀疏，因偏見和隨機因素通常帶有噪音，而且基于物品維度則限制了揭示用戶品味的能力，而品味通常是與一組物品相關而不是與單個物品相關。

換句話說， 被散落在巨大的低密度矩陣中并混有一定程度噪音的信號智能通過研究隱含模式才能顯示出來。隱含因子模型的思想是用低維度的基來近似一個高維線性空間。這有助于達成以下目標：

1）較少的維度能夠幫助把信號的能量集中，則每個基向量對評分估計的貢獻都是顯著的。它通過丟棄簡單的不適應這些較小的基啊的波動來減少噪聲。

2）基本的計算過程可以被設計來產(chǎn)生有著最少依賴的基向量，從而有效的揭示用戶品味的主要傾向，這些傾向每個對應一個基向量。例如，Netflix 用這一方法來預測電影評分 [YK08, YK09]時, 系統(tǒng)產(chǎn)生的維度清晰的對應著諸如喜劇，男女等坐標軸。

集合中的每個點沿著 R_1 和 R_2 維度都有著很大的坐標值并顯示出數(shù)據(jù)的復雜而不規(guī)則的結(jié)構(gòu)。然而，在另一個坐標系 B 中則揭示了數(shù)據(jù)可以被維度 B_1 有效描述，而維度 B_2 則并不重要，這暗示了這是一個一維的隱含因子模型。

某種程度上，隱含因子模型能夠與離散余弦變換 (DCT) 相比較，離散余弦變換被用在圖像壓縮算法諸如 JPEG 中來用少量的諧波來近似圖片。

以上的思考鏈引導我們到如下的隱含因子的形式化模型。首先選擇維數(shù)bn,m 并將每個用戶和物品都當作該維度空間中的一個向量。我們將用戶 u的向量標識為 p_uR^b, ∈物品 j 的向量標識為 q_jR^b∈。這些向量是基于評分舉證計算 R 得到的，計算過程中通過某種辦法讓向量 b 的個分量都對應到上面所述的一個隱含維度。

因此，用戶和物品都可以在同樣的主題下進行編碼，同時評分可以通過計算兩個向量的內(nèi)積，即將向量的維度兩兩對應相乘然后求和得到：

有許多不同的方法來計算用戶和物品的隱含因子向量 p_u 和 q_j。最直接的方法就是用奇異值分解 (SVD) 對評分矩陣 R 進行分解。然而，基于計算穩(wěn)定性和復雜性的考慮，在實踐中一般使用迭代的梯度瞎講優(yōu)化方法[YK09]。

下圖展示了卷積（10）和（13）之間的區(qū)別。左邊對于給定物品的稀疏的評分向量與稀疏度相似的給定用戶做卷積得到評分估計。而在右邊，評分是通過計算兩個降維后且能量密度很好的向量的卷積得到的。

（3）多目標

以上討論的推薦方法本質(zhì)上都是由一個單一目標驅(qū)動，這一目標是提供最好的語義匹配或者預測偏好評分。然而，推薦精度并不是推薦系統(tǒng)設計的唯一考慮，零售商可能有興趣對綜合多個有沖突的目標在一起給用戶提供推薦。

例如，食品雜貨商可能有興趣提升具有較短貨架期的易腐食物的銷量，時尚商店可能希望推廣贊助品牌或當季款，更多的零售商可以從推薦較高利潤率的產(chǎn)品或考慮產(chǎn)品庫存水平避免以避免缺貨來獲得更好收益。

文獻 [JW10]提出了多目標推薦系統(tǒng)并在 LinkedIn[RP12]中做了大規(guī)模驗證。在 LinkedIn 的例子中， 其主要的目標是給候選人推薦語義上匹配的工作機會，其次是顯示找工作的行為。[RP12]描述了該方法，將推薦任務定義為如下的優(yōu)化問題：

此處：

ˉr 是由底層推薦系統(tǒng)基于語義匹配和相關性產(chǎn)生的原生推薦向量，ˉr 中的第 j 個元素表示的是第 j 個產(chǎn)品的相關性分值（或排序）。

ˉf 是二級特征值向量，ˉf 中的第個元素對應的是第 j 個產(chǎn)品在次要目標上對應的分值。例如，這一向量可以產(chǎn)品的毛利率。

R(·) 是組合排序函數(shù)其綜合了 ˉr 和 ˉf 形成一個新的物品排序平衡了兩個目標。

g(·) 表示度量推薦系統(tǒng)性能的整體效用函數(shù)。

E{} 對所有推薦效果的平均。

(·)_(1...K) 表示的是前 K 個具有最高分數(shù)的元素，這里 K 是給用戶推薦的物品數(shù)。例如，如果 ˉr 中包括在冊的所有 n 個產(chǎn)品的推薦分，則ˉr_(1..K) 對應的是 K 個最值得推薦的產(chǎn)品。

dist(·) 是度量兩個推薦向量之間的差異的距離函數(shù)，而 c 是這一差異的限制閾值。根據(jù) [RP12], 一個合理而實際的距離度量是兩個分值向量直方圖的平方誤差和。

上述優(yōu)化問題的主要事項是是增加混合了次要目標的相關度分值的綜合推薦的效用，但是對原聲的相關性推薦結(jié)果和綜合推薦結(jié)果的差異做懲罰來保證不會為了最求次要目標而完全犧牲相關性。

函數(shù) R(·) 的設計需要包括可調(diào)整的參數(shù)來調(diào)節(jié)兩個目標的權(quán)重并決定哪個是主要的優(yōu)化目標。這一方法可以直接的擴展到多于兩個目標的情況。

我們能夠使用大量的例子來展示上述優(yōu)化模型是可以適配到實際的問題中去的。首先，考慮零售商要將收入目標整合到推薦分值里的情況。

整體的效用函數(shù)可以被期望毛利率定義，設 m(p)[0,1]∈為物品 p 的規(guī)范化毛利率，而被購買的概率則由排序位置的倒數(shù)表示(即在推薦列表里排序越低的的物品，其轉(zhuǎn)化概率越低）。

此處是概率規(guī)范化常數(shù)。綜合排序函數(shù)可以被定義為如下：

其中 β 是一個控制相關性和選取高毛利率產(chǎn)品之間的權(quán)衡的參數(shù)。這一參數(shù)決定了優(yōu)化問題（17）的主要目標。

根據(jù)次要目標重新排序的另一個例子是促銷特色商品，如打折產(chǎn)品或易腐貨物。效用函數(shù)可以指定為特選產(chǎn)品在有 K 個推薦項的推薦列表中的平均個數(shù)。

此處 F(·) 是特選標志當物品是特選時為 1，不是則為 0。綜合排序函數(shù)組合了相關性分值和特選標志，通過參數(shù) β 來權(quán)衡哪個是主要的優(yōu)化目標。

以上的排序函數(shù)能夠直接擴展到整合多個分離的特征，每個特征對最終排序分值的貢獻尤其對應的權(quán)衡參數(shù)（所有參數(shù)需要聯(lián)合起來優(yōu)化）：

關于問題（17）的數(shù)值優(yōu)化算法的細節(jié)可以在 [RP12]中找到。

1.3 問題3： 需求預測

1.3.1 問題定義

零售商為客戶提供一組產(chǎn)品。對給定產(chǎn)品的需求依賴于許多因素，包括產(chǎn)品本身的特性如價格或品牌，同類產(chǎn)品競爭對手的價格， 促銷活動，甚至是天氣。該問題的目標是整合這些因素來構(gòu)建需求模型并且允許進行假設分析以預測對價格變化的響應，品類的擴充和減少，計算最佳庫存水平，并分配貨架空間單位。

1.3.2 應用

在本節(jié)中我們將討論需求預測核心問題。這一問題可以被考慮為一個建造模塊，該模塊要求對影響需求的行為或者庫存水平的限制建模：

價格優(yōu)化，促銷活動計劃， 以及定向折扣。品類管理和計劃。庫存水平優(yōu)化。

需求預測模型通常應用在市場營銷活動設計中，因為這些模型能夠解釋需求回歸量的影響。例如，一個需求預測模型可以揭示某一產(chǎn)品的價格敏感性(當價格變化時需求有多少變化)與包裝大小和和銷售區(qū)域的人口特性緊密相關，這就暗示了可以在不同的商店使用不同的價格并對不同包裝的產(chǎn)品設定不同的單位毛利率。

我們將在后面的章節(jié)中把需求預測模型用在價格優(yōu)化和品類計劃問題上。

1.3.3 解決方案

需求預測可以被認為是一個相對簡單的數(shù)據(jù)挖掘問題，只需要建立一個回歸模型并用歷史數(shù)據(jù)進行評估。然而，設計回歸模型則不是那么簡單的事情，因為需求受到很多有著復雜依賴關系的因素的影響。

在本節(jié)中，我們將研究文獻 [KOK07]為 Albert Heijn（一家荷蘭的連鎖超市）構(gòu)建并驗證的回歸模型。這一模型基于早期的營銷研究如 [BG92]，以及時尚零售商如 RueLaLa[JH14]和 Zara[CA12]的實踐，這些實踐中應用了相似的模型。

然而，重要的是要理解不同的優(yōu)化問題需要不同的需求預測模型并且?guī)缀醪豢赡軜?gòu)建通用的需求模型來整合各種不同的需求影響因子。

我們從以下對一給定產(chǎn)品的需求模型開始：

此處：

V 是在給定時間窗口內(nèi)顧客到訪商店的數(shù)量，例如一天。

Pr(purchase | visit) 是客戶在逛商店期間購買任意商品的概率。

Pr(j | purchase) 是當客戶發(fā)生購買時在所有可選項中選擇產(chǎn)品的概率。

E{Q | j；purchase} 是當客戶選擇了產(chǎn)品并購買時購買數(shù)量(單位數(shù)量)的數(shù)學期望。

公式（22）中的所有因素都可以用店鋪的歷史交易數(shù)據(jù)來估計。需求通常與日期（周幾、節(jié)假日等）和店鋪（大小、鄰近區(qū)域的人口統(tǒng)計情況等等）相關，所以我們引入下標 t 和 h 來分別表示日期和店鋪，而估計的需求就是這些參數(shù)的函數(shù)。

另外，商店屬性，如大小、位置和平均消費者的收入可以納入模型作為回歸。根據(jù) [KOK07]，商店訪客的數(shù)量可以建模如下：

此處 Tt 是天氣溫度，Wt 是天氣舒適度指數(shù)(濕度、陰晴等)，Bti 和 Eti分別是表示一天是星期幾和公共假期的 0/1 啞變量，H 是公共假期的天數(shù)，而 α 是回歸系數(shù)。

購買事件是一個二值變量（購買/沒有購買），所以我們可以用一個標準的建模方法 - 將購買概率用一個 Sigmoid 函數(shù)來表達并從數(shù)據(jù)估計指數(shù)參數(shù)：

則 x 的回歸模是：

此處 Ajht 是啞變量，產(chǎn)品 j 在促銷時值為 1 否則為 0，Nh 是所有產(chǎn)品的數(shù)量，而 β4 對應的是促銷產(chǎn)品占整體銷售產(chǎn)品中的百分比。

Pr(j | purchase) 的估計則更為棘手一些。客戶選擇建模在本質(zhì)上是計量經(jīng)濟問題，是一個特別的經(jīng)濟學研究分支——選擇建模理論。選擇建模理論證明了多項 logit 模型（MNL）是有效的方法來對多個選項中選擇的概率進行建模。

此處會 i 迭代遍歷所有產(chǎn)品，yj 是一個參數(shù)變量。類似于購買事件的概率，我們對參數(shù) yj 建立了一個回歸模型：

此處系數(shù) Γn+1 和 數(shù) Γn+2 由所有產(chǎn)品共享，Rjht 和 R 分別是單個產(chǎn)品的價格和產(chǎn)品的平均價格，而 Ajht 和 A 是促銷啞變量和平均促銷率，如上面對購買可能性回歸模型描述的那樣。

最后，單位產(chǎn)品的平均銷售數(shù)量可以建模如下：

通過將上述模型代入根表達式（22），可以得到完全特別的需求預測模型。這一模型可以根據(jù)零售商的業(yè)務用例來調(diào)整，這些跳幀個可以通過增加更多的解釋性變量如營銷事件來完成。

1.4 問題4： 價格差異

1.4.1 問題定義

零售商向客戶提供一組產(chǎn)品時，針對每個用戶都制定不同的價格來最大化整體的收入。另外，該問題可以重新定義為提供定向折扣從而在基線價格上改變價格。

1.4.2 應用

價格差異被廣泛的應用在零售業(yè)并且存在非常多種顯性和隱性的形式：

優(yōu)惠券，店鋪級價格分區(qū)，和折扣都是價格差異的例子。

價格區(qū)分與通過數(shù)量折扣來提升銷售是相關的。

動態(tài)定價能用價格差異的原則和模型來增量的調(diào)整價格。

盡管我們在問題的定義中暗示了是細粒度的個體定價方式，但是這是非常極端的情況更多常見的方法是對大的客戶分群設置不同的價格。

1.4.3 解決方案

價格區(qū)分是最基礎的經(jīng)濟和營銷問題[SM11]，因此

此處 G 是利潤，Q 是銷售數(shù)量，P 是單位價格，V 是可變的單位成本（大致相當于零售商拿到的批發(fā)價格），而是固定成本如管理成本。公式（29）中的價格和銷量是互相依賴的，因為隨著價格的提高需求會下降，反之亦然。價格和銷量的關系通常可以用一個線性函數(shù)來逼近，這一函數(shù)具有一個一般被稱為需求彈性的系數(shù)：

換言之， 需求彈性是需求量的百分比變化與價格的百分比變化的比率。公式（29）和（30）可以可視化如下：

需求曲線是一條由需求彈性和零售商利潤定義的斜線，數(shù)值上等價于（Po-V） · Q0，此處 P0 是由零售商設定的單位產(chǎn)品價格。一方面，當價格接近可變成本時利潤趨近于 0，雖然銷售量很高。

另一方面，高價格將導致銷售量下降，結(jié)果利潤也會變得很小。這基本上意味著價格服從于一個數(shù)值優(yōu)化問題，并且零售商可以用統(tǒng)計技術(shù)來估計需求彈性并找到使得公式（29）最大化的最優(yōu)價格。

這一方法，即所謂計量價格優(yōu)化的實用性是比較有限的 [SM11]因為又公式（29）表達的模型過于簡化了市場行為并丟棄了在競爭市場中一些重要的影響價格-數(shù)量關系的因素。例如，價格大幅度下降可能會引發(fā)競爭對手降低整個行業(yè)價格的對稱反應，所以所有的市場參與者最終都會處于一個銷售量和利潤都較低的狀況。

盡管計量價格優(yōu)化有很多局限性，但公式（29-30）揭示了價格差異的本質(zhì)。對于任意一個價格, 無論它有多優(yōu)化，這一價格都是一種折衷。因為一些客戶會因為這一價格太貴而放棄購買，盡管他們可能愿意以更低的在 P0 和V 之間的價格（依然對兩種利潤是正向貢獻）購買該產(chǎn)品。

此外，一些客戶可以容忍高于 P0 的價格，盡管他們產(chǎn)生的銷售量會相對較小。在這兩種情況下，零售商無法獲取位于需求曲線和可變成本線圍成的三角區(qū)域之中的額外利潤。

價格差異是一種自然的方法來克服單一常規(guī)價格的限制，通過根據(jù)客戶的付款意愿將客戶分群并向不同的客戶群體提供不同的價格。考慮一個這種策略的特殊情況，在前一圖表的常規(guī)價格外補充了一個較高的溢價（注意與單一價格策略相比利潤區(qū)域如何增加）：

這一考慮帶來了零售商如何把相同的產(chǎn)品以不同的價格賣給不同的客戶這一挑戰(zhàn)性問題。一般而言，這需要在具有不同付費意愿的客戶之間設置區(qū)隔以使得高付費意愿的客戶不能以為低付費意愿客群設定的價格來付費。零售商可以使用如下幾種區(qū)隔機制：

店鋪區(qū)域：連鎖零售商店一般都位于不同的社區(qū)內(nèi)，這些社區(qū)具有不同的平均家庭收入、平均家庭規(guī)模、最近競爭商店距離等人口屬性和競爭性因素。這就自然對客戶的價格敏感性以及尋找替代供應商的能力或者意愿做了區(qū)分。這使得零售商可以在店鋪的級別上在不同區(qū)域設置不同的價格。

包裝大小：諸如軟飲料或化妝品之類的快速消費品（FMCG）具有較高的周轉(zhuǎn)率，消費者自然可以選擇是頻繁購買少量產(chǎn)品或者儲存大量的產(chǎn)品。這種權(quán)衡也受到諸如家庭規(guī)模等人口因素的影響。這一機制通過購買大型或小型包裝的意愿來創(chuàng)建區(qū)隔，并為不同包裝尺寸設置不同的單位邊際價格。買一送一（BOGO）優(yōu)惠也與此機制有關。

促銷活動：客戶可以根據(jù)他們是否愿意等待較低價格還是以正常價格立即購買來區(qū)分。此種客戶分群方式被廣泛應用于服飾領域，在該領域季節(jié)性促銷是主要的營銷機制之一。

優(yōu)惠券：許多客戶不會愿意以常規(guī)價格來購買某一產(chǎn)品，但是當有折扣價時卻會考慮購買。因此零售商可以從折扣中獲得額外的客戶，盡管他們貢獻的毛利率相較于那些以正常價格購買的產(chǎn)品的客戶較低。另一方面，向太過廣泛的受眾提供折扣可能是有害的，因為那些愿意以正常價格購買的客戶也會使用折扣（當沒有折扣的時候）。前面章節(jié)中討論過的響應建模技術(shù)有助于解決這一問題。然而有一種 19 世紀就存在的傳統(tǒng)解決方案——優(yōu)惠券。優(yōu)惠券代表需要付出一定努力才能賺取或兌換的價格折扣（例如，客戶必須在報紙上找到它，剪下來并在商店出示），這就通過花費時間和精力獲得折扣的意愿區(qū)分了客戶。

銷售渠道：不同的銷售渠道自然代表不同的區(qū)隔，因為客戶對購買渠道的選擇與他們的支付意愿密切相關。例如，與在雜貨店購買相同葡萄酒的顧客相比，酒類商店顧客的價格敏感性一直較低 [CU13]。

盡管這些技術(shù)已經(jīng)應用很久了，但是要建立一個完整的折扣優(yōu)化模型是非常挑戰(zhàn)的。并且，據(jù)我們所知，所有現(xiàn)有的模型都有這樣或者那樣的局限性。在本節(jié)剩下的部分我們考慮兩個價格差異模型，這兩個模型是根據(jù)美國超市（特別是 Safeway 在芝加哥子公司的數(shù)據(jù)）的數(shù)據(jù)設計并在這些數(shù)據(jù)上做過驗證的。

（1）基于數(shù)量和地點的差異

文獻 [KJ05]提出了這一模型，該模型的目標是聯(lián)合優(yōu)化基于包裝大小的數(shù)量折扣和店鋪級別的區(qū)域價格。這一模型與我們在需求預測章節(jié)中討論的模型非常相似，只是該模型引入了更多的包裝大小和折扣參數(shù)。

讓我們考慮這樣一種情況，一個零售商運營多個店鋪，銷售的某種產(chǎn)品也有幾種品牌，產(chǎn)品的規(guī)格也有幾種，例如可口可樂和百事可樂分別有 2 聽裝、4 聽裝和 6 聽裝。目標是優(yōu)化每種包裝的單位產(chǎn)品價格，這里假設單位產(chǎn)品價格是可以根據(jù)產(chǎn)品規(guī)格和店鋪來調(diào)整。我們從標準的多元邏輯特模型（multinomial logit - MNL）開始，這一模型在前一節(jié)需求預測中討論過。

它表示顧客在時間 t 在商店 s 購買產(chǎn)品 j 的概率，J 是產(chǎn)品的數(shù)量（所有品牌的所有規(guī)格加上）。時間以相對較長的時間間隔（如周）進行測量。參數(shù)變量 x 可以使用以下回歸模型進行估計：

此處 zj 是產(chǎn)品規(guī)格，Pjts 是價格，djts 是折扣力度（單位美元），ruts 整合了諸如最近競爭商店等競爭性因素，而 fjts 則整合了環(huán)境變化因素如天氣。因此， 回歸參數(shù) αk 基本上對應著客戶對品牌、規(guī)格的偏好、對價格的敏感性、對折扣的響應度、對競爭者的偏好、對變化因素的敏感性，以及折扣對價格敏感性的影響等等。

文獻 [KJ05]認為促銷案例中的價格敏感性回歸模型應該比以上僅用一個回歸量來表達價格敏感性更復雜，因為客戶會有囤積產(chǎn)品的情況，這就使得過去的促銷會提高其對當前產(chǎn)品價格的敏感性。這一方面可以通過將相應的回歸器分解為兩個部分來建模，如下所示：

以上公式中 α3 是平均敏感度而第二項則表示記憶效應。其中 W 是表示歷史深度，即過去的周數(shù)，p0 表示常規(guī)價格，而 p 是實際的折后價格。類似的，也有觀點認為對促銷的敏感性也與最近的促銷有關：

此處 wj 是最近的促銷活動過去的周數(shù)。促銷敏感性對 wj 依賴基于以下假設，兩次促銷之間的周期越長，則對促銷的響應度越高。

公式（31）允許我們預測銷售量，所以價格優(yōu)化問題能夠根據(jù)公式（29）分時間周期來定義：

以上公式中 cjt 表示批發(fā)價格，而 Qjt 表示預測的銷售量。此處的優(yōu)化約束條件是為了避免由市場競爭或者客戶行為等主要因素的變化引起的劇烈的價格變化和偏移。

文獻 [KJ05]提出了這一特殊的約束條件，這一約束要求優(yōu)化后的產(chǎn)品份額加權(quán)平均價格（表示產(chǎn)品的市場份額）不會超過優(yōu)化前的份額加權(quán)平局價格（表示原始價格）。這一優(yōu)化問題（35）可以在店鋪水平上得到求解，這意味著在規(guī)格和地點上都可以做差異化，或者僅在連鎖店級別上來差異化數(shù)量折扣。

（2）個性化折扣和優(yōu)惠券

盡管上面的模型在店鋪層面做價格差異也隱含了客戶層次上的價格差異，但是這一模型不是為單個客戶的折扣優(yōu)化來設計的。接下來我們考慮文獻 [JT13]提出的另一種模型，這一模型是為了專門優(yōu)化個性化折扣和優(yōu)惠券的。這一模型的主要優(yōu)勢是它不僅是優(yōu)化折扣的粒度，同時也嘗試為指定用戶提供折扣的最優(yōu)時間和折扣的最優(yōu)有效期。這些時間屬性上的優(yōu)化思想來自于以下假設：一個客戶購買的概率不是隨時間恒定的，而是會隨著時間變化的，因此對每一個用戶而言都存在最優(yōu)的折扣時間窗口。

這一模型的主要缺陷是其只能對特定品牌如廠商促銷來進行優(yōu)化，而不能用于品類管理。你為了對折扣的時間屬性建模，假設對產(chǎn)品的折扣力度為d，我們將客戶 u 在時間 t 購買產(chǎn)品的概率分解為購買產(chǎn)品的概率和客戶在在時刻 t 購買的概率乘積：

對給定產(chǎn)品的購買概率密度函數(shù)能夠用公式（31）中用過的 MNL 的模型來估計。在時刻時購買的概率密度函數(shù)在文獻 [JT13]中由厄蘭分布來建模：

此處參數(shù)變量 yu 可以用回歸模型來估計，該回歸模型與公式（31）中用來估計參數(shù)變量的類似，會用一個回歸量來描述折扣力度，因此之后可以對其進行優(yōu)化。

上面定義的購買概率使得我們能夠?qū)o定客戶的銷售量 Qu 作為折扣力度（以美元為單位）、折扣起始時間、和折扣周期的函數(shù)來建模：

以上推導可以使得我們導出如下毛利率優(yōu)化問題：

這里 m 是在正常價格下的毛利率。以上公式中的第一項對應著收入，收入由三個方面組成（促銷前的收入、促銷期間的收入和促銷后的收入）；第二項對應著營銷活動的成本。下圖描述了這一優(yōu)化問題：

頂部的第一個圖顯示了客戶 u 購買的概率密度函數(shù)曲線，此圖中對于給定產(chǎn)品在正常價格時的銷量對應著 S0 區(qū)域。一個固定的永久折扣增加的銷量對應的區(qū)域為 S1，因此總收入和促銷成本（如中間的圖所示）是與 S0 和S1 成正比的。

時間優(yōu)化的促折銷使得收入與 S0+S2 成正比， 其成本與 S02+S2（如底部的圖所示）。固定折扣促銷和時間優(yōu)化的促銷之間的這種差異表明在概率密度函數(shù)具有某些數(shù)量性質(zhì)時存在利用時間優(yōu)化來改善毛利率的潛力。

1.5 問題5：促銷活動規(guī)劃

1.5.1 問題定義

零售商向客戶提供一組產(chǎn)品時，針對每個用戶都制定不同的價格來最大化整體的收入。另外，該問題可以重新定義為提供定向折扣從而在基線價格上改變價格。

零售商準備一次促銷活動，即對某個或者一組特定商品進行有時限的折扣。對促銷活動的規(guī)劃需要估計到下列有關的值：

哪些產(chǎn)品的庫存需要避免在活動結(jié)束前缺貨？

什么樣的價格會最大化收入？價格可以考慮是一個恒定值或者是一個從活動開始到結(jié)束不同時間段的函數(shù)。

我們將考慮庫存水平是預先確定的，零售商試圖計算最優(yōu)價格這種情況。這是時尚零售商在處理季節(jié)性清倉和款式翻新 [JH14, CA12]中遇到的典型問題。這一問題可以以不同的方式來定義，如將需求預測和價格優(yōu)化作為獨立的問題來處理，也可以同時優(yōu)化庫存水平和價格，總之其目的是最大化收入。

1.5.2 應用

促銷活動的規(guī)劃在零售中有如下的應用：

清倉和季節(jié)性促銷是時尚零售業(yè)中的主要應用。

某些商業(yè)模式如快閃零售（也被稱為彈出零售）只有促銷活動一種銷售方式。

快消品和易腐品的零售商可以使用促銷活動策劃來調(diào)整銷售節(jié)奏與產(chǎn)品保質(zhì)期同步 。

1.5.3 解決方案

動態(tài)需求預測和價格優(yōu)化是經(jīng)濟學中所研究的基礎問題，被稱為收入管理。收入管理的理論在書籍如 [TA05]中有很好的闡釋和系統(tǒng)化的介紹。在服務業(yè)中的預定服務，如機票、體育場座位、酒店房間、租車等等場景中可以找到收入管理自動化的最先進和最有效率的例子。要理解這些技術(shù)可以如何在零售領域中使用，我們來考察由 RueLaLa（一個時尚零售商）提出來的方法論。

我們假設一個零售商計劃對 N 個產(chǎn)品或者產(chǎn)品組（產(chǎn)品組中的產(chǎn)品價格相同，如不同口味的酸奶，或者不同花色的 T 恤）進行打折。設 P 為價格集合，該集合包含每個產(chǎn)品可以設定的價格。在實踐中，P 通常是根據(jù)業(yè)務規(guī)則組成的比較小集合。例如，價格下限可以根據(jù)零售商的盈利水平定義為29.90, 價格調(diào)整幅度根據(jù)心理價格可以設定為 5 美元，則 P=$29.9，$34.9，$39.9，$44.9，$49.9。

假設促銷活動中的所有產(chǎn)品或者產(chǎn)品組都有某些共同點，例如同屬于相同的類目“女鞋”或者“平安夜食品”，因此對一個產(chǎn)品的需求潛在的依賴于其他可替代產(chǎn)品的價格。

通過引入變量 S，其等于所有參與促銷活動的競爭產(chǎn)品（產(chǎn)品組）的價格之和，而對某一產(chǎn)品估計的期望需求則為數(shù)學期望 E{Q | i，pj，S}，此處 Q是表示需求量的隨機變量，i=1，2，……，N 是產(chǎn)品的索引，而 j =1，2，……，|P| 是單個產(chǎn)品或產(chǎn)品組的價格。既然 Q 與產(chǎn)品價格 S 和都相關，這就隱含地包含了產(chǎn)品價格與可替代產(chǎn)品的評價價格的比值對需求和其彈性都是有影響的。

現(xiàn)在我們可以在假設 S 為固定的并對所有可能的 S 求解這一優(yōu)化問題[JH14]：

當產(chǎn)品 i 的價格為 pj 時，二值變量 δi,j0∈，1 為 1，否則為 0。上述優(yōu)化問題中的目標函數(shù)可以自然地表達為促銷活動的收入。第一項約束保證每個產(chǎn)品的價格都在 P 之中（原文可能有問題），而第二項約束保證所有產(chǎn)品的價格之和為 S。其他關于庫存水平的約束也可以加入到優(yōu)化問題中來。

以上的優(yōu)化問題需對需求 E{Q | i，pj，S} 做估計，這可以用前面章節(jié)中做需求預測和價格分群的技術(shù)來解決。然而，需要非常注意到缺貨（而且是可取的）是促銷活動中非常典型的情況，因此對很多產(chǎn)品的需求預測建模所要用到的歷史數(shù)據(jù)都是被截斷的。

正如 [JH14]中所建議的那樣，可以通過使用在此前促銷期間沒有缺貨的產(chǎn)品的數(shù)據(jù)為不同產(chǎn)品類別構(gòu)建畫像來解決此問題，并使用這些畫像來調(diào)整相應類別的需求曲線。

1.6 問題6： 類目管理

1.6.1 問題定義

零售商根據(jù)類目銷售產(chǎn)品。一個類目表示一組相對內(nèi)聚的產(chǎn)品，這些產(chǎn)品有很多共同點（如“甜點”、“女式牛仔”等），所以客戶有可能在他們的首選產(chǎn)品因某些原因缺貨時愿意用另一產(chǎn)品來替代。

產(chǎn)品缺貨的主要原因有永久性的品種減少（如因為有限的貨架空間）和暫時的性的售罄。類目管理的目標是利用替代效用用優(yōu)化方法計算出一個產(chǎn)品子集，這一子集在滿足物理約束如可用的貨架空間的情況下可以最大化毛利率。

1.6.2 應用

品類管理是一項相對專業(yè)化的工作，但是當目標是優(yōu)化一個產(chǎn)品類目的整體收益而不是一個單一產(chǎn)品的收益時，它也會涉及到在促銷優(yōu)化問題中存在的替代效應問題。零售商一般情況下對類目的整體收益的關心程度遠勝于對單個產(chǎn)品的優(yōu)化，因此在本節(jié)中討論的方法可以被用在很多不同的應用中以實現(xiàn)最優(yōu)解決方案。本節(jié)研究的模型可以直接應用于以下類目管理方式：

倉庫的產(chǎn)品庫存水平優(yōu)化。一個特別重要的應用是對易腐產(chǎn)品的庫存管理，這需要考慮到保質(zhì)期和過去產(chǎn)品造成的潛在損失。

優(yōu)化貨架的布局來調(diào)整相關產(chǎn)品的份額。

類目規(guī)劃（在類目中加入或者移除哪些產(chǎn)品）

1.6.3 解決方案

從計量經(jīng)濟學的角度來看，類目管理問題是由收益遞減規(guī)律引起的。或者更具體地說，收入和成本與類目的規(guī)模關系是不同的，總的趨勢是消費者購買能力在某個時候達到飽和，同時由于店鋪面積和其他運營成本的增加，成本持續(xù)增長：

這一趨勢引出了類目優(yōu)化問題。這是一個非常具有挑戰(zhàn)性的問題，因為它需要對整個類目中所有產(chǎn)品之間的相互依賴關系建模。然而，盡管面臨這些挑戰(zhàn)，在 [KOK07]中已經(jīng)提出了一種切實可行的類目優(yōu)化模型，并在荷蘭的連鎖超市 Albert Heijn 中應用。在研究這一方法之前，我們先引入下列符號：

N={1，2，……，J} - 零售商給用戶提供的一個類目下面的最大產(chǎn)品集合，即所有品類。

fi{0∈，1，2，……} - 產(chǎn)品 j 的庫存水平。零售商通過選擇 f 為 0（產(chǎn)品不出現(xiàn)在品類中）或者非 0 來優(yōu)化品類。

F0 - 統(tǒng)一庫存單位度量下的庫存總?cè)萘俊＿@里有個假設是所有產(chǎn)品的庫存水平之和不能超過 F0。庫存總?cè)萘靠梢杂蓚}庫或者店鋪的可用貨架空間所約束。

NhN - 店鋪 h 的品類，是總品類的子集。

dj 表示產(chǎn)品 j 的原始需求率（當所有 N 品類都展示給客戶時有多少顧客會選擇該產(chǎn)品）

Dj - 觀察到的產(chǎn)品的需求率（每天因為原始意愿或者替代效應而實際選擇產(chǎn)品 j 的數(shù)量）。對給定產(chǎn)品觀察到的需求與原始需求和其他產(chǎn)品的可獲得性（替代效應）有關系，其可以被視為函數(shù)：

Dj（{f1，……，fJ}，{d1，……，dJ}）

使用上述符號，品類優(yōu)化問題可以形式化如下：

其中毛利率 Gj 是給定產(chǎn)品和其對應的觀測需求的函數(shù)。這一函數(shù)很大程度上與零售商的商業(yè)模式有關，所以我們下面介紹一些通用的函數(shù)模板，基于這些模板可以根據(jù)實際的使用情況來定制毛利率函數(shù)：

公式(42)將觀測需求乘以毛利率 m，這是對毛利潤最簡單的建模方式。該公式隱含假設了補貨及時而沒有缺貨的情況。雜貨這樣的快消品正是屬于這種情況，但是在其他領域如服飾則必須如公式(43)那樣考慮缺貨的情況。銷售易腐貨物的零售商還要考慮貨損，公式(44)通過引入單位損失變量 L 來對此進行建模。

為討論方便，后面我們假設所有產(chǎn)品的補貨都是及時的，所以缺貨是不可能或者是可忽略的。因此我們可以將 j{0∈，1} 作為二值變量來表示產(chǎn)品是否在類目中。更復雜的處理缺貨的模型可以在 [KOK07]中找到。

要解決(41)中的優(yōu)化問題，我們需要定義觀測需求函數(shù)。在無缺貨假設下，需求函數(shù)可按照下面公式來建模：

其中 αk-j 是產(chǎn)品 k 被產(chǎn)品 j 替換的概率。上述公式是比較自明的：第一項是原始需求，而第二項是所有被從類目中移除的產(chǎn)品的累計替代需求。

公式(45)需要估計替代概率 αk-j 和原始需求率 dj。為了做這些估計，我們假設下列變量是已知的（我們已經(jīng)在本文的前面章節(jié)討論過需求預測）：

Qjh，jNh ∈– 每個客戶在店鋪對產(chǎn)品的需求。假設 Kh 是一天內(nèi)進過店鋪 h 的客戶數(shù)量， 則 Dj = Kh*Qjh。

Q0jh，jNh ∈- 每個客戶在店鋪 h 具有全品類產(chǎn)品時的需求(假設商店的品類是全的)。因為品類齊全所以不存在替代效應，因此 Q0jh 就是原始需求。

估計替代率 αk-j 是比較困難的事情因為產(chǎn)品集合 J 中有多達不同 J2的替代率。不過，[KOK07]找到了下述客戶行為的簡化模型，在實踐中這一模型有足夠的精度并僅需要用一個而不是 J2 個變量：如果產(chǎn)品 k 買不到，客戶會選擇其第二選擇產(chǎn)品來替代的概率為 δ，這一概率對一個類目下的所有產(chǎn)品都是一樣的，則客戶不買任何東西的概率為（1- δ）。這一模型引出了如下替代率的簡單公式：

為了估計 δ, 我們將給定店鋪的總需求定義為 Qjh（可由歷史數(shù)據(jù)來估計）之和，

另一方面，該值也可以根據(jù)公式(6.5)估計如下：

現(xiàn)在 δ 可以通過最小化總需求的實際值和預測值之間的差異來估計：

求解優(yōu)化問題(41)的下一步是計算公式(45)中使用的原始需求率。我們首先注意到店鋪 h 對 N 中所有產(chǎn)品的總需求可以按如下方式計算：

其中 Vh 是每天到訪店鋪 h 的客戶總數(shù)。在公式（50）中，所有 Q0jh 之和乘以 Vh 表示在給定全品類時的的總需求。然而的值時針對擁有全品類的店鋪估計得的，其值時與給定店鋪相關(如地點，店鋪面積等等)而沒有被建模的。這可以通過公式(47)估計的類目需求和從公式(48)預測的需求比值來補償調(diào)整。

在一個品類有限的店鋪，總需求是以下兩個部分的和：對給定店鋪品類中存在的商品的需求和對中其他產(chǎn)品的需求。兩部分的比率可以由表示如下：

自然的，Th*rh 表示對品類中存在的產(chǎn)品的需求分額，而（1- Th*rh）則表示對不在品類中的產(chǎn)品的需求份額。最后，我們對單一產(chǎn)品的需求可以當作是總需求的一部份來計算：

所有公式(52)和(49)中的系數(shù)都可以根據(jù)數(shù)據(jù)來估計，因此我們可以把所有公式展開到原始優(yōu)化問題(41)中，則這個問題可以使用提出的數(shù)值方法來求解。

公式(41)將為每個產(chǎn)品都產(chǎn)生一個假定的最有庫存水平 fj。這些庫存水平值可以用來調(diào)整庫存和優(yōu)化貨架布局。值得注意的是該模型使得零售商可以做假設分析來評估對品類和庫存水平的改變會如何影響毛利率。

例如，零售商可以畫出毛利率根據(jù)給定產(chǎn)品或者產(chǎn)品組的庫存水平變化的函數(shù)曲線。這些曲線對易腐產(chǎn)品尤其具有描述性，因為毛利率是凸函數(shù)，當庫存水平為 0 時函數(shù)值為 0，而當庫存水平過高時毛利率因為產(chǎn)品過期造成的損失也會為 0，毛利率的最優(yōu)值是在兩種極端情況之間。

1.7 問題7：財務影響

如果缺乏上述被討論的優(yōu)化方法的財務表現(xiàn)方面的數(shù)據(jù)，我們對這些方法和對應的數(shù)據(jù)問題的概述將是不完整的。盡管這些數(shù)據(jù)是不難獲取的，但對此我們?nèi)匀恍枰斏鲗Υ驗樨攧毡憩F(xiàn)與零售商的商業(yè)模型機密相關，并且事實上我們無法隔離其他環(huán)境因素如市場增長或者競爭對手的行動對優(yōu)化問題的影響。

除此之外，這些數(shù)字可能因很多因素而有很大的差異，所以本文中我們的目標只是提供一些基準，使得讀者可以對優(yōu)化的潛在幅度有所了解。以下列表收集了一些關于這些優(yōu)化方法對財務影響的實例：

響應模型廣泛用于整個營銷過程，從零售到推廣活動 [EP13]。經(jīng)常有報道稱，與隨機投放相比，響應模型可以將推廣活動的收益率提高 20-30%，而提升模型可以帶來 15% 左右的實質(zhì)性提升或在其他方法都不起作用的困難的情況下實現(xiàn)盈利 [PS08]。

在 RueLaLa 的實踐中對 [JH14]中提出的營銷活動優(yōu)化進行了全面評估，得出的一般結(jié)論是，綜合優(yōu)化模型比之前使用的啟發(fā)式算法能提高約 10% 的收入。 [CA12]中提出的并經(jīng) Zara 驗證過的事件優(yōu)化模型聲稱可提供5.8% 的收入增長。

類目管理框架已在 Albert Heijn 進行了驗證，以優(yōu)化 37 個商店中 25個子類別的分類。發(fā)現(xiàn)在這 25×37 = 1295 個情況中，使用傳統(tǒng)方法有 701 個不理想，在使用了新的類目管理方法進行優(yōu)化后可以提高約 6.2% 的毛利率。

最后，值得注意的是，大多數(shù)這里討論的優(yōu)化方法不會顯著的影響零售商的成本，因此收入的提升大概率的直接帶來凈利潤的提升。

2 結(jié)論

在前面的章節(jié)中我們概述了一些零售相關的計量經(jīng)濟學問題，給出了其應用和用例，并且闡述了可以應用到這些問題上的數(shù)據(jù)分析方法和優(yōu)化模型。在最后的一節(jié)中，我們將把上述這些模型聯(lián)系起來以提供一個全景式的總結(jié)。

由點到面：

本文的主要目的是描繪完全依賴于數(shù)據(jù)挖掘和數(shù)值優(yōu)化的決策自動化框架。因此，將這個框架可視化為一個消費數(shù)據(jù)并產(chǎn)生可執(zhí)行動作和決策的管道是合理的。

首先，我們可以將數(shù)據(jù)探索和知識發(fā)現(xiàn)流程放入一個單獨的層級中，該層級主要使用無監(jiān)督學習算法，并且主要依靠人為因素來評估數(shù)據(jù)挖掘結(jié)果，例如客戶群或者是購買產(chǎn)品的頻繁項集。

雖然這些過程在實踐中非常重要，但它們很難集成到自動優(yōu)化過程中來，因為模式的發(fā)掘通常依賴于手工流程而且通常相比于增量式優(yōu)化它對戰(zhàn)略決策更有用。不過這一層的輸出可以配置到下游的過程中，例如，新發(fā)現(xiàn)的客戶群可用于定義新的傾向模型或引入并優(yōu)化專屬折扣。

接下來的兩層分別與建模和優(yōu)化有關。廣義而言，建模層的基本目標是提供一個全面的消費者模型，定量描述他或她的價格敏感性，對活動和折扣的響應傾向，用一種產(chǎn)品替代另一種產(chǎn)品的意愿，對推薦的接受度，等等。

但是在實踐中建立這樣一個全面的模型是非常困難的，所以我們使用多種專用模型來處理不同的問題。然而，需要指出的是，這種想象中的消費者模型涉及到所有類型的優(yōu)化問題，因此獲取有關客戶行為各個方面的全面數(shù)據(jù)至關重要。

優(yōu)化層的主要挑戰(zhàn)是多目標的聯(lián)合優(yōu)化。聯(lián)合優(yōu)化對計算來說是一個嚴重的挑戰(zhàn)，而且最重要的是聯(lián)合優(yōu)化受到底層預測模型能力的限制，所以幾乎所有的優(yōu)化技術(shù)都只能處理一個或兩個目標。

我們把這些層都放到下圖中。組件之間存在許多可能的依賴關系和相互作用，因此我們僅展示了一個與響應建模相關的樣例程流，以免圖變得過于混亂。

定價的重要性

在這些不同的問題和目標中，我們需要非常重視定價決策以及所有于定價有著直接或間接關系的的優(yōu)化問題。讓我們用一個經(jīng)典例子來說明定價決策的重要性。會議一下企業(yè)利潤的基本公式：

其中 Q 是銷售量，P 是價格，V 是可變成本，而 C 表示固定成本。假設一個服裝零售商每月以 40 美元的單價銷售 10 萬件服裝，假設每件服裝的批發(fā)價是 25 美元而固定成本為一個月 50 萬美元。我們可以計算銷售量、價格、可變成本和固定成本在變化百分之一的情況下是如何影響利潤的：

在這個例子中，我們可以看到定價對利潤的影響比其他變量大得多。盡管這是一個過于簡單和任意的例子，這一模式在眾多不同行業(yè)的不同企業(yè)中存在。這使我們得到如下結(jié)論：零售商應特別關注與定價（折扣、個性化價格、動態(tài)定價等）有關的優(yōu)化方法以及支持這些方法的數(shù)據(jù)挖掘流程。

我們也注意到全渠道零售可以給自動定價優(yōu)化帶來新的機會。既然價格差異是最有力的定價技術(shù)之一，則定價優(yōu)化的理想環(huán)境是為每一個客戶提供顯示或隱式（折扣）的個性化價格，而且所有的價格是可以動態(tài)調(diào)整的。數(shù)字渠道恰好提供了這些條件，其中每個客戶都有自己獨立和動態(tài)的對零售商的視圖。

隱含維度的重要性：

如我們已經(jīng)提到的，許多零售業(yè)中的優(yōu)化問題與用戶的行為模型是內(nèi)在相關的。在個人客戶層面建立這種模型的能力是數(shù)據(jù)挖掘技術(shù)帶來的最重要的好處之一，也是一對一營銷的關鍵推動力。

客戶建模的最復雜的例子可以在推薦系統(tǒng)中找到，這些系統(tǒng)通常使用隱式維度的概念來捕捉客戶和產(chǎn)品的心理特征。這一概念非常的重要，它可能遠遠超出推薦系統(tǒng)的范圍，但據(jù)我們所知，它并沒有如期望的那樣在其他應用中被廣泛應用。這使我們得出這樣一個結(jié)論，即整體的優(yōu)化系統(tǒng)可以將推薦領域的最先進的技術(shù)應用到那些不常見的應用中而受益。

3 展望

在零售業(yè)中實現(xiàn)完全的自動化決策是極具雄心的。甚至可以說，在實踐中想要衡量這些優(yōu)化方法的表現(xiàn)幾乎是不可能的，因為觀察到的收益提升可能與市場趨勢，競爭對手的行動，顧客品味的變化以及其他因素相關。

這個問題在經(jīng)濟學教科書中被稱為內(nèi)生性問題，這對于數(shù)據(jù)驅(qū)動優(yōu)化技術(shù)的研發(fā)者和用戶來說都是一個巨大的挑戰(zhàn)，而且即使看起來成功的案例也會受到該問題的挑戰(zhàn)而顯得其結(jié)果沒那么可靠。

盡管如此，在過去的十年中，主要的零售商一直在尋求將數(shù)據(jù)挖掘與數(shù)值優(yōu)化技術(shù)結(jié)合在一起的技術(shù)的整體解決方案。這種先進的系統(tǒng)將是企業(yè)數(shù)據(jù)管理演進的下一個階段，它將遵循對數(shù)據(jù)倉庫的共識并大量采用數(shù)據(jù)學科學方法。