基于顧客到達(dá)和購(gòu)買(mǎi)數(shù)據(jù)的新品廣告預(yù)算分配學(xué)習(xí)算法

2023-01-27 10:45:52高秋爽黃帝媛楊超林

系統(tǒng)管理學(xué)報(bào) 2023年1期

關(guān)鍵詞：分配策略

高秋爽,黃帝媛,楊超林

(上海財(cái)經(jīng)大學(xué) 信息管理與工程學(xué)院交叉科學(xué)研究院,上海 200433)

數(shù)字技術(shù)的加速迭代和消費(fèi)力崛起催生出大量新品牌、新消費(fèi)領(lǐng)域和新消費(fèi)模式,新產(chǎn)品的打造成為平臺(tái)和企業(yè)增長(zhǎng)的重要?jiǎng)右颉Ｒ蕴熵垶榇淼碾娚唐脚_(tái)大力助推新品孵化與流通,新產(chǎn)品數(shù)量連年翻番,2020年天貓超三成交易由新品驅(qū)動(dòng)[1],2021年天貓將打造1萬(wàn)款千萬(wàn)級(jí)新品,助力2 000個(gè)品牌實(shí)現(xiàn)新品銷(xiāo)售額過(guò)億[2]。作為數(shù)字經(jīng)濟(jì)時(shí)代的新型生產(chǎn)要素,數(shù)據(jù)正驅(qū)動(dòng)著營(yíng)銷(xiāo)模式從粗放型向精細(xì)化轉(zhuǎn)變。如何高效利用有限營(yíng)銷(xiāo)資源觸達(dá)消費(fèi)者、洞察消費(fèi)者是企業(yè)能否制造 “爆款” 的關(guān)鍵。廣告宣傳能夠廣泛地向潛在客戶(hù)提供產(chǎn)品信息。合理分配廣告投入,利用有限預(yù)算最大化收益,是新產(chǎn)品推廣期間最為關(guān)鍵的營(yíng)銷(xiāo)策略之一。

廣告預(yù)算分配是營(yíng)銷(xiāo)研究中的經(jīng)典問(wèn)題,通常從消費(fèi)者對(duì)廣告的反饋入手,建立廣告投入和產(chǎn)品銷(xiāo)量之間的參數(shù)模型,其中最為經(jīng)典的是Nerlove-Arrow 模型[3]和Vidale-Wolfe模型[4]。前者提出了“商譽(yù)”這一概念,商譽(yù)表征了企業(yè)累計(jì)廣告投入對(duì)產(chǎn)品銷(xiāo)量的影響,隨著時(shí)間而衰減和廣告支出會(huì)增加企業(yè)的商譽(yù)。后者建立了銷(xiāo)售速率關(guān)于廣告投入的模型,該模型包括廣告效應(yīng)、銷(xiāo)售衰減和市場(chǎng)飽和水平3個(gè)參數(shù)。通過(guò)最大化無(wú)限期累積的貼現(xiàn)利潤(rùn),兩種模型都可以用來(lái)確定廣告投入策略。Sethi[5]給出了兩種模型的對(duì)比。后續(xù)一些學(xué)者在兩種模型的基礎(chǔ)上進(jìn)行拓展。Naik等[6]將過(guò)度曝光導(dǎo)致廣告效果下降的因素加入商譽(yù)模型。Feinberg[7]在Vidale-Wolfe模型的基礎(chǔ)上研究了S型廣告反饋模型的性質(zhì)等。另一些研究利用參數(shù)模型將廣告預(yù)算分配問(wèn)題拓展到更多應(yīng)用場(chǎng)景。Fischer等[8]考慮了具有多區(qū)域市場(chǎng)、多產(chǎn)品的動(dòng)態(tài)預(yù)算分配問(wèn)題。Güler[9]將預(yù)算分配問(wèn)題與報(bào)童模型相結(jié)合,分析了最優(yōu)策略的性質(zhì)。

近年來(lái),越來(lái)越多企業(yè)選擇以在線廣告的方式向消費(fèi)者展示產(chǎn)品,數(shù)字營(yíng)銷(xiāo)時(shí)代的來(lái)臨帶給企業(yè)海量數(shù)據(jù)輔助決策。經(jīng)典的參數(shù)模型通常假定廣告投入與銷(xiāo)量之間的關(guān)系服從某一特定函數(shù)形式,由固定的參數(shù)影響,欠缺利用數(shù)據(jù)更好地了解消費(fèi)者的能力。Besbes等[10]說(shuō)明了應(yīng)用參數(shù)模型時(shí),錯(cuò)誤的函數(shù)形式會(huì)導(dǎo)致策略收益偏離最佳收益。一些學(xué)者嘗試?yán)萌斯ぶ悄芗夹g(shù)解決這個(gè)問(wèn)題。Zhao等[11]建立了一個(gè)基于數(shù)據(jù)的預(yù)算分配框架,利用神經(jīng)網(wǎng)絡(luò)技術(shù),使用歷史數(shù)據(jù)預(yù)測(cè)每個(gè)細(xì)分市場(chǎng)的銷(xiāo)量與廣告投入之間的關(guān)系,建立優(yōu)化模型求解分配策略。此外,經(jīng)典模型一般認(rèn)為消費(fèi)者對(duì)廣告的反饋時(shí)間較長(zhǎng),廣告產(chǎn)生的影響將逐步作用于品牌,欠缺對(duì)消費(fèi)者的即時(shí)反饋快速響應(yīng)的能力。Luzon等[12]假設(shè)廣告投入將立即影響顧客到達(dá)人數(shù),建立了多種顧客到達(dá)人數(shù)關(guān)于廣告投入的參數(shù)模型。另一些研究利用多臂賭博機(jī)等強(qiáng)化學(xué)習(xí)技術(shù)為不同場(chǎng)景下的預(yù)算分配問(wèn)題提供了交互式的解決方案。Xiao等[13]考慮針對(duì)單個(gè)用戶(hù)的持續(xù)性廣告投放問(wèn)題,將持續(xù)投放廣告的過(guò)程建模為帶預(yù)算約束的馬爾可夫決策過(guò)程。Avadhanula等[14]使用UCB 算法解決了不同廣告競(jìng)價(jià)平臺(tái)分配預(yù)算問(wèn)題。Han等[15]將多智能體技術(shù)與湯普森采樣相結(jié)合,學(xué)習(xí)廣告投入與用戶(hù)反饋之間的關(guān)系。Zhao等[16]和Wu等[17]給出了使用深度強(qiáng)化學(xué)習(xí)解決競(jìng)價(jià)搜索廣告投放的方案。上述研究與本文提出的算法都具有學(xué)習(xí)能力,但這些文章在設(shè)計(jì)賭博機(jī)的反饋時(shí)僅考慮了最終的購(gòu)買(mǎi)行為,忽略了從顧客到達(dá)至達(dá)成購(gòu)買(mǎi)的階段信息。此外,本文提出的方法適用于有總庫(kù)存約束的場(chǎng)景。

非參數(shù)學(xué)習(xí)算法也可以用于求解廣告預(yù)算分配問(wèn)題,這種算法常被應(yīng)用于動(dòng)態(tài)定價(jià)問(wèn)題。動(dòng)態(tài)定價(jià)問(wèn)題中通常銷(xiāo)量由價(jià)格決定,在給定總庫(kù)存的情況下最大化企業(yè)利潤(rùn)。Besbes等[10]假設(shè)銷(xiāo)量關(guān)于價(jià)格函數(shù)形式未知,給出了使用非參數(shù)方法學(xué)習(xí)最優(yōu)定價(jià)策略的算法。在銷(xiāo)量函數(shù)具有Lipschitz連續(xù)性的情況下,當(dāng)市場(chǎng)規(guī)模為n時(shí),該算法的遺憾值上界為O(n-1/4(logn)1/2)。Wang等[18]提出了邊學(xué)邊做的動(dòng)態(tài)定價(jià)算法,在Besbes等的基礎(chǔ)上增加銷(xiāo)量函數(shù)是光滑的假設(shè)后,證明了策略的遺憾值上界為O(n-1/2(logn)4.5)。Avramidis[19]調(diào)整了問(wèn)題建模,假設(shè)銷(xiāo)量由固定顧客到達(dá)率和與價(jià)格相關(guān)的購(gòu)買(mǎi)概率的乘積決定,通過(guò)觀察不同價(jià)格下的顧客到達(dá)人數(shù)和銷(xiāo)量,估計(jì)到達(dá)率與購(gòu)買(mǎi)概率。在假設(shè)顧客到達(dá)函數(shù)性質(zhì)與文獻(xiàn)[10]中銷(xiāo)量函數(shù)的性質(zhì)一致的情況下,將遺憾值上界調(diào)整為O(n-1/4(logn)1/4)。Yang等[20]在Wang等算法的基礎(chǔ)上,同時(shí)考慮總預(yù)算約束和總庫(kù)存約束,提出了一種邊做邊學(xué)的非參數(shù)算法來(lái)學(xué)習(xí)廣告投入與銷(xiāo)量的關(guān)系。該策略的遺憾值上界為O(n-1/2(logn)5?+2)。

企業(yè)在互聯(lián)網(wǎng)上銷(xiāo)售產(chǎn)品的過(guò)程可劃分為“獲客”和“轉(zhuǎn)化”兩個(gè)階段。在獲客階段,企業(yè)通過(guò)投入廣告將潛在消費(fèi)者引流到消費(fèi)媒介上;在轉(zhuǎn)化階段,消費(fèi)者以一定概率達(dá)成購(gòu)買(mǎi)行為。對(duì)于成熟產(chǎn)品,企業(yè)可以利用歷史數(shù)據(jù)建立廣告投入與顧客到達(dá)人數(shù)的關(guān)系以及計(jì)算廣告的轉(zhuǎn)化率,聯(lián)合兩個(gè)過(guò)程的數(shù)據(jù)求解最優(yōu)廣告預(yù)算分配策略。對(duì)于處在導(dǎo)入期的新品,企業(yè)需要測(cè)試市場(chǎng)對(duì)廣告投入的反饋及評(píng)估產(chǎn)品本身對(duì)消費(fèi)者的吸引力。依托于數(shù)字營(yíng)銷(xiāo)技術(shù)的發(fā)展,企業(yè)可以直接通過(guò)在線廣告點(diǎn)擊率、產(chǎn)品瀏覽量、直播間觀看人數(shù)或應(yīng)用下載量等數(shù)據(jù)實(shí)時(shí)監(jiān)測(cè)廣告投放的效果,也可以通過(guò)實(shí)現(xiàn)的轉(zhuǎn)化率數(shù)據(jù)對(duì)產(chǎn)品的吸引力做出評(píng)估,確定最優(yōu)的廣告投放策略。針對(duì)這類(lèi)新品推廣期內(nèi)廣告投入分配的場(chǎng)景,本文將Yang等[20]的模型進(jìn)行了拓展,假設(shè)銷(xiāo)量由與廣告投入相關(guān)的顧客到達(dá)率和與產(chǎn)品屬性有關(guān)的購(gòu)買(mǎi)概率決定,設(shè)計(jì)了一種在給定總預(yù)算約束和總庫(kù)存約束的情況下,同時(shí)學(xué)習(xí)顧客到達(dá)人數(shù)與廣告投入的關(guān)系以及顧客購(gòu)買(mǎi)概率(轉(zhuǎn)化率)的非參數(shù)學(xué)習(xí)算法,并從理論上證明了策略的漸進(jìn)最優(yōu)性,算法的遺憾值上界為O(n-1/4(logn)1/4)。與Yang等的研究不同,本文提出的學(xué)習(xí)算法需要同時(shí)估計(jì)顧客的到達(dá)率函數(shù)及其轉(zhuǎn)化率,最終得出對(duì)需求率函數(shù)的估計(jì),Yang等則是直接對(duì)需求率函數(shù)進(jìn)行估計(jì)。對(duì)于遺憾值上界的分析,本文需要同時(shí)刻畫(huà)到達(dá)率函數(shù)和轉(zhuǎn)化率兩個(gè)估計(jì)量的誤差以及它們乘積的誤差,進(jìn)而刻畫(huà)出學(xué)習(xí)算法的遺憾值上界。數(shù)值實(shí)驗(yàn)表明,相較于直接估計(jì)需求率函數(shù)的方法,本文提出的算法具有更好的性能。對(duì)于遺憾值下界的分析,本文給出了比Yang等更一般的包含轉(zhuǎn)化率參數(shù)的到達(dá)率函數(shù)族,當(dāng)轉(zhuǎn)化率取值為1時(shí),本文的到達(dá)率函數(shù)族將退化為Yang 等給出的需求率函數(shù)族。Avramidis[19]通過(guò)估計(jì)顧客的到達(dá)率和轉(zhuǎn)化率來(lái)估計(jì)需求率函數(shù)。該文研究的是動(dòng)態(tài)定價(jià)問(wèn)題,其模型中顧客到達(dá)率是固定值,而轉(zhuǎn)化率是依賴(lài)于價(jià)格的函數(shù)。本文模型中顧客到達(dá)率是廣告投入的函數(shù),轉(zhuǎn)化率則是固定值。文獻(xiàn)[19]中對(duì)于遺憾值上界的分析無(wú)法直接運(yùn)用到本文模型的分析中。首先,廣告預(yù)算分配問(wèn)題與動(dòng)態(tài)定價(jià)問(wèn)題的收益率函數(shù)具有不同的結(jié)構(gòu);其次,定價(jià)問(wèn)題中只需要考慮庫(kù)存約束,而本文的廣告預(yù)算分配問(wèn)題需要同時(shí)考慮廣告預(yù)算和庫(kù)存約束的影響。

1 問(wèn)題描述與假設(shè)

考慮一個(gè)推廣期為T(mén)>0,廣告總預(yù)算為B>0,可用于銷(xiāo)售的產(chǎn)品庫(kù)存總量為x∈Z+的新產(chǎn)品,產(chǎn)品的邊際收益為w。企業(yè)需要在有限的推廣期內(nèi),在給定廣告預(yù)算和庫(kù)存總量約束的情況下為該產(chǎn)品確定廣告預(yù)算的分配策略。考慮的銷(xiāo)售場(chǎng)景為:推廣期內(nèi)顧客到達(dá)人數(shù)由每個(gè)時(shí)刻的廣告投入決定,到達(dá)的顧客中有一定比例的顧客會(huì)選擇購(gòu)買(mǎi)產(chǎn)品,即存在固定的購(gòu)買(mǎi)概率,每個(gè)顧客只會(huì)購(gòu)買(mǎi)一件產(chǎn)品,企業(yè)可以通過(guò)調(diào)整廣告投入來(lái)影響顧客到達(dá)人數(shù),從而影響產(chǎn)品的銷(xiāo)量。假設(shè)顧客的到達(dá)過(guò)程服從速率為λt的泊松過(guò)程,λt為t時(shí)刻的顧客到達(dá)率,λt由t時(shí)刻的廣告投入率即單位時(shí)間的廣告投入A t決定,λt=λ(A t)。定義廣告投入過(guò)程為:{A s:0≤s≤T},到達(dá)顧客的購(gòu)買(mǎi)概率為固定的常數(shù)q∈[0,1],則產(chǎn)品的實(shí)際需求過(guò)程服從速率為Λ(A t)的泊松分布,需求率Λ(A t)=qλ(A t)。在T時(shí)刻推廣期結(jié)束時(shí)銷(xiāo)售終止,剩余未被賣(mài)掉的產(chǎn)品沒(méi)有任何價(jià)值。

1.1 模型假設(shè)

假設(shè)廣告投入A t的取值集合為?,其中,?為產(chǎn)品全部銷(xiāo)售完且?guī)齑鏋?時(shí)應(yīng)用的廣告投入率,當(dāng)產(chǎn)品庫(kù)存為0時(shí)銷(xiāo)量一定為0,因此,有λ(?)=0。營(yíng)銷(xiāo)學(xué)文獻(xiàn)[21-22]中通常假設(shè)廣告反饋函數(shù)是關(guān)于廣告投入的凹函數(shù)[23-24]或S 型曲線[7,25],而大多數(shù)實(shí)踐經(jīng)驗(yàn)更傾向于認(rèn)為廣告反饋函數(shù)是凹函數(shù)[26]。Zhang等[27]也指出廣告競(jìng)價(jià)中的中標(biāo)率函數(shù)始終具有(近似)凹形。因此,本文假設(shè)顧客到達(dá)率函數(shù)λ(A)是隨著A單調(diào)遞增的凹函數(shù),其反函數(shù)為:A=a(λ)。收益率函數(shù)可以表示為:r(λ(A))=wqλ(A)-A,也是A的凹函數(shù)。在本文模型中,假設(shè)企業(yè)事先無(wú)法得知到達(dá)率函數(shù)λ(A)的具體形式以及購(gòu)買(mǎi)概率常數(shù)q的真實(shí)取值,只知方程λ(A)是屬于函數(shù)族的非負(fù)遞增的凹函數(shù),滿(mǎn)足以下條件:

本文需要制定一個(gè)合理的廣告預(yù)算分配策略,即決定廣告投入過(guò)程使整個(gè)推廣期的收益盡可能大。如果一個(gè)廣告投入過(guò)程{A t}在任意時(shí)刻t的取值只取決于過(guò)去的廣告投入{A u:u∈[0,t)}、過(guò)去的顧客到達(dá)人數(shù){N u:u∈[0,t)}和過(guò)去的需求數(shù){D u:u∈[0,t)},該過(guò)程{A t}被稱(chēng)為非預(yù)期的,即{A t}是關(guān)于域流

由于無(wú)法得知到達(dá)率函數(shù)的形式和購(gòu)買(mǎi)概率的真實(shí)取值,決策時(shí)已知的信息只有歷史上觀察到的顧客到達(dá)人數(shù)、實(shí)際購(gòu)買(mǎi)量以及到達(dá)率函數(shù)的函數(shù)族,無(wú)法直接對(duì)上述優(yōu)化問(wèn)題進(jìn)行求解。最優(yōu)策略為與已知完整信息,即λ的分布和q值的原問(wèn)題收益差距最小的策略。但在已知λ分布的情況下,計(jì)算原問(wèn)題的期望收益也十分復(fù)雜,需要求解一個(gè)動(dòng)態(tài)規(guī)劃問(wèn)題,故將策略與已知完整信息下的確定性松弛問(wèn)題進(jìn)行比較。文獻(xiàn)[20]中引理2證明了該確定性松弛問(wèn)題為所有可行策略的績(jī)效提供了一致的上界。因此,一個(gè)可行策略的績(jī)效與確定性松弛問(wèn)題的最優(yōu)收益的差距越小,其績(jī)效也越接近于原隨機(jī)問(wèn)題最優(yōu)策略的績(jī)效。

1.2 確定性松弛問(wèn)題

考慮上述決策問(wèn)題在已知完整信息時(shí)的確定性松弛問(wèn)題,假設(shè)到達(dá)率函數(shù)和購(gòu)買(mǎi)概率已知,且到達(dá)過(guò)程是確定性的,將上述問(wèn)題中的隨機(jī)變量用它們的均值來(lái)替代,即廣告投入為A時(shí)單位時(shí)間顧客到達(dá)人數(shù)均為λ(A)。確定性問(wèn)題J D(x,T,B|λ,q)的目標(biāo)為給定庫(kù)存總量x和廣告預(yù)算B時(shí)最大化推廣期[0,T]內(nèi)產(chǎn)生的總收益,可表述為:

上述確定性問(wèn)題具有兩個(gè)重要的性質(zhì):

其次,定義

1.3 策略π 的遺憾值

定義策略π的遺憾值:

遺憾值衡量了策略π下的期望收益相對(duì)于確定性問(wèn)題最優(yōu)值J D(x,T,B|λ,q)的績(jī)效損失比重,由于J D(x,T,B|λ,q)為所有可行策略π下的期望收益提供了上界,故遺憾值總是大于0。遺憾值越小,策略π的性能越好,越接近最優(yōu)策略。

由于企業(yè)無(wú)法得知真實(shí)的到達(dá)率函數(shù)和購(gòu)買(mǎi)概率,故需尋求一種魯棒的分配策略,使得在所有到達(dá)率函數(shù)中都能實(shí)現(xiàn)較小的遺憾值,因此,決策目標(biāo)可以認(rèn)為是選擇分配策略使得最壞情況下的遺憾值最小,即最小化但這個(gè)值很難估計(jì),故采用一種廣泛使用的漸進(jìn)性能分析技術(shù)。考慮一種初始庫(kù)存量、廣告預(yù)算和潛在需求量,按照市場(chǎng)規(guī)模成比例增長(zhǎng)的機(jī)制,即對(duì)于規(guī)模為n∈?+的市場(chǎng),初始庫(kù)存、廣告預(yù)算和到達(dá)率函數(shù)分別為:

購(gòu)買(mǎi)概率q和推廣期長(zhǎng)度T對(duì)于所有n的取值保持不變。規(guī)模為n的市場(chǎng)可以被看成包含n個(gè)獨(dú)立的原始市場(chǎng)的大市場(chǎng),企業(yè)可以同時(shí)在n個(gè)子市場(chǎng)中進(jìn)行廣告分配和銷(xiāo)售。用表示規(guī)模為n的市場(chǎng)中確定性問(wèn)題的最優(yōu)收益,顯然,

其中:

為廣告投入A D下的收益率。因此,有

1.4 符號(hào)說(shuō)明

符號(hào)及定義:

T——推廣期時(shí)長(zhǎng)

x——產(chǎn)品初始庫(kù)存量

B——計(jì)劃投入的廣告預(yù)算

w——產(chǎn)品邊際收益

n——市場(chǎng)規(guī)模

A t——t時(shí)刻的廣告投入率

λ(A)——顧客到達(dá)率函數(shù)

q——轉(zhuǎn)化率

a(λ)——λ(A)的反函數(shù)

r(A)——收益率函數(shù)

A u——r(A)的全局最優(yōu)解

A c——,到達(dá)率為即需求率為時(shí)對(duì)應(yīng)的廣告投入

A D——確定性松弛問(wèn)題的最優(yōu)解

π——廣告預(yù)算分配策略

τn——規(guī)模為n的市場(chǎng)中,算法學(xué)習(xí)階段的長(zhǎng)度

κn——規(guī)模為n的市場(chǎng)中,算法學(xué)習(xí)階段測(cè)試的廣告投入率個(gè)數(shù)

νn——在n個(gè)子市場(chǎng)中進(jìn)行測(cè)試的總時(shí)間段長(zhǎng)度νn=

Jπ——策略π下的期望收益

J D——確定性問(wèn)題的最優(yōu)收益

Y n——整個(gè)推廣期中的最大銷(xiāo)量

2 非參數(shù)廣告預(yù)算分配策略

本文將推廣期劃分為學(xué)習(xí)和廣告投入兩個(gè)階段。在學(xué)習(xí)階段,首先分配一部分預(yù)算來(lái)測(cè)試不同廣告投入下顧客到達(dá)人數(shù)和實(shí)際購(gòu)買(mǎi)人數(shù),從而對(duì)到達(dá)率函數(shù)和購(gòu)買(mǎi)概率進(jìn)行估計(jì),得到確定性問(wèn)題下的最優(yōu)解A D的估計(jì)值。在廣告投入階段,將按照學(xué)習(xí)到的最優(yōu)解進(jìn)行廣告投入并獲得收益。

設(shè)定學(xué)習(xí)階段的時(shí)間段為[0,τ],在學(xué)習(xí)階段測(cè)試κ個(gè)不同的廣告投入率取值,用A1,A2,…,Aκ表示廣告投入率區(qū)間[0,]內(nèi)的κ個(gè)不同取值,每個(gè)廣告投入率的測(cè)試時(shí)長(zhǎng)為:Δ=τ/κ。對(duì)于i=1,2,…,κ,在時(shí)間段[(i-1)Δ,iΔ]內(nèi)應(yīng)用廣告投入率A i,這段時(shí)間對(duì)應(yīng)的顧客到達(dá)人數(shù)為N i,實(shí)際購(gòu)買(mǎi)人數(shù)即實(shí)際銷(xiāo)量為S i。λ(A i)和q的估計(jì)量分別為:

當(dāng)學(xué)習(xí)階段的顧客到達(dá)總?cè)藬?shù)大于產(chǎn)品初始庫(kù)存量時(shí),產(chǎn)品庫(kù)存可能無(wú)法完全滿(mǎn)足顧客需求而發(fā)生缺貨,此時(shí)觀察到的實(shí)際銷(xiāo)量可能小于顧客對(duì)產(chǎn)品的真實(shí)需求,對(duì)購(gòu)買(mǎi)概率的估計(jì)會(huì)產(chǎn)生偏差,產(chǎn)品庫(kù)存消耗完畢時(shí)也無(wú)法對(duì)顧客到達(dá)率進(jìn)行準(zhǔn)確估計(jì)。定義學(xué)習(xí)階段的到達(dá)總?cè)藬?shù)為時(shí),上述估計(jì)方式將不再適用,此時(shí)選擇合適的隨機(jī)變量Z進(jìn)行估計(jì),因此,估計(jì)量可以表示為:

其中,I是示性函數(shù)。需要說(shuō)明的是,盡管這里分為兩種情況對(duì)λ(A i)和q進(jìn)行估計(jì),但本文將證明在后續(xù)給出的策略下,估計(jì)量Z1和Z2對(duì)應(yīng)事件發(fā)生的概率是“可忽略”的,故在學(xué)習(xí)算法中,它們的選擇并不影響算法的績(jī)效。例如,Z1可以選取為Z2可以選取為事實(shí)上,當(dāng)Z1和Z2對(duì)應(yīng)的事件發(fā)生時(shí),對(duì)λ(A i)和q的估計(jì)本身已經(jīng)沒(méi)有意義。此時(shí),要么意味著可用庫(kù)存已經(jīng)完全被消耗,要么意味著完全沒(méi)有顧客到達(dá)。

策略描述

(1) 初始化。

①設(shè)置學(xué)習(xí)階段時(shí)長(zhǎng)為τ,測(cè)試的廣告投入率個(gè)數(shù)為κ,每個(gè)廣告投入率的測(cè)試時(shí)長(zhǎng)Δ=τ/κ;

②將廣告投入率區(qū)間[0,]劃分κ個(gè)等距區(qū)間,取{A i:i=1,2,…,κ}為區(qū)間的左端點(diǎn)。

(2) 學(xué)習(xí)階段。

①當(dāng)i=1,2,…,κ時(shí),t i=iΔ,當(dāng)產(chǎn)品庫(kù)存大于0時(shí),在時(shí)間段[t i-1,t i]內(nèi)應(yīng)用廣告投入率A i;當(dāng)產(chǎn)品庫(kù)存等于0時(shí),應(yīng)用廣告投入率?直到時(shí)刻T并停止;

②時(shí)間段[t i-1,t i]內(nèi)到達(dá)的總?cè)藬?shù)為N i,實(shí)際銷(xiāo)量為S i,計(jì)算估計(jì)量為:

(4)廣告投入。在時(shí)間段(τ,T]中,只要剩余庫(kù)存和剩余預(yù)算大于0就應(yīng)用廣告投入率,當(dāng)庫(kù)存等于0時(shí),則應(yīng)用?直到T并停止;當(dāng)剩余廣告預(yù)算等于0時(shí),則不再投入廣告直到T并停止。

3 策略性能分析

首先構(gòu)造策略遺憾值的上界,證明策略具有漸進(jìn)最優(yōu)性,而后給出一個(gè)例子來(lái)構(gòu)造遺憾值下界,得到該場(chǎng)景下能實(shí)現(xiàn)的最優(yōu)漸進(jìn)性能。

3.1 策略遺憾值上界

對(duì)于規(guī)模為n的市場(chǎng),{A i,n:i=1,2,…,κn}為廣告預(yù)算分配算法π(τn,κn)學(xué)習(xí)階段在每個(gè)子市場(chǎng)內(nèi)待測(cè)試的κn個(gè)廣告投入率。令A(yù)=A i,n表示測(cè)試的第i個(gè)廣告投入率,在測(cè)試該廣告投入率的時(shí)間段Δn=τn/κn中,N i,n為n個(gè)子市場(chǎng)到達(dá)的顧客人數(shù)總和,服從均值為λ(A)nτn/κn的泊松分布。令νn=nτn/κn表示廣告投入率A在n個(gè)子市場(chǎng)中進(jìn)行測(cè)試的總時(shí)間段長(zhǎng)度,則應(yīng)用廣告投入率A時(shí)到達(dá)的人數(shù)為:N i,n～Poisson(λ(A)νn)。到達(dá)顧客中購(gòu)買(mǎi)產(chǎn)品的人數(shù)S i,n服從概率為q的二項(xiàng)分布,即S i,n|N i,n～Binomial(N i,n,q)。算法整個(gè)學(xué)習(xí)階段到達(dá)的顧客總?cè)藬?shù)為

當(dāng)學(xué)習(xí)階段到達(dá)人數(shù)超過(guò)庫(kù)存限制時(shí)將無(wú)法對(duì)λ和q進(jìn)行有效估計(jì),此時(shí)選擇合適的隨機(jī)變量Z作為估計(jì)量。

對(duì)策略遺憾值的上界進(jìn)行構(gòu)造和分析,得到的主要結(jié)論如下:

定理1的證明依賴(lài)于3個(gè)關(guān)鍵引理。引理1限制了算法對(duì)λ和q的估計(jì)偏差較大的概率,將在后續(xù)引理的證明中重復(fù)使用。引理2限制了估計(jì)值和確定性問(wèn)題最優(yōu)解A D下的策略收益的差距。引理3保證了超過(guò)初始庫(kù)存的期望銷(xiāo)量不會(huì)太高。定義

表示當(dāng)庫(kù)存充足時(shí)學(xué)習(xí)階段能實(shí)現(xiàn)的最大銷(xiāo)量,其中:

表示庫(kù)存充足時(shí)廣告投入階段的最大銷(xiāo)量;

為整個(gè)推廣期中的最大銷(xiāo)量。下面分別給出3 個(gè)引理。

證明見(jiàn)附錄A。

引理2定義:

證明見(jiàn)附錄B。

引理3對(duì)于某個(gè)常數(shù)K E>0,存在有限的都有E[(Y n -nx)+]≤K Enu n。

證明見(jiàn)附錄C。

定理1的證明

步驟1推導(dǎo)出策略πn下期望收益的下界。

使得對(duì)于所有的n≥

因?yàn)樗惴ㄖ蠥 i取[0,]區(qū)間κn個(gè)等分區(qū)間的左端點(diǎn),所以有

步驟2根據(jù)引理2中對(duì)估計(jì)值和確定性問(wèn)題最優(yōu)解A D下的策略收益差距的分析,

以及引理3 中對(duì)銷(xiāo)量的分析,E[(Y n -nx)+]≤K Enu n,進(jìn)一步推導(dǎo)期望收益下界,

其中,K1為某個(gè)常數(shù)。假設(shè)確定性問(wèn)題的最大收益存在正的下界:J D≥m D>0,則有

3.2 策略遺憾值下界

定理2證明了存在一類(lèi)滿(mǎn)足假設(shè)的到達(dá)率函數(shù),在該類(lèi)函數(shù)下沒(méi)有一種廣告投入策略能夠達(dá)到O(n-1/2)的漸進(jìn)遺憾值,即證明了該場(chǎng)景下遺憾值的下界。

定理2定義到達(dá)率函數(shù)

其中,z是屬于集合Z=[3/4,1]內(nèi)的參數(shù),q=1,w=1,1/2,T=1,B=1,K2是與問(wèn)題規(guī)模n無(wú)關(guān)的常數(shù),則對(duì)于任何可行策略π和n≥1,有

證明見(jiàn)附錄D。

這類(lèi)函數(shù)的主要特點(diǎn)是存在一個(gè)無(wú)信息點(diǎn)[18]。當(dāng)A=1/2時(shí),λ(A;z)=2/q,無(wú)論參數(shù)z取何值,到達(dá)率函數(shù)取值均為固定常數(shù)。在該廣告投入率下進(jìn)行實(shí)驗(yàn)將無(wú)法獲得關(guān)于到達(dá)率函數(shù)的任何信息。在這類(lèi)到達(dá)率函數(shù)下,為了有效地學(xué)習(xí)參數(shù)z,策略需要盡量在遠(yuǎn)離無(wú)信息點(diǎn)的廣告投入率上進(jìn)行實(shí)驗(yàn)。然而,當(dāng)最優(yōu)廣告投入率恰好是在無(wú)信息點(diǎn)上取值時(shí),策略遺憾值會(huì)很大。另一方面,如果策略不能有效地區(qū)分到達(dá)率函數(shù),則策略也會(huì)導(dǎo)致較大的收益損失。在這類(lèi)函數(shù)下的任意策略下最壞情況的遺憾值為O(n-1/2)。

4 數(shù)值實(shí)驗(yàn)

4.1 參數(shù)設(shè)置與實(shí)驗(yàn)流程

設(shè)置推廣期長(zhǎng)T=10,產(chǎn)品邊際收益w=2,真實(shí)購(gòu)買(mǎi)概率q=0.5,每個(gè)原始市場(chǎng)內(nèi)產(chǎn)品庫(kù)存總量為:x=20,推廣期內(nèi)廣告總預(yù)算為:B=20,每期廣告投入的上下限為。考慮3種單調(diào)遞增且為凹函數(shù)的到達(dá)率函數(shù):①平方根函數(shù)λ(A)=;②對(duì)數(shù)函數(shù)λ(A)=2log(A+1);③分?jǐn)?shù)函數(shù)λ(A)=9A/(A+5)。其中,函數(shù)平方根函數(shù)和對(duì)數(shù)函數(shù)為兩種常用的凹函數(shù),函數(shù)③是一個(gè)分?jǐn)?shù)函數(shù),文獻(xiàn)[27]中用它來(lái)描述和展示廣告競(jìng)價(jià)的中標(biāo)率函數(shù)。本文在市場(chǎng)規(guī)模取值為n=[102,103,104,105,106]時(shí)分別進(jìn)行實(shí)驗(yàn),設(shè)置學(xué)習(xí)階段時(shí)長(zhǎng)為,實(shí)驗(yàn)次數(shù)為

數(shù)值實(shí)驗(yàn)包括如下步驟:①參數(shù)初始化;②計(jì)算確定性問(wèn)題的最優(yōu)收益;③執(zhí)行廣告預(yù)算分配算法;④計(jì)算遺憾值。在算法實(shí)現(xiàn)過(guò)程中,首先根據(jù)實(shí)驗(yàn)次數(shù)κn將廣告投入?yún)^(qū)間進(jìn)行拆分,得到κn個(gè)進(jìn)行實(shí)驗(yàn)的廣告投入率A i,每個(gè)廣告投入率的實(shí)驗(yàn)時(shí)長(zhǎng)為:Δ=τn/κn,將A i分別代入上述3種到達(dá)率函數(shù)即可得到真實(shí)的到達(dá)率λi。由于到達(dá)過(guò)程是泊松過(guò)程,Δ時(shí)間段內(nèi)的到達(dá)人數(shù)可以由泊松分布隨機(jī)生成,實(shí)際購(gòu)買(mǎi)人數(shù)也可以由速率為λiq的泊松分布隨機(jī)生成,因而能夠收集到廣告投入率A i對(duì)應(yīng)的到達(dá)人數(shù)N i以及購(gòu)買(mǎi)人數(shù)Si,可分別對(duì)到達(dá)率函數(shù)和購(gòu)買(mǎi)概率進(jìn)行估計(jì)。在學(xué)習(xí)階段,算法得到了對(duì)最優(yōu)廣告投入的估計(jì),同時(shí)也消耗了一部分庫(kù)存和廣告預(yù)算,在后續(xù)的廣告投入階段,應(yīng)用學(xué)習(xí)到的最優(yōu)廣告投入并獲得收益,直到庫(kù)存或廣告預(yù)算消耗完為止,或整個(gè)推廣期結(jié)束。通過(guò)對(duì)推廣期內(nèi)每一期的收益進(jìn)行累加,可以得到整個(gè)策略對(duì)應(yīng)的總收益。

4.2 策略漸進(jìn)遺憾值驗(yàn)證

根據(jù)最優(yōu)解形式可以求解出確定性問(wèn)題理論上的最優(yōu)收益,將策略收益與其比較可以得到策略的遺憾值。實(shí)驗(yàn)中以重復(fù)實(shí)驗(yàn)103次的遺憾值的均值來(lái)衡量算法的性能,降低隨機(jī)誤差。圖1展示了市場(chǎng)規(guī)模n在102～106之間時(shí),3種不同形式的到達(dá)率函數(shù)得到的和log(n)之間的關(guān)系。由圖1可以看出,隨著市場(chǎng)規(guī)模n的增長(zhǎng),策略遺憾值總體上持續(xù)下降,逐漸收斂于0,且圖中曲線的斜率接近于-1/4。實(shí)驗(yàn)結(jié)果表明,算法在3 類(lèi)到達(dá)率函數(shù)下的漸進(jìn)性能都接近O(n-1/4(logn)1/4)的遺憾值。

圖1 廣告分配策略遺憾值隨市場(chǎng)規(guī)模變化情況

4.3 策略估計(jì)方法有效性驗(yàn)證

本文的創(chuàng)新點(diǎn)之一在于將Yang等[20]的模型進(jìn)行了拓展,假設(shè)銷(xiāo)量由與廣告投入相關(guān)的顧客到達(dá)率和與產(chǎn)品屬性有關(guān)的購(gòu)買(mǎi)概率決定,同時(shí)學(xué)習(xí)顧客到達(dá)人數(shù)與廣告投入的關(guān)系以及顧客購(gòu)買(mǎi)概率。Yang等的模型沒(méi)有對(duì)到達(dá)率和轉(zhuǎn)化率進(jìn)行區(qū)分,僅利用銷(xiāo)售數(shù)據(jù)學(xué)習(xí)廣告投入與購(gòu)買(mǎi)速率之間的關(guān)系。為了驗(yàn)證本文提出的分開(kāi)估計(jì)的算法的合理性與有效性,設(shè)計(jì)實(shí)驗(yàn)對(duì)比了本文中算法與僅利用銷(xiāo)量數(shù)據(jù)學(xué)習(xí)廣告投入與購(gòu)買(mǎi)速率的算法的效果。兩種算法的主要區(qū)別在于,在僅利用銷(xiāo)售數(shù)據(jù)的算法中,只利用實(shí)際銷(xiāo)量數(shù)據(jù)對(duì)參數(shù)λ(A)q整體進(jìn)行估計(jì),得到而本文算法中收集顧客到達(dá)人數(shù)和實(shí)際銷(xiāo)量?jī)刹糠謹(jǐn)?shù)據(jù),分別對(duì)參數(shù)λ(A)和q進(jìn)行估計(jì),使用兩個(gè)估計(jì)量的乘積作為λ(A)q的估計(jì)量。實(shí)驗(yàn)驗(yàn)證了相較于前者,本文的估計(jì)方法更加有效。在具體實(shí)驗(yàn)流程上,僅使用銷(xiāo)量數(shù)據(jù)的算法在學(xué)習(xí)階段收集廣告費(fèi)用A i對(duì)應(yīng)的購(gòu)買(mǎi)人數(shù)S i除以測(cè)試時(shí)間段長(zhǎng)度,得到對(duì)購(gòu)買(mǎi)速率的估計(jì)值;使用購(gòu)買(mǎi)速率估計(jì)值計(jì)算對(duì)最優(yōu)廣告投入的估計(jì),在廣告投入階段應(yīng)用最優(yōu)廣告投入估計(jì)值,計(jì)算學(xué)習(xí)階段的收益與廣告投入階段的收益總和,即為該算法下最優(yōu)策略對(duì)應(yīng)的收益,從而可以計(jì)算出該算法策略下的遺憾值。

圖2展示了市場(chǎng)規(guī)模n處于102～105之間時(shí),兩種算法下遺憾值結(jié)果隨市場(chǎng)規(guī)模變化的情況。其中,本文算法表示為Advertising algorithm,僅利用銷(xiāo)售數(shù)據(jù)算法表示為Only sale algorithm。本文算法的遺憾值始終小于僅利用銷(xiāo)售數(shù)據(jù)的算法。圖3展示了市場(chǎng)規(guī)模為104,轉(zhuǎn)化率在0.3～0.8之間時(shí),兩種算法下遺憾值結(jié)果隨市場(chǎng)規(guī)模變化的情況。由圖3可以看出,隨著轉(zhuǎn)化率的變動(dòng),本文算法的遺憾值始終小于僅利用銷(xiāo)售數(shù)據(jù)的算法。由兩個(gè)實(shí)驗(yàn)可以看出,在市場(chǎng)規(guī)模和實(shí)際轉(zhuǎn)化率發(fā)生變化時(shí),本文提出的算法始終具有更好的性能。

圖2 不同市場(chǎng)規(guī)模下廣告分配策略與僅利用銷(xiāo)售數(shù)據(jù)算法遺憾值對(duì)比

圖3 不同轉(zhuǎn)化率下廣告分配策略與僅利用銷(xiāo)售數(shù)據(jù)算法遺憾值對(duì)比

4.4 策略魯棒性驗(yàn)證

為了驗(yàn)證本文算法在不同應(yīng)用場(chǎng)景的效果,證明算法的魯棒性,對(duì)比了多組參數(shù)取值下策略的遺憾值。平方根函數(shù)中a分別取1、2和3,對(duì)數(shù)函數(shù)λ(A)=alog(A+b)中a、b分別取(3,1)、(4,1.1)和(5.5,1.3),分?jǐn)?shù)函數(shù)λ(A)=a A/(A+b)中a、b分別取(9,5)、(10,6)和(11,7)。實(shí)驗(yàn)結(jié)果如圖4所示,策略在不同參數(shù)下的表現(xiàn)較為穩(wěn)定,基本保持在O(K0(logn/n)1/4)的遺憾值,說(shuō)明策略在到達(dá)率形式和參數(shù)取不同值的場(chǎng)景中都能實(shí)現(xiàn)較好的效果,具有一定魯棒性,可以在各種業(yè)務(wù)場(chǎng)景中提供實(shí)際指導(dǎo)。

圖4 不同參數(shù)的到達(dá)率函數(shù)下廣告分配策略遺憾值隨市場(chǎng)規(guī)模變化情況

5 結(jié)語(yǔ)

本文研究了具有總預(yù)算約束和總庫(kù)存約束,且到達(dá)率函數(shù)和購(gòu)買(mǎi)概率未知情況下的廣告預(yù)算分配問(wèn)題。提出了一種非參數(shù)學(xué)習(xí)算法,首先在學(xué)習(xí)階段分配一部分預(yù)算來(lái)測(cè)試不同廣告投入下顧客到達(dá)人數(shù)和實(shí)際購(gòu)買(mǎi)人數(shù),從而對(duì)到達(dá)率函數(shù)和購(gòu)買(mǎi)概率進(jìn)行估計(jì),進(jìn)而得到最優(yōu)廣告投入的估計(jì)。首先證明了策略遺憾值的上界為O((log(n)/n)1/4),而后給出了一個(gè)例子來(lái)構(gòu)造遺憾值下界,得到該場(chǎng)景下能實(shí)現(xiàn)的最優(yōu)漸進(jìn)性能。針對(duì)多種類(lèi)型的到達(dá)率函數(shù)和不同參數(shù)設(shè)計(jì)了多組數(shù)值實(shí)驗(yàn)對(duì)理論結(jié)果進(jìn)行驗(yàn)證,實(shí)驗(yàn)結(jié)果表明,本文提出的學(xué)習(xí)策略相較于僅利用銷(xiāo)量數(shù)據(jù)學(xué)習(xí)廣告投入與銷(xiāo)量關(guān)系的算法具有更好的性能。

在本文所作分析的基礎(chǔ)上,還有一系列的問(wèn)題值得深入研究。例如,可以考慮廣告與定價(jià)的聯(lián)合決策問(wèn)題,廣告影響顧客到達(dá)率,而價(jià)格影響轉(zhuǎn)化率。此時(shí),如何設(shè)計(jì)高效的廣告預(yù)算分配與動(dòng)態(tài)定價(jià)聯(lián)合學(xué)習(xí)策略是很有意義的問(wèn)題。另外,本文只考慮了單商品、單一促銷(xiāo)渠道的問(wèn)題,如何將策略及其最優(yōu)性分析拓展到多商品、多促銷(xiāo)渠道問(wèn)題也是很有意義的研究方向。

附錄A

引理1的證明

步驟1給出輔助引理A.1及其證明。