基于社交媒體數(shù)據(jù)的貝葉斯A/B 檢驗

李薛莎，付英姿，薛 茜，夏思琴

（昆明理工大學(xué) 理學(xué)院，云南 昆明 650093）

0 引言

A/B 檢驗主要用于考察相對于原方案A，改進方案B 是否更優(yōu)。其基本思想是從包含實驗組和對照組的平行實驗中收集數(shù)據(jù)，并利用檢驗手段評估兩個方案中哪一組成功率更高，從而幫助決策者作出科學(xué)判斷。目前，A/B 檢驗已被廣泛應(yīng)用于生物醫(yī)學(xué)、藥學(xué)、心理學(xué)、社會行為學(xué)等多個領(lǐng)域。例如，醫(yī)藥公司常常利用A/B 檢驗考察所研發(fā)的新藥相較于傳統(tǒng)藥物，在療效方面是否更顯著。此外，A/B檢驗還可用來衡量心理干預(yù)是否能夠加快促進病人痊愈。在大數(shù)據(jù)背景下，社交媒體數(shù)據(jù)蘊含著巨大的商業(yè)價值，A/B 檢驗已被成功地運用到商業(yè)網(wǎng)站點擊率預(yù)測以及精準營銷方案的投放等多個應(yīng)用場景，然而從國內(nèi)外相關(guān)研究成果看，大多數(shù)研究還處于起步狀態(tài)。由此可見，對A/B 檢驗問題的研究有著巨大的探索空間和價值。

在經(jīng)典的假設(shè)檢驗問題中，A/B 檢驗可以理解為關(guān)于零假設(shè)的顯著性檢驗（Null Hypothesis Significance Testing，NHST），其相應(yīng)的p值表示樣本在原假設(shè)下出現(xiàn)極端事件的概率，即觀測到的顯著性水平。當(dāng)p值小于規(guī)定的顯著性水平α?xí)r，則拒絕原假設(shè)；否則，接受原假設(shè)。隨著研究的深入，人們發(fā)現(xiàn)經(jīng)典的檢驗方法存在諸多局限性，例如，Wagenmakers［1］研究表明，基于p值的假設(shè)檢驗存在邏輯和統(tǒng)計限制，它易受主觀意圖的影響，不能很好地量化統(tǒng)計證據(jù)；Gallistel 等［2］、Rouder 等［3］進一步指出，基于p值的經(jīng)典檢驗方法依賴于未觀察到的數(shù)據(jù)，難以對原假設(shè)提供足夠的支持。為此，Malek 等［4］對基于p值的經(jīng)典檢驗方法作出改進，使其能夠隨著數(shù)據(jù)的增加而自動進行校正，更多相關(guān)研究成果可參見文獻［5-7］。

眾所周知，貝葉斯方法的優(yōu)勢在于它能夠借助于優(yōu)良的先驗信息以提高檢驗精度，同時對樣本量沒有過多的限制。從貝葉斯的角度看，貝葉斯A/B 檢驗的關(guān)鍵是比較兩種方案下后驗概率的大小，其本質(zhì)是通過引入貝葉斯因子以實現(xiàn)模型間的比較和選擇。早在1935 年，Jeffreys［8-9］率先提出用于標準假設(shè)檢驗問題的貝葉斯因子，這為貝葉斯A/B 檢驗奠定了基礎(chǔ)。隨后，Kass 等［10-11］改進了Jeffreys 所提出的近似貝葉斯因子的方法，并將其應(yīng)用于兩個二項式比例相等性的檢驗問題上；Alexander 等［12］研究了兩個常見的基于貝葉斯因子假設(shè)檢驗的應(yīng)用場景，即檢驗正態(tài)均值的零度（即貝葉斯t檢驗）和檢驗相關(guān)性的零度問題，并將其應(yīng)用于心理學(xué)實驗。然而，從現(xiàn)有研究成果看，目前大多數(shù)研究僅考慮了兩個方案下成功概率是否相等的問題，還難以確定出最優(yōu)方案。為此，本文擬考慮如下3 類假設(shè)檢驗問題，即：①H0:P1=P2，H1:P1≠P2（兩個方案是否相等）；②H0:P1=P2，H+:P1P2（方案A 更優(yōu)）。

網(wǎng)頁改版能否帶來更多點擊率，從而為公司帶來更大利潤一直都是網(wǎng)絡(luò)公司關(guān)注的核心問題。為此，本文以硅谷前沿科技教育平臺優(yōu)達學(xué)城（Udacity）提供的新舊版本網(wǎng)頁點擊轉(zhuǎn)換率數(shù)據(jù)為例，建立了基于貝葉斯因子的A/B檢驗并挑選出最優(yōu)方案。具體地，首先建立貝葉斯框架下的二元Logistic 回歸模型以刻畫網(wǎng)頁改版前后的點擊率；在后驗概率的比較方面，其關(guān)鍵在于貝葉斯因子的計算，注意到貝葉斯因子是不同假設(shè)下邊際似然函數(shù)的比值，問題就進一步歸結(jié)為邊際似然的計算。為此，采用拉普拉斯近似方法解決上述問題，特別地，對于單邊假設(shè)（II）和（III）而言，本文在拉普拉斯近似的基礎(chǔ)上增加了重要性抽樣技術(shù)以更好地擬合尖峰厚尾分布。研究結(jié)果表明，對網(wǎng)頁的改版并不能有效地增加用戶點擊率。

1 模型與方法

1.1 假設(shè)檢驗問題提出

假設(shè)有兩個方案A 和B，方案A 表示原方案，方案B 則是對A 作出某些改進或調(diào)整后形成的新方案。令p1為方案A 的成功率，p2為方案B 的成功率。A/B 檢驗的目的是考察新方案對于原方案而言，在成功率上是否有所提高，與之對應(yīng)的假設(shè)檢驗問題為：原假設(shè)H0:P1=P2，備擇假設(shè)H1:P1≠P2。若接受原假設(shè)，則認為A、B 方案沒有區(qū)別；否則，認為兩個方案有區(qū)別。注意到，上述假設(shè)檢驗問題僅關(guān)注了A、B 方案是否等價，而無法確定哪一個方案更優(yōu)。為此，本文在經(jīng)典檢驗問題的基礎(chǔ)上又引出如下兩個單邊檢驗問題，分別為：H+:P1P2，表示方案A 的成功率大于B。在后續(xù)研究中，本文將重點討論如下3 類假設(shè)檢驗問題，即：（I）H0:P1=P2，H1:P1≠P2；（Ⅱ）H0:P1=P2，H+:P1P2。

1.2 二項分布與Logistic 回歸

在具體實施過程中，A/B 檢驗從包含實驗組（A）和對照組（B）的平行實驗中收集數(shù)據(jù)，并根據(jù)樣本計算出不同方案下的成功率以確定最優(yōu)方案。假設(shè)Y1為方案A 下的成功次數(shù)。顯然，Y1服從成功率為P1的二項分布，即其中N1表示方案A 的實驗總次數(shù)。同理，假設(shè)Y2為方案B 下的成功次數(shù)，即其中N2表示方案B 的實驗總次數(shù)。對于二項分布而言，Logistic 回歸是刻畫二項分布中成功概率P的通用選擇。為此，本文考慮如下典則聯(lián)系函數(shù)

經(jīng)典的假設(shè)檢驗問題需要比較兩個方案在成功率上是否相等，即需要考察假設(shè)檢驗問題H0:P1=P2，H1:P1≠P2，注意到：

可見，原假設(shè)檢驗問題與檢驗H0:η2-η1=0，H1:η2-η1≠0 是等價的。進一步地，若令ψ=η2-η1，原假設(shè)檢驗就退化為檢驗ψ是否為0 的問題。為了檢驗兩個二項式比例是否相等［11］，可構(gòu)建二元Logistic 回歸模型如下：

結(jié)合式（1）、式（2）則有：

①H0:P1=P2,H1:P1≠P2→H0:ψ=0,H1:ψ≠0；

②H0:P1=P2,H+:P10；

③H0:P1=P1,H-:P1>P2→H0:ψ=0,H-:ψ<0。

1.3 基于貝葉斯 檢驗的后驗推斷

1.3.1 貝葉斯因子及邊際似然計算

在貝葉斯框架下，貝葉斯因子［13］（Bayes Factor）量化了數(shù)據(jù)對原模型和備選模型的支持程度，是模型比較和選擇的重要統(tǒng)計量。其定義為：對于兩個模型H0、H1，其中H0表示原模型，H1表示競爭模型，假設(shè)數(shù)據(jù)集Y來自于H0、H1中的其中一個，分別對應(yīng)于邊際似然函數(shù)：和則有：

其被稱為用于比較原模型H0和備擇模型H1的貝葉斯因子。對于貝葉斯因子的解釋，一般認為，當(dāng)BF10<1 時，表明有證據(jù)支持原模型，即H0優(yōu)于H1；當(dāng)1

針對本文考慮的3 類假設(shè)檢驗問題：①H0:ψ=0,H1:ψ≠0；②H0:ψ=0,H+:ψ>0；③H0:ψ=0,H-:ψ<0。其 對應(yīng)的貝葉斯因子分別為：

如上所述，A/B 檢驗關(guān)注的是新方案相對于原方案是否有所改進。從貝葉斯的角度看，問題歸結(jié)于考察上述3類假設(shè)檢驗的后驗概率是否有所提升的問題。由貝葉斯定理可知，后驗概率比即后驗似然比與貝葉斯因子之間存在如下關(guān)系：

其中，P(Y|H0)表示原模型的邊際似然函數(shù)，表示備擇模型的邊際似然函數(shù)。

本文分別給出了3 類假設(shè)檢驗問題下貝葉斯因子的具體表達式：

（1）考慮H0:ψ=0，H1:ψ≠0，貝葉斯因子為：

（2）考慮H0:ψ=0，H+:ψ>0，貝葉斯因子為：

（3）考慮H0:ψ=0，H-:ψ<0，貝葉斯因子為：

1.3.2 拉普拉斯近似

由式（5）可知，后驗似然比由貝葉斯因子和先驗似然比兩部分構(gòu)成，而先驗似然比通常事先指定，于是問題的關(guān)鍵就歸結(jié)為如何計算貝葉斯因子。由式（6）—式（8）可知，貝葉斯因子定義為兩個競爭模型的邊際似然函數(shù)的比值，其計算涉及難以處理的復(fù)雜積分。為此，本文將采用拉普拉斯近似［14-15］（Laplace Approximation）的方法解決復(fù)雜積分求解問題。

拉普拉斯近似的基本思想是將難以求解的積分問題轉(zhuǎn)換為正態(tài)分布形式，以降低復(fù)雜積分求解難度。這種近似方法適用于被積函數(shù)是單峰時的情形，以確保拉普拉斯近似逼近收斂到唯一一個最大值。眾所周知，泰勒展開可以通過一個點對函數(shù)進行觀察，基于此，拉普拉斯近似通過對被積函數(shù)在眾數(shù)點（mode）的鄰域內(nèi)進行二階泰勒展開以近似積分，更多拉普拉斯近似的相關(guān)細節(jié)可參考附錄。

針對情形（1），考慮假設(shè)H0:ψ=0，由于在H0下模型只含有參數(shù)β，根據(jù)拉普拉斯近似有：

考慮備擇假設(shè)H1:ψ≠0，此時模型中含有兩個參數(shù)待估參數(shù)β和ψ，類似地，根據(jù)拉普拉斯近似有：

基于式（9）、式（10），可計算得到貝葉斯因子BF10，接下來將考慮BF+0和BF-0的計算問題。

1.3.3 重要性抽樣

顯然，單邊假設(shè)H+是下界為0 的截尾正態(tài)分布，H-是上界為0 的截尾正態(tài)分布，此時若繼續(xù)使用拉普拉斯近似方法，將會導(dǎo)致有偏甚至無效的統(tǒng)計推斷結(jié)論。為此，本文引入重要性抽樣［16-17］近似表示H+和H-下的邊際似然函數(shù)。

重要性抽樣突顯了被積函數(shù)中重要區(qū)域的貢獻，是蒙特卡洛方法（Monte Carlo，MCMC）中最有效的方差縮減技術(shù)。其主要思想是利用一個分布較簡單的函數(shù)（重要性密度函數(shù)）中大量樣本點的加權(quán)平均以近似積分過程。在模型H+、H-下分別令經(jīng)驗表明，當(dāng)多元t分布的自由度為5 時，對于尖峰厚尾的分布具有良好的擬合效果。因此，本文選取自由度為5 的多元t分布作為重要性密度函數(shù)。

針對情形（2），由于模型H0邊際似然函數(shù)在式（10）已計算出，因此只需計算模型H+的邊際似然函數(shù)，其近似結(jié)果為：

本文利用重要性重抽樣（SIR）方法獲取后驗樣本，基本思想是在重要性抽樣函數(shù)中抽取樣本，通過加權(quán)修正抽樣概率，使樣本中的每個觀測點依據(jù)概率再次抽樣，從而獲得后驗樣本。具體步驟如下：

（1）產(chǎn)生樣本。從給定參數(shù)的多元t分布函數(shù)tin中抽取N個獨立同分布的樣本β(n)、γ(n)，其中n=1...N。

（2）計算重要性權(quán)重：

（4）重采樣及算法監(jiān)控。使每一個觀測點以概率vn出現(xiàn)在N個樣本中，同時有放回地重新抽取樣本，直至的分布收斂到目標后驗分布。在收斂性方面，本文采用EPSR（Estimates Potential Scale Reduction）值以監(jiān)控算法收斂情況。

針對情形（3），由于模型H0邊際似然函數(shù)在式（10）已給出，只需計算模型H-下的邊際似然函數(shù)，其近似結(jié)果為：

模型H+和H-對應(yīng)的邊際似然函數(shù)近似計算結(jié)果如式（11）、式（13）所示，結(jié)合模型H0的邊際似然函數(shù)近似結(jié)果，可分別計算出貝葉斯因子BF+0和BF-0。

1.3.4 先驗設(shè)置

如上所述，當(dāng)β和ψ為零正交參數(shù)時，β不同的先驗設(shè)置對貝葉斯因子影響很小。然而，ψ反映出備擇假設(shè)與零假設(shè)之間的差異，因此對ψ的先驗設(shè)置至關(guān)重要。本文對參數(shù)β和ψ均考慮正態(tài)先驗，對于參數(shù)β，其先驗設(shè)定為標準正態(tài)分布，即β～N(0,1) 。對于模型H+:ψ>0，參數(shù)ψ的分布是一個下界為0 的截尾正態(tài)分布，而對于模型H-:ψ<0，ψ的分布是一個上界為0 的截尾正態(tài)分布。因此，本文考慮為了得到超參數(shù)μψ和σψ的具體取值，考慮如下最小二乘法（Least-squares minimization）以估計參數(shù)μψ、σψ。

其中，qi,i=1,...I表示分位數(shù)，pi,i=1,...I表示分位數(shù)對應(yīng)的概率值表示參數(shù)ψ的先驗累計分布函數(shù)，更多計算細節(jié)可參考文獻［18］。

基于貝葉斯因子，結(jié)合先驗概率比，可計算出后驗概率比。由于貝葉斯方法具有內(nèi)在一致性，即上一步的后驗可作為下一步的先驗，通過考察不同先驗設(shè)置下后驗概率的變化情況，可以量化數(shù)據(jù)對不同競爭模型的支持程度，從而進行模型與方案之間的選擇。

2 實例分析

本文利用硅谷前沿科技教育平臺優(yōu)達學(xué)城（Udacity）提供的新舊版本網(wǎng)頁點擊轉(zhuǎn)換率數(shù)據(jù)為例，說明本方法的適用性。該公司在舊版網(wǎng)頁的基礎(chǔ)上開發(fā)了一款新的網(wǎng)頁，將新版網(wǎng)頁投放到客戶端，嘗試增加用戶點擊率，期望讓更多的用戶愿意為產(chǎn)品付款，同時幫助公司了解實施新方案能否增加公司效益。該數(shù)據(jù)集共包含10 000 個樣本點，涉及舊版網(wǎng)頁（Old Page）點擊轉(zhuǎn)換率、新版網(wǎng)頁（New Page）點擊轉(zhuǎn)換率，記方案A 表示公司采用舊版網(wǎng)頁，方案B 表示公司采用新版網(wǎng)頁，并將用戶成功跳轉(zhuǎn)網(wǎng)頁并付款的事件記為“1”，反之記為“0”。

本文選取5 000 個實驗組使用舊版網(wǎng)頁，5 000 個對照組使用新版網(wǎng)頁，記錄每組中用戶的頁面使用情況。公司感興趣的是網(wǎng)頁改版能否增加點擊率，從而給公司帶來利潤。假設(shè)公司預(yù)期使用新版網(wǎng)頁點擊率提高15%，這里的15%對應(yīng)著絕對風(fēng)險的先驗中位數(shù)，其置信水平為95%的置信區(qū)間為[0.025,0.275]。本文為參數(shù)β、ψ分配正態(tài)分布先驗。如上所述，參數(shù)β先驗的改變對貝葉斯檢驗結(jié)果影響不大，因此考慮將其設(shè)置為標準正態(tài)分布，即β～N(0,1)，而參數(shù)ψ反映出備擇假設(shè)與零假設(shè)之間的差異，故ψ的先驗設(shè)置至關(guān)重要。Howard 等［19］表明當(dāng)成功概率P1非常（小）大時，成功概率P2也會非常（小）大，且二者具有相互依賴的關(guān)系。在此基礎(chǔ)上，本文同樣考慮，并使用最小二乘法估計超參數(shù)μψ、σψ，考慮取q=(0.025,0.15,0.275)，則對應(yīng)的概率值p=(0.025,0.5,0.975)，結(jié)合式（14）利用最小二乘估計計算出先驗設(shè)置結(jié)果如表1 所示。

Table 1 Results of prior setting表1 先驗設(shè)置結(jié)果

由上述分析可知，方案A 與B 相等、方案B 優(yōu)于A、方案B 劣于A 分別對應(yīng)于假設(shè)檢驗問題H0:ψ=0、H+:ψ>0、H-:ψ<0。不失一般性，將先驗概率的初值賦為貝葉斯因子的計算結(jié)果分別為BF10=0.011，BF+0=0.01，BF-0=0.379，均小于1，表明有證據(jù)支持零假設(shè)，即P1=P2。根據(jù)計算出的貝葉斯因子，在給定先驗概率的情形下，計算出不同假設(shè)模型下的后驗概率，結(jié)果如表2 所示。

Table 2 Posterior probabilities of different models表2 不同模型下的后驗概率

通過表2 可以發(fā)現(xiàn)，模型H0:ψ=0（p1=p2）的后驗概率較先驗概率提升較明顯，概率由0.5 增長到0.837，模型H+:ψ>0（p1p2）的概率從0.25 下降到0.159，結(jié)果說明相對于原方案A，改進方案B 并不能有效地改善網(wǎng)頁點擊率。貝葉斯A/B 檢驗中參數(shù)估計結(jié)果如表3 所示。

觀察表3 可以看出，P1的估計值為0.120，P2的估計值為0.129，二者差距不明顯，數(shù)據(jù)表明支持零假設(shè)H0:ψ=0，即P1=P2。因此，有理由認為改進后的網(wǎng)頁并不能給公司增加預(yù)期點擊率及利潤回饋，但實際上存在這樣一種可能，即新版網(wǎng)頁確實能夠增加網(wǎng)頁點擊率，但是改善效果并沒有公司預(yù)期高。為了評估這種可能，本文利用貝葉斯絕對風(fēng)險度量這種可能性，結(jié)果如圖1 所示。

Table 3 Results of parameter estimation表3 參數(shù)估計結(jié)果

Fig.1 Absolute risk圖1 絕對風(fēng)險

其中，后驗中值為0.008，95%的置信區(qū)間為［-0.004，0.021］。從圖1 可以看出，在兩個成功概率的差值不完全為0 的情況下，絕對風(fēng)險的后驗中值小于先驗中值。因此，可以認為對網(wǎng)頁進行改版確實可以增加網(wǎng)頁點擊率，但是改善的效果遠低于公司預(yù)期。

由此可知，參數(shù)ψ表示對數(shù)優(yōu)比，它可以反映出其他假設(shè)與零假設(shè)H0之間的差異程度。為了進一步證實改版網(wǎng)頁對增加點擊率是否有效，本文繪制出關(guān)于參數(shù)ψ（對數(shù)比值比）的先驗分布與后驗分布圖像，如圖2 所示。

Fig.2 Log odds ratio圖2 對數(shù)優(yōu)比

其中，后驗中值為0.078，95% 的置信區(qū)間［-0.038，0.195］。從圖2 可以看出，對數(shù)優(yōu)比的后驗分布中值小于先驗分布中值。可以看出，Udacity 平臺推出新網(wǎng)頁后，對網(wǎng)頁點擊率有一定促進作用，但是低于公司預(yù)期。因此，公司可以考慮不對網(wǎng)頁進行更換。

3 結(jié)語

本文以硅谷前沿科技教育平臺優(yōu)達學(xué)城（Udacity）提供的新舊版本網(wǎng)頁點擊轉(zhuǎn)換數(shù)據(jù)為例，通過構(gòu)建完整貝葉斯框架下的二元Logistic 回歸模型與后驗?zāi)M算法對新舊版本網(wǎng)頁點擊率進行A/B 檢驗。研究結(jié)果顯示，公司改版后的網(wǎng)頁對于增加點擊率從而增加公司收益的作用并不明顯，因此對于網(wǎng)頁更換可以酌情考慮。針對不同的領(lǐng)域，該方法可以應(yīng)用于醫(yī)療行業(yè)、心理學(xué)行業(yè)等，以幫助解決實際問題。本文主要研究了貝葉斯框架下A/B 檢驗在商業(yè)方面的應(yīng)用及推廣，其研究成果對于企業(yè)網(wǎng)頁改版具有重要參考價值及指導(dǎo)意義。然而，本文僅考慮了基于兩組方案數(shù)據(jù)（A 組和B 組）的貝葉斯A/B 檢驗，事實上，為了考慮更多的可能性，通常需要比較兩個以上的方案，從而選擇其中最優(yōu)的一個方案。例如，當(dāng)實驗方案組別增加至3組時（A 組、B 組、C 組），可以使用貝葉斯損失函數(shù)衡量不同方案成功概率的大小，從而選擇最優(yōu)方案［20］。