您的當前位置： 發(fā)布時(shí)間：2026-05-05 10:56:14 瀏覽：526 次
增長(cháng)??工作中，關(guān)于個(gè)實(shí)AB測試可以說(shuō)是增長(cháng)被奉為圭臬的方法，也是測試B測產(chǎn)品/運營(yíng)同學(xué)們???信手拈來(lái)的工具。工作對AB測試接觸使用較多，分享但也有了更多的際使鍵事經(jīng)驗教訓以及學(xué)習思考。
這次分享5個(gè)實(shí)際使用AB測試中的試中關(guān)鍵事項，一起來(lái)交流避??坑。關(guān)于個(gè)實(shí)
一、增長(cháng)樣本規模預估
AB測試(shi)中，測試B測對照組和實(shí)驗組的分享樣本量越大，實(shí)驗時(shí)ヽ(′ー｀)ノ間越長(cháng)，際使鍵事實(shí)驗結果就更加準確。試中
這可以說(shuō)是關(guān)于??個(gè)實(shí)常識性的判斷，(′▽?zhuān)?但是增長(cháng)實(shí)際上這是由統計顯著(zhù)性決定(′▽?zhuān)?的：
統計顯著(zhù)性是指對照組和??實(shí)驗組的數據差異有多大可能是真實(shí)存在的，而不是測試ヽ(′?｀)ノB測隨機誤差導致的。
所以周期更久、樣本量更多的AB測試更有(/ω＼)說(shuō)服力，但是實(shí)際工作中(′?｀)，產(chǎn)品或活動(dòng)的迭代速度快，這就要求AB測試的實(shí)驗周期不能過(guò)長(cháng)，所以在A(yíng)B測試前對樣本規模進(jìn)行預估至關(guān)重要。
計算樣本量的方法有些復雜，對于丟棄高數、概率論多年的打工人來(lái)說(shuō)，還是建議求助于數據分析同學(xué)。推薦一個(gè)在線(xiàn)樣本預估計算器：
在這個(gè)樣本數量計算器中(zhong)，輸入原始版本轉化率（已知），再輸入優(yōu)化版本的轉化率（預期），同時(shí)設置統計顯著(zhù)性水平，一般達到95%以上即是顯著(zhù)差異。這樣就可以快速得(T_T)到一個(gè)樣本數量結果。
如上圖，如果原始版轉化率是10%，優(yōu)化的新版??本轉化率預期ヽ(′▽?zhuān)?/是12%，在進(jìn)行AB測試時(shí)，每組用戶(hù)??樣本數據達到2900以上時(shí)，才能說(shuō)明這個(gè)新版本轉化率的是顯著(zhù)差異，是可信的。
如果可信的A(????)B測試每組實(shí)驗需要2900個(gè)樣本量，但是我們的產(chǎn)品每天只有200的日活用戶(hù)，分成兩組后每組只有100用戶(hù)，則2900/1??00=29天ヽ(′▽?zhuān)?ノ，意味著(zhù)AB測試實(shí)驗需要29天后才可達到需要的樣本量。
二、測試結果分析
樣本規模預估是在A(yíng)B測試前進(jìn)行，因為優(yōu)化版本的轉(zhuan)化數據是預估??的，所以樣本量和實(shí)驗周期都是預估數據，幫助我們在A(yíng)B測試前對測試樣本和周期有個(gè)初步判斷。
在實(shí)際的AB測試實(shí)驗結束后??，我們還需要ヽ(′ー｀)ノ對實(shí)際的結果數據進(jìn)行統計顯著(zhù)性檢驗，保證對照組和實(shí)驗組的數據差異是顯著(zhù)可信的。同樣有(you)一個(gè)在線(xiàn)工具：
在這個(gè)工具中，我??們輸入AB兩(liang)組的實(shí)際數據，就可(′▽?zhuān)?以清楚看到兩者轉化率的差異，以及試驗(yan)結果的統計顯著(zhù)性結果。
以上圖為例，雖然B組的轉化率比A組高，但是因為樣本量較小，試驗結果沒(méi)有達到顯著(zhù)的(de)統計學(xué)差異，所以??我們不能得出B組優(yōu)化比A組更好的結論。
這個(gè)時(shí)候有兩種選擇，一是繼續實(shí)驗，積累更多的實(shí)驗數據后進(jìn)ヽ(′ー｀)ノ行分析，二是放棄實(shí)驗，得出此??次優(yōu)化沒(méi)有明顯提升的結論。
也不是說(shuō)繼續實(shí)驗一定會(huì )得??出顯著(zhù)性差異┐(′?｀)┌，如果樣本量繼續增大(da)，但是轉化率差異減小，就意味著(zhù)需要更多的樣ヽ(′▽?zhuān)?ノ本量，這種情況往往說(shuō)明兩個(gè)版本的差異確實(shí)不大，但是也需(′?_?`)要根據實(shí)際情況判斷是否需要停止AB測試。
三、反向相關(guān)指標
什么是反向指標？反向指??標就是AB測試實(shí)驗中可能會(huì )負面影響的指標。
舉一個(gè)簡(jiǎn)單的例子：
AB實(shí)驗為了提升ヽ(′ー｀)ノ新用戶(hù)注冊率，于是在新版本中過(guò)度包裝(′?_?`)了新人權益，雖然提ヽ(′?｀)ノ升了新用(yong)戶(hù)注??冊率，但是因為用戶(hù)預期管理不足，新用戶(hù)注冊后發(fā)現實(shí)際的新人權益大打折扣，對產(chǎn)品產(chǎn)生不滿(mǎn)的情緒，導致新用戶(hù)首單轉化率降低。
新用戶(hù)首單轉化率??在這個(gè)實(shí)驗中就是一個(gè)值得關(guān)注的反向指標。
AB測試為了實(shí)驗的速度和效果，往往會(huì )關(guān)注少部分關(guān)鍵流程節??點(diǎn)和核心指標，但是忽略反向指標，卻有得不償失的風(fēng)險。
四、辛普森悖論
辛普森悖論是指：某些條件下的兩組數據，分別討論時(shí)都會(huì )滿(mǎn)足某種性質(zhì)，可是一旦合并考慮，卻可能導??致相反的結論。這個(gè)理論由(′_｀)英國統計學(xué)家辛普森提出。
還是舉一個(gè)簡(jiǎn)單的例子，在對新用戶(hù)首??購流程的AB測試實(shí)驗中：
首日，A組轉化率??是10%??（10/100），B組轉化率是12%（120/1000）；
次日，A組轉化率是15%（150/1000），B組轉化率是16%（160/1000）；
兩日分別看，B??組的轉化率都高于A(yíng)組(zu)。
但是合計起來(lái)看，A組轉化率是14.5%（160/1100），B組轉化率14%（280/2000）；
這樣合計數據A(T_T)組的??轉化率卻高于B組。所以在分析時(shí)就無(wú)法直接判斷實(shí)驗結果。
辛普??森悖論的存在，對AB測試提出了更多的要求，用戶(hù)樣本的合理選擇、樣本量的監控調整、全面的數(╯°□°）╯︵ ┻━┻據分ヽ(′ー｀)ノ析等。
例子中導致分日和合計數據結論相反的原因就是首日A組和B組樣本量差別較大。
五、分層實(shí)驗
對于大體量的產(chǎn)品和完善的增長(cháng)團隊，會(huì )存在(?????)多個(gè)AB測試同時(shí)(′▽?zhuān)?進(jìn)??行的(′?_?`)情況，這就需要考慮分層實(shí)驗。
分層實(shí)驗是指，將多個(gè)(′_ゝ`)實(shí)驗建立起分層結構，每一層實(shí)驗使用過(guò)的流(◎_◎;)量，下一層的實(shí)驗可以繼續用。有些不是很好理解，繼續舉個(gè)例子：
以電商產(chǎn)品的新人流程為例，ヽ(′ー｀)ノ新用戶(hù)下載打開(kāi)APP后，首頁(yè)有新人禮包的入口，點(diǎn)擊進(jìn)入后可以查看新人權益和優(yōu)惠商品，新用戶(hù)查看新人商品后完成下單，這就是新用戶(hù)轉化的基本路(lu)徑。
在首頁(yè)展示上，同時(shí)進(jìn)行了按鈕顏色和引導文案的AB實(shí)驗，為了保證變量的唯一性，按鈕顏色實(shí)驗中，包括文案等其他內容完全是一致的，文案實(shí)驗中，包括按鈕顏色等其他內容也是完全一致的。這就需要把100%的流量分成2部分，假設為各50%，即50%用戶(hù)進(jìn)行按鈕顏色實(shí)驗（25%看到紅色按鈕，25%看到黃色按鈕，兩組文案一致），其余50%用戶(hù)進(jìn)行文案實(shí)驗（25%看到“領(lǐng)取權益”文案，25%看到“1元下單”文案，兩組按鈕顏色一致）。
進(jìn)入到新人頁(yè)面之后，對權益展示的方式又進(jìn)行了AB實(shí)驗，從第一層（首頁(yè)）來(lái)的??流量（??100%）都進(jìn)行權益展示的AB實(shí)驗，來(lái)自第一層100%的??流量剛進(jìn)行了按鈕顏色和文案的實(shí)驗，為了避免上層(╬?益?)實(shí)驗對權益展示實(shí)驗的影響，從上層來(lái)的流量要隨機分配到權益展示實(shí)驗的AB兩組(′ω｀)，這(zhe)就是分層實(shí)(shi)驗中的流量正交，均勻分配上層流量。
分層實(shí)驗在??實(shí)際工作中不多見(jiàn)，但是成熟的產(chǎn)品必須要考慮這種情況的存在，才能更高??效地更科學(xué)的同時(shí)進(jìn)行多個(gè)AB實(shí)驗。各團隊間也要保持溝通，避免單打獨斗進(jìn)行實(shí)驗，卻不知被???對方的實(shí)驗影響了結果，得出不恰當(dang)的結論。
以上，就是關(guān)于A(yíng)B測試的5個(gè)階段性分享，后面的(de)工作中，AB測試還會(huì )繼續做，新的問(wèn)題(???)還會(huì )出現。
版權聲明(′▽?zhuān)?)：本文內容由互聯(lián)網(wǎng)用戶(hù)自發(fā)貢獻，該文觀(guān)點(diǎn)僅代表作者本??人。本站僅提供信息存儲空間服務(wù)，不擁有所有權，不承擔相關(guān)法律責任。如發(fā)現本站有涉嫌抄襲侵權/違法違規的內容， 請發(fā)送郵件至 18174(╬?益?)[email protected] 舉報，一經(jīng)查實(shí)，本站將立刻刪除。
