一、引言

業(yè)務(wù)通過不斷迭代更新來持續(xù)進(jìn)步，AB實(shí)驗(yàn)是最高效的迭代驗(yàn)證方法之一，分析師則通過研究?jī)?yōu)化實(shí)驗(yàn)方案，評(píng)估業(yè)務(wù)實(shí)驗(yàn)效果來展現(xiàn)數(shù)據(jù)價(jià)值。這也是數(shù)據(jù)分析師的核心工作職責(zé)之一；這就要求實(shí)驗(yàn)方案和效果評(píng)估具備極高的科學(xué)性與準(zhǔn)確性，但是在實(shí)際工作中，因?yàn)橛脩舨痪鶆騿栴}的存在，會(huì)直接影響到分析師產(chǎn)出結(jié)果的準(zhǔn)確性，進(jìn)而影響產(chǎn)品相關(guān)決策。

【資料圖】

過去的幾年里，游戲業(yè)務(wù)的分析師團(tuán)隊(duì)不斷探索和研究AB實(shí)驗(yàn)中用戶不均勻問題的解決方案，目前已經(jīng)較好地解決了游戲業(yè)務(wù)中的此類問題。本文首先以用戶不均勻的概念和影響為鋪墊，接著以解決方案為主線闡述游戲分析師團(tuán)隊(duì)在解決AB實(shí)驗(yàn)中用戶不均勻問題的實(shí)踐成果，并展望未來。

二、什么是用戶不均勻2.1 什么是AB實(shí)驗(yàn)中的用戶不均勻

基于AB實(shí)驗(yàn)邏輯的業(yè)務(wù)迭代有一個(gè)至關(guān)重要的前提假設(shè)：實(shí)驗(yàn)的兩個(gè)組除了產(chǎn)品本身發(fā)生改動(dòng)的唯一變量外，其他相關(guān)因素，尤其是用戶本身的特征都是一致的，即兩個(gè)人群的用戶屬性分布是完全均勻的。

業(yè)務(wù)AB實(shí)驗(yàn)遇到的用戶不均勻問題是指，用來評(píng)估業(yè)務(wù)效果的實(shí)驗(yàn)組、對(duì)照組兩個(gè)人群集，由于人群劃分方式（用戶標(biāo)識(shí)加密尾號(hào)分組等）、人群量級(jí)、或者觀測(cè)指標(biāo)本身特殊性等原因，導(dǎo)致兩個(gè)人群集在核心效果評(píng)估指標(biāo)的先驗(yàn)分布存在較大差異：

【人群劃分方式】：有些業(yè)務(wù)直接用手機(jī)標(biāo)識(shí)進(jìn)行人群劃分，但手機(jī)標(biāo)識(shí)和手機(jī)型號(hào)批次等相關(guān)，不具有充分的隨機(jī)性；【人群量級(jí)】：人群量級(jí)過小時(shí)，抽樣無法保證不同特征用戶完全隨機(jī)，導(dǎo)致用戶分布不均；【指標(biāo)特殊性】：游戲付費(fèi)指標(biāo)具備高稀疏性、非正態(tài)分布、非連續(xù)等特點(diǎn)，常規(guī)的抽樣方式難以保證好的均勻性。

如下圖所示（不同顏色代表不同先驗(yàn)特征的用戶）：

再簡(jiǎn)單舉個(gè)例子，比如實(shí)驗(yàn)組人群A相較于對(duì)照組人群B因?yàn)橄闰?yàn)特征分布的差異，導(dǎo)致在業(yè)務(wù)的核心指標(biāo)上，先驗(yàn)的歷史表現(xiàn)即為A>B；這就導(dǎo)致利用兩個(gè)人群集進(jìn)行試驗(yàn)后，在業(yè)務(wù)效果評(píng)估時(shí)，如果人群A的某個(gè)指標(biāo)>人群B，那么是因?yàn)闃I(yè)務(wù)策略帶來的提升還是歷史用戶本身的差異呢？這就陷入了業(yè)務(wù)決策的困境。

2.2 游戲中心業(yè)務(wù)AB實(shí)驗(yàn)中的用戶不均勻

游戲中心業(yè)務(wù)迭代中使用AB實(shí)驗(yàn)的場(chǎng)景主要為，版本迭代灰度AB實(shí)驗(yàn)，以及中心業(yè)務(wù)策略優(yōu)化AB實(shí)驗(yàn)；在過往的AB實(shí)驗(yàn)過程中，兩種場(chǎng)景都多次遇到過用戶不均勻的問題，但兩個(gè)場(chǎng)景的業(yè)務(wù)目的存在差異，故面臨的用戶不均勻問題也有區(qū)別。下面我們?cè)敿?xì)介紹一下兩種場(chǎng)景的異同點(diǎn)。

2.2.1 游戲中心版本迭代中的用戶不均勻

游戲中心版本迭代時(shí)，主要觀測(cè)的指標(biāo)為用戶在中心活躍、游戲下載等指標(biāo)；使用的人群劃分方法為：利用對(duì)手機(jī)標(biāo)識(shí)進(jìn)行加密處理后的尾號(hào)進(jìn)行分組，這種方法在大流量的情況下對(duì)于用戶均勻性能保持不錯(cuò)的效果；但是版本迭代的關(guān)鍵特點(diǎn)就是小流量快速迭代，所以在小流量下就會(huì)導(dǎo)致不同活躍下載表現(xiàn)的用戶在實(shí)驗(yàn)組、對(duì)照組中數(shù)量存在差異，進(jìn)而導(dǎo)致兩個(gè)人群在一些核心觀測(cè)指標(biāo)上存在不均勻現(xiàn)象，影響最終的版本放量決策。

2.2.2 游戲中心策略實(shí)驗(yàn)中的用戶不均勻

游戲業(yè)務(wù)作為公司的主要?jiǎng)?chuàng)收業(yè)務(wù)，游戲中心策略實(shí)驗(yàn)時(shí)，除了觀測(cè)活躍、下載指標(biāo)之外，還需要觀測(cè)游戲后向的收入指標(biāo)變化；前面也提到活躍下載指標(biāo)的均勻性在大流量下是可以保證的，而策略實(shí)驗(yàn)時(shí)的流量一般是較大的，歷史數(shù)據(jù)也證明在策略實(shí)驗(yàn)的流量下，活躍分發(fā)指標(biāo)的均勻性是可以保證的。

但游戲收入作為一種特殊的商業(yè)模式，與用戶活躍、游戲下載存在較大差異，本身具有以下特殊性：

【付費(fèi)用戶規(guī)模有限】：整體游戲活躍用戶中，付費(fèi)用戶規(guī)模有限，隨機(jī)抽取兩組用戶中，即使活躍用戶量級(jí)一致，但付費(fèi)用戶量級(jí)本身可能存在較大差異，尤其是高付費(fèi)用戶在兩組中分布存在差異?！臼杖敕植挤钦龖B(tài)】：一定周期內(nèi)游戲用戶付費(fèi)分布范圍極大，但是大多數(shù)用戶付費(fèi)不高，所以幾個(gè)極值高付費(fèi)用戶的差異就能夠?qū)φw收入結(jié)果產(chǎn)生較大影響?！居螒蚋顿M(fèi)水平不固定】：用戶游戲付費(fèi)是和游戲強(qiáng)相關(guān)的，故用戶的付費(fèi)情況除了自身因素外，還和用戶最近玩的游戲有關(guān)，即用戶付費(fèi)水平是一個(gè)不斷變化的過程。【高付費(fèi)值非連續(xù)分布】：高付費(fèi)用戶的定義是一個(gè)范圍的概念，而且高付費(fèi)的用戶是有限的，所以具體高付費(fèi)值并不是連續(xù)的，高付費(fèi)之間也會(huì)存在明顯差異，這個(gè)差異放到整體上時(shí)依然會(huì)產(chǎn)生較大的影響。

所以即使在中心策略實(shí)驗(yàn)場(chǎng)景較大的流量下，依然還是無法保證實(shí)驗(yàn)時(shí)收入指標(biāo)的均勻性，原因可以歸為兩方面：

實(shí)驗(yàn)組和對(duì)照組中高、低付費(fèi)用戶的分布不均勻，付費(fèi)用戶量級(jí)存在較大差別。高付費(fèi)用戶的付費(fèi)值非連續(xù)分布，即使付費(fèi)用戶在各組分布均勻，但付費(fèi)值依然存在一定差距。三、用戶不均勻的影響

vivo游戲中心作為公司專業(yè)的游戲分發(fā)平臺(tái)，為了更好的服務(wù)好游戲中心用戶，需要不斷地對(duì)游戲中心產(chǎn)品進(jìn)行優(yōu)化迭代。AB實(shí)驗(yàn)作為主要的效果驗(yàn)證方式，通過對(duì)比業(yè)務(wù)關(guān)注的核心指標(biāo)，選擇最優(yōu)的功能或版本進(jìn)行全量，但用戶不均勻問題會(huì)對(duì)整個(gè)流程閉環(huán)產(chǎn)生比較大的影響，主要包括以下幾個(gè)方面：

1、影響業(yè)務(wù)數(shù)據(jù)的可解釋性，導(dǎo)致業(yè)務(wù)效果的結(jié)論偏差

由下表可見，游戲中心歷史一些業(yè)務(wù)策略實(shí)驗(yàn)中，策略對(duì)于收入項(xiàng)指標(biāo)本無直接影響，但整個(gè)收入指標(biāo)的波動(dòng)均在10%以上；在此情況下，已經(jīng)完全無法根據(jù)實(shí)驗(yàn)收入數(shù)據(jù)來評(píng)估業(yè)務(wù)策略對(duì)于收入的影響情況。

arpu=實(shí)驗(yàn)周期內(nèi)活躍用戶游戲下載后付費(fèi)/活躍用戶

2、帶來業(yè)務(wù)策略放量錯(cuò)誤的風(fēng)險(xiǎn)

這里主要存在的風(fēng)險(xiǎn)在于效果負(fù)向策略被放量、效果正向策略無法及時(shí)放量。

3、導(dǎo)致灰度發(fā)版的無效率高，異常排查浪費(fèi)大量人力

游戲中心灰度發(fā)版中，一年有8-10次的版本異常是由用戶不均勻?qū)е碌?，而且單次異常排查需要耗費(fèi)各方人力共5人日，全年版本異常排查累計(jì)浪費(fèi)人力40人日+/年。

所以如何科學(xué)合理的解決游戲中心AB實(shí)驗(yàn)效果評(píng)估中的用戶不均勻問題，對(duì)于整個(gè)游戲中心業(yè)務(wù)效果評(píng)估的發(fā)展具有重要意義。

四、如何應(yīng)對(duì)用戶不均勻問題

AB實(shí)驗(yàn)中的用戶不均勻問題是數(shù)據(jù)分析師進(jìn)行實(shí)驗(yàn)效果評(píng)估時(shí)一直都面臨的問題；過往幾年里，針對(duì)如何更合理，更高效的解決該問題，準(zhǔn)確評(píng)估實(shí)驗(yàn)效果，游戲數(shù)據(jù)分析組的同事研究嘗試了多種不同的解決方案：

從上述幾個(gè)方案對(duì)比中可以看出，基于用戶分層邏輯的“事前用戶分層模型”是現(xiàn)階段最科學(xué)、合理且效果穩(wěn)定的解決方案。

五、游戲業(yè)務(wù)解決方案介紹——“事前用戶分層”模型

本部分主要針對(duì)“事前用戶分層”模型進(jìn)行介紹，同時(shí)包含模型的設(shè)計(jì)，產(chǎn)品化實(shí)現(xiàn)，以及在游戲中心業(yè)務(wù)中的實(shí)際運(yùn)用效果，便于大家直觀了解模型的邏輯和效果。

5.1 分層模型介紹

如前面用戶不均勻介紹部分所述，雖然中心版本灰度場(chǎng)景和中心策略優(yōu)化場(chǎng)景的AB實(shí)驗(yàn)都面臨著用戶不均勻問題，但兩個(gè)場(chǎng)景面臨的不均勻問題存在差別；所以我們針對(duì)這兩個(gè)場(chǎng)景，基于用戶分層邏輯分別搭建針對(duì)分發(fā)指標(biāo)和收入指標(biāo)的分層模型，實(shí)驗(yàn)人群抽樣時(shí)從不同用戶分層中抽取同樣數(shù)量的用戶進(jìn)入實(shí)驗(yàn)組和對(duì)照組，以期解決業(yè)務(wù)效果評(píng)估中的用戶不均勻問題。

常規(guī)分層抽樣邏輯：假設(shè)大盤活躍用戶為N，分層后第i層大盤活躍用戶為Ni，實(shí)驗(yàn)時(shí)各組實(shí)驗(yàn)抽樣的流量為n，則實(shí)驗(yàn)組中第i層的抽樣量級(jí)應(yīng)該為：

5.1.1 用戶游戲收入分層模型

中心策略AB實(shí)驗(yàn)時(shí)業(yè)務(wù)核心關(guān)注的付費(fèi)指標(biāo)中受用戶不均勻影響的主要是活躍用戶arpu，故針對(duì)該指標(biāo)的定義，選取部分中間變量作為用戶分層的依據(jù)，然后根據(jù)這些指標(biāo)在中心活躍用戶大盤中的表現(xiàn)，先按照單一指標(biāo)分組，然后多個(gè)指標(biāo)交叉組合形成最終的分層方案。

5.1.2 用戶分發(fā)分層模型

針對(duì)中心版本灰度實(shí)驗(yàn)時(shí)業(yè)務(wù)核心關(guān)注且受用戶不均勻影響的分發(fā)指標(biāo)，選取部分中間變量作為用戶分層的依據(jù)；然后與收入分層模型采取一樣的方法形成最終的分層方案。

5.2 分層模型產(chǎn)品化實(shí)現(xiàn)

數(shù)據(jù)側(cè)搭建完成用戶分層模型后，想要實(shí)現(xiàn)在實(shí)驗(yàn)和灰度時(shí)依賴于分層模型進(jìn)行分流抽樣，需要借助產(chǎn)品平臺(tái)的功能；于是我們和霍金實(shí)驗(yàn)平臺(tái)、以及版本發(fā)布系統(tǒng)合作，由霍金和版本發(fā)布系統(tǒng)同事開發(fā)相關(guān)功能將我們搭建好的用戶分層模型分別接入霍金實(shí)驗(yàn)平臺(tái)和版本發(fā)布系統(tǒng)，實(shí)現(xiàn)在實(shí)驗(yàn)和版本灰度的用戶分流時(shí)基于用戶分層邏輯進(jìn)行，保證實(shí)驗(yàn)和版本灰度時(shí)各個(gè)人群組之間的用戶均勻性，提升后向效果評(píng)估的科學(xué)性和準(zhǔn)確性。

具體分流邏輯示意圖如下：（圖中四個(gè)不同顏色代表不同的特征分層人群）

具體產(chǎn)品平臺(tái)功能實(shí)現(xiàn)方式詳見：參考資料[2]

5.3 “事前用戶分層”的測(cè)試效果

霍金實(shí)驗(yàn)平臺(tái)和版本發(fā)布系統(tǒng)相關(guān)功能上線后，數(shù)據(jù)分析側(cè)開展了對(duì)應(yīng)平臺(tái)的AA實(shí)驗(yàn)，驗(yàn)證用戶分層邏輯對(duì)于用戶不均勻問題的解決效果是否達(dá)到預(yù)期水平。

5.3.1 霍金實(shí)驗(yàn)平臺(tái)AA測(cè)試結(jié)論

用戶分層模型在不影響原有分發(fā)指標(biāo)均勻性的前提下，能夠大幅提升中心實(shí)驗(yàn)收入數(shù)據(jù)的均勻性。

分發(fā)均勻性：兩種分流邏輯下，分發(fā)相關(guān)指標(biāo)波動(dòng)均不顯著，但用戶分層邏輯下指標(biāo)波動(dòng)絕對(duì)值遠(yuǎn)小于hash分流邏輯。hash分組邏輯下，收入arpu1波動(dòng)11.6%；但用戶分層抽樣邏輯下，兩個(gè)實(shí)驗(yàn)組收入arpu1波動(dòng)分別為4.8%和1.9%，收入arpu2波動(dòng)分別為3.3%和1.5%，均勻性大幅提升。

備注：收入指標(biāo)及活躍相關(guān)指標(biāo)對(duì)比計(jì)算相對(duì)變化值；分發(fā)指標(biāo)對(duì)比計(jì)算絕對(duì)變化值；收入arpu1、2代表不同的收入計(jì)算邏輯。

5.3.2 版本發(fā)布系統(tǒng)AA測(cè)試結(jié)論

用戶分層模型在分發(fā)指標(biāo)的均勻性上，優(yōu)于原有的手機(jī)標(biāo)識(shí)加密尾號(hào)分流方式。

分發(fā)均勻性：用戶分層邏輯下，各個(gè)分發(fā)指標(biāo)均波動(dòng)不顯著；但手機(jī)標(biāo)識(shí)加密尾號(hào)分流邏輯下，游戲分發(fā)相關(guān)指標(biāo)E顯著變化，即在該指標(biāo)上存在用戶不均勻。5.4 功能上線收益

“事前用戶分層”模型在游戲中心業(yè)務(wù)實(shí)驗(yàn)和灰度發(fā)版中上線使用后，能夠帶來以下幾方面的顯著收益：

【灰度有效發(fā)版率顯著提升9pt】：分層邏輯上線后，游戲中心有效灰度發(fā)版（用戶均勻）的概率從86% 提升到95%，不均勻次數(shù)從10次/年，下降到2~3次/年（近半年僅有1次）?！竟?jié)省異常排查人力35人日/年】：發(fā)版異常減少7次/年，單次異常排查需各方共5人日，共節(jié)省版本異常排查人力35人日/年?！菊虿呗詫?shí)驗(yàn)提前全量帶來中心年收入+0.2%】：用戶分層邏輯上線后，正向策略提前得出結(jié)論全量，能夠帶來游戲中心年游戲分發(fā)+0.1%，年游戲收入+0.2%?！矩?fù)向策略實(shí)驗(yàn)及時(shí)下線減少收入損失】：提升實(shí)驗(yàn)負(fù)向時(shí)的判斷及時(shí)性和準(zhǔn)確性，降低負(fù)向?qū)嶒?yàn)長(zhǎng)期觀察帶來的收入損失，約占中心年收入的0.1%。六、總結(jié)和展望

對(duì)于AB實(shí)驗(yàn)中面臨的用戶不均勻問題，我們借鑒過往經(jīng)驗(yàn)，經(jīng)過不斷嘗試和探索，基于用戶分層的邏輯開發(fā)了“事前用戶分層”模型，并在霍金項(xiàng)目團(tuán)隊(duì)和版本發(fā)布系統(tǒng)項(xiàng)目團(tuán)隊(duì)的大力支持下，對(duì)不同場(chǎng)景進(jìn)行差異化處理，在解決游戲中心AB實(shí)驗(yàn)中的用戶不均勻問題中取得了較好效果；在游戲中心版本灰度場(chǎng)景中，事前用戶分層方案已基本解決了用戶不均勻問題；但在中心策略實(shí)驗(yàn)中，由于游戲收入數(shù)據(jù)的特殊性，用戶分層方案能夠解決高、低付費(fèi)用戶在實(shí)驗(yàn)組中分布不均的問題；但并不能完全解決高付費(fèi)值非連續(xù)的問題，故收入的波動(dòng)依然在1%~2%，但已經(jīng)遠(yuǎn)低于原有分流方式下的收入波動(dòng)幅度。

此外，現(xiàn)階段采用的“事前用戶分層”方案能夠大幅提升用戶的均勻性概率，并不能完全杜絕用戶不均勻問題；一方面原因是對(duì)業(yè)務(wù)指標(biāo)的分層邏輯依賴于工作者的經(jīng)驗(yàn)判斷，但人工分層的邏輯存在較大的主觀性；另一方面原因是選取的指標(biāo)較少，依賴信息不夠全面；后續(xù)我們也會(huì)不斷嘗試探索，卷入更多的指標(biāo)信息，同時(shí)將機(jī)器學(xué)習(xí)等模型運(yùn)用到用戶分層體系搭建中，以求進(jìn)一步解決游戲業(yè)務(wù)中用戶的均勻性問題。

最后希望本文能為不同業(yè)務(wù)解決AB實(shí)驗(yàn)時(shí)面臨的用戶不均勻問題帶來參考和啟發(fā)。

關(guān)鍵詞：