A/B(MV) 測試的長期效果你好,
您能否分享一下您對如何評估在線 A/B(MV) 測試對企業的長期影響的看法?
我讀過 Kohavi 寫的一本書,他提到了一些方法,比如留 5% 的流量來控制,並在一段時間後關閉獲勝者。
然而,就我而言,我的老闆堅持在 Google Analytics 中實施獲勝者後的一段時間內進行分析。
在這種情況下,他建議考慮所有可能的外部因素。
從統計學的角度來看,您如何看待這種方法?
我擔心的是,很難估計外部因素,例如流量質量(FB 廣告)、網站的技術變化、季節性等。
是否值得進行這樣的分析以通過納入外部因素(至少我們知道)來提高確定性水平?
高級統計建模