A/B(MV) 测试的长期效果你好,
您能否分享一下您对如何评估在线 A/B(MV) 测试对企业的长期影响的看法?
我读过 Kohavi 写的一本书,他提到了一些方法,比如留 5% 的流量来控制,并在一段时间后关闭获胜者。
然而,就我而言,我的老板坚持在 Google Analytics 中实施获胜者后的一段时间内进行分析。
在这种情况下,他建议考虑所有可能的外部因素。
从统计学的角度来看,您如何看待这种方法?
我担心的是,很难估计外部因素,例如流量质量(FB 广告)、网站的技术变化、季节性等。
是否值得进行这样的分析以通过纳入外部因素(至少我们知道)来提高确定性水平?
高级统计建模