Bonjour,
Pourriez-vous, s'il vous plaît, partager votre point de vue sur la façon d'aborder l'estimation de l'effet à long terme des tests A/B(MV) en ligne pour une entreprise ?
J'ai lu un livre de Kohavi où il mentionne des méthodes pour le faire, comme laisser 5% du trafic à contrôler et éteindre un gagnant après un certain temps.
Cependant, dans mon cas, mon patron insiste sur l'analyse d'une période après la mise en œuvre d'un gagnant dans Google Analytics.
Dans ce cas, il a proposé de prendre en considération tous les facteurs externes possibles.
Que pensez-vous de cette approche d'un point de vue statistique ?
Mon souci est qu'il est difficile d'estimer les facteurs externes tels que la qualité du trafic (annonces FB), les changements techniques sur un site, la saisonnalité, etc.
Vaut-il la peine de faire une telle analyse pour augmenter le niveau de certitude en incluant des facteurs externes (au moins dont nous sommes conscients) ?
