Hallo,
Könnten Sie uns bitte Ihren Standpunkt dazu mitteilen, wie Sie die langfristige Wirkung von Online-A/B(MV)-Tests für ein Unternehmen abschätzen können?
Ich habe ein Buch von Kohavi gelesen, in dem er Methoden dafür erwähnt, wie etwa 5 % des Datenverkehrs der Kontrolle zu überlassen und einen Gewinner nach einiger Zeit auszuschalten.
Allerdings besteht mein Chef in meinem Fall auf der Analyse eines Zeitraums nach der Implementierung eines Gewinners in Google Analytics.
In diesem Fall schlug er vor, alle möglichen externen Faktoren zu berücksichtigen.
Was halten Sie aus statistischer Sicht von diesem Ansatz?
Meine Sorge besteht darin, dass es schwierig ist, externe Faktoren wie die Qualität des Traffics (FB-Anzeigen), technische Änderungen auf einer Website, Saisonalität usw. abzuschätzen.
Lohnt es sich, eine solche Analyse durchzuführen, um das Maß an Sicherheit durch die Einbeziehung externer Faktoren (zumindest die uns bekannten) zu erhöhen?
