52709_de-DE

liliconcom

Testen – Stichprobengrößen für eine vollständige Fakultät

 

Hallo,

Ich hätte wirklich gerne Hilfe bei den Stichprobengrößen für einen vollfaktoriellen Entwurf für eine Marketingkampagne, an der ich beteiligt bin – unter Berücksichtigung der Rücklaufquote. Ich möchte 4 Dinge testen, alle haben 2 Ebenen, können nicht geändert werden und sind kategorisch. Wenn ich 4 separate A/B-Tests durchführen würde, würden die Zellvolumina so aussehen:

 

Kontroll-Reaktionsrate = 0,6 %
		Erfolg	Alpha	Leistung	Seiten	Volumen/Zelle	Volle Lautstärke
	Test 1 (A/B)	50 % Steigerung	0,8	0,2	1	4687	9374
	Test 2 (A/B)	10 % Steigerung	0,8	0,2	2	156606	313212
	Test 3 (A/B)	10 % Steigerung	0,8	0,2	2	156606	313212
	Test 4 (A/B)	10 % Steigerung	0,8	0,2	2	156606	313212
						Gesamt:	949010

 

 

Aber ich bin daran interessiert, die Interaktionseffekte (nur auf 2*-Ebene) zwischen den Faktoren zu betrachten. Ich würde gerne ein vollfaktorielles DOE mit 16 Zellen einrichten, bin mir aber nicht sicher, welche Stichprobengrößen ich in jeder der 16 Zellen verwenden soll. Jede Hilfe wäre sehr dankbar.

Lassen Sie mich wissen, wenn weitere Informationen erforderlich sind

Danke, LP

Betreff: Testen – Stichprobengrößen für eine vollständige Fakultät

Hallo Phil,

 

Vielen Dank dafür – ich habe das Gefühl, fast am Ziel zu sein. Für die 1-Level-Faktoren und die Zellengröße von 15.000 (ich habe gerade herausgefunden, dass das das Maximum ist, das ich von einem haben kann

Budgetperspektive) erhalte ich eine Potenz von 0,72-0,76. Ich hatte gehofft, dass der Wert >0,8 beträgt, aber ich denke, dass ich damit zufrieden sein kann, wenn man bedenkt, dass es sich um eine Marketingkampagne (und nicht um einen Herstellungsprozess) handelt.

Der letzte Teil sind die Interaktionseffekte. Ich habe gerade auch 0,0491 für die Schätzungen eingegeben (und erhalte eine noch geringere Leistung) – aber ich glaube nicht, dass das korrekt ist.

Jede Hilfe wäre großartig

 

Nochmals vielen Dank für alles bisher

 

Liz

Betreff: Testen – Stichprobengrößen für eine vollständige Fakultät

Als Erstes muss ich sagen, dass alle diese Schätzungen in logarithmischen Quoten erfolgen, was etwas seltsam ist.

 

Die Basisantwort (oder „Achsenabschnitt“) von 0,6 % entspricht also einer Wahrscheinlichkeit p von 0,006. Wie Sie sagten, können Sie die Quoten wie folgt in logarithmische Quoten umrechnen:

 

Log-Quoten = ln( p / 1-p ) = ln(0,006 / 0,994) = -5,11

 

 

Als nächstes bedeutet ein Anstieg um 10 %, dass die Rücklaufquote für Stufe 1 um 10 % höher ist als für Stufe 2 (oder umgekehrt). Dies ist dasselbe, als würde man sagen, dass es sich um einen Anstieg von 5 % gegenüber der durchschnittlichen Reaktion für beide Ebenen des Faktors handelt.

 

Also eine Rücklaufquote von 0,63 % für Stufe 1 gegenüber 0,57 % für Stufe 2.

 

Das bedeutet p = 0,0063 gegenüber p = 0,0057.

 

Das bedeutet, dass die logarithmische Quote für Farbe 1 = ln( 0,0063 / 1-0,0063 ) = -5,06 ist

 

Schließlich beträgt der Unterschied in den logarithmischen Quoten für Level 1 gegenüber dem Intercept -5,06 - -5,12 = 0,0491

 

 

Aufgrund unserer Definition des Achsenabschnitts ist es etwas verwirrend. Wir definieren den Effekt für Stufe 1 als die Änderung der Rücklaufquote (in Log-Odds) im Vergleich zur Basis-Rücklaufquote, also der gemittelten Rücklaufquote über Stufe 1 und Stufe 2.

 

In anderer Software wird der Schnittpunkt als die Antwort für eine Ebene gegenüber der anderen Ebene definiert.

Betreff: Testen – Stichprobengrößen für eine vollständige Fakultät

Hallo Malcolm,

 

Zunächst einmal vielen Dank für Ihre Antwort. Ich habe gestern mit meinem Kollegen einige Zeit damit verbracht, Ihr Beispiel durchzugehen, und wir sind mit unseren Erkenntnissen zufrieden.

Ein Teil, den wir meiner Meinung nach etwas besser verstehen müssen, betrifft die simulierten Reaktionen auf die Auswirkungen. (wie in der „Beispielsimulation“-JPEG, die Sie angehängt haben)

Ich denke, da wir über einige Vorkenntnisse über die erwartete Antwortrate und den Uplift verfügen, können wir diese als Bedingungen verwenden, um Y?

Basis erwartete Rücklaufquote = 0,6 %

Erfolg für Faktor 1 = 50 % Uplift

Erfolg für Faktor 2, 3 und 4 = 10 % Uplift

 

Ich gehe davon aus, dass der Achsenabschnitt IN(0,006/0,994) = -5,12 ist, bin mir aber bei X1 - X4 und den Interaktionseffekten nicht sicher

Jede weitere Hilfe wäre großartig

Danke Liz

Betreff: Testen – Stichprobengrößen für eine vollständige Fakultät

Hallo Liz,

 

Das Verfahren zur Ermittlung von Leistungsschätzungen in JMP Pro für ein DOE mit einer Binomialantwort wie in Ihrem Fall umfasst die folgenden Schritte:

 

• Entwerfen Sie Ihr Experiment auf normale Weise, wählen Sie Simulationsantworten aus dem DOE-Hotspot aus und geben Sie die Koeffizienten für Ihr simuliertes Modell an, z Ich habe die folgenden Koeffizienten verwendet, um Effekte zu untersuchen, die der Größe des Zufallsrauschens, der 1,5-fachen Größe des Zufallsrauschens, der 2-fachen Größe des Zufallsrauschens usw. entsprechen (siehe Screenshot im Anhang).
• Klicken Sie auf „Tabelle erstellen“, um ein simuliertes Szenario basierend auf 100 Versuchen im Fall des bereitgestellten Beispiels (oder bei der Befragung von 100 Personen) anzuzeigen.
• Führen Sie ein verallgemeinertes Regressionsmodell unter Verwendung einer Binomialantwort und eines Modells aus, das Haupteffekte und 2-Faktor-Interaktionseffekte umfasst (siehe Skripte in der beigefügten Tabelle mit der Bezeichnung „Leistungsanalyse mit Binomila-Antwort“).
• Klicken Sie im GenReg-Bericht mit der rechten Maustaste auf die p-Wert-Spalte und wählen Sie Simulation aus.
• Führen Sie in der resultierenden Simulationstabelle das Power-Analyse-Skript aus und untersuchen Sie das untere 95 %-Konfidenzintervall unter simulierter Power für jeden Term in Ihrem Modell. Dadurch erhalten Sie die minimal erwartete Leistung für jeden Effekt in Ihrem Modell für verschiedene Alpha-Raten (Typ-I-Fehler oder Signifikanzniveau). Ein Beispiel ist in der Tabelle mit dem Titel „Generalized Regression Simulate Results (Prob > ChiSquare) n Versuche = 500“ beigefügt
• Möglicherweise müssen Sie das Leistungsszenario mit einer unterschiedlichen Anzahl von Versuchen für jede Zeile in Ihrer Entwurfsmatrix ausführen. Dies geht ganz einfach durch Kopieren und Bearbeiten der Spaltenformel in der ersten Tabelle. Zur Veranschaulichung habe ich Szenarien für n=100, n=250 und n=500 Versuche (oder befragte Personen) pro Zeile in der DOE-Matrix angegeben.
• Mithilfe der Trennschärfe für jedes dieser Szenarios können Sie eine Entscheidung über die Anzahl der Versuche (befragte Personen) pro Zeile in Ihrem Versuchsentwurf treffen, um eine akzeptable Trennschärfe und einen Kompromiss zwischen Typ-I-Fehlern und Fehlern zu erzielen.

 

Am besten,

 

Malcolm