Als ich meinen ersten Kurs in linearen Modellen absolvierte und Versuchsplanung , mein Professor sagte der Klasse, die häufigste Frage, der er in seiner statistischen Beratung begegnete, lautete: "Wie viele Proben brauche ich [um meine Ergebnisse statistisch signifikant zu machen?" eine Studie, ohne Zeit oder Ressourcen zu verschwenden.
Obwohl die obige Frage einfach ist, ist die Antwort nicht. Dies liegt daran, dass die Antwort von den Werten verschiedener Größen abhängt, die der Berater noch nicht kennt. Schlimmer noch, oft kennt der Kunde diese Werte auch nicht.
Was sind diese problematischen Mengen?
Die einfachste und am wenigsten wichtige Menge ist das Signifikanzniveau des Hypothesentests, den der Kunde verwenden möchte. In der Vergangenheit war 0,05 das Standard-Signifikanzniveau. Ich könnte mir einen Blogbeitrag über diese eine Wahl vorstellen, aber lassen Sie uns weitergehen.
Das Signal ist die wichtigste Größe. Das ist der kleinste Effekt, der groß genug ist, um praktisch wichtig zu sein. Sie möchten einen solchen Effekt mit hoher Wahrscheinlichkeit feststellen, und diese Wahrscheinlichkeit ist die Leistung des Tests. Nach meiner Erfahrung ist es überraschend schwierig, einen Wissenschaftler oder Ingenieur dazu zu bringen, einen Wert für den kleinsten praktisch wichtigen Effekt festzulegen.
Das Geräusch ist eine weitere erforderliche Information. Das Rauschen ist in diesem Fall die Standardabweichung des experimentellen Fehlers. Ein Entwicklungsteam fragt sich vielleicht, woher er diesen Wert wissen soll, bevor er das Experiment zur Abschätzung durchführt.
Statistische Leistungsberechnungen hängen von den oben genannten drei Größen sowie von Annahmen über die Verteilung der Antwort ab. Standardannahmen sind, dass die Antworten entsprechend einer Normalverteilung unabhängig verteilt sind und dass die Varianz für alle möglichen Faktorkombinationen konstant ist.
In Anbetracht des Signifikanzniveaus, des Signals und des Rauschens sowie der obigen Annahmen kann ein Statistiker (oder statistische Software ) kann Ihnen die Leistungsfähigkeit Ihres Versuchsplans erklären.
Was kann ein Ermittler tun, um die Leistungsfähigkeit eines Experiments zu steigern?
Sie können Folgendes tun, um die Leistungsfähigkeit Ihrer Experimente zu steigern:
1) Vergrößern Sie das Signal
2) Verringern Sie das Geräusch
3) Mehr Läufe machen
4) Verwenden Sie ein größeres Signifikanzniveau - beispielsweise 0,1 statt 0,05
Wie vergrößern Sie das Signal?
Natürlich hängt die Wirkung eines Faktors von der Natur ab. Sie können sich jedoch dafür entscheiden, den minimalen praktisch wichtigen Effekt zu vergrößern. Das hört sich vielleicht nach Betrug an, aber beim Nachdenken können Sie entscheiden, dass Sie tatsächlich zufrieden sein können, solange Sie Effekte erkennen können, die zwei- oder dreimal größer sind als die, die Sie zuerst angegeben haben.
Wie verringern Sie den Lärm?
Der experimentelle Fehler ist das Ergebnis einer zufälligen Variation der experimentellen Bedingungen von Lauf zu Lauf. Der beste Weg, diese Variation zu reduzieren, besteht darin, Quellen zufälliger Variabilität zu identifizieren und sie als Blockfaktoren in das Experiment aufzunehmen. Wenn es beispielsweise tägliche Abweichungen gibt und ein Experiment fünf Tage dauern wird, können Sie diese Abweichung aus der Fehlervarianz entfernen, indem Sie Day zu einem Sperrfaktor machen.
Weitere Versuchsläufe sind teuer. Wie viel Unterschied machen ein paar Läufe?
In Screening-Experimenten gibt es oft fast so viele Faktoren wie experimentelle Versuche. Im Extremfall eines gesättigten Designs gibt es genau so viele Unbekannte wie Läufe. In diesem Fall können Sie die Fehlervarianz für das vollständige Modell nicht abschätzen und können daher nicht einmal einen Signifikanztest durchführen.
Ein Beispiel für ein gesättigtes Design ist ein Sieben-Faktor-Experiment für ein Haupteffektmodell in acht Durchläufen. Sie haben acht Durchläufe, und Sie schätzen einen allgemeinen Mittelwert (oder Abschnittsausdruck) und sieben Faktoren, sodass keine Informationen zum Schätzen der Fehlervarianz übrig sind.
Wenn wir einen Lauf hinzufügen und einen t-Test für einen der Haupteffekte durchführen, muss das Signal mehr als das Zwölffache des Rauschens betragen, um die Nullhypothese abzulehnen. Die folgende Tabelle zeigt, wie groß das Signal-Rausch-Verhältnis im t-Test sein muss, um die Nullhypothese abzulehnen. Natürlich kannst du nicht erkennen ein Effekt, es sei denn, Sie lehnen die Hypothese ab, dass es keinen Effekt gibt. Mit einem zusätzlichen Durchlauf ist das Hindernis für die Erkennung also ziemlich hoch. Eine gute Faustregel ist, vier oder fünf mehr experimentelle Durchläufe als unbekannte Parameter zu haben.
Wie der erforderliche Signal-Rausch-Abstand für den t-Test sinkt, wenn die Anzahl der zusätzlichen Durchläufe steigt.
Was kostet die Erhöhung des Signifikanzniveaus von 0,05 auf 0,1?
Wenn Ihr Signifikanzniveau 0,05 beträgt, wird im Durchschnitt alle 20 Tests ein Effekt festgestellt, der tatsächlich stört. Durch Erhöhen des Pegels auf 0,1 wird die Störungserkennung auf einen von zehn Tests erhöht.
Was kommt als nächstes?
In meinem nächsten Beitrag werde ich die neue Schnittstelle für Leistungsberechnungen in zeigen JMP 10 Also, dieser Beitrag ist im Grunde eine Motivation für die nächste Woche.
Abschließend möchte ich Sie daran erinnern, dass Sie die Standardabweichung des Fehlers erst nach dem Ausführen des Experiments kennen. Daher basieren die Leistungsberechnungen auf einer Schätzung der Zahl. Obwohl die statistische Software die Potenz mit drei Dezimalstellen meldet, sollten Sie diese Zahlen mit einem großen Salzkorn verwenden.
Bradley Jones schrieb:
Es ist sicherlich von Nutzen, die bereits vorhandenen Daten zu betrachten oder eine kleine Pilotstudie durchzuführen, wenn keine Daten vorliegen. Die Daten, die Sie bereits haben, können jedoch Variabilität aufweisen, die Sie in einem Experiment entweder durch Blockieren oder durch vorsichtige Kontrolle der experimentellen Bedingungen vermeiden können. Daher kann die Fehlerstandardabweichung, die Sie mit den aktuellen Daten erhalten, unnötig groß sein und Sie denken, dass Ihr Experiment nicht genügend Leistung bietet. Dies kann wiederum dazu führen, dass Sie mehr Läufe ausführen als nötig, was die Kosten erhöht.
Michael Anderson schrieb:
Abschließend möchte ich Sie daran erinnern, dass Sie die Standardabweichung des Fehlers erst nach dem Ausführen des Experiments kennen. Daher basieren die Leistungsberechnungen auf einer Schätzung der Zahl.
Wenn Sie nicht gerade ein Phänomen studieren, das heute Morgen entdeckt (oder hergestellt) wurde, gibt es wahrscheinlich eine beschreibende Statistik, die irgendwo herumlungert. Also grabe sie aus. Wenn es wirklich keine gibt, müssen Sie eine Pilotstudie vor dem experimentellen Großereignis in Ihre Pläne einordnen, damit Sie eine Schätzung (mit einem Konfidenzintervall) für diese lästige Standardabweichung erhalten können.
Wenn jeder Lehrer der Grundstatistik die Idee "Pilot, dann Experiment" in seine Schüler bohrte, retteten wir unzählige Absolventen aus schlecht definierten, unterversuchten Experimenten und Umfragen. Ich brauchte nur 10 Jahre, um das herauszufinden ...
