Sollte ich eine Leistungsanalyse in DOE in Betracht ziehen?Jemand hat mir gesagt, dass wir bei der Bewertung eines DOE eine Leistung von >=80 % beibehalten müssen, aber warum ist die Leistung bei Verwendung des PB-Designs so niedrig? Die Trennschärfe liegt beispielsweise bei etwa 0,27, wenn ich 12 Experimente mit 11 Faktoren durchführe. Kann ich diesem Design bei so geringem Stromverbrauch vertrauen? Danke schön.
VersuchsplanungBetreff: Sollte ich eine Leistungsanalyse in DOE in Betracht ziehen?@Victor_G 's Antworten sind wirklich gut.
Zu Frage 2 möchte ich hinzufügen, dass Sie die Leistung nicht nur basierend auf Alpha = 0,5 und RMSE = 1 berechnen können. Wie ich bereits in einer früheren Antwort sagte, benötigen Sie auch eine Schätzung der Signalgröße, die Sie erkennen müssen.
Ich möchte auch hinzufügen, dass die Berechnung der Leistung in Excel nicht einfach sein wird. Ich würde nicht empfehlen, dies auszuprobieren.
Wenn Sie die Leistung wirklich verstehen möchten, würde ich empfehlen, stattdessen einige Simulationen durchzuführen.
1. Erstellen Sie Ihr experimentelles Design
2. Bestimmen Sie ein Modell zur Berechnung Ihrer Reaktion für jeden Lauf mit Parametern für jeden „aktiven“ Faktoreffekt (in JMP sind dies die „erwarteten Koeffizienten“).
3. Fügen Sie zu jedem Antwortwert zufälliges Rauschen hinzu (z. B. mit einer Standardabweichung von 1 und einem Mittelwert von 0).
4. Analysieren Sie die simulierten Daten, um festzustellen, ob die aktiven Effekte bei Ihrem ermittelten Alpha-Wert signifikant sind (0,05 wird am häufigsten verwendet, 0,5 wäre eine seltsame Wahl!)
5. Wiederholen Sie die Schritte 3 und 4 viele Male mit neuem Zufallsrauschen.
6. Zählen Sie, wie oft jeder aktive Effekt als signifikant eingestuft wird
Sie sollten feststellen, dass der Anteil der Fälle, in denen die aktiven Effekte als signifikant eingestuft werden, mit der von JMP berechneten Leistung übereinstimmt.
Diese Art von Simulation ist sehr einfach in JMP Pro zu machen. Tatsächlich wird es in Situationen verwendet, in denen a priori Eine Leistungsschätzung ist nicht möglich. Beispielsweise, wenn die Antwort binär ist. Ich habe dies einmal verwendet, um einem Marketingunternehmen dabei zu helfen, die Wirksamkeit eines Experiments zu bestimmen, um Faktoren zu verstehen, die die Reaktion (reagieren/nicht reagieren) auf ihre Werbeaktionen beeinflussen!
Es wäre aufwändiger und würde einige Skripte erfordern, um diese Art von Simulation in JMP durchzuführen. Aber ich denke immer noch, dass das eine bessere Zeitnutzung wäre, als zu versuchen, die Leistung in Excel zu berechnen.
Betreff: Sollte ich eine Leistungsanalyse in DOE in Betracht ziehen?Hinzufügen zu @Victor_G Gemäß der Erklärung wird die „Makro“-Ansicht speziell mit dem F-Verhältnis in der Tabelle „Varianzanalyse“ beantwortet. Die Nullhypothese besagt, dass nur der Intercept-Parameter ungleich Null ist. Die Alternativhypothese besagt, dass nicht nur der Achsenabschnitt nicht Null ist. Die „Mikro“-Ansicht ist entweder der Test auf Termebene, der von Effect Tests bereitgestellt wird, oder der Parameterebene, der von den Parameterschätzungen bereitgestellt wird. Die Effekttests beziehen sich auf den gesamten Begriff, während die Parameterschätzungstests die einzelnen Parameter berücksichtigen. Sie sind gleich, es sei denn, Sie haben einen kategorialen Faktor mit mehr als zwei Ebenen. Die Effekttests sind möglicherweise bei der Modellauswahl nützlicher, da Sie normalerweise einen Begriff und keinen Parameter entfernen. Der Effekttest basiert auf dem F-Verhältnis und die Parameterschätzung basiert auf dem t-Verhältnis. Das t-Verhältnis beträgt (Schätzung – hypothetische Schätzung) / Standardfehler der Schätzung. Sie gingen davon aus, dass der Wert für diese Tests Null ist (keine Auswirkung).
Betreff: Sollte ich eine Leistungsanalyse in DOE in Betracht ziehen?Hallo @lazzybug ,
Ich werde Ihre Fragen so gut ich kann beantworten:
1. In DoE realisieren Sie Hypothesentests in einer „Makro“-Ansicht (das Modell selbst) und in einer „detaillierten“ Ansicht (Signifikanz jedes Parameters). Dies ist im Bericht „Fit Least Squares“ aus der Antwortmodellierung in DoE zu sehen, in dem ein p-Wert für das allgemeine Modell angegeben wird (unter der Visualisierung „Actual vs. Predicted“), der Ihnen eine Vorstellung davon gibt, wie signifikant Ihr Modell ist im Vergleich zum Mittelwert der Werte und den für jeden Faktor in der „Effektzusammenfassungstabelle“ berechneten p-Werten.
- Unter der „Makro“-Ansicht (gesamtes Modell) wäre die Nullhypothese: Änderungen der Reaktion korrelieren nicht mit Änderungen der Faktoren (oder Faktoren haben Schätzungen nahe 0). Eine alternative Hypothese wäre, dass Veränderungen in der Reaktion mit mindestens einem Faktor korrelieren (oder dass mindestens ein Faktor eine Schätzung aufweist, die deutlich von 0 abweicht).
- Unter der „detaillierten Ansicht“ (für jeden Faktor) wäre die Nullhypothese: Dieser Faktor hat keinen Einfluss auf das Endergebnis (Stufe (-1) = Stufe (+1)). Alternativhypothese: Dieser Faktor hat einen Einfluss auf das Endergebnis (Stufe (-1) != Stufe (+1)).
Interessante Ressource zu diesem Thema: Die Grundlagen des experimentellen Designs für die multivariate Analyse – JMP-Benutzergemeinschaft
2. Ich bin mir nicht sicher, wo und/oder wie ich es finden kann, aber vielleicht finden Sie hier Antworten:
Leistungsberechnungen (jmp.com)
Voraussichtliche Stichprobengröße und Aussagekraft (jmp.com)
Sie können die verschiedenen Rechner und Simulationen auch im Beispieldatenindex überprüfen: Hilfe -> Beispieldaten -> Lehrressourcen, oder im Statistikindex und dann nach „Leistung“ suchen.
@Phil_Kay und andere technische Experten von JMP können meine Antworten vervollständigen oder korrigieren 
Ich hoffe, dies wird dir helfen,
Betreff: Sollte ich eine Leistungsanalyse in DOE in Betracht ziehen?Hallo Victor, vielen Dank für dein Material. Ich werde DSD in Zukunft für Optimierungsarbeiten in unsere Gruppe einführen.
Könnten Sie bitte meine Fragen zum DoE erläutern?
1. Ich kannte Fehler vom Typ I und Typ II in der Statistik und wusste, wie wir sie in DoE anwenden. Beispiel: Fehler vom Typ I (Alpha): H0 ist wahr, die Wahrscheinlichkeit, dass wir es ablehnen. Fehler vom Typ II (Beta): Ha ist wahr, die Chance, dass wir H0 akzeptieren. Was sind H0 und Ha für ein bestimmtes DoE?Nehmen wir an, wir haben 6 Faktoren. Sollten wir 6 Nullhypothese haben, und jeder wird wie folgt aussehen: H0: Level (-1) = Level (+1), Ha: Level (-1)!=Level (+1)?
2. Haben Sie ein Beispiel, um zu erklären, wie ich die Leistung für Haupteffekt, Interaktion und Quadratisch basierend auf Alpha = 0,5, RMSE = 1 manuell berechnen kann, wie in JMP DoE gezeigt? Ich möchte die Leistung manuell mit Excel berechnen.
Nochmals vielen Dank für Ihre Hilfe.
Betreff: Sollte ich eine Leistungsanalyse in DOE in Betracht ziehen?Hallo @lazzybug ,
Da es Ihr Ziel sein wird, aus einer großen Liste von Faktoren herauszufinden, welche Faktoren von Bedeutung sind, werden Sie auf jeden Fall ein Screening-Design verwenden.
Nach dem, was ich gelesen habe, gibt es zwei Hauptdesigns, die in Ihrem Fall je nach Art und Anzahl der Faktoren sehr gut funktionieren könnten:
- D-optimales kundenspezifisches Design (geben Sie über die Plattform „Custom Design“ Ihre Faktoren und Ihren Bereich an und JMP findet das optimale Design für Ihren Experimentierraum). Eine sehr praktische Designplattform, die viel Flexibilität für die Art der Faktoren bietet, mit der Möglichkeit, die Randomisierung einzuschränken (wenn Sie schwer änderbare Faktoren haben) und der Möglichkeit, Kovariaten, Blockierungsfaktoren usw. hinzuzufügen.
- Definitives Screening-Design, wenn Sie viele Faktoren (nützlich für mehr als 5 Faktoren) auf sehr effiziente Weise screenen möchten, bei dieser Art von Design jedoch Einschränkungen bestehen: nur kontinuierliche oder kategoriale Faktoren auf zwei Ebenen und keine Möglichkeit zum Hinzufügen einen Blockierungsfaktor (wenn Sie beispielsweise nur 10 Experimente pro Gerätedurchlauf messen können, können Sie einen Blockierungsfaktor von 10 Messungen pro Durchlauf hinzufügen, um die Variabilität zwischen verschiedenen Gerätedurchläufen zu berücksichtigen). Wenn Sie jedoch über eine geringe Anzahl von Faktoren verfügen, die von Bedeutung sind, können Sie mit diesem Design möglicherweise Wechselwirkungen und quadratische Effekte durchsieben, was es sehr effizient macht. Es ist wichtig zu beachten, dass die Haupteffekte unkorreliert (orthogonal) zueinander sowie zu Zwei-Faktor-Wechselwirkungen und quadratischen Effekten sind.
Sie können auch einen klassischeren Ansatz ausprobieren (wie Plackett-Burmann-Screening-Designs), aber diese klassischen Designs lassen sich manchmal nur schwer an ein bestimmtes Problem anpassen.
Am Ende wird die Wahl des Designs der beste Kompromiss sein, den Sie zwischen Ihrem Versuchsaufbau (Anzahl und Art der Faktoren, Einschränkungen, maximale Anzahl von Experimenten, ...) und den Designspezifikationen/-eigenschaften finden können. Ich würde dringend empfehlen, verschiedene Designs und Ausführungszahlen auszuprobieren und die Plattform „Designs vergleichen“ (DoE -> Designdiagnose -> Designs vergleichen) zu verwenden, um einen guten Überblick über die Stärken und Schwächen jedes Designs zu erhalten und zu entscheiden, welches Design und welche Einstellungen am besten geeignet sind Machen Sie den besten Kompromiss für Ihr spezifisches Thema.
Egal für welches Design Sie sich entscheiden: Sobald Ihr Screening abgeschlossen und wesentliche Faktoren/Haupteffekte identifiziert sind, können Sie Ihr Design erweitern, um eine vollständig benutzerdefinierte Antwortoberfläche für die Optimierung dieser Faktoren zu erstellen.
Einige Ressourcen zu endgültigen Screening-Designs:
Definitives Screening-Design: Einfache Definition, wann zu verwenden – Statistik-Anleitung
Definitives Screening-Design – JMP-Benutzergemeinschaft
Leistungsstarke Analyse endgültiger Screening-Designs: Nutzen Sie ihre Spezifika... - JMP-Benutzergemeinschaft
Ich hoffe, das wird Ihnen helfen,
Betreff: Sollte ich eine Leistungsanalyse in DOE in Betracht ziehen?@Victor_G Und @Phil_Kay , vielen Dank für deine Erklärung. Für mich ist es sehr nützlich, die Leistung und den RMSE zu verstehen. Ich habe noch eine Frage. Für mein Experiment möchte ich mithilfe des Screening-Designs lediglich herausfinden, welche Faktoren in vielen Faktoren für meine Antwort von Bedeutung sind. Anschließend werde ich die Antwortoberfläche verwenden, um diese ausgewählten Faktoren zu optimieren. Vor dem Experiment weiß ich nicht, was der RMSE ist und welcher Koeffizient in der Leistungsanalyse eingestellt werden soll. Können Sie mir näher erklären, wie ich mein Experiment gestalten soll? Nochmal vielen Dank.
Mir ist gerade aufgefallen, dass dies ein großartiger Ort ist, um Fragen zu stellen. Ich hoffe, ich kannte diese Community schon früher.
Betreff: Sollte ich eine Leistungsanalyse in DOE in Betracht ziehen?Ich bin mit allem einverstanden @Victor_G hat gesagt. Ich möchte nur wiederholen, dass die Kraft nur dann sinnvoll ist, wenn:
- Sie kennen die Größe des Signals, das Sie erkennen müssen UND ...
- Sie verfügen über gute Schätzungen des experimentellen und Antwortmessrauschens (RMSE).
(Sie müssen sich auch für ein Signifikanzniveau entscheiden)
Es kommt sehr häufig vor, dass eines oder beide dieser Dinge fehlen. In diesen Fällen kann Leistung immer noch nützlich sein, allerdings nur, um alternative Designs zu vergleichen.
Es macht wenig Sinn, sich Gedanken darüber zu machen, ob die Leistung weniger als 80 % beträgt, wenn Sie nur die Standardsignal- und Rauschschätzungen in JMP verwenden.
Ich habe einige Folien angehängt, die ich erstellt habe, um zu erklären, wie die Stromversorgung in JMP DOE funktioniert.
Ich hoffe das hilft,
Phil
Betreff: Sollte ich eine Leistungsanalyse in DOE in Betracht ziehen?Hallo @lazzybug ,
Leistung ist die Fähigkeit, signifikante Effekte zu erkennen, wenn sie tatsächlich vorhanden sind.
Diese 80 % sind eine praktische Faustregel, um zu beurteilen, ob Ihr Screening-Design in der Lage ist, Haupteffekte effizient zu erkennen. Bedenken Sie jedoch, dass die Berechnung der Trennschärfe nicht nur vom Design (und seiner Stichprobengröße) abhängt, sondern auch von der Signifikanz Pegel (häufig 0,05), zu erkennende Differenzgröße und erwartetes Signal-Rausch-Verhältnis (oder RMSE) der Antwort(en).
Wenn also Ihr erwarteter RMSE niedriger ist (die Reaktion(en) werden präziser und mit geringerer Varianz gemessen) und/oder die Differenzgröße, die Sie erkennen möchten, höher ist, können Sie eine höhere Leistung für Ihre Effekte erwarten.
Bei Optimierungsdesigns (Mischungsdesigns, raumfüllende Designs usw.) ist die Leistung möglicherweise nicht sehr interessant zu berücksichtigen, da ihr Hauptaugenmerk auf der Präzision der Reaktion(en)-Vorhersage und nicht auf der Genauigkeit der Schätzberechnung liegt. Aber beim Screening-Design ist die Macht von vorrangigem Interesse, wie in Ihrem Fall.
Es ist schwer zu sagen, ob wir Ihrem Design diese Informationen anvertrauen können, da sie nicht nur vom Design selbst und seinen Erwartungen (RMSE, Signifikanzniveau, zu erkennende Differenzgröße usw.) abhängen, sondern auch davon, welche Faktoren Sie überprüfen möchten , bei welchen davon Sie einen signifikanten, erwarteten Unterschied erwarten, der erkannt werden kann ... = Domänenexpertise.
Vielleicht besteht eine Lösung für Sie darin, verschiedene Designs zu berechnen, um die Stärken und Schwächen der verschiedenen Screening-Designs zu vergleichen.
Wenn ich mir das benutzerdefinierte Design anschaue und 12 Experimente für 11 kontinuierliche Faktoren bearbeite (Mindestanzahl erforderlicher Durchläufe), finde ich auch eine Leistung für Haupteffekte nahe 0,21 (also 21 % der Chancen, einen signifikanten Effekt zu sehen, falls vorhanden). Wenn jedoch die Anzahl der Läufe auf 16 erhöht wird (empfohlen von JMP, Einstellung „Standard“), steigt die Leistung für die Haupteffekte auf 0,84. Wenn die experimentellen Kosten nicht zu hoch sind, kann eine Erhöhung der Stichprobengröße Ihnen dabei helfen, mehr Vertrauen in Ihre Screening-Fähigkeiten zu gewinnen.
Ich hoffe, das wird Ihnen helfen,
