836067_de-DE

liliconcom

Festlegen des P-Werts der Stufe 1 in der DSD-Analyse auf ein hohes Niveau, um aktive Effekte zu erkennen

Ich habe eine Frage zur Einstellung des P-Werts der Stufe 1 für die Analyse eines 7-Faktor-DSD im Anhang.

Ich muss den P-Wert der Stufe 1 auf 0,4 einstellen, um die 5 aktiven Faktoren zu erkennen, während die Standardeinstellung 0,05 ist. Gibt es dafür eine Erklärung?

Ist der P-Wert der Stufe 1 von 0,05 nicht zu niedrig? Wie wird der P-Wert der Stufe 1 eingestellt, gibt es eine Faustregel?

VersuchsplanungBetreff: Festlegen des P-Werts der Stufe 1 in der DSD-Analyse auf einem hohen Niveau, um aktive Effekte zu erkennen

Hallo @frankderuyck ,

Ich nehme an, dass das von Ihnen gezeigte Beispiel Bildungs-/Schulungszwecken dient, da die Antwort auf einer Formel basiert?

Eine gute Erinnerung aus der JMP-Hilfe zur Beantwortung Ihrer Frage lautet: „ Ein DSD mit minimaler Laufgröße kann aktive Terme mit hoher Wahrscheinlichkeit korrekt identifizieren, wenn die Anzahl der aktiven Effekte weniger als etwa die Hälfte der Anzahl der Läufe beträgt und wenn die Effektgrößen die doppelte Standardabweichung überschreiten. “ (Quelle: Übersicht über die Fit Definitive Screening Platform )

In Ihrem Fall haben Sie 7 Faktoren und erwarten, dass 5 als „aktiv“ erkannt werden. Daher ist dies eine sehr komplexe Aufgabe, wenn Sie einen DSD mit minimaler Laufgröße und relativ hohem Reaktionsrauschen verwenden.

Wenn ich mir den Teil „Rauschen“/Variabilität Ihrer Antwortformel ansehe, kann ich erkennen, dass der zufällige, gleichmäßige Teil im Vergleich zur Größe der Schätzungen (von –20,8 bis 5,2) für die Faktoren, die Sie in dieser ersten Phase erkennen möchten, ziemlich groß ist (von –25 bis 25). Für die meisten Faktoren, für die Sie eine zu schätzende Effektgröße angegeben haben, könnte es also sehr schwierig sein, sie zu erkennen und ihre Effektgröße im Vergleich zum Teil „Rauschen“/Variabilität zu schätzen, den Sie in die Formel aufgenommen haben. Sie erwähnen auch 5 „aktive“ Faktoren, aber ich glaube, da besteht eine Verwechslung: Sie werden nur dann als „aktiv“ betrachtet, wenn ihre relative Größe der Schätzungen im Vergleich zum Rauschen/der natürlichen Variabilität Ihrer Experimente groß genug ist. Nur weil Sie eine von 0 abweichende Schätzung angegeben haben, sollten sie nicht als aktiv/wichtig betrachtet werden. Es ist eine Frage des Signal-Rausch-Verhältnisses und ein Unterschied zwischen statistischer Signifikanz und praktischer Signifikanz.

Das anzupassende Signifikanzniveau (p-Wert-Schwellenwert) kann abhängig von Ihrem Design und dem angenommenen Rauschen (voraussichtlicher RMSE) in der Plattform „Designs auswerten“ geschätzt werden. In dieser Plattform können Sie das Signifikanzniveau und den erwarteten RMSE anpassen, um die Leistung (Wahrscheinlichkeit, einen Effekt zu erkennen, wenn er aktiv ist) zu bewerten.

Vielleicht nicht „ganz genau“, aber als Übung können Sie überprüfen, ob die Ergebnisse Ihrer Analyse richtig erscheinen, während Sie an einer theoretischen Antwortformel arbeiten. Wenn ich eine neue Formelspalte hinzufüge, um den Rauschanteil der Formel zu betrachten, kann ich eine Standardabweichung von ungefähr 12 schätzen:

Wenn Sie diesen Wert als erwarteten RMSE verwenden (wahrscheinlich als niedrige Schätzung für RMSE), das Signifikanzniveau auf 0,05 festlegen und die theoretischen Schätzungen der Formel als erwartete Koeffizienten verwenden (ich habe „1“ für die Nulleffekte Ihrer Formel belassen, um die Leistungs-„Basislinie“ Ihres Designs für Haupteffekte mit diesem RMSE anzuzeigen), stimmt dies mit den Ergebnissen Ihrer Analyse überein:

Nur X1 hat eine Effektgröße, die groß genug ist, um mit hoher Wahrscheinlichkeit erkannt zu werden. Die anderen Effekte haben eine relativ zu geringe Effektgröße (verglichen mit dem erwarteten RMSE der Antwort). Wenn Sie bei gleichem erwarteten Rauschen eine höhere Signifikanzschwelle haben, erhöht sich die Leistung zum Erkennen der Haupteffekte:

Abhängig von Ihren Unterrichtszielen können für Ihr Beispiel mehrere Optionen (einzeln oder kombiniert) verwendet werden:

1. Sie können die Variabilität (zufälliger gleichmäßiger Teil in der Y-Formelantwort) reduzieren, um sicherzustellen, dass Sie die meisten aktiven Effekte erkennen können, die Sie erkennen (und schätzen) möchten.
2. Sie können die Designgröße erhöhen, um aktive Effekte leichter erkennen zu können. Aus der JMP-Hilfe: „ Durch die Erweiterung eines DSD mit minimaler Laufgröße um vier oder mehr richtig ausgewählte Läufe können Sie jedoch mit hoher Wahrscheinlichkeit wesentlich mehr Effekte identifizieren. “: Überblick über die Fit Definitive Screening-Plattform
3. Sie können die Effektgröße (Größe der Faktorschätzungen in der Formel) erhöhen, sodass es trotz des hohen Rauschens/der hohen Variabilität einfacher wird, den Effekt zu erkennen.
4. Sie können auch verschiedene Analyseplattformen ausprobieren, um die Haupteffekte zu ermitteln. Die Fit Two Level Screening-Plattform bietet möglicherweise eine andere Perspektive, zum Beispiel:
   
5. Unabhängig davon, was Sie auswählen, ist es wirklich wichtig, den Studierenden die Plattform „Designs auswerten“ (und die Plattform „Designs vergleichen“ , um verschiedene Designoptionen zu vergleichen) zu zeigen und zu erklären, da sie eine bessere Bewertung der Vor- und Nachteile eines Designs in Abhängigkeit von den Zielen, der Komplexität des Modells, der Fähigkeit zur Effekterkennung, Aliasing-Eigenschaften usw. ermöglicht. Sie kann auch zur Bewertung des anzupassenden Signifikanzniveaus verwendet werden, wenn Sie vorab Informationen zum erwarteten RMSE und den erwarteten Koeffizienten haben.

Ich hoffe, meine Antwort hilft Ihnen zu verstehen, was in Ihrem Beispiel vor sich geht.

Betreff: Festlegen des P-Werts der Stufe 1 in der DSD-Analyse auf einem hohen Niveau, um aktive Effekte zu erkennen

Hallo Victor, danke nochmals für deine ausführliche Antwort. Ja, es handelt sich um einen DOE-Trainingsfall basierend auf einer Pilotfallstudie, bei der die Ergebnisse durch erhebliches Rauschen verfälscht wurden und das Experimentbudget auf maximal 25 Durchläufe begrenzt war. Leider gab es keine Vorkenntnisse und ein pragmatischer Ansatz war erforderlich. Das Hauptziel dieser Screeningstudie ist es, die starken Haupteffekte anzugeben, mit denen das DSD erweitert werden kann, um ein RSM zu erhalten. Aus diesem Grund habe ich die 4 zusätzlichen DSD-Durchläufe nicht einbezogen und 17 beibehalten, sodass 8 zusätzliche Durchläufe zur Erweiterung übrig bleiben (4 zusätzliche Durchläufe könnten zu wenig sein).

Interessant ist, dass die DSD-Analyse bei einer Erhöhung des Schwellenwerts P auf 0,4 immer noch 5 signifikante Faktoren erkennt! Erst wenn der Schwellenwert P 0,7 beträgt, kommen die beiden kleineren, nicht signifikanten Effekte X6 und X7 zum Tragen und (wie bei der ROC-Analyse) nimmt die Modellspezifität ab. Die Erweiterung des 17-Run-DSD auf 24 unter Verwendung der 5 starken Effekte führt zu einem sehr guten und nützlichen Modell und zum erfolgreichen Erreichen des experimentellen Ziels (Übereinstimmung mit Ziel Y).

Mir gefällt die oben erwähnte Fit-Screening-Plattform mit zwei Ebenen sehr gut und ich würde auch die X4 auswählen.

Diese Fallstudie zeigt, dass ein DSD mit einem pragmatischen Ansatz trotz ungenauen Ergebnissen und Budgetbeschränkungen immer noch ein leistungsstarkes Screening-Tool ist, wofür das „S“ steht. Ich verwende es immer noch häufig.

Betreff: Festlegen des P-Werts der Stufe 1 in der DSD-Analyse auf einem hohen Niveau, um aktive Effekte zu erkennen

Auch die SVEM-Vorwärtsauswahl macht einen guten Job! Siehe Anhang

Betreff: Festlegen des P-Werts der Stufe 1 in der DSD-Analyse auf einem hohen Niveau, um aktive Effekte zu erkennen

Hallo @frankderuyck ,

Ich habe gemischte Gefühle hinsichtlich der Ausgabe und (systematischen) Verwendung von SVEM, insbesondere bei verrauschten Daten.

Die SVEM-Vorwärtsauswahl „wählt“ keine Terme im Modell aus (oder filtert sie nach einem bestimmten statistischen Kriterium und Schwellenwert), sondern versucht, sie durch die Neuabtastung der Datenpunkte mit verschiedenen antikorrelierten Trainings-/Validierungsgewichten so genau wie möglich zu schätzen. Standardmäßig werden alle Terme mit SVEM berücksichtigt und geschätzt.
Wenn Ihr Ziel also darin besteht, die wichtigsten Auswirkungen durch Screening zu verstehen und herauszufiltern, hilft Ihnen SVEM möglicherweise nicht weiter, da Ihnen hierfür ein Entscheidungsrahmen (statistisches Kriterium, Metrik und Schwellenwert) fehlt. SVEM ist jedoch sehr hilfreich bei einer prädiktiven Denkweise, wenn es um die präzise Schätzung von Begriffen geht.

Jedoch :

• Sie könnten die Spalte/Metrik „Prozent ungleich Null“ als statistische Metrik verwenden, um das Modell zu verfeinern, aber Sie würden dabei auf dieselben Schwierigkeiten stoßen wie bei p-Werten, um einen Schwellenwert zu definieren: Sollte ein Term zu >50 % ungleich Null sein, um in das Modell aufgenommen und als „aktiv“ betrachtet zu werden? Oder auf einem anderen Niveau?
• Durch die Visualisierung der Daten aus dem SVEM-Modell können Sie wahrscheinlich einige Schlüsseleffekte hervorheben und sie auf der Grundlage ihrer praktischen Bedeutung auswählen (beispielsweise sollte der absolute Wert des Terms > 2 sein):
  Aber wiederum kann die Definition dieser „Akzeptanz“-Schwelle eine Menge Fachwissen und Überlegung erfordern, um einige Begriffe nicht vorschnell auszuschließen, deren weitere Untersuchung interessant sein könnte.

Auch wenn Sie sich das Residuenmuster ansehen, passiert etwas Seltsames:

Ich würde einem Regressionsmodell, das dieses nicht zufällige Residuenmuster (Bias) zeigt, nicht trauen. Dies kann jedoch durch Verringerung der Modellkomplexität „verbessert“ werden, wenn Sie SVEM GenReg nur mit Haupteffekten starten:

Es scheint, dass das Residuenmuster eine Krümmung aufweisen könnte. In Ihrem Beispiel werden also offensichtlich Wechselwirkungen und quadratische Effekte Ihrer Antwortformel in diesem einfachen Modell nicht untersucht, und das kann dieses Krümmungsmuster erklären.

Ich glaube nicht, dass eine Komplexitätssteigerung bei der Modellerstellung und -schätzung das Richtige ist, insbesondere bei verrauschten Daten wie in diesem Beispiel.

Die Qualität Ihres Modells hängt immer von der Qualität (und Genauigkeit) Ihrer Daten ab.

Betreff: Festlegen des P-Werts der Stufe 1 in der DSD-Analyse auf einem hohen Niveau, um aktive Effekte zu erkennen

Ich stimme zu, einem Regressionsmodell, das auf einem anfänglichen Screening basiert, kann man überhaupt nicht trauen; das ist nicht das Ziel des Screenings, das lediglich eine Richtung vorgibt, wie in einem sequentiellen Arbeitsablauf weiter vorgegangen werden soll. Alle drei oben genannten Analysetools, DSD-Analyse, Zwei-Ebenen-Anpassung und SVEM filtern dieselben 5 stärksten Effekte heraus, die zur Erweiterung des DSD verwendet werden können. Mir gefällt der sequentielle Ansatz; um ein Haus des Wissens aufzubauen, sollte man mit den stärksten Bausteinen beginnen, um ein solides Gerüst für das Studium der anderen kleineren wichtigen Effekte zu erhalten.

Betreff: Festlegen des P-Werts der Stufe 1 in der DSD-Analyse auf einem hohen Niveau, um aktive Effekte zu erkennen

Bei diesem zweistufigen Screening gibt es einen starken, signifikanten quadratischen Effekt. Ist dieser zuverlässig? Da diese Screening-Plattform nur zwei Ebenen prüft, wie kann sie dann dreistufige quadratische Effekte erkennen?

Betreff: Festlegen des P-Werts der Stufe 1 in der DSD-Analyse auf einem hohen Niveau, um aktive Effekte zu erkennen

Hallo @frankderuyck ,

Richtlinien und weitere Informationen finden Sie in der Dokumentation: Übersicht über die Fit Two Level Screening-Plattform
Sie können die Reihenfolge der Einführung von Begriffen/Effekten im Modell auch hier überprüfen: Statistische Details zur Reihenfolge der Effekteingabe

Diese Plattform wird nicht für mehrstufige kategorische oder ordinale Faktoren empfohlen, da diese als kontinuierlich behandelt werden.

Bei quadratischen Effekten werden diese meist künstlich orthogonalisiert, um in das Modell einzugehen. Daher können p-Werte und Effektschätzungen ungenau sein. Die Plattform kann jedoch dennoch quadratische Effekte mit hohem Kontrast für kontinuierliche Faktoren mit drei Ebenen erkennen.

Ich habe diese Plattform in diesem Thema verwendet: Entdeckung von OML-Plänen (Orthogonal Main Effects Screening Designs for Mixed Le... – JMP User Community) und sie hat mir geholfen, einen quadratischen Effekt zu erkennen, der weder von der Fit Definitive Screening-Plattform noch von zwei Schätzmethoden der Fit Model (Generalized Regression)-Plattform erkannt wurde.

Daher kann es interessant sein, die Fit Two-Levels-Plattform zu testen (und den Richtlinien und Empfehlungen zu folgen), um Modelle von verschiedenen Plattformen zu vergleichen und herauszufinden, welche bei der Auswahl der Begriffe übereinstimmen/nicht übereinstimmen und welche die relevantesten Modelle sind.

Hoffe, diese Antwort kann Ihnen helfen,