819880_de-DE

liliconcom

Modellreduktion

Hallo,

Gemäß dem JMP-Lernmodell für DOE-Analysen können nicht signifikante Terme im Modell entfernt werden, beginnend mit den nicht signifikanten Interaktionen höherer Ordnung (= Modellreduktion).

Aber ist es wirklich so einfach? Gibt es noch andere Dinge, die man berücksichtigen muss, bevor man nicht signifikante Terme entfernt? Bedeutet das Entfernen eines nicht signifikanten Termes zwangsläufig, dass dieser Faktor keine/nur geringe Auswirkungen auf Ihre Ausgabe-/Antwortvariable hat?

Gilt die Modellreduktion außerdem auch für REML/gemischte Modelle?

Vielen Dank für jede Klarstellung zu dieser Angelegenheit.

Sarah

VersuchsplanungBetreff: Modellreduktion

So einfach ist es nicht. Die Frage, ob Modellterme entfernt werden oder nicht, ist neben der laufenden Diskussion über die Verwendung/den Missbrauch/die falsche Verwendung von p-Werten ganz oben anzusiedeln. Tatsächlich sind das für mich zwei Seiten derselben Medaille.

Nachdem ich dies gesagt habe, kann ich jedoch mit Sicherheit sagen, dass das Entfernen eines Modellterms nicht bedeutet, dass ein Faktor, der an der Parameterschätzung beteiligt ist, „… keine/wenigste Auswirkung auf Ihre Ausgabe-/Antwortvariable hat“. Es bedeutet nur, dass Sie sich in DIESEM bestimmten Inferenzraum dazu entscheiden, den Term nicht in das Modell aufzunehmen. Diese Entscheidung ist meilenweit davon entfernt, Gott und allen, die es hören wollen, zu verkünden, dass es „keine/wenigste Auswirkung“ gibt. Vielleicht waren die von Ihnen gewählten Ebenen (bei der Modellierung eines geplanten Experiments) zu eng, als dass ein Signal über das Rauschen hinausgehen könnte. Vielleicht überwältigt das Rauschen im Inferenzraum die Auswirkung des Faktors. Und lassen Sie mich gar nicht erst mit der Interpretation des „p-Werts“ anfangen … alle Terme sind bei einem bestimmten p-Wert „signifikant“. Wer wählt diesen Signifikanzwert aus? Nach welchen Kriterien?

Und meiner Meinung nach kann dasselbe über praktisch jede Modellierungsmethode (REML/mixed und andere) gesagt werden, die mir einfällt.

Betreff: Modellreduktion

Hallo P_Bartell,

Ich verstehe die Komplexität dieser Angelegenheit. Meine Überlegung ist jedoch, dass Sie irgendwann in der Lage sein möchten, Schlussfolgerungen auf Grundlage der Ergebnisse des von Ihnen durchgeführten DOE zu ziehen. Was wäre sonst der Zweck der Durchführung? Was also machen Sie aus praktischer Sicht mit den nicht signifikanten Begriffen?

Danke

Sarah

Betreff: Modellreduktion

Pete hat natürlich mit seinem Rat recht und ist klug. Insbesondere in Bezug auf den Inferenzraum. Wie repräsentativ war das Rauschen in der Studie, als Sie Ihr Experiment durchgeführt haben? Wie wurde das Rauschen in der Studie behandelt? (Haben Sie z. B. eingeschränkt, blockiert, wiederholt, repliziert, mit Split-Plots partitioniert)? Ist die Schätzung des MSE angemessen und stellt sie den wahren Zufallsfehler dar? Wenn nicht, ist die statistische Signifikanz bedeutungslos. Denken Sie daran, dass die statistische Signifikanz eine bedingte Aussage ist!

Bei der Modellreduktion sollten Sie Folgendes berücksichtigen:

1. Praktische Bedeutung. Dies hat nichts mit statistischer Signifikanz zu tun, bei der es sich um einen Vergleich der Effekte mit dem MSE handelt. Haben die Faktoren/Wechselwirkungen eine praktische Bedeutung? Anders ausgedrückt: Sie sollten das Modell hinsichtlich seines wissenschaftlichen oder technischen Werts bewerten. Gibt es rationale und logische Hypothesen, die die Identifizierung interessanter und nicht interessanter Begriffe unterstützen?

2. R-Quadrat-R-Quadrat-angepasstes Delta. Wenn Sie uninteressante Terme aus dem Modell entfernen, sollte das Delta kleiner werden. Auch die Größe des R-Quadrats sollte angepasst werden.

3. Residuen. Wie sehen sie aus? Gibt es Ausreißer, ungewöhnliche Muster usw., wenn Sie Begriffe entfernen?

4. p-Werte. Diese könnten für den ersten Schnitt nützlich sein, sind aber bei der Iteration weniger nützlich (oder nutzlos). Was passiert mit den unbedeutenden Mittelquadraten? Sie werden zum MSE hinzugefügt, wobei die DFs den MSE im Wesentlichen verringern und die F-Werte auf verzerrte Weise erhöhen.

5. Nützlich. Das Modell muss nützlich sein. Die Aufgabe besteht nicht darin, das komplexeste Modell zu erstellen, das man bekommen kann, sondern ein Modell zu erstellen, das prädiktiv und nützlich ist.

Einer der Vorteile von JMP ist natürlich die Möglichkeit, das Modell schnell zu ändern und neu auszuwerten.

Betreff: Modellreduktion

Als Antwort auf Ihre Frage: „Was ist sonst der Zweck der Durchführung...“ Mit „es“ meine ich ein geplantes Experiment... Ich beantworte diese Frage aus meinem zugegebenermaßen etwas voreingenommenen Bezugsrahmen, da ich aus der Industrie und nicht aus einem Forschungsumfeld komme.

Der Hauptzweck unserer geplanten Experimente bestand bei weitem nicht darin, „… Schlussfolgerungen zu ziehen …“, sondern ein praktisches Problem zu lösen. Ich sage nicht, dass die Suche nach „Schlussfolgerungen“, die ich als neues, neuartiges Wissen definiere, kein lohnendes Unterfangen ist … wir befanden uns nur nicht in dieser Situation. Was ist also der ultimative Zweck dieser geplanten Experimente? Wenn es darum geht, ein praktisches Problem zu lösen … dann würde ich es auf beide Arten versuchen … Modellierung mit und ohne die „unbedeutenden“ Begriffe und den Nutzen des Modells im Kontext der Lösung des vorliegenden praktischen Problems betrachten. Wenn es um neues Wissen geht, würde ich zusätzliche Experimente in Betracht ziehen, bevor ich pauschale Aussagen wie „keine/minimale Wirkung“ mache, um den Schlussfolgerungsraum unter verschiedenen Störfaktoren (Lieferanten, Ausrüstung, Betreiber, Skalierbarkeit usw.) und Störvariablen und anderen Problemen wie Faktorebenenabstand, Messsystemrauschen usw. zu erweitern, und dies wird selten mit einem Experiment erreicht. Bei meiner Arbeit nannten wir dies „Darstellungsrisiko verstehen“.

Ein einfaches, rein illustratives Beispiel, aber eine Situation, die wir häufiger erlebt haben, als es uns lieb gewesen wäre. Wir führten eine Versuchsanordnung mit Pilotanlagen durch und kamen zu dem Schluss, dass „die Beschichtungsgeschwindigkeit“ keinen Einfluss auf die interessierende Reaktion hat. Aber dann skalierten wir auf Produktionsanlagen hoch … und plötzlich hat die „Beschichtungsgeschwindigkeit“ einen Effekt. Wie kann das sein? Neuer Prozess … neue Geräusche. Es geht darum, wie „repräsentativ“ das Experiment für zukünftige Bedingungen ist. Deming schrieb ausführlich über die Probleme, die mit enumerativen vs. analytischen Studien verbunden sind.

Aufzählende vs. analytische Studien

Nur wenn man sich dieses weiten Feldes bewusst ist, kann man mit gutem Gewissen pauschale Aussagen wie „keine/minimale Auswirkung“ treffen.

Betreff: Modellreduktion

In Anbetracht dieser Antworten würde ich behaupten, dass das JMP DOE-Lernmodul die Analyse eines DOE zu sehr vereinfacht.

Betreff: Modellreduktion

Fairerweise muss man sagen, dass die Lernmodule von JMP dazu gedacht sind, das Produkt vorzustellen und es zu „verkaufen“. Ich verbringe 6 Monate damit, die Grundlagen des experimentellen Designs mit mehreren praktischen Experimenten und vielen praktischen Fallstudien zu unterrichten. Meiner Meinung nach wäre es fast unmöglich, dies online zu lehren (obwohl ich es während Covid versucht habe). Die Lernmodule sollen die Methoden vorstellen und Personen, die möglicherweise keine Vorkenntnisse haben, die potenziellen Anwendungen näherbringen. Wenn Sie am Ende dieser Module Situationen identifizieren können, die von den Methoden profitieren würden, haben sie ihren Zweck erfüllt.

Ich habe eine etwas andere Meinung als Pete, was den Einsatz experimenteller Designs betrifft. Meiner Meinung nach gibt es zwei „Motivationen“, die die Untersuchungsarbeit antreiben:

1. Erklärend – Es besteht ein Problem und Sie versuchen, das Problem und seine mögliche Ursache zu verstehen. Natürlich kann DOE hier hilfreich sein, aber ich neige dazu, gezielte Stichproben und Komponenten von Variationsstudien zu verwenden, um diese Ereignisse zu verstehen. Ich kann mit DOE sicherlich ein Problem entstehen lassen, aber das ist möglicherweise nicht der Grund, warum das Problem überhaupt aufgetreten ist.

2. Vorhersage – Verstehen Sie die Kausalität, damit der Ermittler ein nützliches Vorhersagemodell entwickeln kann. Hier glänzt DOE, und es gibt wirklich keine andere Methode, die so leistungsfähig ist wie DOE.

Betreff: Modellreduktion

Vielen Dank für die Erklärung.

Mehr anzeigen...

Das Entfernen nicht signifikanter Terme kann ein Modell vereinfachen, aber es ist wichtig, den Kontext, die Modellannahmen und die potenzielle Multikollinearität zu berücksichtigen. Ein nicht signifikanter Term bedeutet nicht unbedingt, dass der Faktor keine Wirkung hat; er kann auf unzureichende Aussagekraft oder falsche Messung hinweisen. Die Modellreduktion gilt auch für REML/gemischte Modelle, aber hier ist Vorsicht geboten. Während meiner College-Zeit suchte ich oft Hilfe beim Schreiben meiner akademischen Aufsätze. Nach einigen Recherchen stieß ich auf DoMyPaper, das viele positive Bewertungen hatte. Ich beschloss, domypaper.com um Hilfe zu bitten, und es stellte sich als großartige Erfahrung heraus. DoMyPaper verfügt über ein Team von Experten, die Studenten dabei helfen, ihre Schreibfähigkeiten zu verbessern. Jetzt verlasse ich mich auf ihre Dienste, um Hilfe bei meinen akademischen Schreibarbeiten zu erhalten.

Betreff: Modellreduktion

Hallo @SaraA ,

Die in den JMP-Modulen gezeigten Beispiele sollen Nicht-Statistikern, die „einsteigen“ möchten, die Grundlagen von Design und Analyse näherbringen. Natürlich sind die Datensätze leicht nachvollziehbar und die Analyse ist vereinfacht, sodass jeder sie verstehen und ausprobieren kann.

Aber wie @statman erwähnt hat, ist das Thema Modellierung viel umfangreicher (und manchmal komplizierter), als sich „nur“ auf p-Werte zu verlassen. Abhängig von Ihren Zielen können Sie unterschiedliche Wege zur Bewertung und Auswahl von Modellen haben:

• Erklärendes Modell : Im Erklärungsmodus konzentrieren Sie sich mehr auf die Begriffe, die einen gewissen Einfluss auf die Antwort(en) haben. Sie könnten also die Notwendigkeit der Einbeziehung der verschiedenen Begriffe auf der Grundlage statistischer Signifikanz (mithilfe von p-Werten und einem vordefinierten Schwellenwert dafür wie 0,05) und praktischer Signifikanz (Größe der Schätzungen, Auswahl basierend auf Fachwissen) bewerten. R², R² angepasst (und die Differenz zwischen den beiden, die minimiert werden muss) könnten gute Messgrößen sein, um zu verstehen, wie viel Variation durch die identifizierten Begriffe erklärt wird, und relevante Modelle auszuwählen, um Ihr untersuchtes System zu erklären.
• Vorhersagemodell : Im Vorhersagemodus konzentrieren Sie sich mehr auf die Begriffe, die Ihnen helfen, Vorhersagefehler zu minimieren. Sie können also die Notwendigkeit der Einbeziehung der verschiedenen Begriffe danach beurteilen, wie sich dadurch die Vorhersageleistung verbessert, und zwar durch die Visualisierung des tatsächlichen vs. des Vorhersagediagramms und der Fehlergröße (Residuendiagramm). RMSE kann ein gutes Maß sein, um zu beurteilen, welche Modelle die beste Vorhersageleistung aufweisen (Ziel ist die Minimierung von RMSE).

Möglicherweise sind Sie auch an einer Kombination der beiden Teile interessiert, sodass unterschiedliche Metriken zur Bewertung und Auswahl von Modellen verwendet werden können, wie z. B. Informationskriterien (AICc, BIC), die dabei helfen, einen Kompromiss zwischen der Vorhersageleistung des Modells und seiner Komplexität zu finden. Um ein Modell anhand dieser Kriterien zu bewerten und auszuwählen, gilt: je niedriger, desto besser. Sie können auch die maximale Wahrscheinlichkeit verwenden, die ähnlich ist, aber keine Abzüge für die Komplexität des Modells beinhaltet.

Ich würde empfehlen, bei p-Werten vorsichtig zu sein und den „ Kult der statistischen Signifikanz “ zu vermeiden: Gelöst: Re: Statistische Signifikanz - JMP-Benutzer-Community

Zur Erstellung Ihres Modells stehen in JMP zahlreiche Plattformen zur Verfügung ( Fit Model und Generalized Regression- Modelle, Fit Two Level Screening , Fit Definitive Screening , ...), die unterschiedliche Techniken, Schätzungen oder Validierungskriterien verwenden, manchmal abhängig von Ihrer Designauswahl. Sie können sie ausprobieren und sehen, wie und wann Ihr Modell übereinstimmt und wann/wo es nicht übereinstimmt. Versuchen Sie, die Ergebnisse Ihrer verschiedenen Ergebnisse in Rasterdiagrammen oder einfacheren Diagrammen wie diesem darzustellen:

Je nach verwendeter Plattform können Sie die Übereinstimmung der Modelle überprüfen und mithilfe einer spezifischen, an Ihre Zielsetzung angepassten Metrik leichter ein oder mehrere Modelle auswählen.

Um auf Ihre ursprüngliche Frage zurückzukommen: Bei der Modellierung der Antwort(en) müssen die statistische und die praktische Signifikanz berücksichtigt werden. Außerdem sollte das resultierende Modell Fachexperten vorgelegt und einer experimentellen Validierung unterzogen werden.

Hoffe, diese ergänzende Antwort könnte hilfreich sein, auch wenn sie spät kommt,