Warum ist mein p-Wert für mangelnde Anpassung so klein?Hallo JMP-Community. Ich habe kürzlich meine Experimente nach einem RSM-Design abgeschlossen. Die Daten habe ich in die Software eingegeben und das Modell (unter Berücksichtigung von Interaktionen und RS) ausgeführt. Faktoren und Interaktionen, die laut Effektübersicht irrelevant waren, habe ich ausgeschlossen. Der p-Wert für die mangelnde Anpassung ist jedoch weiterhin sehr niedrig (siehe Screenshot unten). Ich befürchte, dass das Modell überangepasst ist, da mein RSq-Wert mit 0,97–0,98 hoch ist (ich weiß allerdings, dass dies kein guter Indikator sein muss, da nichtlineare Interaktionen zwischen den Faktoren vorliegen).
Ich habe auch die schrittweise Modellierung versucht, aber der p-Wert für die mangelnde Anpassung hat sich nicht verbessert. Könnten Sie mir bitte helfen, wie ich nun vorgehen soll oder was ich versuchen könnte, um ein passendes Modell für meine Daten zu finden? Ich komme momentan nicht weiter und finde die optimalen Bedingungen nicht. Vielen Dank.
Grundlagen der Datenanalyse und ModellierungPrädiktive Modellierung und maschinelles LernenBetreff: Warum ist mein p-Wert für mangelnde Anpassung so klein?Hallo @Chemist9 ,
Willkommen in der Community!
Der Lack-of-Fit -Test ist hilfreich, um zu beurteilen, ob Ihr Modell gut zu den Daten passt.
Es ist sehr schwierig, Ihnen anhand eines Screenshots dieses Modellberichts zu helfen. Könnten Sie weitere Screenshots aus verschiedenen Teilen des Berichts (z. B. Ist-Wert-Soll-Vergleich, Residuen usw.) oder noch besser den anonymisierten Datensatz bereitstellen? Ein statistisch signifikanter p-Wert für diesen Test deutet darauf hin, dass der Modellfehler deutlich größer ist als der reine Fehler und Ihr Modell möglicherweise nicht ausreichend ist.
Diese Situation kann in Ihrem Beispiel aus verschiedenen Gründen eintreten:
- Wenn Ihr Modell für die erhobenen Ergebnisse/Daten „zu einfach“ ist, beispielsweise weil Terme zur Modellierung der Krümmung in Ihren Daten fehlen (durch Terme zweiter Ordnung, Interaktionen, quadratische Effekte oder Effekte höherer Ordnung), auf welcher Grundlage haben Sie Terme aus dem Modell entfernt (nur p-Werte)? Wie verhält sich das vollständige Modell und wie gut ist es? Da Sie ein RSM-Modell mit dem Ziel der Optimierung und Vorhersage erstellt haben, empfehle ich Ihnen, verschiedene Metriken zur Verfeinerung Ihres Modells zu verwenden, z. B. den RMSE (Modellgenauigkeit) und ein Informationskriterium (AICc/BIC). Diese helfen Ihnen, den Kompromiss zwischen Komplexität und Genauigkeit Ihres Modells zu bewerten und abzuwägen.
- Wenn Ihre replizierten Punkte im Vergleich zum Modell eine extrem geringe Varianz aufweisen: Sind Ihre Replikationsversuche unabhängig von den anderen Versuchen? Wie haben Sie diese Versuche durchgeführt? Handelt es sich um „echte“ Replikate, d. h. haben Sie diese Versuche unabhängig voneinander erstellt UND gemessen (und nicht einfach denselben Versuch ein zweites/drittes Mal durchgeführt)?
Ich empfehle Ihnen außerdem, die Güte Ihres Regressionsmodells mittels Residuenanalyse zu überprüfen. So können Sie feststellen, ob die Regressionsannahmen erfüllt sind und ob sich in den Residuen Muster erkennen lassen, die auf eine Unzulänglichkeit des Modells hindeuten könnten. Sollte ein Muster erkennbar sein, könnte dies bestätigen, dass entweder einige Terme im Modell fehlen oder dass eine Transformation erforderlich ist, um Ihre Daten korrekt abzubilden.
Ich hoffe, diese Antwort hilft Ihnen.
Betreff: Warum ist mein p-Wert für mangelnde Anpassung so klein?Vielen Dank für Ihre hilfreiche Antwort, @Victor_G !
Um Ihnen einen Einblick in das zu geben, was ich bisher bereits untersucht habe:
- Ich habe das Modell mit allen möglichen Zwei-Wege-Wechselwirkungen und quadratischen Termen berechnet. Anschließend habe ich einige Terme anhand ihrer p-Werte aus der Effektübersichtstabelle ausgeschlossen. Terme mit einem p-Wert > 0,05 wurden entfernt (mit Ausnahme der Temperatur, da diese wichtige Wechselwirkungen mit anderen Faktoren aufweist).
- Für das Modell, in dem ich die „unbedeutenden“ Wechselwirkungen entfernt habe, erhielt ich einen normalisierten RMSE-Wert von 5,66 %, der meiner Meinung nach für die von mir derzeit untersuchten metallurgischen Prozesse noch akzeptabel ist. Bitte teilen Sie mir jedoch mit, ob wir unterschiedliche Maßstäbe für die Beurteilung eines guten oder schlechten RMSE-Wertes haben.
- Ich habe das von Ihnen erwähnte Informationskriterium (AICc/BIC) noch nicht näher untersucht. Kann ich es mithilfe des Stepwise-Persönlichkeitsmodells ermitteln?
- Ja, meine Replikate wurden unabhängig voneinander durchgeführt und gemessen. Könnte es sein, dass das Modell aufgrund der geringen Varianz bereits zu pingelig ist?
Um diese Diskussion weiter zu unterstützen, finden Sie hier die von Ihnen erwähnten relevanten Diagramme:
- Istwert vs. Vorhersage: Ich persönlich erkenne kein Muster (S usw.), aber es sieht so aus, als ob die meisten Punkte im oberen rechten Bereich konzentriert sind.
- Residuum zu Vorhersage: Ich bin mir nicht sicher, ob sich im Diagramm ein Muster erkennen lässt, aber ich glaube nicht, dass es zufällig verteilt ist.
- Studentisierte Residuen: Nach meinem derzeitigen Verständnis gibt es in meinen Daten keine Ausreißer, die ich entfernen müsste, da alle Punkte innerhalb der grünen und roten Grenzen liegen.
Mein Problem ist nun, dass ich nicht weiß, wie es weitergehen soll, da ich nur sehr begrenzte Kenntnisse über diese Tools habe.
Als neues Mitglied der Community und JMP-Nutzer war Ihre Antwort sehr hilfreich. Ich freue mich auf unser Gespräch. Vielen Dank!
Betreff: Warum ist mein p-Wert für mangelnde Anpassung so klein?Okay, das ist hilfreich.
Beim Vergleich der Ist- und Sollwerte fällt auf, dass manche niedrigen Werte überschätzt und manche hohen Werte unterschätzt werden. Mich interessiert auch, was es mit einigen Punkten in diesen Diagrammen auf sich hat: Handelt es sich um Replikate oder um unterschiedliche Punkte, bei denen im Modell ein Term fehlt, der sie differenziert?
Das Informationskriterium ist eine zusätzliche Kennzahl, die im Bericht „Fit Least Squares“ im Abschnitt „Summary of Fit“ verfügbar ist.
Ja, in Fällen, in denen die Varianz zwischen replizierten Punkten sehr gering ist, kann der Anpassungstest mit einem geeigneten Modell statistisch signifikant ausfallen (daher meine Frage nach „echten“ Replikaten, um sicherzustellen, dass diese korrekt durchgeführt wurden und die natürliche experimentelle Variation nicht unterschätzt wird). Ein statistisch signifikanter Anpassungstest kann auch leichter mit einer hohen Anzahl von Mittelpunkten erzielt werden: https://statease.com/blog/importance-center-points-central-composite-designs/#:~:text=The%206%20center%20point%20design,making%20the%20test%20almost%20meaningless .
Bitte prüfen Sie im Bereich „Faktorprofilierung“ die Box-Cox-Transformation, um sicherzustellen, dass keine kleine Transformation erforderlich ist, um Ihre Daten besser anzupassen. Prozentuale Antwortwerte benötigen in der Regel eine LogitPct- oder LogisticPct- Transformation, damit die vorhergesagten Werte im Bereich von 0 bis 100 bleiben. Diese Transformationen tragen dazu bei, S-förmige Muster in den Residuen und den Vergleichsdiagrammen (Ist-Werte vs. Vorhergesagte Werte) zu reduzieren.
Ich hoffe, diese Rückmeldung hilft Ihnen weiter.
Betreff: Warum ist mein p-Wert für mangelnde Anpassung so klein?Hallo @Victor_G !
Ich habe Ihre Empfehlungen umgesetzt und denke, dass sich das Modell dadurch verbessert hat. Ich bin mir jedoch noch nicht sicher, ob es das optimale Modell für meine Daten ist.
Bei den von Ihnen erwähnten „Punktreihen“ handelt es sich um exakte Repliken.
Ich habe LogitPct und LogisticPct angewendet, und LogitPct scheint für meinen Datensatz besser geeignet zu sein. Ich erhielt ein realistischeres Vorhersageprofil und einen niedrigeren AICc-Wert im Vergleich zu LogisticPct. Dadurch wurde auch die maximale Y-Antwort auf 100 % begrenzt, was zuvor ein Problem darstellte. Mein p-Wert für die mangelnde Anpassung ist jedoch weiterhin sehr niedrig, obwohl sich der RMSE verbessert hat. Könnte der niedrige p-Wert für die mangelnde Anpassung auf meine Mittelpunkte zurückzuführen sein? Meine Experimente wurden nach dem zentralen zusammengesetzten Versuchsplan (Central Composite Design – RSM) konzipiert.
Ich überlege auch, ein Modell höherer Ordnung anzuwenden. Kann JMP mögliche Interaktionen höherer Ordnung vorschlagen? Oder muss dies manuell im Fenster „Modell anpassen“ erfolgen?
Vielen Dank für Ihre hilfreichen Beiträge!
Betreff: Warum ist mein p-Wert für mangelnde Anpassung so klein?Hallo @Chemist9 ,
Okay, das Modell sieht auf den Screenshots, die Sie geschickt haben, tatsächlich viel besser aus.
Wie viele Mittelpunkte hat Ihr RSM? Wie Sie meinem vorherigen Link von StatEase entnehmen können, liegt die übliche Anzahl an Mittelpunkten bei 3 bis 5. Bei einer höheren Anzahl an Mittelpunkten ist es möglich, dass Sie die Sensitivität des Anpassungstests drastisch erhöht haben und der gefundene kleine p-Wert ein falsch positives Ergebnis ist. Sie können versuchen, einige Mittelpunkte auszublenden oder auszuschließen, um zu prüfen, ob die Aussagekraft des Tests weiterhin besteht.
Sie können im Fenster „Modell anpassen“ auch manuell weitere Terme zu Ihrem Modell hinzufügen. Welchen Typ des zentral zusammengesetzten RSM-Designs haben Sie gewählt? Ein flächenzentriertes Design? In diesem Fall haben Sie drei verschiedene Stufen pro Faktor, wodurch die Ordnung Ihres Modells auf zwei beschränkt ist. Sie können dennoch versuchen, partielle kubische Terme in das Modell aufzunehmen. Diese beschreiben Wechselwirkungen zwischen Haupteffekten und quadratischen Effekten. Solche Terme sind in der Regel selten, aber wenn einer davon aktiv ist, kann er Ihr Modell deutlich verbessern.
Überlegen Sie sich abschließend, wie Sie Ihr Modell validieren:
- Welchen Zweck verfolgt dieses Modell? Optimierung, Vorhersage, Wissensaufbau usw.? Was sind Ihre Erfolgskriterien?
- Entspricht das Modellverhalten Ihren Fachkenntnissen und Erwartungen?
- Ist die Genauigkeit der Vorhersagen praktisch akzeptabel?
- Planen Sie, Ihr Modell über den gesamten experimentellen Raum zu validieren (indem Sie neue Experimente an unerprobten Stellen des experimentellen Raums durchführen)? Oder sind Sie nur an dem vom Modell gefundenen Optimum interessiert?
Diese nicht abschließenden Fragen können Ihnen dabei helfen, zu definieren, wann Sie aufhören sollten, Ihr Modell zu verbessern und wann Sie damit beginnen sollten.
Ich hoffe, diese Antwort hilft Ihnen.
Betreff: Warum ist mein p-Wert für mangelnde Anpassung so klein?Ich stimme Victor zu, dass Ihr quadratisches Modell möglicherweise nicht die gesamte Varianz der Antwortvarianz erklären kann; Ihr Modell könnte komplexer sein, daher ist es interessant, den Einfluss von Termen höherer Ordnung zu untersuchen. Ich nehme an, dass Ihr RSM mit einem CCD generiert wurde? Die Erweiterung Ihres DOE zu einem Modell dritter Ordnung könnte interessant sein, um den Einfluss auf den p-Wert der mangelnden Anpassung zu überprüfen.
Betreff: Warum ist mein p-Wert für mangelnde Anpassung so klein?Hallo @Chemist9 : Sind die „Punktelinien“ in etwas eingebettet, das nicht im Modell enthalten ist? Stammt jede „Punktelinie“ beispielsweise aus einem „Lauf“ oder einem anderen Blockierungsfaktor bzw. einer experimentellen Einheit?
