Problem mit der RSM-AnalyseLiebe JMP-Mitarbeiter und Benutzer!
Ich bin ein Student im Grundstudium und befinde mich gerade dabei, eine Forschung durchzuführen. Ich habe einige Probleme mit der Ergebnisanalyse. Ich habe RSM (klassisches Design) verwendet, um meine Antwort mit einer Matrix mit drei unabhängigen Variablen zu optimieren. Um das Konfidenzniveau zu erhöhen, habe ich 1 Replikat in mein Design eingefügt, sodass die Matrix 40 Läufe umfasste. Dann begann ich, die Ergebnisse des experimentellen Matrixdesigns zu analysieren. Mein R2-Wert beträgt 96 % und der P-Wert <0,001, aber der fehlende Anpassungswert von P ist signifikant. Andererseits habe ich in meinem Design keine Replikation angezeigt, aber jeder Lauf wurde trotzdem einmal repliziert und der Mittelwert berechnet. Dann werden mein R2- und P-Wert nicht geändert und der fehlende Anpassungswert von P ist nicht signifikant. Deshalb möchte ich wissen, wie man die Ergebnisse richtig analysiert.
Ich freue mich auf Ihre Antworten.
Mit bestem Gruß!
Datenexploration und -visualisierungVersuchsplanungErgebnisse teilen und kommunizierenBetreff: Problem mit der RSM-AnalyseEs war mir eine Freude zu helfen. Es würde mich interessieren, Ihre These zu sehen, wenn Sie sie teilen könnten. Das sind wirklich interessante Daten, daher hoffe ich, dass Sie sie veröffentlichen und der Öffentlichkeit zur Verfügung stellen.
Betreff: Problem mit der RSM-AnalyseSehr geehrter Herr Phil_Kay!
Dieses Ergebnis wurde in meiner Bachelorarbeit verwendet. Vielen Dank, dass Sie Ihre kostbare Zeit in die Lösung meines Problems investiert haben. Das weiß ich wirklich zu schätzen!
Mit bestem Gruß!
Betreff: Problem mit der RSM-AnalyseHallo wieder, @HoaLe99 !
Das ist ein wirklich interessantes Beispiel! Ich habe gerade die letzten zwei Stunden damit verbracht, dies zu erforschen, obwohl ich eigentlich andere Dinge tun sollte. Aber es hat so viel Spaß gemacht. Ich danke Ihnen für das Teilen!
Zunächst zum Schwellenwert: Ich habe nicht empfohlen, den p-Wert-Schwellenwert in der Analyse zu ändern. Ich denke, das kann man machen, aber es würde nichts ändern. Sie würden immer noch genau die gleichen Analysen und p-Werte erhalten. Ich habe eigentlich nur gesagt, dass wir „Signifikanz“ deklarieren, wenn ein p-Wert unter dem Schwellenwert von 0,05 liegt. Und dieser Schwellenwert ist nur eine Konvention oder eine „Faustregel“. Wir könnten leicht einen anderen Schwellenwert verwenden und das würde das ändern, was wir als „signifikant“ bezeichnen.
Auf jeden Fall ist es in diesem Fall weitgehend irrelevant, da der p-Wert für mangelnde Anpassung weit unter 0,05 liegt. Es sieht tatsächlich so aus, als ob Sie einen ziemlich schwerwiegenden Mangel an Passform haben, was Sie an einigen Diagrammen erkennen können:
Beachten Sie, dass die Punkte im tatsächlichen Vergleich zu den vorhergesagten Werten nicht nur zufällig auf der Linie verteilt sind. An verschiedenen Stellen gibt es Gruppierungen ober- und unterhalb der Linie.
Dies deutet darauf hin, dass das Modell in irgendeiner Weise unzureichend ist und daher möglicherweise Terme höherer Ordnung erfordert. Sie haben nur Terme erster und zweiter Ordnung berücksichtigt (das RSM-Modell). Ich habe mir überlegt, Begriffe 3. Ordnung hinzuzufügen.
Dies ist kompliziert, da es mehr Terme 3. Ordnung gibt, als Sie unterbringen können. Ich habe tatsächlich einige der Tools in JMP Pro verwendet, um dabei zu helfen, darunter Best Subset und SVEM Lasso in Gen Reg in JMP Pro 17. Sie können Stepwise jedoch im Standard-JMP verwenden. Ich habe alle Begriffe zweiter Ordnung eingegeben und bin dann schrittweise vorgegangen, um zu sehen, welche Begriffe dritter Ordnung am wichtigsten waren. (In der beigefügten Version der Tabelle finden Sie ein Skript für Stepwise.)
Mir schien es auch, dass Ihre Antwort nicht kleiner als Null und möglicherweise nicht größer als 1 sein sollte, also habe ich der Antwort eine Logit-Transformation für das „beste“ Modell hinzugefügt (Skript in der beigefügten Tabelle). Ohne diese Transformation können Sie Antwortvorhersagen unter 0 erhalten, was meiner Meinung nach hier nicht möglich ist.
Ich fand heraus, dass das beste Modell das RSM mit dem kubischen Term für X2 (X2*X2*X2) und der Wechselwirkung von X3 mit dem Quadrat von X1 (X1*X1*X3) war. Dies ist ein komplizierter Effekt. Dies bedeutet, dass die krummlinige Natur von X1 durch X3 beeinflusst wird. Die Kurve von X1 ist ausgeprägter, wenn X3 höher ist. Vielleicht macht das wissenschaftlich Sinn? Es ist ungewöhnlich, diese in experimentelle Modelle einzubeziehen, aber ich habe das Gefühl, dass es sich in vielen Fällen wahrscheinlich um ziemlich wichtige Effekte handelt.
Das Modell weist immer noch einen erheblichen Mangel an Anpassung auf, dieser ist jedoch deutlich geringer (p = 0,009 gegenüber 0,0004). Und die Residuen sehen für mich alle besser aus. Um das Modell weiter zu verbessern, müssten Sie es wahrscheinlich um weitere Läufe erweitern, um die Terme 3. Ordnung zu testen. Ich bin mir nicht sicher, ob sich das lohnt, aber das hängt davon ab, wofür Sie das Modell benötigen.
Das ist ein wirklich interessantes Beispiel, also lassen Sie mich bitte wissen, ob es jemals veröffentlicht wird oder ob es in Ordnung wäre, es in anonymisierter Form zu verwenden.
Ich hoffe, das war hilfreich für Sie. Ich vermute, dass das Modell, das Sie bereits hatten, für Ihre Ziele nützlich gewesen wäre. Das verbesserte Modell sieht statistisch gesehen besser aus, aber der Unterschied ist in der Praxis möglicherweise nicht so wichtig.
Phil
Betreff: Problem mit der RSM-AnalyseSehr geehrter Herr Phil_Kay!
Ich habe verstanden, was Sie gesagt haben, weiß aber nicht, wie ich in JMP einen weiteren p-Wert-Schwellenwert einrichten kann. Können Sie mir zeigen, wie ich es einrichten kann? Und ich habe unten eine Datei und ein Bild zu meinem Modell angehängt. Können Sie mir helfen, es zu überprüfen?
Vielen Dank
Betreff: Problem mit der RSM-AnalyseIch bin so dankbar für Ihre Hilfe!
Betreff: Problem mit der RSM-AnalyseVielen Dank für Ihre Hilfe, ich weiß das wirklich zu schätzen!
Betreff: Problem mit der RSM-AnalyseFolgendes mache ich, wenn ich feststelle, dass ein DOE nicht passt.
1. Speichern Sie meine Residuen in der Datentabelle.Die Darstellung erfolgt dann gegen jeden der Faktoren, die wir im Entwurf berücksichtigt haben.Suchen Sie nach Mustern, die auf die Ursache der mangelnden Passform hinweisen könnten.
2. Die fehlende Anpassungs-ANOVA zerlegt die Fehlervariation in eine fehlende Anpassungskomponente und einen reinen Fehler.Ich sehe oft, dass Leute die reine Fehlerkomponente unterschätzen – das liegt entweder daran, dass nur wenige DoFs zur Schätzung beitragen oder dass das experimentelle Verfahren die Variabilität, die wir bei der Replikation suchen, nicht vollständig erfasst hat.Suchen Sie in Ihrer Datentabelle die Zeilen, die diesen Replikaten entsprechen, und ändern Sie deren Farbe.Schauen Sie sich nun die Diagramme in Schritt (1) an.Höchstwahrscheinlich ist die Variation in den Diagrammen viel geringer als das, was Sie in den replizierten Punkten sehen – woran liegt das?Entweder ist die fehlende Anpassung zu groß (dh Sie müssen das Modell verbessern) oder der reine Fehler ist zu klein (Ihr experimentelles Verfahren hat die Variation unterschätzt).
3. Tragen Sie Ihre Residuen im Vergleich zu den vorhergesagten Werten grafisch auf.Die „Hülle“, die die Residuen enthält, sollte über den Bereich der vorhergesagten Werte gleichmäßig sein.Wenn es beispielsweise mit zunehmenden vorhergesagten Werten abweicht, könnte dies darauf hindeuten, dass sich das Modell mit einer Protokolltransformation verbessern würde.Sie können die Box-Cox-Transformationsoption verwenden, um Transformationen zu untersuchen.
Betreff: Problem mit der RSM-AnalyseEntschuldigung, Sie könnten auch eine Änderung der Antwort in Betracht ziehen. Insbesondere wenn Sie Grund zu der Annahme haben, dass eine Normalverteilung nicht angemessen ist. Wenn die Antwort beispielsweise %yield lautet.
Betreff: Problem mit der RSM-AnalyseHallo @HoaLe99 ,
Um es klarzustellen: Wenn Sie sagen, dass Sie 1 Replikat hinzugefügt haben, meinen Sie damit, dass Sie ein Design mit 20 Läufen hatten (wahrscheinlich das zentrale Komposit mit 6 Mittelpunkten) und alle Läufe für insgesamt 40 Läufe dupliziert haben? Und kann ich überprüfen, ob es sich um echte Nachbildungen handelt? Das heißt, alle 40 Läufe wurden unabhängig voneinander durchgeführt und nicht nur die Messung der Reaktion wiederholt.
Unter der Annahme, dass das alles zutrifft, ist die erste Analyse, die Sie mit 40 Läufen durchgeführt haben, angemessen. Diese Analyse spiegelt das Rauschen des Experiments richtig wider, und daher kann man davon ausgehen, dass dadurch ein erheblicher Mangel an Anpassung festgestellt wird.
Ein erheblicher Mangel an Passform ist nicht unbedingt ein Problem. Dies ist ein Hinweis darauf, dass das Modell möglicherweise nicht völlig ausreichend ist.
Sie sollten bedenken, wie groß der Mangel an Passform ist. Da Sie so viele Wiederholungen haben (ich glaube, Sie haben auch viele wiederholte Mittelpunkte), reagiert der Test empfindlich darauf, wirklich kleine Anpassungsmängel als signifikant zu erkennen.
Denken Sie auch daran, dass die Signifikanz auf einer ziemlich willkürlichen Wahl des p-Wert-Schwellenwerts (normalerweise 0,05) basiert. Sie könnten vernünftigerweise einen anderen Schwellenwert wählen (z. B. 0,01), und die mangelnde Anpassung wäre nicht mehr „signifikant“.
Sie sollten andere Teile des Berichts berücksichtigen, einschließlich der Residuendiagramme, um zu prüfen, ob tatsächlich ein Problem mit dem Modell vorliegt. Wie hilft das Modell bei Ihren Gesamtzielen? Der hohe R^2 zeigt an, dass das Modell fast die gesamte Variation in den Antwortdaten erfasst, was positiv ist.
Ich hoffe das hilft,
Phil
