Bewertung des bestehenden ModellsHallo zusammen,
Ich hatte ein Vorhersagemodell erstellt und kürzlich mussten meine Kollegen bei QC einen ihrer Inhaltsstoffe ändern, der eine der vielen Variablen im Modell ist, um ihre Produkte weiterhin in Chargen zu produzieren. Ich möchte das vorhandene Modell bewerten, anstatt es zu optimieren, da noch nicht genügend Daten vorhanden sind und eine Änderung die Genauigkeit verringert. Sie verfügen über neue gemessene Reaktionen unter Verwendung der neuen Zutat, mit denen ich die Modellvorhersagen vergleichen kann. Das ist eine Möglichkeit, mein Modell zu bewerten. Aber ich frage mich, ob JMP bereits über Tools verfügt, mit denen ich dies tun und vielleicht tiefer graben kann. Alles aus dem SPC-Diagramme (Statistical Process Control). ?!
Jeder Vorschlag wird sehr geschätzt.
Betreff: Bewertung des bestehenden Modells@statman Vielen Dank für den Link, das Buch und Ihre Zeit.
1. Es ist gemäß den Spalten „Screening-Faktoren“ und „Beitragsfaktor“ signifikant. Die neue Zutat stammt von einem anderen Lieferanten. Es liegt immer noch innerhalb der ASTM-Grenzwerte für denselben Typ. Ja, ich kann experimentieren. Ich werde das in naher Zukunft tun.
1. Ja, das ist mir bewusst. Boosted Tree gibt mir wahrscheinlich kein angepasstes R2.
2. Ja, natürlich für Delta. Ich meinte, welches Delta verwendet werden soll. Aber es scheint, dass es auf meiner eigenen Entscheidung basiert... Nochmals vielen Dank.
Betreff: Bewertung des bestehenden ModellsBitte sehen univariate Äquivalenz Weitere Informationen zu diesem Test finden Sie im Vertrieb. Sehen Einwegäquivalenz für Informationen in Oneway.
Betreff: Bewertung des bestehenden ModellsNachgespräch:
1. Wie wichtig war die vorherige Chemikalie im Vorgängermodell? Wie anders ist die neue Chemikalie? Können Sie mit dieser Variablen experimentieren, um ihre Wirkung zu sehen?
1. R^2 hat nichts mit der Genauigkeit Ihres Modells zu tun. R^2 ist das Ausmaß der Variation im Datensatz, die durch das Modell erklärt wird. R^2 sollte nicht alleine ausgewertet werden. Sie sollten R^2 mit angepasstem R^2 vergleichen. R^2 wird sich immer erhöhen, wenn Sie die Freiheitsgrade im Modell erhöhen (wodurch Sie offenbar eine Menge DF im Modell haben), aber es geht darum, nur signifikante Variablen in das Modell einzubeziehen. R^2-bereinigt berücksichtigt unbedeutende Terme im Modell, daher soll das Delta zwischen R^2 und R^2-bereinigt minimal sein.
2. Um eine Spalte mit Deltas zwischen dem vorherigen Modell (Spalte 1) und dem neuen Modell (Spalte 2) zu erstellen, erstellen Sie einfach eine Spalte mit einer Formel, die die beiden Spalten subtrahiert.
Für Einblicke in die Verwendung von Kontrollkarten sollten Sie lesen:
Wheeler, Donald und Chambers, David (1992) „ Statistische Prozesskontrolle verstehen „SPC Press (ISBN 0-945320-13-2)
Für Ausschüttungen: https://www.jmp.com/support/help/en/15.1/?os=mac&source=application&utm_source=helpmenu&utm_medium=application#page/jmp/compare-distributions.shtml
Betreff: Bewertung des bestehenden Modells@Mark_Bailey Vielen Dank für Ihre Antwort. Gibt es eine Seite, auf der ich ein Beispiel sehen und erfahren kann, wie dies in JMP ausgeführt wird? Sehr geschätzt.
Betreff: Bewertung des bestehenden ModellsDanke @statman Und @Mark_Bailey . Ich beantworte Ihre Fragen und hoffe, dass ich Ihre endgültigen besten Gedanken/Lösungen bekomme. Ich danke Ihnen noch einmal für Ihre Zeit und Ihre freundliche Hilfe:
1. Ich denke, das aktuelle Modell (Boosted Tree) funktioniert gut. R2 liegt bei 92 % und ich habe seine Vorhersagen mit neu gemessenen Antworten überprüft und die Qualitätskontrolle ist sehr zufrieden. Die Antworten, auf die ich mich beziehe, stammen von Produktionen mit denselben 30 Zutaten. Lediglich eine Zutat hat sich kürzlich geändert, da sie nicht importiert werden kann und eine alternative Zutat verwendet wird.
2. Ich glaube, ich habe dies in Nr. 1 beantwortet. Das einzige Modell, das ich erstellt habe, verwendet also 30 Variablen, mit denen wir seit mehreren Jahren arbeiten. Einer von ihnen musste kürzlich ausgetauscht werden, da es sich um einen ähnlichen Typ handelt, der jedoch eine etwas andere chemische Zusammensetzung aufweist.
3. Oh, tut mir leid. Aus dem Modell wurde nichts entfernt. Ich möchte überprüfen, ob das einzige Modell, das ich erstellt habe, die Antworten immer noch akzeptabel vorhersagt.
4. Ich möchte die gleiche Genauigkeit wie das Vorgängermodell haben. Diese 92 % R2 dienten dem Training, der Validierung und dem Testsatz. Es ist ein tolles Modell. Wenn ich ein neues Modell mit den 29 vorherigen Variablen und der neuen Zutat (insgesamt 30) erstellen möchte, hätte ich nicht genügend Datensätze, um ein gutes Modell zu trainieren. Ich muss also mindestens ein Jahr warten, um genügend Daten zu produzieren.Wie berechnet man das Delta, um sicherzustellen, dass die gleiche Genauigkeit erhalten bleibt? Kann ich den Modellvergleich über das Menü nutzen?
Daher finde ich Ihren letzten Absatz sehr interessant. Gibt es Beispiele für die Anwendung der Vorhersageformel in diesen Diagrammen?
Ich bin ein Neuling in diesen Charts. Und was meinen Sie mit Verteilungszusammenfassungen? Tut mir leid, dass ich etwas verwirrt bin.
Betreff: Bewertung des bestehenden ModellsHinzufügen zu @statman , du willst demonstrieren Gleichwertigkeit Nach der Änderung des Inhaltsstoffs zur Validierung ist das aktuelle Modell immer noch korrekt. Dieser Zweck kehrt die Null- und Alternativhypothese um. Sie können den Äquivalenztest mit den Plattformen Distribution oder Oneway durchführen. Sie müssen das Intervall angeben, in dem die Ergebnisse als praktisch gleich angesehen werden.
Betreff: Bewertung des bestehenden ModellsEinige Gedanken und Fragen:
1. Wie Also Hat Ihr Vorhersagemodell vor der Änderung der Inhaltsstoffe funktioniert?
2. Verwendet das aktuelle Modell eine völlig andere Zutat oder ist es aus wissenschaftstheoretischer Sicht „verwandt“?
3. Ich bin mir nicht sicher, was Sie unter „Feinabstimmung“ des Modells verstehen? Wenn Sie eine Variable aus dem Modell entfernt haben, könnte das Modell hinsichtlich der Beta-Koeffizienten der anderen Terme im Modell völlig unterschiedlich sein. Was passiert mit der Präzision des Modells auf historischen Daten, wenn dieser Begriff aus dem Modell entfernt wird?
4. Ich denke, Ihre Idee, eine Spalte mit dem aktuellen vorhergesagten Wert (aus Ihrer Formel), eine Spalte mit der gemessenen Antwortvariablen und eine Spalte mit dem Delta der beiden zu haben, wäre eine einfache Vergleichsmöglichkeit. Wie groß wäre der Unterschied für Sie?
Kontrollkarten sind eine Diagnose. Sie dienen dazu, verschiedene Variationsquellen zu vergleichen und festzustellen, wo die größte Hebelwirkung besteht. Dazu bewerten sie zunächst die Stabilität der Vergleichsbasis (das Bereichsdiagramm – das die Stabilität der Variationsquellen innerhalb der Untergruppe als Funktion der Variablen bewertet, die sich mit dieser Häufigkeit ändern). Vergleichen Sie dann die Auswirkung dieser Quellen auf die Variabilität der Reaktion mit den anderen Quellen in Ihrer Studie (das X-Balkendiagramm – das die Variation innerhalb der Untergruppe (Kontrollgrenzen) mit den Variationsquellen zwischen den Untergruppen vergleicht.
Jetzt könnten Sie Stichproben des Prozesses machen, wie er funktionierte, bevor der Inhaltsstoff geändert wurde (wenn Sie nur einen kurzen Blick darauf werfen und keine Diagnose suchen, könnten Sie das MR-, X-Diagramm der Daten in Zeitreihen verwenden) und den Prozess nachdem die Zutat geändert wurde, um zu sehen, ob sich die Reaktion spürbar verändert hat. Sie können sich auch die Verteilungszusammenfassungen ansehen, um eine grafische Darstellung zu erhalten.
