Hilfe beim Modellvergleich: DOE vs. ANN verstärktGuten Morgen Leute!
1) Ich habe ein DOE und einige verstärkte neuronale Netzwerkmodelle, deren jeweilige Rsquared (größte), RASE (kleinste) und AAE (kleinste) ich vergleichen möchte, um aus meinen Experimenten die am besten optimierten Modelle auszuwählen.
Ich habe gesehen, dass ich im Tool „Modellvergleich“ mithilfe der in der Experimenttabelle gespeicherten Vorhersageformeln die Auswahl gemäß den Kriterien über dem Modell treffen kann, wie im beigefügten Bild gezeigt. Aber ich möchte mein DOE mit Rsquared, RASE und AAE in diese generierte Tabelle aufnehmen. Hätte jemand Tipps, wie man das macht?
2) Noch eine Frage: Wäre das Feld „Anzahl der Touren“ bei der Modelleinführung die Anzahl der Epochen? Wie funktioniert die Vergrößerung dieses Feldes? Hat jemand Vorschläge zum Testen der Werte?
*** hinzufügen
Ich habe vergessen zu fragen:
3) Ich habe nur 27 Experimente (Dreifachversuche mit 8 Experimenten + 3 zentrale Punkte, die sich aus einer vollständigen faktoriellen Versuchsplanung ergeben) und kann aus Materialmangel keine weiteren durchführen. Am Ende habe ich mich dafür entschieden, ANN-Modelle mit Boosting zu testen, weil ich glaubte, dass dadurch durch die Kombination mehrerer kleiner Modelle ein Modell mit größerer Vorhersagekapazität entstehen würde. Wäre das die beste Option? Würde jemand für dieses Szenario eine andere ANN-Konstruktion empfehlen? Irgendwelche Ideen zur Optimierung von Netzwerken, zur Erhöhung von Rsquared und zur Verringerung von RASE und AAE? Ich fange wirklich mit ANN an, jeder Beitrag wäre sehr relevant!
* Die angehängte JMP-Datei folgt.
VersuchsplanungPrädiktive Modellierung und maschinelles LernenWindowsBetreff: Hilfe beim Modellvergleich: DOE vs. ANN verstärktHallo @ivanpicchi ,
Ich bin verwirrt und beantworte Ihre Fragen möglicherweise nicht direkt, da ich nicht sicher bin, was Ihr(e) Ziel(e) in diesem Plan ist/sind: Sind H/W und FN MED die beiden Antworten?
Und was ist Ihr Ziel:
- Erklären Sie Ihr System anhand Ihrer Faktoren?
- Wichtige Faktoren prüfen?
- Ein Vorhersagemodell erstellen?
Welche Kenntnisse haben Sie über das System? und viele andere Fragen ... Hier sind einige erste Gedanken, aber es gibt noch viel mehr zu besprechen (das Schreiben in einem Forum kann jedoch zu lange dauern).
Die Verwendung eines neuronalen Netzwerks für ein modellbasiertes DoE scheint mir völlig abwegig zu sein, da Sie für jeden Ihrer Faktoren nur drei Ebenen haben und ein äußerst flexibles Modell verwenden, das alle komplexen Funktionen approximieren kann ... Scheint, als würde man eine Fliege mit einer Panzerfaust töten: ein zu komplexer und ungeeigneter Ansatz. Ein oder mehrere NN sind zu diesem Zeitpunkt also völlig verfrüht. Es gibt andere (einfachere) Algorithmen, die Sie ausprobieren könnten: Entscheidungsbaum/Random Forests, Support Vector Machines, ...
Außerdem ist die Validierungsspalte für maschinelles Lernen nicht richtig eingestellt, da die Experimente (durch Replikate) sowohl in Trainings- als auch in Validierungs- und/oder Testsätzen enthalten sein können. Dies führt zu einer Überanpassung der Modelle und zu einem übermäßigen Vertrauen in die Vorhersageergebnisse. Für die Validierung des Vorhersagemodells für kleine Datensätze müssen Sie die gleiche Behandlung im gleichen Satz beibehalten, um Datenlecks und eine Überanpassung in Ihrem Modell zu vermeiden. Es könnte interessant sein, einen Kreuzvalidierungsansatz wie K-Folds und Leave-One-Out in Betracht zu ziehen (mit der gleichen Vorsichtsmaßnahme wie bei der Verwendung von Replikaten).
Ein allgemeiner Ratschlag ist jedenfalls, Ihre Daten vor der Modellierung zu visualisieren und beim Modellieren das Occam-Razor-Prinzip zu verwenden: Beginnen Sie Ihre Modellierung mit einem einfachen Modell, iterieren Sie dann und erhöhen Sie die Komplexität (falls erforderlich!). Vergleichen Sie Ihr neues Modell mit dem vorherigen und beurteilen Sie, wie viel Verbesserung Sie erzielt haben (und wie stark die Komplexität zugenommen hat). Ich würde empfehlen, einfach anzufangen, zuerst Regressionsmodelle zu verwenden und die Vor- und Nachteile Ihrer Modelle richtig zu bewerten.
Ich weiß nicht, welche Art von Regressionsmodell und welche Begriffe Sie eingefügt haben, aber die Antwort H/W kann recht gut durch das Fit Least Squares-Modell modelliert werden (siehe Skript „Fit Group“). Was die Antwort-FN angeht, scheinen die Messungen stark verrauscht zu sein, also vielleicht eine weitere Arbeit an den Bereichen, dem Versuchsprotokoll, den Faktoren (Störungsfaktoren kontrollieren und/oder Blockierungen verwenden, ...), dem Messgerät usw Möglicherweise kann das A-priori-Modell in Betracht gezogen werden, um die Ergebnisse zu verbessern.
Die Anpassung eines komplizierten Modells an diese Antwort wird nicht helfen: Es gibt keine großen Unterschiede zwischen den Ergebnissen Ihres besten NN (R² = 0,772 – RASE = 0,174 (mit Überanpassung...)) und einem einfachen Regressionsmodell (R² = 0,758 – R² angepasst = 0,715 - RMSE = 0,586).
Bedenken Sie auch, dass der Modellierungsansatz, die verwendete(n) Metrik(en) und das verwendete Design entsprechend definiert werden sollten. Zum Beispiel In einem prädiktiven Ziel, das sich auf das Innere des experimentellen Raums konzentriert, eignet sich ein raumfüllendes Design zur Verwendung von Algorithmen für maschinelles Lernen, wobei sich mögliche Metriken wie RMSE/RASE/MSE auf die Genauigkeit der Vorhersagen konzentrieren.
Ich hoffe, diese ersten Diskussionspunkte werden Ihnen helfen,
Betreff: Hilfe beim Modellvergleich: DOE vs. ANN verstärktHallo @ivanpicchi ,
Auch hier hängt die Komplexität des Modells, das Sie anpassen können, von der Anzahl der Ebenen, der Qualität und der Repräsentativität Ihrer Datenpunkte ab. Mit nur 3 Ebenen für Ihre Faktoren Min, Median und Max können herkömmliche Regressionsmethoden nur an ein quadratisches Modell (mit Interaktionstermen und quadratischen Termen) angepasst werden. Wenn Sie eine komplexere Antwortoberfläche erwarten, würde ich empfehlen, Ihr Design mit raumfüllenden Designpunkten im Inneren Ihres Experimentierraums zu erweitern.
Einige Antworten auf Ihre Fragen:
- In der neuronalen Plattform können Sie als Validierungsmethode „K-Falten“ auswählen. Wenn Sie K = Anzahl der Zeilen angeben, verwenden Sie die Leave-One-Out-Validierungsmethode. Achten Sie darauf, dass Ihre Datentabelle keine Replikate enthält, da dies die Ergebnisse stark verfälschen könnte (da eine bei der Validierung verwendete Behandlung bei Replikation auch im Training vorhanden sein könnte).
Weitere Informationen zu Validierungsmethoden in der Neural-Plattform: Validierungsmethoden für Neural
Eine Erklärung für die Anzahl der Touren (eine Ihrer ersten Fragen) finden Sie hier: Neuronale Anpassungsoptionen
Und ich kann die Verwendung dieses Add-Ins empfehlen, um Ihnen bei der Feinabstimmung Ihres neuronalen Netzwerks zu helfen: https://community.jmp.com/t5/Discovery-Summit-Americas-2023/JMP-Pro-Neural-Network-Tuning-Add -In-2023-US-30MP-1408/ta-p/651647
Generell ist maschinelles Lernen eine andere Denkweise als die „traditionelle“ statistische Modellierung. Beim maschinellen Lernen liegt der Schwerpunkt auf der Vorhersagegenauigkeit, wobei das beste Interpolationsmodell mit sehr wenigen Annahmen ausgewählt und optimiert wird, während bei der statistischen Modellierung das Verständnis des Datengenerierungsprozesses im Vordergrund steht, was die Auswahl eines geeigneten Modells und die Überprüfung der Annahmen erfordert und dies möglicherweise erfordert die Verwendung von Replikaten, um zu unterscheiden, was eine Variation der Antwort aufgrund von Faktoren von zufälliger Variation oder Rauschen ist.
- Bezüglich der Reaktion FN: Bei der Wiederholung geht es darum, mehrere Antwortmessungen am selben Versuchsdurchgang durchzuführen (dieselbe Probe ohne Zurücksetzen zwischen den Messungen), während es bei der Replikation darum geht, mehrere unabhängige, randomisierte Versuchsdurchläufe (mehrere Proben mit Zurücksetzen zwischen den einzelnen Durchgängen) für jede Behandlung durchzuführen Kombination. Wiederholungen verringern nur die Abweichung vom Messsystem (durch Verwendung des Durchschnitts der wiederholten Messungen), wohingegen Wiederholungen die gesamte experimentelle Abweichung (Prozess + Messungen) verringern, um eine Schätzung für den reinen Fehler bereitzustellen und den Vorhersagefehler (mit genauerer Genauigkeit) zu verringern Parameterschätzungen). Wenn Ihre durchschnittliche Antwort immer noch etwas Rauschen aufweist, könnte das wahrscheinlich darauf hindeuten, dass der Großteil des Rauschens/der Belästigung vom Prozess herrührt und nicht nur von der Messung. Möglicherweise könnten einige Störfaktoren durch Blockierung berücksichtigt oder einige Teile des Versuchsprotokolls verbessert werden. Führen mehrere Bediener die Messungen durch?
- Aus bestimmten Gründen funktioniert der Link bei mir nicht. Ich kenne die Schlussfolgerung dieses Artikels nicht, aber wenn ich mir die Ergebnisse ansehe, kann ich deutlich erkennen, dass es hinsichtlich der Vorhersagegenauigkeit bei der Darstellung der Residuen keinen großen Unterschied zwischen dem Regressionsmodell und dem verwendeten neuronalen Netzwerk gibt:
Sie können sich die Ergebnisse mit der beigefügten Datentabelle sowie der durchgeführten Modellierung (Regression + neuronales Netzwerk) ansehen.
Mit der Neural-Network-Plattform kann ich ein Modell finden, das für Vorhersagezwecke recht interessant ist (die beiden Replikationsläufe vor dem Start ausblenden und ausschließen und das Y-Antwort-Mittelwertmuster verwenden), das aber nicht berücksichtigt die Wiederholbarkeit/Reproduzierbarkeit, daher ist dies möglicherweise kein robustes Modell. Abhängig von Ihrem Ziel können Sie wiederum etwas an Vorhersagegenauigkeit verlieren: Bei neuronalen Netzen verlieren Sie an Interpretierbarkeit (da jeder Faktor kombiniert und in Aktivierungsfunktionen des NN verwendet wird, können Sie den relativen individuellen Einfluss und die Bedeutung jedes einzelnen Faktors nicht beurteilen Faktor) zugunsten der Vorhersagegenauigkeit.
Wenn Sie an der Kombination von Modellen interessiert sind, denke ich, dass die Mittelung oder Zusammenfassung verschiedener Modelltypen möglicherweise interessanter ist als die Kombination derselben Modelltypen, da sie unter denselben „theoretischen“ Problemen und Annahmen leiden können (Verallgemeinerungsleistung, Robustheit, Vorhersageleistung). , Überanpassung, ...). Die Kombination verschiedener Modelltypen kann dazu beitragen, die Fehler zu mitteln, Nachteile bestimmter Modelle durch Vorteile anderer Modelle zu kompensieren und dabei zu helfen, den gefundenen optimalen Standort zu homogenisieren (der zwischen Regression und neuronalen Netzen sehr unterschiedlich sein kann).
Ich hoffe, diese umfassendere Antwort wird Ihnen helfen 
Betreff: Hilfe beim Modellvergleich: DOE vs. ANN verstärktVielen Dank für eine so ausführliche Antwort!
Das Experiment wurde vom DOE durchgeführt, um – innerhalb des experimentell definierten Raums – WAAM-Wände durch robotisches GMAW mit 10 überlappenden Schweißnähten vorherzusagen, wobei jedes Experiment einer ausgeführten Wand entspricht.
Ich muss die folgenden zwei Antworten vorhersagen: 1) H/W (Verhältnis Höhe/Breite) und FN (Ferritgehalt in den Ablagerungen, ermittelt durch einen Durchschnitt von 10 Punkten, gemessen mit einem Ferritoskop an der Wand). Mit der durchgeführten faktoriellen DOE konnten die Studierenden einen optimierten Eindruck vorschlagen, der das H/W-Verhältnis maximiert und ein Ziel für den FN-Inhalt vorgibt. Wir beginnen diese DOE- und ANN-Reise mit dem Ziel der Schweißparametrisierung.
Allerdings ist das Modell für die Vorhersage einiger Schweißexperimente außerhalb der DOE-Läufe nicht so zufriedenstellend, da einige der durchgeführten Messungen außerhalb des vom Modell vorhergesagten 95 %-KI liegen. Daher wird versucht, die Vorhersagekapazität mit den bereits durchgeführten Experimenten zu maximieren. Ich muss die Antworten INNERHALB des Probenraums vorhersagen, denn unten ist er nicht schweißbar und oben beschädige ich Maschinenkomponenten.
Beim Lesen einiger Bücher und Artikel habe ich darüber nachgedacht, K-Fold auf ANN anzuwenden, da die von Ihnen in Ihrer Antwort angegebene geringe Datenmenge gering ist. Aber wo wähle ich es in JMP Pro aus? Vielen Dank für Ihren Tipp, die Tripletts in denselben Validierungsdatensatz einzufügen. Es kam mir nicht einmal in den Sinn, dass dies die ANN-Überanpassung beeinflussen würde.
Ja, ich habe das Fit Least Squares-Modell auf meine Regression angewendet. Könnte der Geräuschpegel im FN daran liegen, dass es sich um einen Punktedurchschnitt handelt? Wenn ja, irgendwelche Tipps zu den oben genannten Punkten?
Nochmals vielen Dank für die hervorragende Antwort und die Fragen!
Betreff: Hilfe beim Modellvergleich: DOE vs. ANN verstärktBeispiel: Ich möchte eine ähnliche Analyse wie diese Bilder aus dem Artikel „Eine vergleichende Studie unter Verwendung der Response Surface Methodology und eines künstlichen neuronalen Netzwerks zur optimierten Melaninproduktion durch Aureobasidium pullulans AKW“ ( https://doi.org/10.1038/s41598-023 -40549-z) durchführen.
Betreff: Hilfe beim Modellvergleich: DOE vs. ANN verstärktIch wäre hinsichtlich der Ergebnisse vorsichtig, da wir (zumindest ich) nicht wissen, wie die Partitionierung für die Validierung des neuronalen Netzwerks durchgeführt wurde.
- Haben sie berücksichtigt, dass es sich bei den letzten drei Zeilen um Replikate handelt und es daher für das neuronale Netzwerk „fairer“ wäre, einen Durchschnitt der Reaktion für diese Behandlung zu verwenden, anstatt die drei unterschiedlichen Ergebnisse in möglicherweise unterschiedliche Sätze aufzuteilen?
- Außerdem fehlen Erklärungen zum Modellierungsteil der Regression, sodass ich nicht weiß, welche Begriffe in der Modellierung beibehalten werden und auf welcher Grundlage Begriffe möglicherweise aus dem Modell gelöscht wurden: Wird dies auf eine „maschinelle Lern“-/prädiktive Weise durchgeführt, indem verschiedene Regressionsmodelle getestet und das Modell mit den besten Validierungsergebnissen beibehalten wird? Oder basierend auf statistischer Signifikanz, Informationskriterium, Wahrscheinlichkeit …?
Auch wenn Informationen zur Durchführung der Modellierung fehlen (vielleicht sind sie im Artikel vorhanden, über den angegebenen Link ist jedoch kein Zugriff möglich), ist es interessant, den Bias-Varianz-Kompromiss in Aktion zu sehen, wenn die Ergebnisse des Optimums mit der experimentellen Validierung verglichen werden:
Das Regressionsmodell weist möglicherweise eine höhere Verzerrung auf (größter mittlerer Unterschied zwischen dem tatsächlichen und dem vorhergesagten Optimum) als das neuronale Netzwerk, hat jedoch möglicherweise eine geringere Varianz (da das mit dem Regressionsmodell gefundene Optimum eine geringere Unsicherheit (SD?) aufweist als das mit dem neuronalen Netzwerk gefundene) und stellt daher möglicherweise die robustere Wahl dar.
