SVEM: Neuronales Netzwerk oder Lasso?Ich führe eine Vorhersagemodellstudie mit DoE-Mischungen (3 Komponenten) und einem Prozessfaktor und einer Antwortvariable (quantitativ) durch. Ich werde SVEM anwenden, habe aber eine Frage: Wovon hängt es ab, wenn neuronale Netze oder Lasso verwendet werden?
Danke für deine Antworten.
Erweiterte statistische ModellierungAutomatisierung und SkriptingGrundlegende Datenanalyse und ModellierungKonsumenten- und MarktforschungInhaltsorganisationDatenzugriffDatenzusammenführung und -bereinigungDatenexploration und -visualisierungVersuchsplanungMassenanpassungPrädiktive Modellierung und maschinelles LernenQualitäts- und ProzesstechnikZuverlässigkeitsanalyseErgebnisse teilen und kommunizierenBetreff: SVEM: Neuronales Netzwerk oder Lasso?Hallo @CrhistianDoE ,
Für DoE-Daten würde ich aus verschiedenen Gründen sagen, dass keine dieser Optionen meine erste Wahl wäre.
Neuronale Netze und Lasso (von Generalized Regression ) sind zwei sehr unterschiedliche Analysetechniken:
- Neuronale Netze sind komplexe Modelle des maschinellen Lernens, die in der Lage sind, jede Funktion mit ausreichend Schichten und Neuronen anzunähern (siehe Universal Approximation Theorem: https://en.m.wikipedia.org/wiki/Universal_approximation_theorem ). Sie erfordern eine sorgfältige Konstruktion mit der richtigen Anzahl an Schichten und Neuronen und, was noch wichtiger ist, eine gute Validierungsstrategie. Da neuronale Netze bei der Modellierung und Annäherung jeder Funktion sehr flexibel sein können, kann es ohne eine gute Validierungsstrategie schnell zu Überanpassungen kommen und zu Modellierungsrauschen in Ihren Daten führen. Ein Testsatz (oder Testpunkte/neue Punkte in Ihrem Designraum des DOE) wird ebenfalls dringend empfohlen, um sicherzustellen, dass das Modell des neuronalen Netzes gut auf neue, unbekannte Datenpunkte verallgemeinert werden kann. Weitere Erklärungen zu neuronalen Netzen und ihrem vorsichtigen Einsatz finden Sie in diesen vorherigen Beiträgen:
Unterschied zwischen Knoten in derselben Schicht des neuronalen Netzwerks?
Modell-Screening: Neuronales Netzwerk / K-fache Kreuzvalidierung
Hilfe beim Modellvergleich: DOE vs. ANN verstärkt
- Lasso aus der verallgemeinerten Regression ist eine Bestrafungstechnik in Regressionsmodellen, die im Kontext großer Datensätze mit möglicherweise hoher Kollinearität zwischen Variablen/Faktoren und/oder wenn Sie mehr Variablen als Beobachtungen haben, sehr hilfreich ist, da sie bei der Auswahl von Merkmalen/Variablen hilft: Lasso hilft bei der Auswahl der wichtigsten Variablen aus korrelierten Variablen und reduziert den Koeffizienten der nicht ausgewählten korrelierten Variablen auf 0 (deshalb ist es im Kontext der Merkmalsauswahl sehr hilfreich).
Weitere Informationen finden Sie hier: Überblick über die generalisierte Regressionspersönlichkeit (jmp.com)
In Ihrem Fall mit DoE-Daten verfügen Sie über einen kleinen, aber sorgfältig geplanten Datensatz mit einem angenommenen Modell, wenn Sie eine benutzerdefinierte Designplattform oder ein traditionelles Mischungsdesign verwendet haben, oder Sie verfügen über eine homogene Verteilung der Punkte in Ihrem Designbereich, wenn Sie ein raumfüllendes Design erstellt haben.
- Bei einem benutzerdefinierten/traditionellen Mischungsdesign würde ich nicht mit Lasso, SVEM oder einer anderen komplexen Technik beginnen, da das Modell bereits bei der Designerstellung angenommen wird. Die Verwendung eines neuronalen Netzwerks wäre ebenfalls nicht geeignet, da die Neuaufteilung der Punkte auf einem Modell basiert und möglicherweise keine ausreichend homogene/gute Abdeckung Ihres Designraums bietet. Daher sind möglicherweise nicht genügend Ebenen für jeden Ihrer Faktoren vorhanden, um ein leistungsstarkes und komplexes Interpolationsmodell wie ein neuronales Netzwerk zu verwenden.
Beginnen Sie mit dem angenommenen Modell und den in einer „traditionellen“ Regression (Standard Least Squares) enthaltenen Modelltermen und visualisieren/analysieren Sie die Anpassung Ihres Modells.
Wie sahen die Diagramme „Tatsächlich vs. Vorausgesagt“ aus? Wie lauten die Residuen? usw. …
Wenn Sie feststellen, dass Ihr Modell möglicherweise nicht komplex genug ist, um die Verbindungen zwischen Ihren drei Mischvariablen zu erfassen, versuchen Sie , Ihr Design um Terme höherer Ordnung zu erweitern . Bedenken Sie, dass bei Mischdesigns der Schwerpunkt auf der Vorhersage liegt. Daher wäre es besser, die Modellverfeinerung anhand anderer Kriterien als p-Werten vorzunehmen, z. B. Maximum Likelihood, RMSE, Informationskriterien wie AICc oder BIC usw.
Einige Beiträge zu diesem Thema: Gelöst: Re: Analyse einer Mischungs-DOE mit schrittweiser Regression – JMP-Benutzergemeinschaft
Gelöst: Scheffe-Kubische Mischung und p-Wert - JMP-Benutzer-Community
Wenn Sie verallgemeinerte Regressionsplattformen verwenden möchten, gibt es möglicherweise andere und besser geeignete Schätzmethoden, wie z. B. „Pruned Forward Selection“ (mit AICc/BIC-Validierungsmethode), „Two-Stage Forward Selection“ oder ggf. „Best Subset“ (nur wenn Sie über eine begrenzte Anzahl von Faktoren verfügen, da viele Modelle mit Haupteffekten und vielen Kombinationen der Terme höherer Ordnung getestet werden).
- Bei raumfüllenden Designs gibt es viele Methoden des maschinellen Lernens, die Sie ausprobieren können (und sollten), bevor Sie neuronale Netze in Betracht ziehen. Normalerweise sind Random Forests und Support Vector Machines interessante ML-Algorithmen:
Sie bieten eine gute Vorhersageleistung bei kleinen Datensätzen, sind weniger anfällig für Überanpassung (einfacher), relativ robust gegenüber Ausreißern, bieten eine gute Generalisierungsleistung, kommen mit nichtlinearen Situationen zurecht, erfordern nur wenige Anpassungen der Hyperparameter (Random Forests funktionieren mit den Standardeinstellungen sehr gut und Sie können SVM mit der integrierten Option „Tuning design “ problemlos feinabstimmen), sind leichter zu interpretieren usw.
Random Forest (in JMP Bootstrap Forests genannt) bietet einen guten Maßstab für den Modellvergleich und ist oft die Standardauswahl für Tests. Einige persönliche Beiträge auf LinkedIn zu diesen beiden Algorithmen für DoE-Datensätze:
- Zufallswälder: https://www.linkedin.com/posts/victorguiller_doe-machinelearning-randomforests-activity-7127557799810625536-FH7K
- Support Vector Machine: https://www.linkedin.com/posts/victorguiller_doe-machinelearning-statsjoke-activity-7117395916130537472-pJoB
Ich hoffe, diese (lange) Antwort wird Ihnen helfen,
