Wird PLS jemals für historische Daten zur Variablenauswahl verwendet, um wichtige Variablen als Eingaben für DOE zu finden?Ich habe mehrere JMP-Webinare gesehen, in denen Bootstrap Forest zum Ermitteln der VIP-Variablen verwendet wird, normalerweise gefolgt von Elastic Net oder schrittweiser Regression, um die Begriffe weiter einzugrenzen, die für zukünftige DOEs wichtig sein könnten.
Ich bin gespannt, ob irgendjemand im Prozess PLS-Regression verwendet – vielleicht nach dem Bootstrap-Forest, um wichtige oder korrelierte Variablen weiter zu identifizieren, bevor Elastic Net usw. ausgeführt wird, oder macht die Tatsache, dass Elastic Net Sätze korrelierter Variablen beibehält/entfernt, dies überflüssig?
Ich frage mich nur, ob jemand dies in seinem Prozess verwendet? Ich habe einige Webinare gesehen, in denen PLS zum Mining biologischer Prozessdaten verwendet wurde.
Prädiktive Modellierung und maschinelles LernenBetreff: Wird PLS jemals für historische Daten zur Variablenauswahl verwendet, um wichtige Variablen als Eingaben für DOE zu finden?Hallo @mjz5448 ,
Wie bei allen statistischen Ansätzen lautet die einfachste Antwort: „Es kommt darauf an.“ Sie haben Recht, dass Elastic Net die Variablenauswahl bereits effizient durchführt, sodass Sie möglicherweise nicht zusätzlich PLS anwenden müssen/möchten. Ein weiterer Vorteil ist, dass die Modellkoeffizienten in ENs direkt interpretierbar sind, sodass Sie Ihre Prädiktoren direkt mit Ihrer Antwortvariable verknüpfen können. Sie müssen auch den Zweck von PLS berücksichtigen, der in erster Linie darin besteht, ein prädiktives und kein erklärendes Modell zu erstellen (obwohl dies möglich wäre, allerdings mit einem höheren Grad an Komplexität aufgrund der Ladung und der linearen Kombinationen aller Faktoren). Bei der Auswahl von DOE-Faktoren sollten Sie daher einen Ansatz wählen, der besser für erklärende als für prädiktive Modellierung geeignet ist.
Ich hoffe, das hilft. Ich bin sicher, dass andere wertvolle Beiträge zur Diskussion leisten können.
Danke,
Ben
Betreff: Wird PLS jemals für historische Daten zur Variablenauswahl verwendet, um wichtige Variablen als Eingaben für DOE zu finden?Als ich vor Jahren bei einem großen Chemieunternehmen arbeitete, das sehr gut darin war, Materialien auf Substrate aufzutragen (denken Sie an fotografische Filme und Papier), verwendeten wir PLS ständig zur Unterstützung geplanter Experimente, und zwar aus den folgenden Gründen:
1. Sehr geringe Anzahl von Durchläufen in der Fertigung mit vielen Inputfaktoren. Denken Sie an breite und kurze Datensätze. Maßgeschneidert für PLS.
2. Große Multikollinearität zwischen den Faktoren.
3. Das wahre Prozessverständnis ist im Laufe der Zeit verloren gegangen. Manche dieser Produkte stellen wir schon seit Jahrzehnten her und das übliche Mantra in der Fertigung lautet: „Mach es einfach so wie beim letzten Mal.“ Weil wir nicht wirklich wissen, wie das alles funktioniert.
4. Auf bestrafter Regression/Baum basierende Methoden zur Variablenauswahl waren in der Software noch nicht weit verbreitet.
5. Und die Motivation für das ganze Unterfangen ist: „Die Magie der Physik, Chemie oder Biologie hat gestern Abend nicht funktioniert, als wir versucht haben, (Lücke ausfüllen) herzustellen. Und wir haben keine Ahnung von der/den Grundursache(n).“
Wir nutzten PLS, um Schlüsselfaktoren zu identifizieren. Anschließend führten wir in Pilot-/Kleinanlagen geplante Experimente durch, um Prozesse besser zu verstehen und die Ursachen systemischer Fehlermodi zu identifizieren. Zwei Ingenieure, mit denen ich zusammenarbeitete, hatten einige Aussagen, die mir (als Statistiker in vielen dieser Problemlösungsteams) sehr am Herzen lagen: „Manchmal ist es genauso wertvoll zu wissen, was ‚nicht‘ ist, wie zu wissen, was ‚ist‘.“ Und ein anderer Ingenieur sagte: „Solange man einen Fehlermodus nicht ein- und ausschalten kann, kennt man die Grundursache nicht.“
Kurz gesagt: Die Kombination aus PLS und DOE hat uns das gewünschte Ergebnis gebracht. Hoffentlich hilft das?
Betreff: Wird PLS jemals für historische Daten zur Variablenauswahl verwendet, um wichtige Variablen als Eingaben für DOE zu finden?Hallo @mjz5448 ,
Ich stimme @P_Bartell hinsichtlich der Verwendung von PLS voll und ganz zu, insbesondere in Situationen mit Kollinearität/Korrelation zwischen Ein- und Ausgaben, in denen die Anzahl der Eingangsvariablen höher ist als die Anzahl der Experimente. Partielle Kleinste Quadrate wird verwendet, um Modelle zu entwickeln, die Korrelationen zwischen Y- und X-Werten verwenden.
PLS ist ein typisches Modell, das in der Chemometrie häufig zur Analyse von Spektraldaten verwendet wird, da hier eine sehr hohe Zahl korrelierter X-Werte (z. B. Intensität für jede Wellenlänge) vorliegt, aber nur wenige Beobachtungen/Experimente zur Vorhersage einiger Reaktionen ausreichen. In diesem Fall nutzen Sie Korrelationen zwischen X-Werten, um durch den Einsatz von PLS (mit einer entsprechenden Validierungs- und Testmethodik) ein gutes Vorhersagemodell zu erhalten. Mit diesem Modelltyp ist Erklärung/Interpretierbarkeit möglich und im Kontext der Chemometrie können Sie das Diagramm der Variablenwichtigkeit und andere Grafiken zur Identifizierung wichtiger Wellenlängenbänder/-bereiche verwenden, die mit bestimmten chemischen Funktionen/Gruppen/Molekülen in Zusammenhang stehen. Der auf dieser Plattform verfügbare Profiler hilft außerdem dabei, die Wichtigkeit der Variablen interaktiv zu visualisieren und Sie können im Profiler über die Option „ Variablenwichtigkeit bewerten “ auch Sobol-Sensitivitätsindizes berechnen.
Die Verwendung einer Modellierungsmethode sollte an den Kenntnisstand, Ihre Ziele und Ihren experimentellen Kontext angepasst sein.
In sehr frühen Screeningphasen mit wenig Vorwissen und wenigen Versuchsdurchläufen besteht das Ziel häufig darin, wichtige Effekte zu identifizieren, unabhängig von der Genauigkeit der Effektschätzungen (die Effekte könnten dann durch das Sammeln aussagekräftiger Daten durch DoE bestätigt und präzisiert werden). In solchen Situationen ist eine bestrafte Regression (Lasso, Ridge, Elastic Net, Dantzig-Selektor) häufig nützlich, um wichtige Effekte zu identifizieren, allerdings auf Kosten einer zunehmenden Verzerrung der Effektschätzungen. Beachten Sie, dass die Verwendung verschiedener Strafmethoden je nach Ihren Annahmen zur Effektspärlichkeit unterschiedlich ist: Lasso führt die Variablenauswahl durch, indem Schätzungen bei 0 für korrelierte Variablen erzwungen werden, was sinnvoll sein kann, wenn Sie eine kleine Anzahl wichtiger Prädiktoren unter einer großen Anzahl von Kandidaten erwarten. Ein weniger „aggressiver“ Ansatz wäre Ridge, wobei die Größe korrelierter Effekte reduziert wird, ohne Schätzungen bei 0 vorzunehmen (im Fall mehrerer korrelierter Prädiktoren ähnlicher Bedeutung), oder die Elastic Net-Schätzung, die Lasso- und Ridge-Strafen kombiniert.
Wenn Sie über mehr Beobachtungen/Experimente verfügen, können Sie andere Methoden der Merkmalsauswahl ausprobieren, die nicht auf Verzerrungen/Bestrafungen beruhen, wie z. B. Zufälliger Wald oder die Verwendung als Prädiktor-Screening- Option, indem Sie Merkmalswichtigkeiten (Spaltenbeitrag) verwenden, um die wichtigsten/aktivsten Merkmale zu identifizieren. Sie können auch das Add-In „Predictor Selection Assistant“ verwenden, das die Variablenauswahl basierend auf einer aktualisierten Version des Prädiktor-Screenings unterstützt, das die Boruta-Merkmalsauswahlmethode und Random Forest verwendet.
Sie können auch die zugehörigen Unterhaltungen in diesen Themen überprüfen:
Multiple Regression mit korrelierten Variablen
Welche JMP-Plattform eignet sich am besten für die Merkmalsauswahl?
Gibt es ein Äquivalent zur Multikollinearität für kategoriale Variablen in JMP?
Ich empfehle, die verschiedenen oben genannten Modellierungsansätze (und weitere) zu testen, zu vergleichen und (gegebenenfalls) zu kombinieren. Vergleichen Sie die erhaltenen Modelle, um zu sehen, welche Begriffe enthalten sind und wie ähnlich/unterschiedlich die Modelle sind. Dies könnte Ihnen helfen, das Wesentliche zu verstehen.
Hoffe, diese Antwort wird Ihnen helfen,
Betreff: Wird PLS jemals für historische Daten zur Variablenauswahl verwendet, um wichtige Variablen als Eingaben für DOE zu finden?Es gibt kein richtiges Werkzeug oder eine richtige Werkzeugabfolge, die allen Erkenntnisse liefert. Zweifellos hat jeder von uns seine eigenen Vorstellungen davon, welches Werkzeug in der jeweiligen Situation am effektivsten oder effizientesten ist. Die Antwort liegt jedoch nicht im Werkzeug. Der Schlüssel ist kritisches Denken, das Iteration erfordert.
Man könnte mit naturwissenschaftlichen oder technischen Hypothesen (z. B. Thermodynamik, Entropie) beginnen. Wenn Sie keine Hypothesen haben, kann Data Mining hilfreich sein. Ich setze Data Mining sehr großzügig ein. Im Grunde geht es darum, Daten zu untersuchen, um Muster (oder deren Fehlen) zu erkennen. Dies lässt sich natürlich am besten grafisch darstellen.
Es gibt viele Regressionsmethoden , die versuchen, Zusammenhänge zu quantifizieren (z. B. OLS, schrittweise Regression, PCR, Ridge, PCA, PLS usw.). Es kann hilfreich sein, den Untersucher zur Erklärung der Ergebnisse aufzufordern (z. B. warum dieser Faktor signifikant erscheint oder warum dieser nicht). Dies dient der Entwicklung von Hypothesen (die gegebenenfalls in geplanten Experimenten überprüft werden).
Nur einige Worte der Vorsicht im Hinblick auf historische oder Beobachtungsdaten.
1. Wenn ein Faktor in der Vergangenheit (auf welche Weise auch immer) als kritisch eingestuft wurde, könnte es Kontrollen für diesen Faktor geben, die eine starke Schwankung nicht zulassen. Die Analyse dieses Faktors könnte ergeben, dass er in einer Regressionsanalyse unbedeutend ist (er schwankte kaum).
2. Es können versteckte Störfaktoren vorhanden sein (x, die im Datensatz nicht identifiziert oder gekennzeichnet wurden).
3. Die Fähigkeit, das Geschehene zu modellieren, bedeutet nicht, dass wir vorhersagen können, was passieren wird .
4. Eine Extrapolation des Modells außerhalb des Bereichs der gesammelten x's ohne Verständnis könntegefährlich.
5. Bei der Regression historischer Daten wird der Kontext, in dem die Daten erfasst wurden, nicht berücksichtigt (kennen Sie beispielsweise die Messunsicherheit?)
6. Kann leicht durch „schlechte“ Datenpunkte beeinflusst werden.
