763102_de-DE

liliconcom

Wann sollten Sie kein Prädiktor-Screening verwenden?

Mich würde interessieren, ob es Fälle gibt, in denen Sie das Prädiktor-Screening-Tool nicht verwenden sollten. Und wenn ja, was sollten Sie anhand Ihrer Daten überprüfen, um festzustellen, ob bei der Verwendung des Prädiktor-Screenings möglicherweise Probleme auftreten?

Grundlegende Datenanalyse und ModellierungBetreff: Wann sollten Sie kein Prädiktor-Screening verwenden?

Ich finde die Prädiktor-Screening-Methode sehr wertvoll, aber wie jedes automatisierte Tool kann sie manche Dinge nicht berücksichtigen. Am wertvollsten ist sie, wenn Sie viele potenzielle Prädiktoren haben – wenn diese Prädiktoren jedoch eng miteinander verbunden sind, vertraue ich dem automatisierten Verfahren nicht ganz. Ich halte dies für ein häufiges Problem, wenn ich Datensätze mit einer Reihe eng verwandter Messungen habe (beispielsweise Hotelverfügbarkeit zu einer Reihe verschiedener Zeitpunkte). Wenn Sie nur die Prädiktor-Screening-Methode verwenden, erhalten Sie möglicherweise die am engsten verwandte einzelne der Messungen oder möglicherweise werden mehrere davon ausgewählt. Oder möglicherweise sticht keine hervor (da bin ich mir nicht sicher)? In solchen Fällen analysiere ich die eng verwandten Prädiktoren manuell mithilfe der Multivariate-Plattform. Ich kann dann eine der verwandten Messungen auswählen, die ich in der Prädiktor-Screening-Methode verwenden möchte.

Es gibt noch andere, kompliziertere Fälle. Die Prädiktor-Screening-Funktion erkennt nicht, ob Sie neue Variablen als Funktionen vorhandener Variablen erstellen sollten (z. B. Verhältnisse zweier Maße). Sie gibt Ihnen auch keine gute Vorstellung davon, ob Sie einige Ihrer nominalen Variablen neu kodieren sollten (auch hier bin ich mir nicht sicher – ich habe es nicht ausprobiert). Generell würde ich sagen, dass die Prädiktor-Screening-Funktion nicht alle normalen Schritte der Datenbereinigung ersetzt – sie ist am wertvollsten, wenn sie nach der Datenbereinigung verwendet wird.

Betreff: Wann sollten Sie kein Prädiktor-Screening verwenden?

Danke. Ich finde es auch ziemlich wertvoll, also frage ich mich, wo es fehlschlagen könnte und wie man diesen Fehler überprüft. Ich weiß nicht viel über das Bootstrap-Forest-Modell, auf dem es (glaube ich) basiert, habe aber kurz gelesen, dass es weniger anfällig für Multikollinearität ist als lineare Modelle, habe aber auch gelesen, dass es fehlschlagen könnte, wenn Sie lineare Beziehungen mit der Antwort und den Prädiktoren haben oder wenn Ihnen die IID fehlt, aber ich weiß nicht, wie Sie diese Annahmen in Ihrem Prädiktor-Screener überprüfen oder ob das tatsächlich der Fall ist, da ich mit diesen Arten der Datenanalyse ziemlich neu bin. Es wäre schön, wenn JMP ein Tutorial hätte, worauf man in Bezug auf die Überprüfung von Annahmen usw. achten muss.

Betreff: Wann sollten Sie kein Prädiktor-Screening verwenden?

Hallo @mjz5448 ,

Ich möchte möglicherweise eine ergänzende Antwort hinzufügen, um einige der gegebenen Informationen zu erläutern, basierend auf den Antworten, die ich bereits zu ähnlichen Themen geschrieben habe:

Prädiktor-Screener vs. DOE?

Prädiktor-Screening

Frage zum Prädiktor-Screening

Predictor Screening ist eine Methode, die auf dem Random-Forest-Algorithmus basiert und Ihnen hilft, wichtige Variablen (identifiziert durch die Berechnung der Merkmalswichtigkeit) für Ihre Antwort(en) in Ihren historischen Daten zu identifizieren. Abhängig von der Repräsentativität Ihrer Daten, der Abdeckung des experimentellen Raums, fehlenden Werten, dem Vorhandensein von Ausreißern, Interaktionen, Korrelationen oder Multikollinearität zwischen Ihren Faktoren kann diese Plattform einige Abkürzungen und viele Unbekannte aufweisen und sollte nicht blind vertraut werden (wie von @dlehman1 angegeben).

• Die Analyse und die Erkenntnisse, die Sie mit dieser Analyse gewinnen können, sind nur auf den historischen Versuchsraum beschränkt (der für ein gutes Verständnis des Systems möglicherweise zu begrenzt und/oder nicht repräsentativ ist). Sie können dies als Versuchsraum für die Produktion (historische Daten) vs. F&E (DoE) betrachten: In der Produktion sind nur kleine Abweichungen der Faktoren zulässig (und einige sind fest, sodass Sie ihre Bedeutung nicht bestimmen können), um robuste und hochwertige Produkte zu erstellen. In der F&E hingegen ist das Ziel ein anderes: einen Versuchsraum erkunden und die Faktoren eines Systems optimieren, indem größere Bereiche für die berücksichtigten Faktoren verwendet werden.
• Die Predictor-Screening-Plattform liefert Ihnen (anders als der in JMP Pro verfügbare Bootstrap Forest) kein Modell, sondern nur Merkmals-/Faktorwichtigkeiten. Sie haben daher keinen Zugriff auf einzelne Bäume und Zweige, die bei der Identifizierung von Wechselwirkungen zwischen Faktoren und den Schwellenwerten der für die Aufteilungen verwendeten Faktoren hilfreich sein könnten.
• Da Sie die Qualität des zugrunde liegenden Modells nicht kennen (durch R², RMSE oder andere relevante Messwerte entsprechend Ihren Zielen), wissen Sie nicht, wie viel Variabilität dadurch erklärt wird (oder wie genau das Modell ist) und ob die Berechnungen der Merkmalswichtigkeit für Ihr Thema relevant/angemessen sind.
• Da alle Faktoren bewertet werden, ist der Schwellenwert/die Grenze zwischen wichtigen und unwichtigen Faktoren nicht trivial. Um Ihnen dabei zu helfen, können Sie einen Zufallsfaktor (mit Zufallswerten) hinzufügen. Ein Beispiel für diese Technik wird hier mit dem Diamanten-Datensatz von JMP mit dem Preis als Antwort gezeigt, wobei ein Zufallsfaktor hinzugefügt und das Karatgewicht als mögliche Eingabe weggelassen wird (da es ein sehr wichtiger Prädiktor ist, wollte ich Ihnen ein Beispiel zeigen, bei dem es schwierig ist, die anderen Prädiktoren auszusortieren):

• Diese Plattform gibt Ihnen keine Hinweise auf mögliche Korrelationen oder Multikollinearität zwischen Faktoren. Sie können die multivariate Plattform verwenden, um Korrelationen zwischen Eingaben, Ausgaben und Eingabe-Ausgaben zu untersuchen. Sie können auch Dummy-Regressionsmodelle erstellen, um VIF-Werte zwischen Ihren Faktoren zu berechnen und so Multikollinearität zu erkennen.
• Kategorische Faktoren mit hoher Kardinalität können auch die Berechnungen der Merkmalswichtigkeit verzerren. Je höher die Kardinalität (Anzahl der Klassen), desto höher die Verzerrung, da die Daten eine große Anzahl kleiner Gruppen/Klassen bilden, die das Modell zu lernen versucht. Es wird also nicht verallgemeinern oder „die Logik verstehen“, und infolgedessen erhöht sich die Wahrscheinlichkeit einer Überanpassung, wodurch diesem Merkmal eine hohe Wichtigkeit zugeschrieben wird.
  Hier ein Beispiel mit demselben Datensatz, denselben Bedingungen, aber mit dem Hinzufügen eines zufälligen kategorialen Faktors mit 11 Stufen (von A bis K, genannt „Shuffle[Column10]). Dieses kategoriale Zufallsmerkmal mit hoher Kardinalität wird höher eingestuft als die zuvor gesehene zufällige numerische Variable:

Zu Ihren Fragen zur Multikollinearität:

• Die Multikollinearität zwischen Variablen wird im Random Forest durch die zufällige Auswahl der Merkmalsuntermenge an jedem Knoten behandelt: Um die nächste Aufteilung zu bestimmen, erstellen Sie an jedem Knoten zufällig eine Untermenge Ihrer Merkmale und bewerten in dieser Untermenge, welches Merkmal (und bei welchem ​​Schwellenwert) die Datenpunkte basierend auf ihren Antwortwerten am besten trennen kann. Da jedes Merkmal die gleiche Chance hat, ausgewählt zu werden, können sogar korrelierte Merkmale ausgewählt werden und eine ähnliche Merkmalsbedeutung im Modell haben. Dieser Prozess minimiert die Auswirkungen der Korrelation zwischen Spalten und ist für Entscheidungsbäume (oder Boosted Tree) nicht vorhanden, bei denen ein einzelner Baum mit allen an jedem Knoten getesteten Merkmalen erstellt wird: Für die Aufteilung kann nur eines der korrelierten Merkmale ausgewählt werden.
• Da Random Forest ein großes Modell auf Grundlage vieler Entscheidungsbäume erstellt, die parallel anhand von Bootstrap-Beispielen trainiert werden, wird jeder einzelne Baum anhand eines leicht anderen Datensatzes trainiert. Dies trägt auch dazu bei, die Korrelationen zwischen den einzelnen Bäumen (Korrelationen zwischen Zeilen) zu verringern und die Modellvarianz zu reduzieren.

Weitere Informationen zu baumbasierten Modellen:

https://community.jmp.com/t5/Mastering-JMP/Understanding-and-Applying-Tree-based-Methods-for-Predictor/tac-p/593506/highlight/true#M370

Und über die Vorteile von Random Forests: https://www.linkedin.com/posts/victorguiller_doe-machinelearning-randomforests-activity-7127557799810625536-FH7K

Hoffe, diese ergänzende Antwort wird Ihnen helfen,

Betreff: Wann sollten Sie kein Prädiktor-Screening verwenden?

Danke, Victor_G. Ich schätze den Einblick in die Multikollinearität – das ist nichts, was ich normalerweise berücksichtige, aber ich werde versuchen, dies in Zukunft zu tun.

Haben Sie eine Vorstellung davon, ob die Prädiktor-Screening-Methode funktioniert, wenn Ihre Daten nicht unabhängig und identisch verteilt sind? Ich habe gelesen, dass baumbasierte/random-forest-Modelle Einschränkungen haben, wenn Ihre Daten einen Zeitreihentrend aufweisen, der überwunden werden kann, aber dass Sie die Daten irgendwie transformieren müssen. Ich bin mir jedoch nicht sicher, ob das auf die Prädiktor-Screening-Methode zutrifft oder nicht, da ich dieses Thema gerade erst lerne.

Betreff: Wann sollten Sie kein Prädiktor-Screening verwenden?

Hallo @mjz5448 ,

Random Forests können zur Zeitreihenprognose (und auch für andere Algorithmen) verwendet werden.
Die größte Vorsichtsmaßnahme bei Nicht-IID-Daten besteht darin, bei der Datenaufteilung (Training/Validierung/Test) die Abhängigkeiten/Gruppen in den Daten zu berücksichtigen, ob sie aus Gruppen ähnlicher Beobachtungen/Personen stammen, ob sie zeitabhängig sind, ob Messungen wiederholt werden usw. Eine falsche Datenaufteilung bei Nicht-IID-Daten kann zu Datenverlusten, falschen Erwartungen und zu optimistischen Ergebnissen führen.

Typischerweise sollte bei der Zeitreihenprognose eine bestimmte Datenaufteilung für Training und Validierung erfolgen (nicht zufällig, sondern eher im „Zeitfenster“-Stil), damit die Abhängigkeit der Antworten/Daten von der Zeitstruktur beachtet wird und es im Setup zu keinen Datenlecks kommt: Beim Training werden keine Daten „aus der Zukunft“ verwendet, die zu allzu optimistischen Vorhersagen führen würden.

Einige Lesequellen:

https://machinelearningmastery.com/random-forest-for-time-series-forecasting/

https://mindfulmodeler.substack.com/p/how-to-deal-with-non-iid-data-in

Hoffe, diese Antwort wird Ihnen helfen,

Betreff: Wann sollten Sie kein Prädiktor-Screening verwenden?

Danke, Victor_G. Ich werde mal nachschauen.