Erfordert die Partitionsplattform eine gleiche Varianz?Ich habe stark rechtsschiefe Daten (siehe beigefügte Verteilung „Lecks/mi Jahr“), nur etwa 400 Lecks auf ~4.000.000 Rohrsegmenten. Ich verwende die Partitionsplattform, um Faktoren für unser Modell mit unterschiedlichen Leckraten zu identifizieren. Aber meine Daten weisen auf eine ungleiche Varianz hin (beigefügtes RefService2023wLeaks – FitY by X, besteht 4 von 5 Varianztests nicht). Erfordert die Partitionsplattform eine gleiche Varianz? Kann ich nach dem Zentralwertsatz davon ausgehen, dass dieser große Datensatz genaue Ergebnisse für signifikante Unterschiede in den Mittelwerten liefert (siehe beigefügtes Partitionsbeispiel)?
Danke
Grundlegende Datenanalyse und ModellierungBetreff: Erfordert die Partitionsplattform gleiche Varianz?1.: Das sieht nach einem wirklich lustigen Datensatz aus.
Die von Partition verwendete Modellierungsmethode basiert auf sehr wenigen Annahmen. Es handelt sich um ein sehr gutes Data-Mining-Tool für Einsteiger, insbesondere wenn Sie mit großen Datenmengen arbeiten müssen.
Sehen Sie sich auch Analysieren > Screening > Prädiktor-Screening an. Geben Sie einfach Ihre Antwortvariable und so viele „X“-Variablen ein, wie Sie möchten. Passen Sie die Anzahl der Bäume vielleicht einfach zum Spaß auf 500 an.
Es erstellt eine Reihe von Bäumen mit einer zufälligen Auswahl von Spalten und Zeilen für jeden Baum, sodass es äußerst robust gegenüber schlechten Daten und Ausreißern sowie X-Werten ist, die stark mit Ihrer Antwort korrelieren. Auch hier sind nur sehr wenige Annahmen erforderlich.
Betreff: Erfordert die Partitionsplattform gleiche Varianz?Um auf die hervorragende Antwort von @Byron_JMP einzugehen: Decision Tree ist ein sehr einfacher, aber leistungsstarker Algorithmus. Er hat mehrere Vorteile, die ihn zu einer effektiven Wahl für Data Mining machen: Er ist leicht zu verstehen und zu interpretieren, kann kategorische und numerische Ein- und Ausgaben verarbeiten, kann mit fehlenden Werten umgehen, ist robust gegenüber Ausreißern und kann nichtlineare Beziehungen erkennen und ermöglicht die Auswahl und Rangfolge von Merkmalen/Prädiktoren.
Es werden keine traditionellen parametrischen Annahmen vorausgesetzt, es gibt jedoch einige Punkte, die Sie beachten sollten:
- Überprüfen Sie Multikollinearität und Korrelationen zwischen Ihren Prädiktoren : Da der Entscheidungsbaum Aufteilungen in Ihren Daten unter Verwendung aller Prädiktoren erstellt und denjenigen auswählt, der die beste Aufteilung Ihrer Y-Werte bietet, könnten korrelierte Prädiktoren und Multikollinearität ein Problem darstellen, da einige Prädiktoren möglicherweise ausgelassen und nie berücksichtigt werden, da sie bestimmte gemeinsame Informationen aufweisen.
- Vorsicht vor Überanpassung : Entscheidungsbäume sind anfällig für Überanpassung, da Sie den Baum sehr tief erweitern könnten, um eine perfekte Klassifizierung oder eine Regression mit Ihren numerischen Daten durchzuführen. Es wird empfohlen, eine Validierungsstrategie zu haben (K-fach-Kreuzvalidierung, Leave-One-Out oder Validierungsset, da die Datenmenge in Ihrem Fall kein Problem zu sein scheint) und sicherzustellen, dass das erstellte Modell für die vorliegende Aufgabe nicht zu komplex ist: Durch Festlegen einer maximalen Tiefe (Anzahl der Teilungen) und einer minimalen Teilungsgröße kann das Risiko einer Überanpassung verringert werden.
- Stichprobe und Repräsentativität der Trainingsdaten : Da es sich bei Entscheidungsbäumen um gierige Algorithmen handelt (sie teilen die Daten auf, um den Informationsgewinn zu maximieren oder die Entropie zu reduzieren), reagieren sie sehr empfindlich auf die verwendeten Trainingsdaten. Kleine Änderungen in den Daten können zu Änderungen der vom Entscheidungsbaum bereitgestellten Regeln führen. Überlegungen zur Repräsentativität und zum Rauschen der Daten sollten angestellt werden, um eine Überanpassung zu vermeiden und die Verallgemeinerung der Ergebnisse sicherzustellen.
Wie von @Byron_JMP vorgeschlagen, ist es häufig interessant, Random Forest zu verwenden (verfügbar über die Bootstrap Forest- Plattform für JMP Pro oder über Predictor Screening für JMP), da diese Technik dank verschiedener Mechanismen/Techniken einige Nachteile von Entscheidungsbäumen reduziert: Erstellung mehrerer unabhängiger Bäume parallel, die anhand von Bootstrap-Beispielen trainiert werden (um die Empfindlichkeit gegenüber dem Trainingsset zu verringern, Generalisierung sicherzustellen und Überprüfung/Validierung durch „Out-Of-Bag“-Beispielergebnisse zu ermöglichen), wobei bei jeder Aufteilung nur eine Teilmenge der Prädiktoren berücksichtigt wird (damit jeder Prädiktor, auch wenn einige mit anderen korreliert sind, die gleichen Chancen hat, für die Aufteilung ausgewählt zu werden, was vielfältigere Bäume und ein Ensemble von Bäumen mit guten Generalisierungsleistungen ermöglicht).
Hoffe, diese ergänzende Antwort wird Ihnen helfen,
