In der Regel besteht der Wunsch nach einer möglichst genauen Messung jeder Messung. Theoretisch ist das gut, aber für die Zwecke der Datenanalyse ist mehr Genauigkeit nicht immer besser.
Es ist normalerweise am besten, eine stetige Variable zu untersuchen und eine angemessene Genauigkeit für die aufgezeichneten Werte zu bestimmen. Angenommen, ich habe eine Variable X und X hat die in der nachstehenden Tabelle angegebenen Werte:
Die Daten werden mit 10 Dezimalstellen aufgezeichnet. Aber wenn wir diese Daten analysieren, brauchen wir wirklich so viele Ziffern rechts von der Dezimalstelle? Eine Möglichkeit, dies zu untersuchen, besteht darin, die grafische Darstellung der Schätzungen des Mittelwerts und der Standardabweichung dieser Daten als Funktion des verwendeten Rundungsgrades zu betrachten. Eine gute Frage ist: "Wie empfindlich sind die zusammenfassenden Statistiken für die Genauigkeit?"
Eine Faustregel
Die Tabelle und das Diagramm zeigen, dass wir bei der Schätzung des Mittelwerts nicht sehr viele Informationen verlieren, selbst wenn wir den ganzen Weg auf eine Dezimalstelle gerundet haben. Eine gute Faustregel bezüglich der erforderlichen Genauigkeit für eine Variable besteht darin, die Standardabweichung der ungerundeten Daten durch 3 zu teilen und die Dezimalstelle der führenden signifikanten Stellen als Rundungsgrad zu verwenden. In dem hier gezeigten Beispiel beträgt die Standardabweichung der ungerundeten Daten 0,3612, also 1/3 davon 0,12, was anzeigt, dass eine Dezimalstelle ausreichend ist.
Ist das wichtig beim Erstellen von Modellen?
Vor kurzem bin ich auf ein prädiktives Modellierungsproblem gestoßen, bei dem die Zeit, die für die Anpassung eines Entscheidungsbaummodells erforderlich war, länger war als gewünscht (viele Stunden Rechenzeit). Der verwendete Datensatz war ziemlich groß (mehrere Millionen Zeilen). Bei der Untersuchung des Problems entdeckte ich, dass viele der fortlaufenden Prädiktorvariablen (die X oder die Faktoren) in vielen Dezimalstellen aufgezeichnet wurden. Unter Verwendung der Rundungsregel des Daumens verringerte sich die Berechnungszeit für das Anpassen eines Entscheidungsbaummodells auf einige Minuten. Warum ist das passiert? Das Rekursiver Partitionsalgorithmus Beim Erstellen von Entscheidungsbäumen werden die eindeutigen Stufen jedes fortlaufenden Prädiktors verwendet und basierend auf jeder eindeutigen Stufe binäre Aufteilungen erstellt, um die optimale Aufteilung zu finden. Wenn die Faktoren in dem Modell zu genau sind, erhöht dies den Rechenaufwand erheblich und führt oft zu einem sehr geringen Vorteil der verbesserten Modellgenauigkeit. Durch das Runden der Faktoren wurde die Anzahl der eindeutigen Stufen reduziert und der Algorithmus für die Modellanpassung beschleunigt.
Binning-Daten
In der Praxis ist es auch bekannt, dass auch weniger genaue Indikatoren für die Stufen kontinuierlicher Variablen nützlich sein und zu besseren Modellen führen können. Ein Ansatz zum Reduzieren der Genauigkeit einer Prädiktorvariablen besteht in der Verwendung binning . Beim Binning wird jede kontinuierliche Variable einfach einer kategorialen Ebene zugeordnet. Die Rundung ist ein Beispiel für das Binning. Ein weiteres Beispiel für das Binning ist das Erstellen eines Histogramms der Daten und das Verwenden der Bins im Histogramm als Prädiktor. EIN Im vorherigen Blogpost wurde ein interaktives Binning-Tool beschrieben dass Sie verwenden können, um diese Art des Binning manuell durchzuführen. EIN Ein drittes Beispiel für das Binning ist die Verwendung eines überwachten Ansatzes , wobei die Bins im Prädiktor so gewählt werden, dass die Vorhersagefähigkeit der zusammengefassten Variablen maximiert wird.
Für das Problem der Datenanalyse, mit dem ich konfrontiert war, hatte ich mit zu präzisen Daten, die zu einer langen Rechenzeit führten, 100 Prädiktorvariablen, für die ein gewisses Maß an Binning erforderlich war. Der interaktive Binning-Ansatz hätte zu lange gedauert, und der beaufsichtigte Binning-Ansatz ist an sich rechenintensiv, sodass er ziemlich viel Zeit in Anspruch nahm. Ich entschied mich für einen unbeaufsichtigten Binning-Ansatz, der einfach Gruppierungen oder Cluster in den Prädiktorvariablen sucht, eine Variable zu einer Zeit.
Binning-Daten unter Verwendung normaler Mischungsverteilungen
Betrachten Sie die etwas "klumpige" Variable, die im nachstehenden Histogramm dargestellt wird. Eine Normalmischungsverteilung mit 3 Normalverteilungen passt sich an die Daten an (Hotspot> Continuous Fit> Normalmischungen> Normal 3-Mischung). Die Parameterschätzungen aus der Gemischverteilung werden aufgezeichnet, und es wird eine Binning-Formel erstellt, die einer Gruppe eine Zeile zuordnet, auf deren Grundlage die Verteilung in der Mischung der höchsten Wahrscheinlichkeit zugeordnet ist.
Die binned-Variable ist eine Ganzzahl, die die Reihenfolge in den Daten beibehält, sodass sie als kontinuierliche, ordinale oder nominelle Variable verwendet werden kann.
Klicken Sie auf das Bild, um die animierte Version zu sehen
Um die Verwendung normaler Gemischverteilungen für das unbeaufsichtigte Binning zu automatisieren, habe ich ein JMP-Add-In erstellt ( zum Download verfügbar auf dem JMP File Exchange - erfordert ein freies SAS-Profil).
Berücksichtigen Sie bei der Datenaufbereitung für die Modellierung die Datengenauigkeit Ihrer Prädiktorvariablen und prüfen Sie, ob eine niedrigere Genauigkeit bei der Analyse hilfreich sein kann. Ich hoffe, dass die in diesem Beitrag vorgestellten Ideen für Sie nützlich sind, wenn Sie an besseren Modellen arbeiten.
Arati Mejdal schrieb:
Danke, Sam! Ich werde den Link in der Post aktualisieren.
Sam Gardner schrieb:
Eine Referenz, die die Nützlichkeit von Binning erwähnt, ist Berry & Linhoff, Data Mining Techniques, 2. Auflage, S. 237 und S. 351. Insbesondere heißt es: "Unerwarteterweise können Binning-Werte die Leistung von Data Mining-Algorithmen verbessern."
chris dorger schrieb:
Sam,
interessante Faustregel und leicht zu merken. Haben Sie eine Referenz für die Quelle? Warum funktioniert es?
