Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Datensätze aus dem wirklichen Leben enthalten normalerweise alle Arten von Fallen, Fallstricken und Fallstricken, ähnlich wie das Wetter im Westen Kanadas, Wellen und Bären. Wie und wo genau beginnen wir mit der Bewältigung dieser Datenbereinigungs- und Datenaufbereitungsaufgaben?
Vor einigen Jahren unternahm ich mit zwei meiner guten Freunde, Steve und Aaron, Vater und Sohn, beide erfahrene kanadische Waldarbeiter, ein Abenteuer in der kanadischen Wildnis. Wir luden unsere gesamte Ausrüstung in Aarons abgenutzten Pickup und fuhren direkt nach Norden durch die atemberaubenden Fjorde von British Columbia und landeten in einer abgelegenen und unberührten Alpenschlucht mit Wänden aus duftenden immergrünen Pflanzen, die einen langen, tiefen, kristallklaren See umgeben.
Als wir uns auf den Weg zum Wasser machten, wurde das tiefe Gefühl der Gelassenheit und Flucht von einem Adrenalinstoß überlagert, als das Wetter plötzlich von warm und sonnig zu eisigem, kaltem, starkem Wind und Regen wechselte. Unser Kajak und Kanu wären in den Schaumkronen beinahe gekentert und wir mussten wild zum Ufer paddeln. Nach dem Austrocknen und Umgruppieren waren die nächsten vier Tage spektakulär; Wir sahen die ganze Zeit keine andere Menschenseele, sondern wurden Zeuge einer erstaunlichen Menagerie von Wildgeflügel und Elchen, genossen köstliches frisches Kokanee, das auf offener Flamme in der Pfanne gekocht wurde, sprangen von einer Klippe ins eisige Wasser und wärmten uns stundenlang in natürlichen heißen Quellen auf. Wir haben keine Grizzlys angelockt, dank Aarons geschickter Versiegelung und der Aufhängung unserer gründlich gereinigten Vorräte jede Nacht weit weg vom Lager. Das Wetter hat uns noch ein paar Mal erwischt, und ich erinnere mich, dass wir bis auf die Knochen zitterten, bis wir einen sicheren Unterschlupf fanden.
Aufgrund einiger unerwarteter Verzögerungen bei der Rückkehr setzten Steve und Aaron mich schnell und freundlich in meinem Hotel in Vancouver in der Innenstadt ab, da mein Vortrag über gemeinsame statistische Treffen in der ersten Sitzung stattfand. Mehrere meiner Kollegen checkten zur gleichen Zeit ein und mussten drei Aufnahmen machen, bevor sie „Hallo“ sagten, da ich völlig zerrüttet und unrasiert war und meine gesamte schmutzige Ausrüstung im Schlepptau hatte. Ich kann mich nicht erinnern, dass sich eine warme Dusche im Zimmer jemals so gut angefühlt hat wie diese, und es fühlte sich auch großartig an, sich auf der Konferenz wieder mit Freunden aus der Gesundheitsfürsorge zu treffen, beflügelt von einem natürlichen Hochgefühl in der freien Natur.
Jetzt kehre ich von einer langen Reise ganz anderer Art zurück, nachdem ich mir alle Mühe gegeben habe, die unruhigen Gewässer zwischen angewandter Statistik und Datenwissenschaft zu erkunden. Meine zweijährige Exkursion beinhaltete einen tiefen Einblick in die Data-Science-Wettbewerbe bei Kaggle und DREAM, und ich bin diesen Organisationen dankbar, dass sie solch ansprechende Formate auf den Weg gebracht haben. Ich möchte auch meiner Familie, meinen Freunden und Kollegen für die unzähligen Stunden der „Abwesenheit“ eine große Wertschätzung aussprechen. Viele Leute haben mich ermutigt, Erfolgsgeschichten und gewonnene Erkenntnisse zu teilen, und dieser ausführliche Blog ist ein erster Versuch dazu.
Ein natürlicher Ausgangspunkt ist die Datenbereinigung und -aufbereitung. Um etwas Wertvolles zu schaffen, muss man sich schmutzig machen und ein großes Chaos anrichten, nicht wahr, Kinder? Dann müssen wir aufräumen. Das gilt auf jeden Fall für gute Datensätze, und selbst gut vorbereitete Wettbewerbe haben zahlreiche Probleme. Datensätze aus dem wirklichen Leben sind in der Regel schlechter und weisen alle Arten von Fallen, Fallstricken und Fallstricken auf, ähnlich wie das Wetter im Westen Kanadas, Wellen und Bären. Wie und wo genau fangen wir an, damit umzugehen?
Teile und herrsche und erkunde Schritt für Schritt. Ein schönes neues Tutorial in dieser Richtung ist kürzlich verfügbar 5-tägige Herausforderung zur Datenbereinigung von Rachael Tatman bei Kaggle. Es handelt sich um eine freundliche, ausführliche Behandlung mehrerer wichtiger Reinigungsthemen unter Verwendung mehrerer interessanter Datensätze (Immobilien, Kickstarter, Naturkatastrophen, Selbstmordattentate) als praktische, detaillierte Beispiele in Python-Notizbüchern. Ein großes Lob an Rachael und ihre Kollegen, die sich die Zeit genommen haben, diese in einer sinnvollen Reihenfolge und Abfolge zusammenzustellen.
Auf dem Weg zum Ziel einer wirklich umfassenden, effektiven und effizienten Datenbereinigung habe ich die visuelle interaktive Erkundung und das funktionale Zeigen und Klicken mit der Maus als äußerst hilfreich empfunden. Mein bevorzugtes Werkzeug hier ist JMP . Es war meine Geheimwaffe für den Erfolg bei Kaggle- und DREAM-Herausforderungen mit tabellarischen Daten. Es verfügt über eine einzigartige und komplexe Integration von Grafiken und Statistiken, die weder in reinen visuellen Paketen noch in Datenanalysesprachen wie Python oder R zu finden ist. Mit der mausgesteuerten visuellen Interaktion und einer sofort nutzbaren und umfangreichen Analysebibliothek kann ich versteckte Probleme sehr schnell aufdecken und schmutzige Daten bereinigen, oft viel effizienter als das direkte Schreiben von Code. Darüber hinaus reagiert JMP als Thick-Client sofort auf Mausbewegungen in mehreren verknüpften Diagrammen und integrierten Dashboards. Dies ist unerlässlich, um ununterbrochen in Ihre Daten einzutauchen und manchmal heimtückisch eingebetteten Schmutz zu entdecken. JMP ist mein bevorzugtes First-Look-Tool für jeden neuen tabellarischen Datensatz, auch wenn ich vorhabe, benutzerdefinierten Analysecode zu schreiben.
JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP ist mein bevorzugtes First-Look-Tool für jeden neuen tabellarischen Datensatz, auch wenn ich beabsichtige, benutzerdefinierten Analysecode zu schreiben.
Aber Achtung, ein großes Problem: Wer putzt schon gerne etwas? Ein Blick auf meinen Schreibtisch, den Computer-Desktop und Dutzende geöffneter Browser-Registerkarten zeigt, dass dies normalerweise nicht meine oberste Priorität ist. Kann das nicht jemand anderes oder ein KI-Bot für uns tun, damit wir mit der unterhaltsamen Sache beginnen können, Baummodelle mit Gradientenverstärkung zusammenzustellen oder eine Deep-Learning-Architektur zu optimieren? Leider bringt jeder Datensatz seine eigenen chaotischen Probleme mit sich, die sorgfältige menschliche Aufmerksamkeit erfordern. Ich habe hier ein Geheimnis entdeckt, nämlich die starke Neugier, Ihre Daten wirklich zu verstehen und dann auf dem Weg dorthin aufzuräumen, während Sie Dinge entdecken, und das alles mit einem Abenteuergeist und der Gewissheit, dass gründliches Bereinigen fast immer zu besserem tiefem Lernen führt. Auch hier kann die Maus mächtig sein und sogar Spaß machen, im Vergleich dazu, sich die Zeit und Energie zu nehmen, immer einmaligen Code mit der Tastatur einzugeben und zu debuggen.
Ich habe zusammengestellt eine detaillierte Reinigungs-Checkliste das ich verwende, wenn ich mir einen neuen Datensatz speziell für die Vorhersagemodellierung anschaue, und hoffe, dass ich es relativ bald zusammen mit Beispielen teilen kann. Darüber hinaus finden Sie hier einige Links zu einigen großartigen JMP-Datenbereinigungsmaterialien von meinen Kollegen Don McCormack, Olivia Lippincott, Rob Carver und Trevor Bihl:
