55388_de-DE

liliconcom

10 Gefahren in Ihren Tabellendaten

Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Vorhersagemodelle aus Datentabellen erstellen? Achten Sie auf diese 10 Bösewichte. Bild mit freundlicher Genehmigung von Prettysleepy auf Pixaby.

Ich bin in die Welt der Data-Science-Wettbewerbe eingetaucht, bei denen Sie und Ihre Teamkollegen durch vorausschauende Leistung an einem Blind-Holdout-Set auf einer Bestenliste platziert werden, wobei Preise und Ansehen auf der Straße auf dem Spiel stehen. Um bei diesen Wettbewerben erfolgreich zu sein, müssen Sie sehr effizient und intelligent mit Ihrer Zeit umgehen, da es auf dem Weg dorthin Hunderte kleiner Entscheidungen und verschiedene Richtungen gibt, die Sie einschlagen können.Wenn du es vermasselst oder Zeit verschwendest, überholt dich jemand. Manchmal fühlt es sich sogar so an, als gäbe es Gefahren, die einem absichtlich ein Bein stellen wollen. Klingt irgendwie nach echtem Leben, nicht wahr?

Bei jeder guten Übung und jedem Geschick im Umgang mit Daten, die ich gelernt habe, habe ich wahrscheinlich zehnmal so viele Fehler gemacht. Im Laufe der Zeit habe ich eine Liste mit 10 Gefahren zusammengestellt, vor denen man ständig Ausschau halten und mit denen man kämpfen sollte. Wie ich in beschreibe ein früherer Beitrag , Daten kommen nie sauber bei uns an und diese Probleme lauern immer. Während sich die Liste auf Tabellendaten konzentriert, übertragen sich viele der Probleme auf Bilder, Text und andere Arten von Strukturdaten.

Diese Gefahren sind so real und allgegenwärtig, dass sie einen eigenen bösen Charakter annehmen können, und tatsächlich habe ich jede dieser Gefahren zum Spaß mit einem Superschurken in Verbindung gebracht. Sehen Sie in der Tabelle unten, ob Sie sich vorstellen können, wie diese Übeltäter ihre Gefahren in Ihren Datentabellen hinterlistig verkörpern.  

 

Gefahr	Superschurke	Fragen	Antworten	JMP Plattformen
1. Falsche Form	Mystik , der verführerisch trügerische Gestaltwandler aus dem X-Men	A. Ist der Tisch breit, nicht hoch oder gestapelt? B. Entsprechen Zeilen bestimmten Beobachtungen, die trainiert und/oder vorhergesagt werden sollen, und Spalten Zielen und Merkmalen?	1. Sichtprüfung 2. Führen Sie die Datenmanipulation und -umformung nach Bedarf durch	Transponieren, Teilen, Stapeln, Verbinden, Aktualisieren
2. Falsche Werte	Joker aus Batman , immer darauf bedacht, dir einen bösen Streich zu spielen	A. Sind die Datenwerte korrekt? B. Was kann zu Fehlern geführt haben?	1. Visueller Scan 2. Univariate, bivariate, multivariate Diagramme und Statistiken 3. Überprüfen und verifizieren Sie gegebenenfalls die Originaldatenquellen	Verteilung, Graph Builder, Multivariat
3. Fehlende Werte	Lord Voldemort aus Harry Potter Er, dessen Name nicht genannt werden darf, kann auf mysteriöse Weise Werte entfernen, die da sein sollten	A. Fehlen Werte zufällig oder liegen systematische Muster vor? B. Sind fehlende Wertmuster prädiktiv?	1. Studieren Sie sorgfältig den Grad und die Muster des Fehlens; Entwickeln Sie nach Bedarf neue Funktionen 2. Erstellen Sie Indikatoren für fehlende Werte und prüfen Sie, ob diese mit der Antwort korrelieren 3. Hinweis: Für Bäume mit Gradientenverstärkung ist normalerweise keine Imputation erforderlich	Analysieren > Bildschirm > Fehlende Werte untersuchen, Spalten > Neu kodieren, Graph Builder
4. Ungültige Prädiktoren	Herr Burns aus Die Simpsons , selbstsüchtige Pläne schmieden und Pläne schmieden, die einem das Leben schwer machen	A. Sind Spalten für zukünftige Vorhersagen undurchführbar oder ungeeignet? B. Sind alle potenziellen Prädiktoren wissenschaftlich und ethisch sinnvoll?	1. Gehen Sie alle Spalten durch und verstehen Sie deren Bedeutung 2. Löschen Sie ungültige Spalten oder verschieben Sie sie an den Anfang oder das Ende der Tabelle, damit sie später nicht ausgewählt werden	Spalten > Löschen, Spalten > Neu anordnen, Spalten mit der Maus im linken Seitenbereich verschieben
5. Hohe Kardinalität	Magneto aus Die X-Men, kontrolliert alles, was Metall enthält, und kann viele Teile auf einmal auf dich werfen	A. Welche kategorialen Prädiktoren haben eine hohe Anzahl an Ebenen? B. Welche numerischen Kodierungen sind sinnvoll? C. Sollten niederfrequente Kategorien reduziert werden?	1. Anzahl und Häufigkeit prüfen Anzahl der Ebenen 2. Ebenen entsprechend neu kodieren 3. Berechnen Sie numerische Kodierungen und seien Sie besonders vorsichtig, wenn sie Zielinformationen verwenden, um eine Überanpassung zu vermeiden	Verteilung, Spalten > Neu kodieren
6. Inliers und Outliers	Geflügelte Affen aus Der Zauberer von Oz, ständig nach innen und außen fliegen und die bösen Befehle der bösen Hexe ausführen	A. Liegen Extremwerte innerhalb vernünftiger Grenzen? B. Werden Werte unerwartet zu häufig wiederholt?	1. Untersuchen Sie Histogramme und Quantile 2. Überprüfen Sie, ob ungewöhnliche Werte korrekt sind 3. Verwenden Sie die Log-Transformation, um wirklich verzerrte kontinuierliche Verteilungen zu bewerten 4. Mahalanobis-Entfernungen	Verteilung, Multivariat, Analysieren > Screening > Ausreißer untersuchen
7. Duplizierte Daten	Siamkatzen aus Lady und der Tramp , mit doppelt bösen Absichten und einem nervtötend eingängigen Song	A. Werden Zeilen oder Spalten versehentlich dupliziert?   B. Sind irgendwelche Spalten isomorph? C. Sind ID-Werte für jede Zeile eindeutig?	1. Visueller Scan 2. Zwei-Wege-Cluster-Streudiagrammmatrix	Zusammenfassung, Sortieren, Clustering (für Zeilen), Multivariat (für Spalten)
8. Reaktionsungleichgewicht	Jabba der Hutt aus Krieg der Sterne Er zerquetscht und zerquetscht dich gerne unter all seinem widerlichen Speck	A. Was ist das für eine Reaktion? B. Sind die Anteile für binär oder nominal repräsentativ für die Population, die Sie vorhersagen möchten? C. Ist die Verteilung für kontinuierlich sinnvoll?	1. Überprüfen Sie die Antwortverteilung 2. Erwägen Sie Gewichtung, Überabtastung und Unterabtastung. kann von den gewünschten Leistungsmetriken abhängen	Verteilung, Spalten > Neue Spalten, um eine Gewichtsvariable zu erstellen
9. Inkonsistenzen zwischen Training und Test	Auge von Sauron aus Herr der Ringe Ich beobachte dich ständig, um deine innersten Widersprüche zu finden und sie auszunutzen	A. Sind die Verteilungen der Antwort und der Prädiktoren bei Trainings-, Validierungs- und Testaufteilungen ähnlich? B. Bleiben künftige Testreihen innerhalb des Geltungsbereichs oder besteht ein echter Bedarf für eine Extrapolation?	1. Erstellen Sie eine neue Variable, die Aufteilungen angibt. Verwenden Sie es dann, um Verteilungen dynamisch zu untersuchen 2. Verwenden Sie niedrigdimensionale Projektionen, um Strukturen von Teilmengen zu vergleichen	Passen Sie Y an X an, wobei Y alle Variablen und
10. Datenleck	Ursula aus Die kleine Meerjungfrau, kann Sie mit ihrer tiefschwarzen Tinte völlig blenden und an unerwünschte Stellen auslaufen lassen	A. Werden in den Schulungs-, Validierungs- und Testaufteilungen Funktionen in unangemessener Weise Informationen aus der Antwort verwenden? B. Sind ID-Spalten prädiktiv?	1. Suchen Sie nach unerwarteten Beziehungen und nach Hinweisen, die darauf hindeuten könnten, dass eine Funktion undicht ist 2. Entwickeln Sie neue Funktionen mit einfachen Funktionen zur weiteren Prüfung auf Lecks	Y an X anpassen, Graph Builder, Multivariat, Clustering, Spalten auswählen > Rechtsklick > Neue Formelspalte

 

Wie um alles in der Welt können wir effizient mit diesen lästigen Problemverursachern umgehen, insbesondere wenn sie sich zusammentun und wir nicht genügend Zeit haben, benutzerdefinierten Code zu schreiben und zu debuggen? Die letzte Spalte enthält die JMP Routinen, die ich jeden Tag verwende, um damit umzugehen – es ist meine geheime, unverzichtbare Waffe.Mit Inspiration von einem berühmten kleiner Superheld aus den 1950er Jahren und die für immer bahnbrechende Benutzeroberfläche des Apple MacIntosh, JMP hat sich seit 30 Jahren unter der Leitphilosophie der extrem engen Integration von Statistiken und Grafiken, gesteuert durch eine Maus, stetig verbessert.  

Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Vorhersagemodelle aus Datentabellen erstellen? Halten Sie Ausschau nach zehn Bösewichten. Bild mit freundlicher Genehmigung von Prettysleepy auf Pixaby.

Sehen Sie sich die Checkliste von Russ Wolfinger mit 10 Gefahren an, mit denen Sie bei der Bereinigung und Vorbereitung von Daten für maschinelles Lernen umgehen müssen.