Die Bereinigung von Textdaten ist ein unerheblicher, aber wichtiger Schritt in Statistik und Analyse. Die manuell eingegebenen Daten sind voll mit Rechtschreibfehlern, Tippfehlern und Inkonsistenzen. Sogar maschinell erzeugte Daten können Probleme verursachen, wenn zwei Datenquellen der Formatierung nicht zustimmen. Fehler müssen vor der Analyse der Daten behoben werden, da der kleinste Unterschied dazu führt, dass zwei Textteile vom Computer unterschiedlich angezeigt werden. Eine 2014 New York Times Artikel Schätzungen zufolge verbringen Datenwissenschaftler zwischen 50 und 80 Prozent ihrer Zeit damit, Daten zu säubern.
Wir sind uns bewusst, dass die Datenbereinigung ein entscheidender Schritt ist. Daher haben wir in JMP 12 einige neue Funktionen hinzugefügt, um dies zu vereinfachen. Der überarbeitete Recode-Befehl in JMP Ist einer von ihnen. Wir haben Recode um automatische Datenbereinigungsalgorithmen und eine verbesserte Benutzeroberfläche für manuelle Reinigungsaufgaben erweitert.
Der neue "Group Similar Values" -Befehl von Recode korrigiert kleine Fehler bei der Dateneingabe automatisch. Tippfehler und inkonsistente Schreibweisen werden als kleine Anzahl fehlender, zusätzlicher oder falscher Zeichen in ansonsten identischem Text angezeigt. Beispielsweise kann das falsch geschriebene "Rhythim" durch Entfernen des Zeichens "i" in "Rhythmus" korrigiert werden. Group Similar Values identifiziert solche Fehler in der Datentabelle und gruppiert sie, um die korrekte Schreibweise für die Gruppe zu ermitteln. Es bietet eine manuelle Kontrolle der Differenzschwelle sowie Leerraum, Interpunktion und Groß- / Kleinschreibung.
Automatische Werkzeuge sparen viel Aufwand, erhalten jedoch nicht immer die richtige Antwort. In diesen Fällen haben wir die Benutzeroberfläche für die manuelle Bearbeitung überarbeitet, um die Arbeit mit großen Datensätzen zu erleichtern und zu überprüfen, ob die neu codierten Werte korrekt sind.
Screenshot von Recode mit den Ergebnissen von gruppenähnlichen Werten, wobei einige Gruppen zusammengebrochen sind.
Recodes neue "gruppierte Anzeige" macht deutlich, wenn zwei verschiedene Zeichenfolgen in dieselbe Zeichenfolge umcodiert werden. Gruppen können durch eine Suchabfrage reduziert oder gefiltert werden, sodass der Fokus auf interessierende Bereiche in einem großen Datensatz liegt. Das Rechtsklick-Menü bietet die manuelle Kontrolle über das Erstellen und Aufteilen von Gruppen. Jede Operation kann jetzt rückgängig gemacht werden.
Schließlich haben wir viele neue Möglichkeiten zum Speichern, Laden, Ändern und Zusammenführen von Recode-Skripts für wiederkehrende Datenbereinigungsaufgaben hinzugefügt. Skripte können jetzt zusätzlich zur Datentabelle in einer eigenständigen Datei gespeichert werden. Beim Laden eines Skripts im Dialogfeld "Neukodieren" werden die Auswirkungen des Skripts auf die aktuellen Tabellendaten angezeigt und die weitere Bearbeitung ermöglicht. Skripte können beim Laden oder Speichern intelligent zusammengeführt werden.
Anmerkung des Herausgebers: Dieser Beitrag ist Teil eines Serie von Vorschauen von JMP 12 geschrieben von den Menschen, die die Software entwickeln.
Melvin Alexander schrieb:
Ich gab vor kurzem eine Präsentation mit einer Datentabelle (mit eingebetteten Skripts) und einem Folien-Deck, in dem die Möglichkeiten zum Bereinigen und Transformieren von Daten beschrieben werden (z. B. Stoppwörter entfernen, Datenwerte mithilfe von recode ändern, Protokolltransformationen anwenden und Daten für die Zerlegung einzelner Werte mit vorbereiten die SVD () - Funktion usw.).
Die Präsentation befindet sich in:
https://community.jmp.com/docs/DOC-7473
Hoffe das hilft
James Preiss schrieb:
Hallo Michael, danke für dein Feedback. Wir haben derzeit keine Beispiele für die Bereinigung von Daten, die aus Datenbanken oder Excel importiert wurden. Das Thema steht auf unserer Vorschlagsliste für die nächste Veröffentlichung. In der Zwischenzeit wird es nach JMP 12 einen tieferen Beitrag zu Recode geben. Wenn Sie (oder Leser) Beispieldaten oder ein Problem mit der Textbereinigung haben, das Sie teilen möchten, veröffentlichen Sie diese bitte im JMP-Benutzergemeinschaft So können wir mehr über die Datenreinigungsanforderungen unserer Kunden erfahren.
Michael Clayton schrieb:
Vielen Dank für den Aufwand, um die Analyse unordentlicher Daten zu erleichtern.
Hoffen Sie, dass die HELP-Tools ebenfalls aktualisiert werden, und möglicherweise einige neue Tutorials, Fallstudien usw. über alles, was mit der Methode JEDER Art verbunden ist, um unordentliche Daten (normalerweise) aus DB oder Excel zu verschieben und sie bei Bedarf neu zu organisieren.
