Die manuell eingegebenen Daten sind normalerweise nicht sauber und konsistent. Selbst wenn Daten über Multiple-Choice-Felder und nicht über Texteingabefelder eingegeben werden, ist möglicherweise zusätzlicher Aufwand erforderlich, wenn sie mit Daten kombiniert werden, die möglicherweise nicht die gleichen Kategorien in den verschiedenen Quellen verwenden. Manchmal werden die gleichen Kategorien unterschiedlich geschrieben, unterschiedlich abgekürzt, unterschiedlich groß geschrieben oder nur falsch geschrieben, was zu vielen weiteren Kategorien und einer ungültigen Analyse führt, wenn sie in einem Modell verwendet werden.
Betrachten Sie beispielsweise das Kundenfeld in die Daten der “Cylinder Bands” Dieses kann von UCI Machine Learning (ursprünglich von Bob Evans, RR Donnelly & Sons) heruntergeladen werden.
Wenn Sie diese Daten importieren, werden Sie feststellen, dass 83 eindeutige Werte für "Kunde" vorhanden sind. Es gibt viel weniger tatsächliche Kunden als das - es gibt nur mehrere Codierungen desselben Kunden. Der Kunde Abbey Press ist beispielsweise auf drei Arten codiert: "ABBEY", "ABBEYPRESS" und "ABBYPRESS".
In den frühen Versionen von JMP verwendeten wir Tricks, um die Werte neu zu codieren. Beispielsweise könnten wir „ABBEYPRESS“ in die Zwischenablage kopieren, dann mithilfe eines Histogramms Zeilen auswählen, die „ABBEY“ entsprechen, die Spalte „Kunde“ auswählen und dann einfügen - wodurch jedes „ABBEY“ in „ABBEYPRESS“ geändert würde.
Sobald der Befehl zum Umkodieren verfügbar wurde, können Sie einfach „ABBEYPRESS“ kopieren und in die anderen Auflösungswerte für „ABBEY“ und „ABBYPRESS“ im Dialogfeld „Umkodieren“ einfügen.
All dies funktioniert, wenn Sie nicht zu viele Kategorien haben, aber was ist, wenn Sie Hunderte von Kategorien haben? Es kann sehr mühsam sein, all diese Kopien und Pasten auszuführen.
Es gibt zwei sehr wichtige Möglichkeiten, dass das Umcodieren in der neuen Recode-Funktion in JMP 12 wesentlich besser ist.
Zunächst können Sie eine ganze Gruppe erstellen, indem Sie einfach alle Umkodierungswerte auswählen und mit der rechten Maustaste die gewünschte Kategorie auswählen. Jetzt erscheinen sie als Gruppe, auch wenn die ursprünglichen Werte getrennt wurden. Nicht mehr kopieren und einfügen; Es ist einfach auszuwählen und auszuwählen, wobei die Ergebnisse eine sichtbare Gruppe bilden.
Die wirklich erstaunliche Funktion des neuen Recode ist die, mit der Sie automatisch Gruppen mit ähnlichen Werten finden können.
In diesem Beispiel hat das Feature automatisch 16 Gruppen gebildet. Sie können dann prüfen, ob die resultierenden Gruppen alle gewünschten Kategorien haben, jedoch nicht zu viele.
Wie bestimmt es, welche Werte kombiniert werden sollen? Es betrachtet jedes Paar von Kategorienbezeichnungen und bestimmt den Bearbeitungsabstand zwischen den beiden Zeichenketten. Auch Levenshtein-Abstand genannt, ist dies die Mindestanzahl von Bearbeitungsvorgängen, die von einem String in den anderen konvertiert werden müssen. Wenn Sie den Befehl „Ähnliche Werte gruppieren“ ausführen, wird ein Dialogfeld angezeigt, in dem Sie auswählen können, welche Änderungen bei der Berechnung dieser Entfernung berücksichtigt werden sollen, und das Kriterium, das verwendet werden soll, um eine Übereinstimmung zu nennen. Die Standardoptionen für dieses Dialogfeld funktionieren normalerweise gut.
Einige der Gruppen waren perfekt gemacht, beispielsweise für „ECKERD“:
Da „ABBEY“ sich so sehr von „ABBEYPRESS“ unterscheidet, erfüllt es nicht das Kriterium, sie zu kombinieren. Daher müssen Sie „Group“ auswählen und mit der rechten Maustaste darauf klicken.
Ebenso wurde die Abkürzung von „CAS“ für „CASUAL“ in diesen beiden Kategorien nicht erfasst:
Und es wurden nur fünf der sechs "HANNOVERHOUSES" vergeben:
Während Sie die Ergebnisse überprüfen müssen, erhält die automatisierte Funktion die meisten davon.
Nach der Umkodierung haben wir die Anzahl der Kategorien von 83 auf 56 reduziert.
Eine genauere Untersuchung zeigt, dass andere Umcodierungen erforderlich sind. Die Einträge nach Zeile 503 scheinen tatsächlich von Groß- zu Kleinbuchstaben zu wechseln. Durch Klicken mit der rechten Maustaste auf den Menüpunkt "In Kleinbuchstaben konvertieren" können wir alle korrigieren.
Wenn Sie in größere Datentabellen wechseln, die bereinigt werden müssen, kann es sehr hilfreich sein, einige automatisierte Funktionen wie „Group Similar Values“ und einen verbesserten Benutzeroberflächenfluss bereitzustellen, z.
(Die neuen Recode-Funktionen, in einem früheren Blogbeitrag vorgestellt, wurden von James Preiss umgesetzt.)
Hinweis: Dies ist Teil eines Große Statistiken Serie von Blogbeiträgen von John Sall. Lesen Sie alle seine Große Statistikbeiträge .
Emil Friedman schrieb:
Das macht das Leben viel einfacher. Vielen Dank.
Ein ähnliches Problem tritt auf, wenn mehrere Dateien verkettet werden (Tabellen-> Verkettung), wobei die Spaltennamen fast gleich sind. Am Ende schreibe ich Spaltenformeln, die nach alternativen Versionen der gleichen Metrik suchen und zurückgeben, welche der beiden nicht fehlt. Es ist viel sicherer als Kopieren / Einfügen und gibt mir einen Dokumentationspfad. Ich frage mich, ob so etwas in eine zukünftige Version eingebaut werden könnte.
