Sie möchten also mehr über die Integration von Python und JMP erfahren. Stellen Sie zunächst sicher, dass Sie auf dem neuesten Stand sind, indem Sie sich das entsprechende Video ansehen, falls Sie dies noch nicht getan haben.
Eine Gruppe von JMP SEs hat eine Reihe von Blogs entwickelt, die zeigen, wie einfach sich JMP und Python integrieren lassen, um alltägliche Aufgaben wie das Bereinigen von Daten sowie fortgeschrittenere Analysen und Modellierungen zu erledigen. Ein besonderer Dank geht an Yasmine Hajar ( @yasmine_hajar ) und Wendy Tseng ( @wendytseng ) für ihre Hilfe bei der im Video und Blog verwendeten Python-Codierung.
Im Video zeigen wir, wie Sie – nur mit Maus und Augen – potentielle Ausreißer finden und diese dann aus der Datentabelle entfernen. Sie lernen außerdem, wie Sie fehlende Werte analysieren und bei Bedarf Werte als Surrogate imputieren, um das Ergebnis der Analyse zu sehen, wenn die Daten nicht fehlen würden.
JMP und Python ergänzen sich seit mehreren Jahren und mit der Veröffentlichung von JMP 18 ist es viel einfacher, Python-Analysen in die hervorragende Datenvisualisierung in JMP zu integrieren. Allerdings – und da bin ich sehr voreingenommen – ist die Datenbereinigung in JMP viel einfacher als in Python, und zwar aus einem ganz einfachen Grund: der Codierung.
Mit JMP können Sie beispielsweise innerhalb der Distributionsplattform im univariaten Modus und innerhalb der Multivariatenplattform im multivariaten Sinn visuell nach Ausreißern suchen. Mithilfe der Model Driven Multivariate Control Chart-Plattform gibt es die Funktion, nach Hotelings T2-Ausreißern für alle relevanten Daten zu suchen, aber das heben wir uns für ein anderes Mal auf. Sehen Sie sich auch hier das Begleitvideo an, um all diese Funktionen in Aktion zu sehen.
In der Zwischenzeit finden Sie hier eine Liste einiger Datenbereinigungsoptionen in Python:
- Extrahieren Sie bestimmte Muster aus Textdaten, beispielsweise E-Mail-Adressen, Telefonnummern oder Daten.
- Entfernen Sie unerwünschte Zeichen oder Teilzeichenfolgen aus Textdaten.
- Ersetzen Sie bestimmte Muster oder Teilzeichenfolgen durch neue Werte.
- Standardisieren Sie Textdaten, indem Sie alle Zeichen in Klein- oder Großbuchstaben umwandeln.
- Identifizieren und entfernen Sie Duplikate basierend auf Textdaten.
- Benennen Sie Spalten in einen besser erkennbaren Beschriftungssatz um.
- Löschen Sie unnötige Spalten in einem DataFrame.
- Ändern Sie den Index eines DataFrame.
Die ersten fünf Optionen können mit der Umcodierungsoption von JMP schnell erledigt werden. Und mit der Option „Spaltennamen“ im Dropdown-Menü „Spalten“ sind Spalten mit nur wenigen Klicks umbenannt.
Um unnötige Spalten in einer Datentabelle zu löschen, wählen Sie einfach die gewünschten Spalten aus, klicken Sie mit der rechten Maustaste auf eine der ausgewählten Spaltenüberschriften und wählen Sie „Spalten löschen“.
Wenn es darum geht, fehlende Werte zu finden und fehlende Daten zu ersetzen, ist JMP führend. Auch das Auffinden und Isolieren von Ausreißern ist in JMP unkompliziert, wie Sie unten sehen können.
Unten sehen Sie den Python-Code zum Öffnen einer JMP-Tabelle und zur Suche nach Ausreißern und fehlenden Werten. Darunter sehen Sie ein Bild des Datenrahmens und einige der Ausgaben für Ausreißer und fehlende Werte. Beachten Sie, dass Ausreißer in Python mithilfe eines Z-Scores mit einem absoluten Wert größer als 3 ermittelt werden. Basierend auf diesem Kriterium hat Python für praktisch jede fortlaufende Spalte in der Datentabelle Ausreißer gefunden.
Um in JMP nach Ausreißern zu suchen, folgen Sie diesem Beispiel, das Arrythmia.jmp aus dem JMP-Beispieldatenindex verwendet. Gehen Sie zu Analysieren > Screening > Ausreißer untersuchen.
Sie können entscheiden, welche Daten wirklich Ausreißer sind, und Sie können die Ausreißerbereiche mit nur wenigen Klicks einfach neu berechnen. JMP empfiehlt, Daten aufgrund möglicher Prüfpfade niemals vollständig aus Ihrem Datensatz zu entfernen. Sie können Daten in JMP jederzeit ausblenden und ausschließen, um sie aus Ihren Analysen herauszuhalten, ohne sie aus dem Datensatz zu löschen. Das Ausblenden von Daten in Python erfordert mehr Codierung und bedeutet höchstwahrscheinlich, dass die Daten von niemandem gesehen werden können.
Um fehlende Werte in JMP zu untersuchen, öffnen Sie die Datentabelle und gehen Sie zu Analysieren > Screening > Fehlende Werte untersuchen.
