Lautsprecher | Transkript |
| Fehltritt | Willkommen beim JMP Discovery-Gipfel. |
| Ich bin Mia Stephens und ich bin JMP-Produktmanagerin. Ich bin hier mit Jordan Hiller, einem JMP-Systemingenieur. Und heute werden wir über die Automatisierung des Datenkurations-Workflows sprechen. |
| Und wir werden unseren Vortrag in zwei Teile aufteilen. Ich werde uns einleiten und die Bühne bereiten, indem ich über den Analyse-Workflow spreche und darüber, wie die Datenkuratierung in diesen Workflow passt. |
| Und dann überlasse ich es Jordan für das Fleisch, das Herzstück dieses Vortrags. Wir werden über die Notwendigkeit einer reproduzierbaren Datenkuratierung sprechen. |
| Wir werden sehen, wie das in JMP 15 geht. Und dann erhalten Sie einen kleinen Einblick in einige neue Funktionen in JMP 16 zum Aufzeichnen von Datenkurationsschritten und den Aktionen, die Sie ergreifen, um Ihre Daten für die Analyse vorzubereiten. |
| Denken wir also über den Analyseworkflow nach. Und hier ist ein beliebter Workflow. Und natürlich beginnt alles damit, Ihr Geschäftsproblem zu definieren und das Problem zu verstehen, das Sie lösen möchten. |
| Dann müssen Sie Daten zusammenstellen. Und natürlich können Sie Daten aus verschiedenen Quellen zusammenstellen und diese Daten in JMP abrufen. Und am Ende müssen wir in der Lage sein, Ergebnisse zu teilen und unsere Erkenntnisse mit anderen zu kommunizieren. |
| Der wahrscheinlich zeitaufwändigste Teil dieses Prozesses ist die Vorbereitung unserer Daten für die Analyse oder die Kuratierung unserer Daten. |
| Was genau ist Datenkuration? Nun, bei der Datenkuration geht es darum, sicherzustellen, dass unsere Daten für analytische Entdeckungen nützlich sind. Grundsätzlich wollen wir in der Lage sein, ein Problem mit dem Tag, den wir haben, zu lösen. |
| Hierbei geht es hauptsächlich um die Datenorganisation, die Datenstruktur und die Bereinigung von Datenqualitätsproblemen. |
| Wenn Sie über Probleme oder häufige Probleme mit Daten nachdenken, fallen diese im Allgemeinen in vier Kategorien. Möglicherweise haben wir falsche Formatierungen, unvollständige Daten, fehlende Daten oder fehlerhafte oder unordentliche Daten. |
| Und um über diese Art von Problemen zu sprechen und zu veranschaulichen, wie wir diese Probleme in unseren Daten identifizieren, greifen wir auf unseren Kurs STIPS zurück |
| Und wenn Sie mit STIPS nicht vertraut sind: STIPS ist unser kostenloser Online-Kurs „Statistisches Denken für die Lösung industrieller Probleme“ und ist in sieben Schritte unterteilt |
| diskrete Module. In Modul 2 dreht sich alles um die explorative Datenanalyse. |
| Und aufgrund des interaktiven und iterativen Charakters der explorativen Datenanalyse und Datenkuratierung befasst sich die letzte Lektion in diesem Modul mit der Datenvorbereitung für die Analyse. Dabei geht es darum, Qualitätsprobleme in Ihren Daten zu identifizieren und Maßnahmen zu ergreifen, die Sie zur Kuratierung Ihrer Daten ergreifen können. |
| Lassen Sie uns also etwas mehr über die häufigsten Probleme sprechen. Falsche Formatierung. Was meinen wir also mit falscher Formatierung? |
| Dies ist dann der Fall, wenn Ihre Daten für die Analyse in der falschen Form oder im falschen Format vorliegen. Dies kann Ihre Datentabelle als Ganzes anwenden. So können Sie beispielsweise Ihre Daten in separaten Spalten haben, für die Analyse benötigen Sie Ihre Daten jedoch in einer Spalte gestapelt. |
| Dies kann für einzelne Variablen gelten. Möglicherweise haben Sie den falschen Modellierungstyp oder Datentyp oder Datumsdaten, Datums- oder Uhrzeitdaten, die in JMP nicht auf diese Weise formatiert sind. |
| Es kann auch Kosmetik sein. Sie können Antwortvariablen am Anfang der Datentabelle entfernen, Ihre Variablen umbenennen und Faktoren gruppieren, um sie in der Datentabelle leichter finden zu können. |
| Bei unvollständigen Daten handelt es sich um einen Mangel an Daten. Und dies kann sich auf wichtige Variablen beziehen, sodass Sie möglicherweise keine Daten zu Variablen erfassen, die Ihnen letztendlich bei der Lösung Ihres Problems helfen können |
| oder auf Kombinationen von Variablen. Oder es könnte bedeuten, dass Sie einfach nicht genügend Beobachtungen haben, Ihre Datentabelle enthält nicht genügend Daten. |
| Fehlende Daten liegen vor, wenn Werte für Variablen nicht verfügbar sind. Und das kann ganz unterschiedliche Formen annehmen. |
| Und schließlich spricht man von schmutzigen oder unordentlichen Daten, wenn Sie Probleme mit Beobachtungen oder Variablen haben. |
| Daher könnten Ihre Daten falsch sein. Die Werte sind einfach falsch. Möglicherweise bestehen Unstimmigkeiten hinsichtlich der Art und Weise, wie Personen Daten aufzeichnen oder Daten in das System eingeben. |
| Ihre Daten sind möglicherweise ungenau, verfügen möglicherweise nicht über ein leistungsfähiges Messsystem oder es liegen Fehler oder Tippfehler vor. |
| Die Daten könnten veraltet sein. Möglicherweise haben Sie die Informationen zu einer Anlage oder Maschine gesammelt, die nicht mehr in Betrieb ist. |
| Es könnte veraltet sein. Daher könnte sich der Prozess seit der Erfassung der Daten so stark verändert haben, dass die Daten nicht mehr nützlich sind. |
| Die Daten können zensiert oder gekürzt werden. Möglicherweise verfügen Sie über Spalten, die zueinander redundant sind. Sie haben den gleichen Grundinformationsinhalt oder sind doppelt vorhanden. Schmutzige und unordentliche Daten können also viele verschiedene Formen annehmen. |
| Wie identifizieren Sie potenzielle Probleme? Nun, wenn Sie einen Blick auf Ihre Daten werfen, beginnen Sie, Probleme zu erkennen. Tatsächlich ist dieser Prozess iterativ, und wenn Sie beginnen, Ihre Daten grafisch und numerisch zu untersuchen, werden Ihnen Dinge auffallen, bei denen es sich möglicherweise um Probleme handelt, die Sie möglicherweise beheben möchten |
| oder lösen. Ein guter Ausgangspunkt ist also, zunächst einfach die Datentabelle zu scannen. Wenn Sie Ihre Datentabelle scannen, können Sie häufig einige offensichtliche Probleme erkennen. |
| Für dieses Beispiel verwenden wir einige Daten aus dem STIPS-Kurs „Komponenten“. Das Szenario sieht so aus, dass ein Unternehmen kleine Komponenten herstellt und versucht, die Ausbeute zu verbessern. |
| Und sie haben Daten zu 369 Teilechargen mit 15 Spalten gesammelt. Wenn wir uns also die Daten ansehen, können wir auf Anhieb einige ziemlich offensichtliche Probleme erkennen. |
| Wenn wir uns oben in der Datentabelle diese hübschen kleinen Diagramme ansehen, können wir die Formen der Verteilungen erkennen. Wir können die Werte sehen. |
| So sehen Sie beispielsweise ein Histogramm der Chargennummer. Und die Chargennummer ist eher eine Kennung als etwas, das fortlaufend ist. Dies kann uns also darauf hinweisen, dass die Daten falsch codiert sind. |
| Wenn wir uns die verworfenen Zahlen ansehen, können wir die Form der Verteilung erkennen. Wir können auch sehen, dass dort ein negativer Wert vorliegt, der möglicherweise nicht möglich ist. |
| Wir sehen ein Histogramm für den Prozess mit zwei Werten, und das kann uns sagen, dass wir den Modellierungstyp für den Prozess von kontinuierlich auf nominal ändern müssen. |
| Sie können mehr sehen, wenn Sie einen Blick auf das Säulenfeld werfen. So werden beispielsweise sowohl die Chargennummer als auch die Teilenummer fortlaufend codiert. Diese sind wahrscheinlich nominell |
| Und wenn Sie sich die Daten selbst ansehen, können Sie andere Probleme erkennen. Beispielsweise würden wir uns die Luftfeuchtigkeit als kontinuierlich vorstellen, aber Sie sehen ein paar Beobachtungen, die den Wert „N/A“ haben. |
| Und da JMP Text sieht, ist die Spalte als nominal codiert, sodass Sie dies möglicherweise beheben möchten. |
| Wir können einige Probleme mit dem Lieferanten sehen. Es fehlen einige Werte und einige Tippfehler. Und beachten Sie, Temperatur, alle Punkte zeigen an, dass in diesen Zeilen Werte für die Temperatur fehlen. Das ist also ein Problem, das wir vielleicht weiter untersuchen möchten. |
| Sie erkennen also viele Probleme, indem Sie einfach die Datentabelle scannen, und Sie können sogar noch mehr potenzielle Probleme identifizieren, wenn Sie die Daten variabel nacheinander visualisieren. |
| Ein wirklich guter Ausgangspunkt, und ich mag dieses Tool wirklich, ist der Spaltenviewer. Der Spaltenviewer bietet Ihnen numerische Zusammenfassungen für alle von Ihnen ausgewählten Variablen. |
| Hier fehlen mir beispielsweise einige Werte. Und Sie können sehen, dass uns bei der Temperatur 265 der 369 Werte fehlen. Dies ist also möglicherweise ein Problem, wenn wir glauben, dass die Temperatur ein wichtiger Faktor ist. |
| Wir können auch potenzielle Probleme mit Werten erkennen, die in der Datentabelle aufgezeichnet sind. So haben beispielsweise sowohl die Ausschussquote als auch die Ausschussanzahl negative Werte. |
| Und wenn dies physikalisch nicht möglich ist, sollten wir dies möglicherweise noch einmal in dem System untersuchen, in dem wir die Daten gesammelt haben. |
| Wenn wir uns einige der berechneten Statistiken ansehen, können wir auch andere Probleme erkennen. So sollten beispielsweise Chargennummer und Teilenummer wirklich kategorisch sein. |
| Es macht keinen Sinn, die durchschnittliche Chargennummer oder die durchschnittliche Teilenummer zu haben. Das bedeutet also, dass Sie wahrscheinlich zur Datentabelle zurückkehren und Ihren Modellierungstyp ändern sollten. |
| Verteilungen verraten uns viel über unsere Daten und potenzielle Probleme. Wir können die Formen der Verteilungen, die Zentrierung und die Ausbreitung sehen. Wir können auch Tippfehler erkennen. |
| Hier ist die Anzahl der Kunden, das besondere Problem besteht darin, dass es vier oder fünf Großkunden und einige kleinere Kunden gibt. Wenn Sie Kundennummern und -analysen verwenden, möchten Sie möglicherweise mithilfe von Recode einige dieser kleineren Kunden möglicherweise in einer anderen Kategorie zusammenfassen. |
| Wir haben ein Balkendiagramm für die Luftfeuchtigkeit, und das liegt daran, dass wir in der Spalte den N/A-Wert haben. Und das haben wir vielleicht nicht gesehen, als wir die Datentabelle durchsucht haben, aber wir können es hier ziemlich deutlich erkennen, wenn wir uns die Verteilung ansehen. |
| Wir können die Tippfehler beim Lieferanten deutlich erkennen. |
| Und wenn wir uns kontinuierliche Variablen ansehen, können Sie wiederum auf die Form, die Zentrierung und die Ausbreitung achten, aber Sie können auch einige ungewöhnliche Beobachtungen innerhalb dieser Variablen erkennen. |
| Nachdem man sich also die Daten jeweils variabel betrachtet hat, besteht ein natürlicher, natürlicher Fortschritt darin, die Daten zwei oder mehr Variablen gleichzeitig zu untersuchen. |
| Wenn wir zum Beispiel die Ausschussrate im Vergleich zur Ausschussanzahl im Graph Builder betrachten. |
| Wir sehen ein Interesse an Mustern. Wir sehen also diese Bänder und es könnte sein, dass es etwas in unserer Datentabelle gibt, das uns hilft zu erklären, warum wir dieses Muster sehen. |
| Tatsächlich macht es für uns Sinn, wenn wir nach Chargengröße färben. Wenn wir also Chargen mit 5.000 Teilen haben, besteht eine größere Chance für Ausschussteile als bei Chargen mit nur 200 Teilen. |
| Wir können auch sehen, dass es unten einige seltsame Beobachtungen gibt. Tatsächlich sind dies die Beobachtungen, die negative Werte für die Anzahl der Schrotte aufwiesen, und diese stechen hier in dieser Grafik besonders hervor. |
| Und wenn Sie einen Spaltenumschalter oder Datenfilter hinzufügen, können Sie diesen Diagrammen zusätzliche Dimensionalität verleihen. So kann ich den Druck betrachten, |
| zum Beispiel, statt... |
| Nun, ich kann auf Druck schauen oder auf Verweilen umschalten. Was ich hier suche, ist, dass ich ein Gefühl für die allgemeine Beziehung zwischen diesen Variablen und der Antwort bekomme. |
| Und ich kann sehen, dass der Druck einen positiven Zusammenhang mit der Ausschussrate zu haben scheint. Und wenn ich auf „Verweilen“ umschalte, kann ich sehen, dass es wahrscheinlich keinen großen Zusammenhang zwischen ihnen gibt |
| Verweilzeit und Ausschussrate oder Temperatur. Daher sind diese Variablen möglicherweise nicht so aussagekräftig für die Lösung des Problems. |
| Aber schauen Sie sich die Geschwindigkeit an, Geschwindigkeit hat eine negative Beziehung. Und ich habe oben auch einige ungewöhnliche Beobachtungen, die ich vielleicht untersuchen möchte. |
| So können Sie allein schon beim bloßen Betrachten viel über Ihre Daten erfahren. |
| Und natürlich gibt es fortgeschrittenere Tools zur Untersuchung von Ausreißern und fehlenden Werten, die den Rahmen dieser Diskussion sprengen würden. |
| Und wenn Sie in die Analysephase kommen, wenn Sie mit der Analyse Ihrer Daten oder der Erstellung von Modellen beginnen, erfahren Sie viel mehr über potenzielle Probleme, mit denen Sie sich befassen müssen. |
| Und der Schlüssel ist, dass Sie sich bei der Betrachtung Ihrer Daten und der Identifizierung dieser Probleme Notizen zu diesen Problemen machen sollten. |
| Einige davon können im Laufe der Zeit gelöst werden. So können Sie Ihre Daten möglicherweise im Laufe des Prozesses umgestalten und bereinigen. |
| Sie möchten jedoch wirklich sicherstellen, dass Sie die von Ihnen durchgeführten Schritte erfassen, damit Sie die Schritte später wiederholen können, wenn Sie die Analyse wiederholen müssen oder die Analyse für neue Daten oder andere Daten wiederholen möchten. |
| Und an diesem Punkt übergebe ich es Jordan, um über reproduzierbare Datenkuration zu sprechen und worum es dabei geht. |
| Jordan Hiller | Alles klar, danke, Mia. Das war großartig. Und wir haben gelernt, was Sie in JMP tun, um die Datenkuratierung per Point-and-Click durchzuführen. Lassen Sie uns jetzt darüber sprechen, dies reproduzierbar zu machen. |
| Wir sorgen uns um die Reproduzierbarkeit, weil Ihre Datensätze regelmäßig mit neuen Daten aktualisiert werden. Wenn dies eine einmalige Aktivität wäre, würden wir uns nicht allzu viele Gedanken über das Point-and-Click machen. Aber wenn Daten immer wieder aktualisiert werden, |
| Es ist zu arbeitsintensiv, die Datenkuratierung jedes Mal per Point-and-Click zu wiederholen. |
| Daher ist es effizienter, ein Skript zu generieren, das alle Ihre Datenkurationsschritte ausführt, und Sie können dieses Skript mit einem Klick auf eine Schaltfläche ausführen |
| und das Ganze auf einmal machen. Zusätzlich zur Effizienz |
| Es dokumentiert Ihren Prozess. Es dient als Aufzeichnung dessen, was Sie getan haben. So können Sie später für sich selbst darauf zurückgreifen und sich daran erinnern, was Sie getan haben, oder für die Menschen, die nach Ihnen kommen und für diesen Prozess verantwortlich sind, es ist auch eine Aufzeichnung für sie. |
| Für den Rest dieser Präsentation ist es mein Ziel, Ihnen zu zeigen, wie Sie ein Datenkurationsskript nur mit Point-and-Click erstellen. |
| Wir hoffen, dass Sie dafür keine Programmierung durchführen müssen. Dieser Programmcode wird für Sie extrahiert und gespeichert, und wir werden ein wenig darüber sprechen, wie das geschieht. |
| Es gibt also zwei verschiedene Abschnitte. Hier erfahren Sie, was Sie jetzt in JMP 15 tun können, um ein Datenkurationsskript zu erhalten, und was Sie tun werden, wenn wir nächstes Jahr JMP 16 veröffentlichen. |
| In JMP 15 gibt es einige Datenkurationsaufgaben, die ihren eigenen wiederverwendbaren JSL-Skriptcode generieren. |
| Sie führen einfach Ihren Point-and-Click aus und dann gibt es eine Technik, um den Code zu erfassen. Ich werde das demonstrieren. Also Tools wie Recode, |
| Erstellen einer neuen Formelspalte mit der Berechnung, Umformen von Datentabellen, diese Werkzeuge befinden sich im Tabellenmenü. Es gibt Stapeln, Teilen, Verbinden, Verketten und Aktualisieren. Alle diese Tools |
| Generieren Sie in JMP 15 ein eigenes Skript, nachdem Sie es per Point-and-Click ausgeführt haben. |
| Es gibt andere häufige Aufgaben, die kein eigenes JSL-Skript generieren. Um die Ausführung dieser Aufgaben zu erleichtern und sie reproduzierbar zu machen, |
| Und es hilft bei den folgenden Aufgaben, hauptsächlich bei Spaltenarbeiten, beim Ändern der Datentypen von Spalten, der Modellierungstypen, beim Ändern des Anzeigeformats, |
| Umbenennen, Neuanordnen und Löschen von Spalten aus Ihrer Datentabelle sowie Festlegen von Spalteneigenschaften wie Spezifikationsgrenzen oder Wertebeschriftungen. |
| Der Datenbereinigungs-Skript-Assistent unterstützt Sie also bei diesen Aufgaben in JMP 15. |
| Wir geben Ihnen eine Vorschau auf JMP 16 und freuen uns sehr über die neuen Funktionen im Protokoll in JMP 16. Ich denke, es wird der erweiterte Protokollmodus heißen. |
| Die Grundidee besteht darin, dass Sie sich in JMP 16 wie gewohnt durch Ihre Datenkurationsschritte bewegen können. |
| Der von Ihnen benötigte JSL-Code wird automatisch generiert und protokolliert. Sie müssen es sich nur schnappen und aufbewahren. So super einfach und wirklich nützlich, ich freue mich, Ihnen das zu zeigen. |
| Hier ist ein Spickzettel als Referenz. In JMP 15 sind dies die Aufgaben auf der linken Seite, allgemeine Datenkurationsaufgaben; Es handelt sich nicht um eine erschöpfende Liste. |
| Und die mittlere Spalte zeigt, wie Sie diese per Point-and-Click in JMP erreichen. Die Methode zum Extrahieren des wiederverwendbaren Skripts ist rechts aufgeführt. Deshalb werde ich hier nicht alles behandeln. |
| Aber ja, das ist für Sie als Referenz. Kommen wir zu einer Demo. Und ich werde zeigen, wie man einige der Probleme angeht, die Mia mit der Komponentendatentabelle identifiziert hat. Ich werde mit JMP 15 beginnen. |
| Und das erste, worüber wir sprechen werden, sind einige dieser Kolumnenprobleme, die sich ändern |
| Ändern |
| die Datentypen, die Modellierungstypen und so etwas. Nun, wenn es Ihnen nur um Point-and-Click ginge |
| Was Sie in JMP normalerweise tun würden, ist beispielsweise für die Luftfeuchtigkeit. Dies ist die Kolumne, an die Sie sich erinnern werden |
| Darin ist etwas Text enthalten, der fälschlicherweise als Zeichenspalte angezeigt wird. Um das Problem per Point-and-Click zu beheben, klicken Sie normalerweise mit der rechten Maustaste, rufen die Spalteninformationen auf und nehmen die Änderungen hier vor. |
| Dies ist eine dieser JMP-Aufgaben, die in JMP 15 kein verwendbares Skript zurücklässt. Deshalb verwenden wir stattdessen den Datenbereinigungsskript-Assistenten. Auf geht's. |
| Es befindet sich im Add-Ins-Menü. Da ich es installiert habe, können Sie es auch installieren. Assistent für Datenbereinigungsskripte, das Tool, das wir dafür benötigen, ist Victor der Reiniger. Das ist ein |
| grafische Benutzeroberfläche zum Vornehmen von Änderungen an Spalten, sodass wir hier auf Datentypen und Modellierungstypen eingehen können. Wir können Spalten umbenennen, die Reihenfolge der Spalten ändern und Spalten löschen und dann das Skript speichern. Nehmen wir hier also einige Änderungen vor. |
| Bei der Luftfeuchtigkeit handelt es sich um die Angabe mit den N/A-Werten, die dazu geführt haben, dass sie als Text angezeigt wurde. Wir werden es von einer Zeichenvariablen in eine numerische Variable ändern. Und wir werden es von nominal auf kontinuierlich ändern. |
| Wir haben auch festgestellt, dass die Chargennummer geändert werden muss und auf den Nennwert geändert werden muss. Auch die Teilenummer muss in die Nennnummer geändert werden, und der Prozess, bei dem es sich derzeit um eine Zahl handelt, sollte ebenfalls geändert werden |
| nominal. |
| tolle Technik. Also das ist für mich nicht nützlich. Löschen wir die Spalte „Einrichtung“. Ich wähle es hier aus, indem ich auf seinen Namen klicke und dann auf „Löschen“ klicke. |
| Hier sind einige der kosmetischen Änderungen, die Mia erwähnt hat. Die Ausschussquote steht am Ende meiner Tabelle. Ich möchte es früher verschieben. Ich werde es danach auf die vierte Position verschieben |
| Kundennummer. Also wählen wir es aus und verschieben es mit den Pfeilen in der Reihenfolge nach oben direkt nach der Kundennummer. |
| Die letzte Änderung, die ich vornehmen werde, besteht darin, dass ich die Druckvariable übernehmen und sie umbenennen werde. |
| Meine Ingenieure in meiner Organisation nannten diese Spalte Psi. Das ist also der Name, den ich dieser Kolumne geben möchte. Okay, das sind also alle Änderungen, die ich hier vornehmen möchte. |
| Ich muss einige Entscheidungen treffen. Ich kann entscheiden, ob das Skript in der Datentabelle selbst gespeichert wird. Das würde hier oben links einen kleinen Skriptabschnitt ergeben. |
| Wo Sie es in einem eigenen Fenster speichern können, speichern wir es in einem Skriptfenster. Sie können auch auswählen, ob die von Ihnen angegebenen Reinigungsaktionen ausgeführt werden sollen, wenn Sie auf „OK“ klicken. Lassen Sie uns die Ausführung beibehalten und auf OK klicken. |
| Jetzt sehen Sie, dass alle diese Änderungen vorgenommen wurden. Dinge wurden neu angeordnet, Spalteneigenschaften haben sich geändert usw. Und |
| Wir haben ein Drehbuch. Wir haben ein Skript, um das zu erreichen. Es befindet sich in einem eigenen Fenster und dieses kleine Programm wird die Grundlage bilden. Wir werden unser Datenkurationsskript darauf aufbauen. Lasst uns das speichern. Ich werde es auf meinem Desktop speichern. Und ich werde das nennen |
| v15-Kurationsskript. |
| Modellierungstypen ändern, Datentypen ändern, Dinge umbenennen, Dinge neu anordnen. |
| Diese kamen alle von Victor. Ich werde dies in meinem Code dokumentieren. Es ist eine gute Idee, kleine Kommentare in Ihrem Code zu hinterlassen, damit Sie ihn später lesen können. Ich werde eine Notiz hinterlassen, die besagt, dass dies vom Victor-Tool stammt. |
| Und sagen wir mal von DCSA, für den Datenbereinigungsskript-Assistenten Victor. Das ist also ein Kommentar. Die beiden Schrägstriche ergeben ein |
| Zeile in Ihrem Programm; das ist ein Kommentar. Das bedeutet, dass der Programminterpreter nicht versucht, dies als Programmcode auszuführen. Es wird nur als kleine Notiz erkannt und Sie können sie dort oben in Grün sehen. |
| Es ist eine gute Idee, in Ihrem Skript kleine Kommentare zu hinterlassen. Also gut, lass uns weitermachen. |
| Die nächste Kurationsaufgabe, mit der ich mich befassen werde, ist die Kolumne „Dieser Lieferant“. Mia erzählte uns, dass es hier einige Probleme gab, die angegangen werden müssen. |
| Wir verwenden hierfür das Recode-Tool. Recode ist eines der Tools in JMP 15, das ein eigenes Skript hinterlässt, man muss nur wissen, wo man es bekommt. Lassen Sie uns also neu kodieren und das Skript abrufen, indem Sie mit der rechten Maustaste klicken |
| neu kodieren. |
| Und wir werden diese Datenwerte korrigieren. Ich beginne mit dem roten Dreieck. Beginnen wir mit der Konvertierung des gesamten Textes in die Groß- und Kleinschreibung des Titels, wodurch dieser Hersch-Wert in Kleinbuchstaben hier unten bereinigt wurde. |
| Lassen Sie uns auch zusätzlichen Leerraum und zusätzliche Leerzeichen kürzen. Das hat den führenden Platz in diesem Anderson aufgeräumt. Okay. |
| Daher werden alle Änderungen, die Sie im Neukodierungstool vornehmen, in dieser Liste aufgezeichnet und Sie können sie durchgehen, rückgängig machen und wiederholen und durch den Verlauf blättern, wenn Sie möchten. |
| Alles klar, ich muss nur noch ein paar Änderungen vornehmen. Ich werde das manuell machen. Lassen Sie uns die Hershes, die Coxes und alle Andersons zusammenfassen. |
| Trutna und Worley haben bereits Recht. Das Letzte, was ich tun werde, ist, auf diese fehlenden Werte einzugehen. Wir werden sie ihrer eigenen Vermisstenkategorie zuordnen. |
| Das ist mein Rekodierungsprozess. Ich bin mit dem fertig, was ich tun muss. Wenn ich nur zeigen und klicken würde, würde ich auf „Neu kodieren“ klicken, und schon wäre ich fertig. Aber denken Sie daran, ich muss dieses Skript besorgen. Um das zu tun, gehe ich zum roten Dreieck. |
| Gehen wir zum Abschnitt „Skript“ und speichern wir dieses Skript in einem Skriptfenster. |
| Hier wird es in einem eigenen Skriptfenster gespeichert und ich füge diesen Abschnitt einfach am Ende meines Kurationsskripts ein, das gerade bearbeitet wird. |
| Also mal sehen. Ich werde mir einfach alles von hier aus schnappen. Ich muss es mir nicht einmal wirklich ansehen. Rechts. Ich muss kein Programmierer sein, Control C und füge es einfach unten ein. Und hinterlassen Sie uns eine Notiz, dass dies aus dem neu codierten roten Dreieck stammt. |
| Okay, und ich kann dieses Fenster schließen. Ich brauche es nicht mehr. Und speichern Sie diese Aktualisierungen in meinen Kurationsskripten. Das war also neu kodiert und die Art und Weise, wie Sie |
| bekommen das |
| Code dafür. |
| Also gut, die nächste Aufgabe, die wir angehen werden, ist das Rechnen |
| eine Ausbeute. Oh es tut mir leid. Was ich tun werde, ist, dass ich diese Neukodierung tatsächlich ausführen werde. Nachdem ich das Skript gespeichert habe, führen wir nun die Neucodierung aus. Und da ist sie, die umcodierte Lieferantenspalte. Perfekt. |
| Also gut, berechnen wir eine Ertragsspalte. Das ist ein bisschen überflüssig, mir ist klar, dass wir bereits die Ausschussrate haben, |
| Aber zum Zweck der Diskussion zeigen wir Ihnen, wie Sie eine neue Spalte berechnen und ihr Skript extrahieren würden. Dies ist eine weitere Stelle in JMP 15, an der Sie das Skript leicht finden können, wenn Sie wissen, wo Sie suchen müssen. So entsteht unsere Ertragsspalte. |
| Neue Spalte, doppelklicken Sie hier oben und benennen Sie sie von Spalte 16 in yield um. |
| Und weisen wir ihm eine Formel zu. |
| Um die Ausbeute zu berechnen, muss ich herausfinden, wie viele gute Einheiten ich in jeder Charge habe. Das ist also die Chargengröße minus der Anzahl der Ausschussteile. |
| Das ist also die Anzahl guter Einheiten, die ich in jeder Charge habe. Ich teile das durch die Gesamtchargengröße und hier ist meine Ertragsspalte. Ja, Sie können sehen, dass die Ausbeute hier 0,926 beträgt. |
| Die Ausschussrate beträgt 0,074, 1 minus Ausbeute. So gut. Die Berechnung ist korrekt. Nachdem ich nun diese Ertragsspalte erstellt habe, greifen wir zu ihrem Skript. Und hier ist der Trick: Klicken Sie mit der rechten Maustaste und kopieren Sie die Spalten. |
| Mit einem Rechtsklick können Sie Spalten kopieren. |
| Paste. Und da ist es. Fügen Sie der Datentabelle eine neue Spalte hinzu. Es heißt Ertrag und hier ist seine Formel. |
| Nun, sagte ich, Sie müssen keine Programmierkenntnisse haben, ich denke, hier ist eine sehr kleine Ausnahme. Das ist Ihnen wahrscheinlich schon aufgefallen |
| Am Ende jedes Schritts in JSL stehen Semikolons. Dadurch werden verschiedene JSL-Ausdrücke getrennt. Wenn Sie am Ende Ihres Skripts etwas Neues hinzufügen, sollten Sie sicherstellen, dass dazwischen ein Semikolon steht. Also tippe ich nur ein Semikolon. Die Kopierspalten |
| Die Funktion hat das Semikolon nicht hinzugefügt, daher muss ich es manuell hinzufügen. |
| Alles klar, gut. Das ist also unsere Ertragsspalte. Das nächste, was ich ansprechen möchte, ist Folgendes. |
| Meine Prozesse sind mit 1 und 2 gekennzeichnet. Das ist nicht sehr freundlich. Ich möchte ihnen aussagekräftigere Bezeichnungen geben. Wir werden Prozess Nummer 1, Produktion, nennen; und Prozess Nummer 2, experimentell. Das machen wir mit Wertetiketten. |
| Wertebeschriftungen sind ein Beispiel für Spalteneigenschaften. Es gibt eine ganze Liste verschiedener Spalteneigenschaften, die Sie einer Spalte hinzufügen können. |
| Das sind Dinge wie die Maßeinheiten. Wenn Sie beispielsweise die Anzeigereihenfolge in einem Diagramm ändern möchten, können Sie die Wertereihenfolge verwenden. |
| Wenn Sie Kontrollgrenzen oder Spezifikationsgrenzen oder ein historisches Sigma für Ihre Qualitätsanalyse hinzufügen möchten, können Sie dies auch hier tun. |
| In Ordnung. All dies sind also Spalteneigenschaften, die wir hinzufügen, Metadaten, die wir den Spalten hinzufügen. |
| Und wir müssen den Data Cleaning Script Assistant verwenden, um auf das JSL-Skript zum Hinzufügen dieser Spalteneigenschaften zuzugreifen. So machen wir es. Zunächst fügen wir die Spalteneigenschaften wie gewohnt per Point-and-Click hinzu. Ich werde meine Werteetiketten hinzufügen. |
| Prozess Nummer 1 nennen wir Produktion. Hinzufügen. |
| Prozess Nummer 2 nennen wir experimentell. |
| Und indem Sie diese Spalteneigenschaft für die Wertebeschriftung hinzufügen, |
| Ich bekomme jetzt schöne Beschriftungen in meiner Datentabelle. Anstatt Prozess 1 und Prozess 2 zu sehen, sehe ich Produktion und Experiment. |
| Assistent für Datenbereinigungsskripte. Wir werden den Immobilienkopierer auswählen. |
| Es erscheint eine kleine Meldung, die besagt, dass das Spalteneigenschaftsskript in die Zwischenablage kopiert wurde. Anschließend kehren wir zu unserem laufenden Skript zurück. |
| vom DCSA-Eigenschaftskopierer. |
| Und dann einfügen, Control V zum Einfügen. Es gibt das Skript, das wir benötigen, um diese beiden Wertebezeichnungen zuzuweisen. Es ist fertig. |
| Sehr gut. Okay, ich muss noch einen Schritt zur Datenkuration durchführen, etwas anderes, für das wir den Data Cleaning Script Assistant benötigen. |
| Wir möchten beispielsweise nur die Zeilen in dieser Datentabelle berücksichtigen, in denen das Vakuum ausgeschaltet ist. Rechts. Es gibt also 313 dieser Zeilen. |
| Und ich möchte nur die Zeilen in dieser Datentabelle entfernen, in denen Vakuum aktiviert ist. Die Art und Weise, wie Sie dies per Point-and-Click tun, besteht darin, diese auszuwählen, so wie ich es gerade getan habe, und dann den Befehl „table subset“ auszuführen. |
| Um brauchbaren Code zu erhalten, müssen wir erneut den Data Cleaning Script Assistant verwenden. Hier erfahren Sie, wie Sie diese Datentabelle nur auf die Zeilen unterteilen, in denen das Vakuum deaktiviert ist. Zuerst werde ich im Zeilenmenü und im Untermenü für die Zeilenauswahl die Funktion „Wo auswählen“ verwenden |
| Befehl, um ein wiederverwendbares Skript für die Auswahl zu erhalten. Wir werden die Zeilen auswählen, in denen das Vakuum ausgeschaltet ist. |
| Und bevor ich auf „OK“ klicke, um diese Auswahl auszuführen, gehe ich noch einmal zum roten Dreieck und speichere das Skript im Skriptfenster. |
| Steuern Sie A. Steuern Sie C, um das zu kopieren und wieder einzufügen |
| Aus Reihen. |
| Wählen Sie „Wo“. |
| Steuern Sie V. Es gibt also den JSL-Code, der die Zeilen auswählt, in denen das Vakuum ausgeschaltet ist. Jetzt muss ich noch einmal |
| Sie müssen den Datenbereinigungsskript-Assistenten verwenden, um die ausgewählten Zeilen abzurufen. Oh, lassen Sie uns zunächst die Auswahl tatsächlich ausführen. |
| Da ist es. Nachdem die Zeile nun ausgewählt ist, gehen wir zu den Add-Ins, dem Skriptassistenten für die Datenbereinigung und der Teilmenge der ausgewählten Zeilen. |
| Ich werde aufgefordert, meiner neuen Datentabelle einen Namen zu geben, die die Teilmenge der Daten enthält. Nennen wir es Vakuum, Vakuum aus. Das ist mein neuer Datentabellenname. Klicken Sie auf OK. Es erscheint eine weitere Meldung, dass das Subset-Skript in die Zwischenablage kopiert wurde. |
| Und so fügen wir es unten ein. |
| Da ist es. |
| Dies ist nun unser vollständiges Datenkurationsskript zur Verwendung in JMP 15. Lassen Sie uns einfach durchgehen, wie es in der Praxis verwendet wird. Ich werde die Datentabelle schließen, an der wir gearbeitet haben, und Korrekturen an der Kuratierung vornehmen. Schließen wir es und kehren wir zu zurück |
| der chaotische Zustand. |
| Stellen Sie sicher, dass ich die richtige JMP-Version verwende. |
| In Ordnung. Ja, hier sind sie, die chaotischen Daten. Nehmen wir an, es sind einige neue Zeilen eingegangen, da es sich um eine Produktionsumgebung handelt und ständig neue Daten eingehen. Ich muss meinen Datenkurations-Workflow wiederholen. |
| Skript ausführen. |
| Es führte alle diese Operationen durch. Beachten Sie die Wertebeschriftungen. Beachten Sie, dass die Luftfeuchtigkeit kontinuierlich ist. Beachten Sie, dass wir nur die Zeilen untergeordnet haben, in denen das Vakuum ausgeschaltet ist. Der gesamte Workflow |
| ist jetzt mit einem JSL-Skript reproduzierbar. Das müssen Sie also bei JMP 15 beachten. Einige Tools, aus denen Sie das JSL-Skript direkt extrahieren können; Für andere verwenden Sie mein Add-In, den Data Cleaning Script Assistant. |
| Und jetzt zeigen wir Ihnen, wie viel Spaß und wie einfach das in JMP 16 ist. Ich werde nicht den gesamten Workflow durcharbeiten |
| Noch einmal, weil es etwas überflüssig wäre, aber lassen Sie uns einfach einiges von dem durchgehen, was wir durchgemacht haben. Hier sind wir in JMP 16 und ich werde das Protokoll öffnen. |
| Das Protokoll sieht in JMP 16 anders aus und Sie werden einige dieser Unterschiede gleich sehen. Öffnen wir die unordentlichen Komponentendaten. |
| Hier ist es. Und Sie werden im Protokoll feststellen, dass es einen Abschnitt gibt, der besagt, dass ich die unordentliche Datentabelle geöffnet habe. Und hier unten. Hier ist das JSL-Skript, das das schafft |
| was wir gerade gemacht haben. Dies ist also wie ein laufendes Protokoll, das automatisch alle benötigten Skripte erfasst. Es ist noch nicht fertig. |
| Es werden immer noch neue Funktionen hinzugefügt. Und ich, und ich gehe davon aus, dass das so bleiben wird. |
| Aber schon jetzt ist diese erweiterte Protokollfunktion sehr, sehr nützlich und deckt die meisten Ihrer Datenkurationsaktivitäten ab. |
| Ich sollte auch erwähnen, dass ich Ihnen derzeit die Early-Adopter-Version von JMP zeige. Es handelt sich um die Early-Adopter-Version 5. Also, wenn wir es vollständig veröffentlichen |
| Wenn Sie die Produktionsversion von JMP 16 Anfang nächsten Jahres veröffentlichen, wird sie wahrscheinlich etwas anders aussehen als das, was Sie gerade sehen. |
| Okay, also machen wir einfach weiter und gehen einige dieser Datenkurationsschritte noch einmal durch. Ich werde nicht den gesamten Arbeitsablauf durchgehen, da er überflüssig wäre. Lasst uns einfach einige davon machen. |
| Ich werde einige der Dinge durchgehen, für die wir Victor früher brauchten. In JMP 16 benötigen wir den Data Cleaning Script Assistant nicht. Wir machen einfach wie gewohnt unseren Point-and-Click. |
| Also ändern wir die Luftfeuchtigkeit von zeichenhaft zu numerisch und von nominell zu kontinuierlich und klicken auf OK. So sieht das im strukturierten Protokoll aus. Es hat |
| hat diese JSL erfasst. Alles klar, zurück zur Datentabelle. Wir werden den Modellierungstyp der Chargennummer und Teilenummer sowie des Prozesses von kontinuierlich auf nominal ändern. |
| Das ist erledigt. Das wurde auch im Protokoll festgehalten. Wir werden die Spalte „Einrichtung“ löschen, die nur einen Wert hat. Klicken Sie dazu mit der rechten Maustaste auf „Spalten löschen“. Das ist weg. |
| PSI. |
| OK, das waren also alle Tools ... alle Dinge, die wir in Victor in JMP 15 gemacht haben. Hier in JMP 16 hinterlassen all diese JMP-Skripte, die wir einfach kopieren und hier unten wiederverwenden können. Schön. |
| In Ordnung. Nur noch einen Schritt, den ich Ihnen zeigen werde. Lassen Sie uns zeigen, dass die zu saugende Teilmenge ausgeschaltet ist. Viel, viel einfacher hier in JMP 16. Alles was wir tun müssen ist |
| Wählen Sie alle ausgeschalteten Staubsauger aus. Ich muss nicht einmal das Zeilenmenü verwenden, ich kann einfach mit der rechten Maustaste auf eine dieser Ausschaltvorgänge klicken und passende Zellen auswählen, wodurch die 313 Zeilen ausgewählt werden, in denen das Vakuum ausgeschaltet ist. Führen Sie dann wie üblich die Teilmenge aus und wählen Sie die Teilmenge nur für die ausgewählten Zeilen und die Teilmenge der Tabelle aus |
| und wir werden eine neue Tabelle namens „vacuum off“ erstellen, die nur unsere ausgewählten Zeilen enthält und alle Spalten behält. Auf geht's. |
| Das ist es. Wir haben gerade alle diese Datenkurationsschritte durchgeführt. So sieht es im strukturierten Protokoll aus. |
| Und um dies nun zu einem wiederverwendbaren, reproduzierbaren Datenkurationsskript zu machen, müssen wir nur noch zum roten Dreieck gehen und das Skript in einem Skriptfenster speichern. Ich werde dies in meinen Daten speichern ... auf meinem Desktop als v16-Kurationsskript. |
| Und hier ist es. Hier ist das ganze Skript. Lassen Sie uns also alle Daten in JMP 16 schließen und Ihnen einfach zeigen, wie es ist, dieses Skript erneut auszuführen. |
| Hier bin ich wieder im Startfenster für JMP 16. Hier ist mein Kurationsskript. Sie werden feststellen, dass die erste Zeile der Befehl zum Öffnen ist, sodass ich nicht einmal die Datentabelle öffnen muss. Es wird genau hier in einer Reihe passieren. |
| Alles, was ich tun muss, ist, wenn neue Daten eingehen und diese Datei aktualisiert wurde, um meine Schritte zur Datenkuration durchzuführen, das Skript auszuführen. |
| Und da ist es. Alle Kurationsschritte und die Teilmenge bis zu den 313 Zeilen. Das bedeutet also, dass Sie das erweiterte Protokoll in JMP 16 verwenden, um Ihre gesamte Datenkurationsarbeit zu erfassen und in ein reproduzierbares Skript umzuwandeln. |
| Okay, hier ist der JMP 15-Spickzettel, um Sie noch einmal daran zu erinnern: Dies ist, was Sie wissen müssen, um den wiederverwendbaren Code zu extrahieren, wenn Sie gerade in JMP 15 sind, und Sie müssen sich darüber keine Sorgen machen So viel, sobald wir JMP 16 veröffentlichen |
| Anfang 2021. |
| Abschließend hat Mia Ihnen gezeigt, wie Sie die Datenkuratierung in JMP erreichen. Es handelt sich um einen explorativen und iterativen Prozess, bei dem Sie Probleme identifizieren und per Point-and-Click beheben. |
| Wenn Ihre Daten regelmäßig mit neuen Daten aktualisiert werden, müssen Sie diesen Arbeitsablauf automatisieren, um Zeit zu sparen |
| Und auch, um Ihren Prozess zu dokumentieren und eine Spur von Brotkrumen zu hinterlassen, wenn Sie später zurückkommen und sich ansehen, was Sie getan haben. |
| Der Automatisierungsprozess übersetzt Ihre Point-and-Click-Aktivitäten in ein wiederverwendbares JSL-Skript. |
| Wir haben besprochen, wie Sie in JMP 15 eine Kombination aus integrierten Tools und Tools des Data Cleaning Script Assistant verwenden werden, um diese Ziele zu erreichen. |
| Und wir haben Ihnen auch eine Vorschau auf JMP 16 gegeben und gezeigt, wie Sie das erweiterte Protokoll nutzen können, um Ihre Point-and-Click-Datenkurationsaktivitäten einfach automatisch passiv zu erfassen und ein schönes, wiederverwendbares Ergebnis zu hinterlassen |
| reproduzierbares Datenkurationsskript. |
| In Ordnung. Das ist unsere Präsentation, vielen Dank für Ihre Zeit. |
![:\](https://jmp.vanillacommunities.com/resources/emoji/confused.png ":\"){kind=small}