| Oratore |
Trascrizione |
| il mio passo |
Benvenuti al summit JMP Discovery. |
| |
Sono Mia Stephens, product manager JMP e sono qui con Jordan Hiller, ingegnere di sistema JMP. Oggi parleremo dell'automazione del flusso di lavoro di data curation. |
| |
Divideremo il nostro intervento in due parti. Per iniziare, preparerò il terreno parlando del flusso di lavoro analitico e del ruolo della data curation in questo flusso di lavoro. |
| |
E poi lascerò la parola a Jordan per il nocciolo della questione, il cuore di questo intervento. Parleremo della necessità di una cura dei dati riproducibile. |
| |
Vedremo come farlo in JMP 15. Poi daremo un'occhiata in anteprima ad alcune nuove funzionalità di JMP 16 per la registrazione dei passaggi di cura dei dati e delle azioni intraprese per preparare i dati per l'analisi. |
| |
Pensiamo quindi al flusso di lavoro analitico. Eccone uno molto diffuso. Naturalmente, tutto inizia con la definizione del problema aziendale, comprendendo il problema che si sta cercando di risolvere. |
| |
Poi bisogna compilare i dati. E naturalmente, è possibile compilare dati da diverse fonti ed estrarli in JMP. E alla fine, dobbiamo essere in grado di condividere i risultati e comunicarli ad altri. |
| |
Probabilmente la parte più dispendiosa in termini di tempo di questo processo è la preparazione dei dati per l'analisi o la loro cura. |
| |
Cos'è esattamente la data curation? Beh, la data curation consiste nel garantire che i nostri dati siano utili per guidare le scoperte analitiche. Fondamentalmente, vogliamo essere in grado di risolvere un problema il giorno in cui ci troviamo. |
| |
Si tratta in gran parte di organizzazione dei dati, struttura dei dati e risoluzione dei problemi di qualità dei dati. |
| |
Se si considerano i problemi, o i problemi comuni, con i dati, generalmente si possono suddividere in quattro categorie: formattazione errata, dati incompleti, dati mancanti o dati sporchi o disordinati. |
| |
E per parlare di questi tipi di problemi e per illustrare come identifichiamo questi problemi nei nostri dati, prenderemo in prestito dal nostro corso, STIPS |
| |
E se non hai familiarità con STIPS, STIPS è il nostro corso online gratuito, Pensiero statistico per la risoluzione dei problemi industriali, ed è strutturato in sette |
| |
moduli discreti. Il modulo 2 è interamente dedicato all'analisi esplorativa dei dati. |
| |
E data la natura interattiva e iterativa dell'analisi esplorativa dei dati e della data curation, l'ultima lezione di questo modulo riguarda la preparazione dei dati per l'analisi. Si tratta di identificare i problemi di qualità nei dati e le misure da adottare per curarli. |
| |
Parliamo un po' più approfonditamente dei problemi più comuni. Formattazione errata. Cosa intendiamo per formattazione errata? |
| |
Bene, questo accade quando i dati sono nella forma sbagliata o nel formato sbagliato per l'analisi. Questo può riguardare l'intera tabella dati. Ad esempio, potresti avere i dati in colonne separate, ma per l'analisi è necessario che siano impilati in un'unica colonna. |
| |
Questo può applicarsi a singole variabili. Potresti avere il tipo di modellazione o il tipo di dati sbagliato, oppure potresti avere dati di data, dati su date o orari non formattati in quel modo in JMP. |
| |
Può anche essere cosmetico. Potresti scegliere di rimuovere le variabili di risposta dall'inizio della tabella dati, rinominare le variabili, raggruppare i fattori per facilitarne la ricerca nella tabella dati. |
| |
I dati incompleti derivano dalla mancanza di dati. E questo può riguardare variabili importanti, quindi potresti non acquisire dati su variabili che potrebbero aiutarti a risolvere il tuo problema. |
| |
o su combinazioni di variabili. Oppure potrebbe semplicemente significare che non hai abbastanza osservazioni, non hai abbastanza dati nella tua tabella dati. |
| |
I dati mancanti si verificano quando i valori delle variabili non sono disponibili. Questo può assumere diverse forme. |
| |
E infine, i dati sporchi o disordinati si verificano quando si hanno problemi con le osservazioni o le variabili. |
| |
Quindi i tuoi dati potrebbero essere errati. I valori sono semplicemente sbagliati. Potresti avere incongruenze nel modo in cui le persone registravano i dati o li immettevano nel sistema. |
| |
I tuoi dati potrebbero essere imprecisi, potrebbero non disporre di un sistema di misurazione efficiente, potrebbero contenere errori o refusi. |
| |
I dati potrebbero essere obsoleti. Quindi potresti aver raccolto informazioni su una struttura o una macchina che non è più in servizio. |
| |
Potrebbe essere obsoleto. Quindi il processo potrebbe essere cambiato così tanto da quando hai raccolto i dati che i dati non sono più utili. |
| |
I dati potrebbero essere censurati o troncati. Potrebbero esserci colonne ridondanti tra loro, con lo stesso contenuto informativo di base o righe duplicate. Quindi, dati sporchi e disordinati possono assumere molte forme diverse. |
| |
Quindi, come si identificano i potenziali problemi? Beh, quando si esaminano i dati, si iniziano a identificare i problemi. E in effetti, questo processo è iterativo e quando si inizia a esplorare i dati graficamente, numericamente, si iniziano a vedere elementi che potrebbero rappresentare problemi da risolvere. |
| |
o risolvere. Quindi un buon punto di partenza è iniziare semplicemente analizzando la tabella dati. Quando si analizza la tabella dati, spesso si possono notare alcuni problemi evidenti. |
| |
Per questo esempio, utilizzeremo alcuni dati tratti dal corso STIPS intitolato Componenti. Lo scenario è che un'azienda produce piccoli componenti e sta cercando di migliorarne la resa. |
| |
Hanno raccolto dati su 369 lotti di componenti con 15 colonne. Quindi, quando diamo un'occhiata ai dati, possiamo notare subito alcuni problemi piuttosto evidenti. |
| |
Se guardiamo in cima alla tabella dei dati, osserviamo questi graziosi grafici, possiamo vedere le forme delle distribuzioni. Possiamo vedere i valori. |
| |
Ad esempio, il numero di lotto viene visualizzato come un istogramma. E il numero di lotto è qualcosa che si potrebbe pensare sia un identificatore, piuttosto che qualcosa di continuo. Quindi questo può indicarci che i dati sono stati codificati in modo errato. |
| |
Osservando il numero di dati scartati, possiamo osservare la forma della distribuzione. Possiamo anche notare che c'è un valore negativo, il che potrebbe non essere possibile. |
| |
vediamo un istogramma per il processo con due valori, e questo può indicarci che dobbiamo cambiare il tipo di modellazione per il processo da continuo a nominale. |
| |
Si può vedere di più osservando il pannello a colonna. Ad esempio, il numero di lotto e il codice articolo sono entrambi codificati come continui. Probabilmente si tratta di numeri nominali. |
| |
E se si esaminano i dati stessi, si possono notare altri problemi. Ad esempio, l'umidità è un parametro che considereremmo continuo, ma si notano un paio di osservazioni che hanno valore N/D. |
| |
E poiché JMP legge il testo, la colonna è codificata come nominale, quindi questo è un aspetto che potresti voler correggere. |
| |
Possiamo notare alcuni problemi con il fornitore. Ci sono un paio di valori mancanti, alcuni errori tipografici. E notate, temperatura, tutti i punti indicano che mancano valori per la temperatura in queste righe. Quindi questo è un problema che potremmo voler approfondire. |
| |
Quindi è possibile identificare molti problemi semplicemente analizzando la tabella dei dati, e se si visualizzano i dati una variabile alla volta è possibile identificare ancora più potenziali problemi. |
| |
Un ottimo punto di partenza, e questo strumento mi piace molto, è il visualizzatore di colonne. Il visualizzatore di colonne fornisce riepiloghi numerici per tutte le variabili selezionate. |
| |
Ad esempio, qui mancano alcuni valori. E come potete vedere, per la temperatura mancano 265 dei 369 valori. Quindi questo potrebbe rappresentare un problema se pensiamo che la temperatura sia un fattore importante. |
| |
Possiamo anche individuare potenziali problemi con i valori registrati nella tabella dati. Ad esempio, il tasso di scarto e il numero di scarti hanno entrambi valori negativi. |
| |
E se questo non è fisicamente possibile, allora potremmo voler indagare nel sistema in cui abbiamo raccolto i dati. |
| |
Osservando alcune delle statistiche calcolate, possiamo notare anche altri problemi. Ad esempio, il numero di lotto e il codice articolo dovrebbero essere categorici. |
| |
Non ha senso avere il numero medio di lotto o il numero medio di parte. Quindi questo suggerisce che probabilmente dovresti tornare alla tabella dati e cambiare il tipo di modellazione. |
| |
Le distribuzioni ci dicono molto sui nostri dati e sui potenziali problemi. Possiamo vedere le forme delle distribuzioni, la centratura, la dispersione. Possiamo anche individuare errori di battitura. |
| |
In questo caso, il problema specifico è che ci sono quattro o cinque clienti principali e alcuni clienti più piccoli. Se si intende utilizzare il numero di clienti e l'analisi, potrebbe essere opportuno utilizzare Recode per raggruppare alcuni di questi clienti più piccoli in un'altra categoria. |
| |
Abbiamo un grafico a barre per l'umidità, e questo perché abbiamo quel valore N/D nella colonna. E potremmo non averlo visto quando abbiamo esaminato la tabella dei dati, ma possiamo vederlo abbastanza chiaramente qui quando guardiamo la distribuzione. |
| |
Possiamo vedere chiaramente gli errori tipografici per il fornitore. |
| |
E quando osserviamo le variabili continue, ancora una volta, possiamo osservare la forma, la centratura e la diffusione, ma possiamo anche osservare alcune osservazioni insolite all'interno di queste variabili. |
| |
Quindi, dopo aver esaminato i dati una variabile alla volta, una progressione naturale è quella di esplorare i dati con due o più variabili alla volta. |
| |
Ad esempio, se osserviamo il tasso di scarto rispetto al numero di scarti nel Graph Builder. |
| |
Notiamo un interesse per il pattern. Quindi vediamo queste bande e potrebbe esserci qualcosa nella nostra tabella dati che ci aiuta a spiegare perché stiamo osservando questo pattern. |
| |
In effetti, se coloriamo in base alla dimensione del lotto, ha senso per noi. Quindi, quando abbiamo lotti da 5000 pezzi, c'è più possibilità di ottenere pezzi di scarto rispetto a lotti da sole 200. |
| |
Possiamo anche notare alcune strane osservazioni in basso. In effetti, queste sono le osservazioni che hanno mostrato valori negativi per il numero di scarti e risaltano particolarmente in questo grafico. |
| |
E quando si aggiunge un commutatore di colonne o un filtro dati, è possibile aggiungere ulteriore dimensionalità a questi grafici. Quindi posso guardare la pressione, |
| |
ad esempio, invece di... |
| |
Beh, posso guardare la pressione o passare alla modalità "dwell". Quello che cerco qui è di farmi un'idea della relazione generale tra queste variabili e la risposta. |
| |
E vedo che la pressione sembra avere una relazione positiva con il tasso di scarto. E se passo alla modalità di permanenza, vedo che probabilmente non c'è molta relazione tra |
| |
tasso di permanenza e di scarto o temperatura. Quindi queste variabili potrebbero non essere così utili per risolvere il problema. |
| |
Ma guarda la velocità: la velocità ha una relazione negativa. E ho anche alcune osservazioni insolite in alto che potrei voler approfondire. |
| |
Quindi puoi imparare molto sui tuoi dati semplicemente osservandoli. |
| |
Naturalmente, esistono strumenti più avanzati per esplorare valori anomali e mancanti che vanno ben oltre lo scopo di questa discussione. |
| |
E man mano che si entra nella fase di analisi, quando si comincia ad analizzare i dati o a creare modelli, si impara molto di più sui potenziali problemi che si devono affrontare. |
| |
La cosa fondamentale è che, mentre esamini i tuoi dati e individui questi problemi, vuoi prenderne nota. |
| |
Alcuni di questi problemi possono essere risolti man mano che si procede. Quindi, potresti essere in grado di rimodellare e ripulire i tuoi dati man mano che procedi nel processo. |
| |
Ma è necessario assicurarsi di registrare i passaggi eseguiti in modo da poterli ripetere in seguito se si deve ripetere l'analisi o se si desidera ripetere l'analisi su nuovi dati o altri dati. |
| |
A questo punto lascerò la parola a Jordan per parlare della cura dei dati riproducibili e di cosa si tratta. |
| Jordan Hiller |
Bene, grazie, Mia. È stato fantastico. E abbiamo imparato cosa si fa in JMP per realizzare la data curation con un semplice clic. Ora parliamo di come renderlo riproducibile. |
| |
Il motivo per cui ci preoccupiamo della riproducibilità è che i set di dati vengono aggiornati regolarmente con nuovi dati. Se si trattasse di un'attività una tantum, non ci preoccuperemmo troppo del punta e clicca. Ma quando i dati vengono aggiornati ripetutamente, |
| |
ripetere ogni volta la selezione dei dati tramite punta e clicca è troppo laborioso. |
| |
Quindi è più efficiente generare uno script che esegua tutti i passaggi di cura dei dati e puoi eseguire tale script con un clic di un pulsante |
| |
e fare tutto in una volta. Quindi, oltre all'efficienza, |
| |
Documenta il tuo processo. Serve come registro di ciò che hai fatto. Così puoi consultarlo in seguito per te stesso e ricordare cosa hai fatto, o per le persone che verranno dopo di te e saranno responsabili di questo processo, perché è un registro anche per loro. |
| |
Nel resto della presentazione, il mio obiettivo è mostrarvi come generare uno script di data curation utilizzando solo il puntamento e il clic. |
| |
Ci auguriamo che non sia necessario alcun tipo di programmazione per farlo. Il codice del programma verrà estratto e salvato per voi, e vi spiegheremo brevemente come funziona. |
| |
Ci sono quindi due sezioni distinte. Una mostra cosa si può fare ora in JMP 15 per ottenere uno script di data curation, e una mostra cosa si farà quando pubblicheremo JMP 16 l'anno prossimo. |
| |
In JMP 15 sono presenti alcune attività di data curation che generano il proprio codice di scripting JSL riutilizzabile. |
| |
Basta eseguire il puntamento e cliccare, e poi c'è una tecnica per catturare il codice. Ve lo mostrerò. Quindi strumenti come Recode, |
| |
Generare una nuova colonna formula con il calcolo, rimodellare le tabelle dati: questi strumenti si trovano nel menu Tabelle. Ci sono impila, dividi, unisci, concatena e aggiorna. Tutti questi strumenti. |
| |
in JMP 15 generano il proprio script dopo averlo eseguito tramite puntamento e clic. |
| |
Esistono altre attività comuni che non generano il proprio script JSL e per semplificare l'esecuzione di queste attività e renderle riproducibili, |
| |
E aiuta con le seguenti attività, principalmente roba da colonna, modificando i tipi di dati delle colonne, i tipi di modellazione, modificando il formato di visualizzazione, |
| |
rinominare, riordinare ed eliminare colonne dalla tabella dati, nonché impostare proprietà delle colonne quali limiti di specifiche o etichette di valore. |
| |
Pertanto, per svolgere queste attività in JMP 15, utilizzerai Data Cleaning Script Assistant. |
| |
Vi offriremo un'anteprima di JMP 16 e siamo molto entusiasti delle nuove funzionalità del registro di JMP 16. Credo che si chiameranno modalità registro avanzata. |
| |
L'idea di base è che in JMP 16 è sufficiente puntare e cliccare per seguire i passaggi di cura dei dati come di consueto. |
| |
Il codice JSL di cui hai bisogno viene generato e registrato automaticamente. Tutto quello che devi fare è scaricarlo e salvarlo. È semplicissimo e davvero utile, non vedo l'ora di mostrartelo. |
| |
Ecco un promemoria per il vostro riferimento. In JMP 15, queste sono le attività sulla sinistra, attività comuni di data curation; l'elenco non è esaustivo. |
| |
La colonna centrale mostra come realizzarli con la tecnica "punta e clicca" in JMP. Il metodo per estrarre lo script riutilizzabile è elencato a destra. Quindi non mi dilungherò su tutti i dettagli qui. |
| |
Ma sì, questo è per voi, come riferimento più avanti. Passiamo a una demo. E vi mostrerò come risolvere alcuni dei problemi che Mia ha identificato con la tabella dati dei componenti. Inizierò con JMP 15. |
| |
E la prima cosa di cui parleremo sono alcuni di quei problemi di colonna, cambiando |
| |
cambiare |
| |
i tipi di dati, i tipi di modellazione, quel genere di cose. Ora, se ti interessasse solo il punta e clicca |
| |
in JMP, quello che faresti normalmente è, per esempio per l'umidità. Questa è la colonna che ricorderai che ha |
| |
C'è del testo e viene visualizzato erroneamente come una colonna di caratteri. Quindi, per risolvere il problema con il puntamento e il clic, normalmente si fa clic con il pulsante destro del mouse, si accede alle informazioni della colonna e si apportano le modifiche qui. |
| |
Questa è una di quelle attività JMP che non lascia dietro di sé script utilizzabili in JMP 15. Quindi, per questo, utilizzeremo l'assistente script per la pulizia dei dati. Eccoci qui. |
| |
Si trova nel menu dei componenti aggiuntivi, poiché l'ho installato, puoi installarlo anche tu. Assistente script per la pulizia dei dati, lo strumento di cui abbiamo bisogno per questo è Victor the Cleaner. Questo è un |
| |
Interfaccia utente grafica per apportare modifiche alle colonne, in modo da poter gestire i tipi di dati e i tipi di modellazione. Possiamo rinominare le colonne, modificarne l'ordine, eliminarle e quindi salvare lo script. Quindi, apportiamo alcune modifiche qui. |
| |
Per quanto riguarda l'umidità, è quella con i valori N/D che l'hanno resa disponibile come testo. La trasformeremo da variabile carattere a variabile numerica. E la trasformeremo da nominale a continua. |
| |
Abbiamo anche identificato il numero di lotto che deve essere modificato in nominale; anche il numero di parte deve essere modificato in nominale e il processo, che al momento è un numero, dovrebbe essere anch'esso |
| |
nominale. |
| |
fab tech. Quindi non mi serve a niente. Eliminiamo la colonna "facility". La seleziono qui cliccando sul suo nome e poi su "Elimina". |
| |
Ecco un paio di quelle modifiche estetiche che Mia ha menzionato. Il tasso di scarto è alla fine della mia tabella. Voglio spostarlo prima. Lo sposterò alla quarta posizione dopo |
| |
numero cliente. Quindi lo selezioniamo e usiamo le frecce per spostarlo verso l'alto nell'ordine, subito dopo il numero cliente. |
| |
L'ultima modifica che farò è prendere la variabile pressione e rinominarla. |
| |
I miei ingegneri nella mia organizzazione hanno chiamato questa colonna "psi". Quindi è questo il nome che voglio dare a quella colonna. Bene, ecco tutte le modifiche che voglio apportare. |
| |
Devo fare alcune scelte. Posso decidere se salvare lo script nella tabella dati stessa. Questo creerebbe una piccola sezione dedicata allo script qui, nel pannello in alto a sinistra. |
| |
Per salvarlo in una finestra separata, salviamolo in una finestra di script. Puoi anche scegliere se le azioni di pulizia specificate devono essere eseguite o meno quando clicchi su OK. Manteniamo l'esecuzione e clicchiamo su OK. |
| |
Ora vedrai che tutte queste modifiche sono state apportate. Le cose sono state riorganizzate, le proprietà delle colonne sono cambiate, ecc. E |
| |
Abbiamo uno script. Abbiamo uno script per farlo. È in una finestra separata e questo piccolo programma ne sarà la base. Costruiremo il nostro script di data curation attorno ad esso. Salviamolo. Lo salverò sul desktop. E lo chiamerò |
| |
Script di curatela v15. |
| |
modificando i tipi di modellazione, modificando i tipi di dati, rinominando le cose, riordinando le cose. |
| |
Tutto questo proviene da Victor. Lo documenterò nel mio codice. È una buona idea lasciare piccoli commenti nel codice in modo che tu possa leggerlo in seguito. Lascerò una nota che dice che questo proviene dallo strumento Victor. |
| |
E diciamo da DCSA, per l'assistente script di pulizia dati Victor. Quindi questo è un commento. Le due barre formano un |
| |
riga nel tuo programma; è un commento. Ciò significa che l'interprete del programma non tenterà di eseguirlo come codice di programma. Viene riconosciuto come una semplice nota e puoi vederlo in verde qui sopra. |
| |
È una buona idea lasciare dei piccoli commenti nel tuo copione. Bene, andiamo avanti. |
| |
Il prossimo compito di curatela che affronterò riguarda la rubrica dedicata ai fornitori. Mia ci ha raccontato che ci sono alcuni problemi che devono essere risolti. |
| |
Per questo useremo lo strumento di ricodifica. Recode è uno degli strumenti di JMP 15 che crea il proprio script, basta sapere dove trovarlo. Quindi eseguiamo la ricodifica, prendiamo lo script e clicchiamo con il tasto destro. |
| |
ricodificare. |
| |
E ora andremo a correggere questi valori. Inizierò dal triangolo rosso. Iniziamo convertendo tutto il testo in maiuscolo, eliminando il valore Hersch minuscolo qui sotto. |
| |
Eliminiamo anche gli spazi vuoti in eccesso, i caratteri di spazio in eccesso. Questo ha ripulito quello spazio iniziale in questo Anderson. Okay. |
| |
Quindi tutte le modifiche apportate nello strumento di ricodifica vengono registrate in questo elenco e puoi scorrerle, annullarle, ripristinarle e scorrere la cronologia, se preferisci. |
| |
Bene, ho solo qualche altra modifica da fare. La farò manualmente. Raggruppiamo gli Hersh, i Cox, tutti gli Anderson. |
| |
Trutna e Worley hanno già ragione. L'ultima cosa che farò è occuparmi di questi valori mancanti. Li assegneremo alla loro categoria di valori mancanti. |
| |
Questo è il mio processo di ricodifica. Ho finito con quello che devo fare. Se dovessi semplicemente puntare e cliccare, andrei avanti e cliccherei su "ricodifica" e avrei finito. Ma ricorda, devo ottenere questo script. Quindi, per farlo, andrò sul triangolo rosso. |
| |
Passiamo alla sezione script e salviamo questo script in una finestra script. |
| |
Qui è salvato in una finestra di script separata e io incollerò semplicemente quella sezione in fondo al mio script di curatela durante il processo. |
| |
Vediamo. Prendo tutto da qui. Non devo nemmeno guardarlo. Giusto. Non devo essere un programmatore, premere Ctrl+C e incollarlo in fondo. E lasciamoci una nota: questo è il triangolo rosso di Recode. |
| |
Bene, posso chiudere questa finestra. Non mi serve più. E salvare questi aggiornamenti nei miei script di curatela. Quindi questo era Recode e il modo in cui... |
| |
ottenere il |
| |
codice per esso. |
| |
Bene, allora il prossimo compito che affronteremo è il calcolo |
| |
una resa. Oh, mi dispiace. Quello che farò è eseguire effettivamente quella ricodifica. Ora che ho salvato lo script, eseguiamo la ricodifica. Ed eccola qui, la colonna fornitore ricodificata. Perfetto. |
| |
Bene, calcoliamo una colonna di rendimento. È un po' ridondante, mi rendo conto che abbiamo già il tasso di scarto, |
| |
Ma a scopo di discussione, vi mostreremo come calcolare una nuova colonna ed estrarne lo script. Questo è un altro punto di JMP 15 in cui potete facilmente ottenere lo script, se sapete dove cercare. Quindi, creiamo la nostra colonna di rendimento. |
| |
Nuova colonna, fai doppio clic qui sopra, rinominala dalla colonna 16 a yield. |
| |
E assegniamogli una formula. |
| |
Per calcolare la resa, devo trovare quante unità buone ho in ogni lotto, quindi questa sarà la dimensione del lotto meno il numero di unità scartate. |
| |
Questo è il numero di unità buone che ho in ogni lotto. Lo divido per la dimensione totale del lotto ed ecco la mia colonna di resa. Sì, potete vedere che la resa qui è 0,926. |
| |
Il tasso di scarto è 0,074, 1 meno la resa. Ottimo. Il calcolo è corretto. Ora che ho creato la colonna della resa, prendiamo il suo script. Ed ecco il trucco: clic destro, copia colonne. |
| |
cliccando con il tasto destro, copia colonne. |
| |
Incolla. Ed ecco fatto. Aggiungi una nuova colonna alla tabella dati. Si chiama yield ed ecco la sua formula. |
| |
Ora, ho detto, non è necessario che tu sappia niente di programmazione, credo che ci sia una piccola eccezione. Probabilmente l'avrai notato. |
| |
In JSL, alla fine di ogni passaggio ci sono dei punti e virgola. Questo separa le diverse espressioni JSL e, se si aggiunge qualcosa di nuovo alla fine dello script, è necessario assicurarsi che ci sia un punto e virgola in mezzo. Quindi sto semplicemente digitando un punto e virgola. Le colonne di copia |
| |
la funzione non ha aggiunto il punto e virgola, quindi devo aggiungerlo manualmente. |
| |
Bene, bene. Questa è la nostra colonna sui rendimenti. Il prossimo argomento che vorrei affrontare è questo. |
| |
I miei processi sono etichettati con i numeri 1 e 2. Non è molto intuitivo. Vorrei dare loro etichette più descrittive. Chiameremo il Processo Numero 1 "produzione" e il Processo Numero 2 "sperimentale". Lo faremo con le etichette di valore. |
| |
Le etichette dei valori sono un esempio di proprietà di colonna. Esiste un elenco completo di diverse proprietà di colonna che è possibile aggiungere a una colonna. |
| |
Si tratta di cose come le unità di misura. È come se si volesse cambiare l'ordine di visualizzazione in un grafico, utilizzando l'ordinamento per valori. |
| |
Se vuoi aggiungere limiti di controllo o limiti di specifica o un sigma storico per la tua analisi della qualità, puoi farlo anche qui. |
| |
Bene. Quindi tutte queste sono proprietà di colonna che aggiungiamo, metadati che aggiungiamo alle colonne. |
| |
E dovremo usare il Data Cleaning Script Assistant per accedere allo script JSL per aggiungere queste proprietà di colonna. Ecco come procedere. Per prima cosa, aggiungiamo le proprietà di colonna, come di consueto, puntando e cliccando. Aggiungerò le etichette dei valori. |
| |
Il processo numero 1 lo chiameremo produzione. Aggiungi. |
| |
Il processo numero 2 lo chiameremo sperimentale. |
| |
E aggiungendo quella proprietà della colonna etichetta valore, |
| |
Ora ottengo delle etichette chiare nella mia tabella dati. Invece di vedere Processo 1 e Processo 2, vedo produzione e sperimentazione. |
| |
Assistente script per la pulizia dei dati. Sceglieremo il copiatore di proprietà. |
| |
È apparso un piccolo messaggio che informa che lo script delle proprietà della colonna è stato copiato negli appunti e che quindi torneremo allo script in elaborazione. |
| |
dalla fotocopiatrice di proprietà DCSA. |
| |
E poi incolla, Ctrl + V per incollare. Ecco lo script che ci serve per assegnare quelle due etichette di valore. Fatto. |
| |
Molto bene. Ok, ho ancora un passaggio di data curation da completare, un'altra cosa per cui avremo bisogno del Data Cleaning Script Assistant. |
| |
Vogliamo considerare solo, diciamo, le righe di questa tabella dati in cui il vuoto è disattivato. Giusto. Quindi ci sono 313 di quelle righe. |
| |
Voglio solo eliminare le righe di questa tabella dati in cui è attivo il vuoto. Quindi, il modo per farlo con il puntamento e il clic è selezionarle, proprio come ho fatto io adesso, e poi eseguire il comando table subset. |
| |
Per ottenere codice utilizzabile, dovremo utilizzare nuovamente il Data Cleaning Script Assistant. Ecco come suddividere questa tabella dati solo nelle righe in cui il vuoto è disattivato. Per prima cosa, nel menu Riga, nel sottomenu Selezione Riga, useremo questo comando: "Seleziona Dove". |
| |
comando per ottenere uno script riutilizzabile per la selezione. Selezioneremo le righe in cui il vuoto è disattivato. |
| |
E prima di cliccare su OK per eseguire la selezione, andrò di nuovo sul triangolo rosso e salverò lo script nella finestra degli script. |
| |
Control A. Control C per copiare e incollare di nuovo |
| |
Dalle righe. |
| |
Seleziona dove |
| |
Control V. Ecco il codice JSL che seleziona le righe in cui il vuoto è disattivato. Ora ho bisogno, ancora una volta, |
| |
Dobbiamo usare l'Assistente script di pulizia dati per ottenere le righe selezionate. Oh, prima eseguiamo effettivamente la selezione. |
| |
Ecco fatto. Ora, con la riga selezionata, andiamo di nuovo ai componenti aggiuntivi, Data Cleaning Script Assistant, e creiamo un sottoinsieme delle righe selezionate. |
| |
Mi viene chiesto di dare un nome alla mia nuova tabella dati che contiene il sottoinsieme dei dati. Chiamiamola "vuoto", "vuoto spento". Questo è il nome della mia nuova tabella dati. Clicco su OK e un altro messaggio mi informa che lo script del sottoinsieme è stato copiato negli appunti. |
| |
E così lo incolliamo in basso. |
| |
Eccolo qui. |
| |
Questo è ora il nostro script completo di data curation da utilizzare in JMP 15. Vediamo come utilizzarlo in pratica. Chiuderò la tabella dati su cui abbiamo lavorato e su cui abbiamo apportato le correzioni necessarie per la nostra data curation. Chiudiamola e torniamo a |
| |
lo stato disordinato. |
| |
Assicurati di usare la versione corretta di JMP. |
| |
Bene. Sì, ecco qui, i dati disordinati. E supponiamo che siano arrivate nuove righe perché siamo in un ambiente di produzione e nuovi dati arrivano continuamente. Devo rieseguire il flusso di lavoro di data curation. |
| |
eseguire lo script. |
| |
Ha eseguito tutte queste operazioni. Notare le etichette dei valori. Notare che l'umidità è continua. Notare che abbiamo sottoimpostato solo le righe in cui il vuoto è disattivato. L'intero flusso di lavoro |
| |
è ora riproducibile con uno script JSL. Ecco cosa devi tenere a mente per JMP 15. Da alcuni strumenti puoi estrarre direttamente lo script JSL; per altri, utilizzerai il mio componente aggiuntivo, il Data Cleaning Script Assistant. |
| |
E ora vi mostreremo quanto è divertente e facile farlo in JMP 16. Non vi spiegherò l'intero flusso di lavoro |
| |
Ripetiamolo ancora una volta, perché sarebbe un po' ridondante, ma ripercorriamo brevemente ciò che abbiamo già visto. Eccoci in JMP 16 e aprirò il log. |
| |
Il log appare diverso in JMP 16 e tra poco ne vedrete alcune. Apriamo i dati dei componenti confusi. |
| |
Eccolo qui. E noterete nel registro che c'è una sezione che dice che ho aperto la tabella dati disordinata. E qui sotto. Ecco lo script JSL che realizza |
| |
Quello che abbiamo appena fatto. Questo è come un registro in esecuzione che cattura automaticamente tutti gli script necessari. Non è ancora completo. |
| |
Ci sono ancora nuove funzionalità in fase di aggiunta. E presumo che continueranno ad esserlo. |
| |
Ma questa funzionalità di registro avanzata è già molto, molto utile e copre la maggior parte delle attività di gestione dei dati. |
| |
Vorrei anche sottolineare che, in questo momento, quella che vi sto mostrando è la versione early adopter di JMP. È la versione early adopter 5. Quindi, quando la rilasceremo completamente... |
| |
la versione di produzione di JMP 16, che uscirà all'inizio del prossimo anno, sarà probabilmente un po' diversa da quella che vedete adesso. |
| |
Bene, allora continuiamo e ripercorriamo alcuni dei passaggi della data curation. Non descriverò l'intero flusso di lavoro, perché sarebbe ridondante. Vediamone solo alcuni. |
| |
Vi spiegherò alcune delle cose per cui prima avevamo bisogno di Victor. In JMP 16 non avremo più bisogno del Data Cleaning Script Assistant. Possiamo semplicemente usare il punta e clicca come al solito. |
| |
Quindi, per quanto riguarda l'umidità, cambieremo da carattere a numerico e da nominale a continuo e faremo clic su OK. Ecco come appare nel registro strutturato. Ha |
| |
Ho catturato quel JSL. Bene, torniamo alla tabella dati. Cambieremo il tipo di modellazione del numero di lotto, del codice articolo e del processo da continuo a nominale. |
| |
Fatto. Anche questo è stato registrato nel log. Elimineremo la colonna "facility", che ha un solo valore, clicchiamo con il tasto destro del mouse su "Elimina colonne". È sparita. |
| |
PSI. |
| |
Ok, quindi questi erano tutti gli strumenti... tutte le cose che abbiamo fatto in Victor in JMP 15. Qui in JMP 16, tutto questo lascia dietro di sé uno script JMP che possiamo semplicemente copiare e riutilizzare qui sotto. Bellissimo. |
| |
Bene. Vi mostrerò solo un altro passaggio. Mostriamo che il sottoinsieme del vuoto è disattivato. Molto, molto più semplice qui in JMP 16. Tutto ciò che dobbiamo fare è |
| |
Seleziona tutti gli aspirapolvere spenti; non ho nemmeno bisogno di usare il menu delle righe, posso semplicemente fare clic con il pulsante destro del mouse su uno di quegli aspirapolvere e selezionare le celle corrispondenti, che selezionano le 313 righe in cui l'aspirapolvere è spento. E poi, come al solito, per eseguire il sottoinsieme, per selezionare il sottoinsieme solo per le righe selezionate, sottoinsieme della tabella. |
| |
e creeremo una nuova tabella chiamata vacuum off che conterrà solo le righe selezionate e manterrà tutte le colonne. Ecco fatto. |
| |
Ecco fatto. Abbiamo appena eseguito tutti i passaggi di data curation. Ecco come appare il risultato nel log strutturato. |
| |
E ora, per rendere questo uno script di curatela dei dati riutilizzabile e riproducibile, tutto ciò che dobbiamo fare è andare al triangolo rosso e salvare lo script in una finestra di script. Lo salverò nei miei dati... sul mio desktop come script di curatela v16. |
| |
Ed eccolo qui. Ecco l'intero script. Quindi, chiudiamo tutti i dati in JMP 16 e vi mostriamo come rieseguire lo script. |
| |
Eccomi di nuovo nella finestra principale di JMP 16. Ecco il mio script di curatela. Noterete che la prima riga è il comando "open", quindi non ho nemmeno bisogno di aprire la tabella dati. Verrà eseguito direttamente qui. |
| |
Tutto quello che devo fare è eseguire lo script quando arrivano nuovi dati e questo file è stato aggiornato per eseguire i passaggi di cura dei dati. |
| |
Ed ecco fatto. Tutti i passaggi di cura e il sottoinsieme delle 313 righe. Questo significa utilizzare il registro avanzato di JMP 16 per catturare tutto il lavoro di cura dei dati e trasformarlo in uno script riproducibile. |
| |
Bene, ecco il promemoria di JMP 15 per ricordartelo ancora una volta, questo è ciò che devi sapere per estrarre il codice riutilizzabile quando utilizzi JMP 15 adesso, e non dovrai più preoccuparti di questo una volta rilasciato JMP 16. |
| |
all'inizio del 2021. |
| |
Per concludere, Mia vi ha mostrato come realizzare la data curation in JMP. Si tratta di un processo esplorativo e iterativo in cui si identificano i problemi e li si risolve con un semplice clic. |
| |
Quando i tuoi dati vengono aggiornati regolarmente con nuovi dati, devi automatizzare quel flusso di lavoro per risparmiare tempo |
| |
E anche per documentare il tuo processo e lasciare una scia di briciole di pane quando tornerai più tardi e guarderai cosa hai fatto. |
| |
Il processo di automazione consiste nel tradurre le attività punta e clicca in uno script JSL riutilizzabile. |
| |
Abbiamo spiegato come in JMP 15 si utilizzerà una combinazione di strumenti integrati e di strumenti di Data Cleaning Script Assistant per raggiungere questi obiettivi. |
| |
E ti abbiamo anche offerto un'anteprima di JMP 16 e di come puoi utilizzare il registro migliorato per acquisire automaticamente e passivamente le tue attività di cura dei dati point-and-click e lasciare dietro di te un bellissimo riutilizzabile |
| |
script riproducibile per la cura dei dati. |
| |
Bene. Questa è la nostra presentazione, grazie mille per il tempo che ci ha dedicato. |
