Altoparlante | Trascrizione |
| passo falso | Benvenuti al vertice JMP Discovery. |
| Sono Mia Stephens e sono un product manager JMP e sono qui con Jordan Hiller, che è un ingegnere di sistema JMP. E oggi parleremo dell'automazione del flusso di lavoro di data curation. |
| E divideremo il nostro discorso in due parti. Inizierò e preparerò il terreno parlando del flusso di lavoro analitico e di dove si inserisce la cura dei dati in questo flusso di lavoro. |
| E poi lo consegnerò a Jordan per la carne, il cuore di questo discorso. Parleremo della necessità di una cura dei dati riproducibile. |
| Vedremo come farlo in JMP 15. Poi darai un'anteprima di alcune nuove funzionalità di JMP 16 per la registrazione dei passaggi di data curation e delle azioni intraprese per preparare i dati per l'analisi. |
| Quindi pensiamo al flusso di lavoro analitico. Ed ecco un flusso di lavoro popolare. E, naturalmente, tutto inizia con la definizione del problema aziendale, la comprensione del problema che stai cercando di risolvere. |
| Quindi è necessario compilare i dati. Naturalmente è possibile compilare dati da numerose origini diverse ed inserirli in JMP. E alla fine, dobbiamo essere in grado di condividere i risultati e comunicare le nostre scoperte con gli altri. |
| Probabilmente la parte più dispendiosa in termini di tempo di questo processo è la preparazione dei nostri dati per l'analisi o la cura dei nostri dati. |
| Allora, cos’è esattamente la cura dei dati? Ebbene, la cura dei dati consiste nel garantire che i nostri dati siano utili per favorire le scoperte analitiche. Fondamentalmente, vogliamo essere in grado di risolvere un problema con la giornata che abbiamo. |
| Si tratta in gran parte di organizzazione dei dati, struttura dei dati e pulizia dei problemi di qualità dei dati. |
| Se pensi ai problemi o ai problemi comuni con i dati, generalmente rientrano in quattro intervalli. Potremmo avere una formattazione errata, dati incompleti, dati mancanti o dati sporchi o disordinati. |
| E per parlare di questi tipi di problemi e per illustrare come identifichiamo questi problemi all'interno dei nostri dati, prenderemo in prestito dal nostro corso, STIPS |
| E se non hai familiarità con STIPS, STIPS è il nostro corso online gratuito, Pensiero statistico per la risoluzione dei problemi industriali, ed è strutturato in sette |
| moduli discreti. Il modulo 2 è interamente dedicato all'analisi esplorativa dei dati. |
| Inoltre, data la natura interattiva e iterativa dell'analisi esplorativa e della data curation, l'ultima lezione di questo modulo riguarda la preparazione dei dati per l'analisi. Si tratta di identificare i problemi di qualità nei tuoi dati e i passaggi che potresti intraprendere per curare i tuoi dati. |
| Quindi parliamo ancora un po' dei problemi comuni. Formattazione errata. Allora cosa intendiamo per formattazione errata? |
| Bene, questo accade quando i tuoi dati sono nella forma sbagliata o nel formato sbagliato per l'analisi. Questo può applicare la tabella dati nel suo insieme. Quindi, ad esempio, potresti avere i tuoi dati in colonne separate, ma per l'analisi hai bisogno che i tuoi dati vengano impilati in un'unica colonna. |
| Questo può applicarsi alle singole variabili. Potresti avere il tipo di modellazione o il tipo di dati sbagliato oppure potresti avere dati di data, dati su date o ore non formattati in questo modo in JMP. |
| Può anche essere cosmetico. Potresti scegliere di rimuovere le variabili di risposta all'inizio della tabella dati, rinominare le variabili e raggruppare i fattori per facilitarne la ricerca nella tabella dati. |
| I dati incompleti riguardano la mancanza di dati. E questo può riguardare variabili importanti, quindi potresti non acquisire dati su variabili che alla fine possono aiutarti a risolvere il tuo problema |
| o su combinazioni di variabili. Oppure potrebbe significare semplicemente che non hai abbastanza osservazioni, non hai abbastanza dati nella tua tabella dati. |
| I dati mancanti si verificano quando i valori per le variabili non sono disponibili. E questo può assumere una varietà di forme diverse. |
| Infine, i dati sporchi o disordinati si verificano quando si hanno problemi con osservazioni o variabili. |
| Quindi i tuoi dati potrebbero essere errati. I valori sono semplicemente sbagliati. Potresti riscontrare incoerenze in termini di modo in cui le persone registravano i dati o li immettevano nel sistema. |
| I tuoi dati potrebbero essere imprecisi, potrebbero non avere un sistema di misurazione capace, potrebbero esserci errori o errori di battitura. |
| I dati potrebbero essere obsoleti. Quindi potresti aver raccolto informazioni su una struttura o una macchina che non è più in servizio. |
| Potrebbe essere obsoleto. Quindi il processo potrebbe essere cambiato così tanto da quando hai raccolto i dati che i dati non sono più utili. |
| I dati potrebbero essere censurati o troncati. Potresti avere colonne ridondanti tra loro. Hanno lo stesso contenuto di informazioni di base o righe duplicate. Quindi i dati sporchi e disordinati possono assumere molte forme diverse. |
| Quindi come identificare potenziali problemi? Bene, quando dai un'occhiata ai tuoi dati, inizi a identificare i problemi. E in effetti, questo processo è iterativo e quando inizi a esplorare i tuoi dati graficamente, numericamente, inizi a vedere cose che potrebbero essere problemi che potresti voler risolvere |
| o risolvere. Quindi un buon punto di partenza è iniziare semplicemente scansionando la tabella dati. Quando esegui la scansione della tabella dati, spesso puoi vedere alcuni problemi evidenti. |
| E per questo esempio, utilizzeremo alcuni dati del corso STIPS chiamato Componenti, e lo scenario è che un'azienda produce piccoli componenti e sta cercando di migliorare la resa. |
| E hanno raccolto dati su 369 lotti di parti con 15 colonne. Quindi, quando diamo un'occhiata ai dati, possiamo vedere subito alcuni problemi abbastanza ovvi. |
| Se guardiamo la parte superiore della tabella dei dati, guardiamo questi graziosi grafici, possiamo vedere le forme delle distribuzioni. Possiamo vedere i valori. |
| Quindi, ad esempio, per il numero di lotto viene visualizzato un istogramma. E il numero di lotto è qualcosa che penseresti essere un identificatore, piuttosto che qualcosa di continuo. Quindi questo può dirci che i dati sono stati codificati in modo errato. |
| Quando guardiamo il numero scartato, possiamo vedere la forma della distribuzione. Possiamo anche vedere che c'è un valore negativo lì, il che potrebbe non essere possibile. |
| vediamo un istogramma per il processo con due valori e questo può dirci che dobbiamo cambiare il tipo di modellazione del processo da continuo a nominale. |
| Puoi vedere di più quando dai un'occhiata al pannello delle colonne. Quindi, ad esempio, il numero di lotto e il numero di parte sono entrambi codificati come continui. Questi sono probabilmente nominali |
| E se guardi i dati stessi, puoi vedere altri problemi. Quindi, ad esempio, l'umidità è qualcosa che considereremmo continuo, ma vedi un paio di osservazioni che hanno valore N/A. |
| E poiché JMP vede il testo, la colonna è codificata come nominale, quindi questo è qualcosa che potresti voler correggere. |
| possiamo vedere alcuni problemi con il fornitore. Ci sono un paio di valori mancanti e alcuni errori tipografici. E nota, temperatura, tutti i punti indicano che mancano valori per la temperatura in queste righe. Quindi questo è un problema che potremmo voler indagare ulteriormente. |
| Quindi identifichi molti problemi semplicemente scansionando la tabella dei dati e puoi identificare ancora più potenziali problemi quando visualizzi i dati una variabile alla volta. |
| Un punto di partenza davvero interessante, e questo strumento mi piace molto, è il visualizzatore di colonne. Il visualizzatore di colonne fornisce riepiloghi numerici per tutte le variabili che hai selezionato. |
| Quindi, ad esempio, qui mi mancano alcuni valori. E puoi vedere per la temperatura che mancano 265 dei 369 valori. Quindi questo è potenzialmente un problema se pensiamo che la temperatura sia un fattore importante. |
| Possiamo anche vedere potenziali problemi con i valori registrati nella tabella dati. Pertanto, ad esempio, il tasso di scarto e il numero di scarti hanno entrambi valori negativi. |
| E se ciò non è fisicamente possibile, è qualcosa che potremmo voler indagare nel sistema in cui abbiamo raccolto i dati. |
| Osservando alcune delle statistiche calcolate, possiamo vedere anche altri problemi. Quindi, ad esempio, il numero di lotto e il numero di parte dovrebbero essere categorici. |
| Non ha senso avere il numero di lotto medio o il numero di parte medio. Quindi questo ti dice che probabilmente dovresti tornare alla tabella dati e cambiare il tipo di modellazione. |
| Le distribuzioni ci dicono molto sui nostri dati e sui potenziali problemi. Possiamo vedere le forme delle distribuzioni, della centratura, dello spread. Possiamo anche vedere errori di battitura. |
| Numero del cliente qui, il problema particolare qui è che ci sono quattro o cinque clienti principali e alcuni clienti più piccoli. Se intendi utilizzare il numero cliente e l'analisi, potresti voler utilizzare la ricodifica per raggruppare alcuni di questi clienti più piccoli magari in un'altra categoria. |
| abbiamo un grafico a barre per l'umidità e questo perché nella colonna è presente il valore N/A. E potremmo non averlo visto quando analizziamo la tabella dei dati, ma possiamo vederlo abbastanza chiaramente qui quando guardiamo la distribuzione. |
| Possiamo vedere chiaramente gli errori tipografici per il fornitore. |
| E quando guardiamo le variabili continue, ancora una volta, puoi osservare la forma, la centratura e la diffusione, ma puoi anche vedere alcune osservazioni insolite all'interno di queste variabili. |
| Pertanto, dopo aver esaminato i dati una variabile alla volta, una progressione naturale e naturale consiste nell'esplorare i dati due o più variabili alla volta. |
| Quindi, ad esempio, se osserviamo il tasso di scarto rispetto al numero di scarti nel Costruttore di grafici. |
| Vediamo un interesse per il modello. Quindi vediamo queste bande e potrebbe essere che ci sia qualcosa nella nostra tabella dei dati che ci aiuta a spiegare perché stiamo vedendo questo modello. |
| In effetti, se coloriamo in base alla dimensione del lotto, per noi ha senso. Quindi, dove abbiamo lotti con 5000 parti, c'è più possibilità di pezzi di scarto che di lotti di soli 200. |
| Possiamo anche vedere che ci sono alcune strane osservazioni in fondo. In effetti, queste sono le osservazioni che avevano valori negativi per il numero di rottami e questi risaltano davvero qui in questo grafico. |
| E quando aggiungi un commutatore di colonne o un filtro dati, puoi aggiungere ulteriore dimensionalità a questi grafici. Quindi posso guardare la pressione, |
| ad esempio, invece di... |
| Bene, posso guardare la pressione o passare alla pausa. Quello che sto cercando qui è che sto ottenendo un'idea della relazione generale tra queste variabili e la risposta. |
| E posso vedere che la pressione sembra avere una relazione positiva con il tasso di scarto. E se passo a soffermarmi, posso vedere che probabilmente non c'è molta relazione tra loro |
| sosta e velocità o temperatura degli scarti. Quindi queste variabili potrebbero non essere così informative nel risolvere il problema. |
| Ma guarda la velocità, la velocità ha una relazione negativa. E ho anche alcune osservazioni insolite in cima che potrei voler indagare. |
| Quindi puoi imparare molto sui tuoi dati semplicemente guardandoli. |
| E, naturalmente, esistono strumenti più avanzati per esplorare valori anomali e valori mancanti che vanno davvero oltre lo scopo di questa discussione. |
| E quando entri nella fase di analisi, quando inizi ad analizzare i tuoi dati o a costruire modelli, imparerai molto di più sui potenziali problemi che devi affrontare. |
| E la chiave è che mentre dai un'occhiata ai tuoi dati e identifichi questi problemi, vuoi prendere nota di questi problemi. |
| Alcuni di essi possono essere risolti man mano che procedi. Quindi potresti essere in grado di rimodellare e pulire i tuoi dati mentre procedi attraverso il processo. |
| Ma vuoi davvero assicurarti di acquisire i passaggi che esegui in modo da poterli ripetere in seguito se devi ripetere l'analisi o se desideri ripetere l'analisi su nuovi dati o altri dati. |
| E a questo punto passerò la parola a Jordan per parlare della cura dei dati riproducibili e di cosa si tratta. |
| Giordano Hiller | Va bene, grazie, Mia. È stato perfetto. E abbiamo imparato cosa fai in JMP per realizzare la data curation tramite punta e clicca. Parliamo ora di come renderlo riproducibile. |
| Il motivo per cui ci preoccupiamo della riproducibilità è che i tuoi set di dati vengono aggiornati regolarmente con nuovi dati. Se si trattasse di un'attività una tantum, non ci preoccuperemmo troppo del punta e clicca. Ma quando i dati vengono aggiornati più e più volte, |
| è troppo dispendioso in termini di manodopera ripetere ogni volta la cura dei dati puntando e facendo clic. |
| Quindi è più efficiente generare uno script che esegua tutti i passaggi di data curation e puoi eseguirlo con un semplice clic di un pulsante |
| e fare tutto in una volta. Quindi, oltre all’efficienza, |
| documenta il tuo processo. Serve come registrazione di ciò che hai fatto. Quindi puoi fare riferimento a quello più tardi per te stesso e ricordare a te stesso cosa hai fatto, o per le persone che verranno dopo di te e sono responsabili di questo processo, è un record anche per loro. |
| Per il resto di questa presentazione, il mio obiettivo è mostrarti come generare uno script di data curation solo con il punta e clicca. |
| Ci auguriamo che non sia necessario eseguire alcuna programmazione per ottenere questo risultato. Il codice del programma verrà estratto e salvato per te e parleremo un po' di come ciò accade. |
| Quindi ci sono due sezioni diverse. C'è cosa puoi fare ora in JMP 15 per ottenere uno script di data curation e cosa farai una volta rilasciato JMP 16 l'anno prossimo. |
| In JMP 15 sono presenti alcune attività di data curation che generano il proprio codice di scripting JSL riutilizzabile. |
| Basta eseguire il punta e fare clic, quindi c'è una tecnica per afferrare il codice. Lo dimostrerò. Quindi strumenti come ricodifica, |
| generando una nuova colonna formula con il calcolo, rimodellando le tabelle di dati, questi strumenti si trovano nel menu delle tabelle. C'è stack, divisione, unione, concatenazione e aggiornamento. Tutti questi strumenti |
| in JMP 15 generano il proprio script dopo averli eseguiti puntando e facendo clic. |
| Esistono altre attività comuni che non generano il proprio script JSL e per semplificare l'esecuzione di queste attività e renderle riproducibili, |
| Ed è utile con le seguenti attività, principalmente cose relative alle colonne, modifica dei tipi di dati delle colonne, tipi di modellazione, modifica del formato di visualizzazione, |
| rinominare, riordinare ed eliminare colonne dalla tabella dati, impostando anche le proprietà della colonna come limiti di specifica o etichette di valore. |
| Pertanto l'Assistente script per la pulizia dei dati è ciò che utilizzerai per assisterti in tali attività in JMP 15. |
| Vi forniremo un'anteprima di JMP 16 e siamo molto entusiasti delle nuove funzionalità del registro in JMP 16, penso che sarà chiamata modalità registro migliorato. |
| L'idea di base è che in JMP 16 puoi semplicemente puntare e fare clic attraverso le fasi di data curation come al solito. |
| Il codice JSL di cui hai bisogno viene generato e registrato automaticamente. Tutto quello che devi fare è prenderlo e salvarlo. Così semplicissimo e davvero utile, sono entusiasta di mostrartelo. |
| Ecco un cheat sheet come riferimento. In JMP 15 queste sono le attività a sinistra, attività comuni di data curation; non è un elenco esaustivo. |
| E la colonna centrale mostra come realizzarli puntando e facendo clic in JMP. Il metodo per estrarre lo script riutilizzabile è elencato a destra. Quindi non coprirò tutto qui. |
| Ma sì, questo è per te come riferimento più tardi. Entriamo in una demo. E mostrerò come risolvere alcuni dei problemi che Mia ha identificato con la tabella dei dati dei componenti. Inizierò con JMP 15. |
| E la prima cosa di cui parleremo sono alcuni di quei problemi di colonna, che cambiano |
| mutevole |
| i tipi di dati, i tipi di modellazione, quel genere di cose. Ora, se ti preoccupassi solo del punta e clicca |
| in JMP, ciò che faresti normalmente è, diciamo, per l'umidità. Questa è la colonna che ricorderai |
| del testo in esso e viene erroneamente inserito come colonna di caratteri. Quindi, per risolvere il problema puntando e facendo clic, normalmente faresti clic con il pulsante destro del mouse, entreresti nelle informazioni della colonna e affronteresti tali modifiche qui. |
| Questa è una di quelle attività JMP che non lascia dietro di sé script utilizzabili in JMP 15. Quindi, per questo, utilizzeremo invece l'assistente per lo script di pulizia dei dati. Quindi eccoci qui. |
| È nel menu dei componenti aggiuntivi, poiché l'ho installato io, puoi installarlo anche tu. Assistente script per la pulizia dei dati, lo strumento di cui abbiamo bisogno per questo è Victor the Cleaner. Questo è un |
| interfaccia utente grafica per apportare modifiche alle colonne, in modo da poter affrontare qui i tipi di dati e i tipi di modellazione. Possiamo rinominare le colonne, possiamo cambiare l'ordine delle colonne ed eliminare le colonne, quindi salvare lo script. Quindi apportiamo alcune modifiche qui. |
| Per quanto riguarda l'umidità, è quello con i valori N/A che ne ha fatto sì che arrivasse come testo. Lo cambieremo da variabile di carattere a variabile numerica. E lo cambieremo da nominale a continuo. |
| Abbiamo anche identificato che il numero di lotto deve arrivare... deve essere cambiato in nominale; anche il numero di parte deve essere cambiato in nominale e anche il processo, che in questo momento è un numero, dovrebbe esserlo |
| nominale. |
| tecnologia favolosa. Quindi non mi è utile. Eliminiamo la colonna struttura. Lo selezionerò qui facendo clic sul suo nome e quindi su Elimina. |
| Ecco un paio di quei cambiamenti estetici menzionati da Mia. Il tasso di scarto è alla fine della mia tabella. Voglio spostarlo prima. Lo sposterò in quarta posizione dopo |
| numero cliente. Quindi lo selezioniamo e utilizziamo le frecce per spostarlo verso l'alto nell'ordine direttamente dopo il numero cliente. |
| L'ultima modifica che farò è che prenderò la variabile pressione e la rinominerò. |
| I miei ingegneri nella mia organizzazione hanno chiamato questa colonna psi. Questo è il nome che voglio dare a quella colonna. Va bene, quindi queste sono tutte le modifiche che voglio apportare qui. |
| Ho alcune scelte da fare. Posso decidere se lo script viene salvato nella tabella dati stessa. Ciò creerebbe una piccola sezione di script qui nel pannello in alto a sinistra. |
| Dove salvarlo nella sua finestra, salviamolo in una finestra di script. Puoi anche scegliere se eseguire o meno le azioni di pulizia specificate quando fai clic su OK. Manteniamo l'esecuzione e facciamo clic su OK. |
| Quindi ora vedrai che tutte queste modifiche sono state apportate. Le cose sono state riorganizzate, le proprietà delle colonne sono cambiate, ecc |
| abbiamo una sceneggiatura. Abbiamo una sceneggiatura per realizzarlo. Si trova in una finestra propria e questo programmino ne costituirà la base. Costruiremo il nostro script di data curation attorno ad esso. Salviamolo. Lo salverò sul desktop. E lo chiamerò |
| Script di cura v15. |
| cambiare i tipi di modellazione, cambiare i tipi di dati, rinominare le cose, riordinare le cose. |
| Venivano tutti da Victor. Lo documenterò nel mio codice. È una buona idea lasciare piccoli commenti nel codice in modo da poterlo leggere in seguito. Lascerò una nota che dice che proviene dallo strumento Victor. |
| E diciamo da DCSA, per l'assistente allo script di pulizia dei dati Victor. Quindi questo è un commento. Le due barre formano a |
| linea nel tuo programma; questo è un commento. Ciò significa che l'interprete del programma non tenterà di eseguirlo come codice di programma. Viene riconosciuto come una piccola nota e puoi vederlo in verde lassù. |
| Buona idea lasciare piccoli commenti nella tua sceneggiatura. Va bene, andiamo avanti. |
| Il prossimo compito di curation che affronterò è una rubrica su questo fornitore. Mia ci ha raccontato che c'erano alcuni problemi qui che dovevano essere risolti. |
| Utilizzeremo lo strumento di ricodifica per questo. Recode è uno degli strumenti di JMP 15 che lascia dietro di sé il proprio script, basta sapere dove trovarlo. Quindi eseguiamo la ricodifica e prendiamo lo script, facendo clic con il tasto destro |
| ricodificare. |
| E correggeremo questi valori dei dati. Inizierò dal triangolo rosso. Iniziamo convertendo tutto il testo in maiuscole e minuscole, in modo da ripulire questo valore Hersch minuscolo qui sotto. |
| Ritagliamo anche lo spazio bianco extra, i caratteri spazio extra. Ciò ha ripulito quello spazio principale in questo Anderson. Va bene. |
| Pertanto, tutte le modifiche apportate nello strumento di ricodifica vengono registrate in questo elenco e puoi scorrerle, annullarle, ripristinarle e scorrere la cronologia, se lo desideri. |
| Va bene, ho solo qualche altra modifica da fare. Lo farò manualmente. Raggruppiamo gli Hersh, raggruppiamo i Cox, raggruppiamo tutti gli Anderson. |
| Trutna e Worley hanno già ragione. L'ultima cosa che farò è risolvere questi valori mancanti. Li assegneremo alla loro categoria di dispersi. |
| Questo è il mio processo di ricodifica. Ho finito con quello che devo fare. Se mi limitassi a puntare e fare clic, andrei avanti e farei clic su ricodifica e avrei finito. Ma ricorda, devo procurarmi questo script. Quindi per farlo, andrò al triangolo rosso. |
| Andiamo alla sezione dello script e salviamo questo script in una finestra di script. |
| Qui viene salvato nella propria finestra di script e incollerò semplicemente quella sezione in fondo allo script di curation in corso. |
| Quindi vediamo. Prenderò tutto da qui. Non devo nemmeno guardarlo. Giusto. Non devo essere un programmatore, Control C, e basta incollarlo in fondo. E lasciamoci una nota che questo proviene dal triangolo rosso ricodificato. |
| Va bene, e posso chiudere questa finestra. Non ne ho più bisogno. E salva questi aggiornamenti nei miei script di curation. Quindi quella era la ricodificazione e il modo in cui tu |
| ottenere il |
| codice per questo. |
| Va bene, allora il prossimo compito che affronteremo sarà il calcolo |
| un rendimento. Oh mi dispiace. Quello che farò è eseguire effettivamente la ricodifica. Ora che ho salvato lo script, eseguiamo la ricodifica. Ed eccola lì, la colonna del fornitore ricodificata. Perfetto. |
| Va bene, calcoliamo una colonna di rendimento. Questo è un po' ridondante, mi rendo conto che abbiamo già il tasso di scarto, |
| ma a scopo di discussione, ti mostriamo come calcolare una nuova colonna ed estrarne lo script. Questo è un altro punto di JMP 15 in cui puoi facilmente ottenere lo script se sai dove cercare. Quindi creiamo la nostra colonna sui rendimenti. |
| Nuova colonna, fai doppio clic qui, rinominala dalla colonna 16 in yield. |
| E assegniamogli una formula. |
| Per calcolare la resa, devo trovare quante unità buone ho in ogni lotto, quindi sarà la dimensione del lotto meno il numero di scarti. |
| Questo è il numero di unità buone che ho in ogni lotto. Lo dividerò per la dimensione totale del batch ed ecco la colonna della resa. Sì, puoi vedere che il rendimento qui è .926. |
| Il tasso di scarto è 0,074, 1 meno la resa. Così buono. Il calcolo è corretto. Ora che ho creato la colonna yield, prendiamo il suo script. Ed ecco il trucco, fai clic con il pulsante destro del mouse e copia le colonne. |
| dal clic destro, copia colonne. |
| Impasto. Ed eccolo lì. Aggiungi una nuova colonna alla tabella dati. Si chiama rendimento ed ecco la sua formula. |
| Ora, ho detto, non è necessario conoscere alcuna programmazione, immagino che ci sia una piccola eccezione. Probabilmente l'hai notato |
| ci sono punti e virgola alla fine di ogni passaggio in JSL. Ciò separa le diverse espressioni JSL e se aggiungi qualcosa di nuovo alla fine dello script, vorrai assicurarti che ci sia un punto e virgola in mezzo. Quindi sto semplicemente digitando un punto e virgola. Le colonne di copia |
| la funzione non ha aggiunto il punto e virgola quindi devo aggiungerlo manualmente. |
| Va bene, bene. Quindi questa è la nostra colonna di rendimento. La prossima cosa che vorrei affrontare è questa. |
| I miei processi sono etichettati 1 e 2. Non è molto amichevole. Voglio dare loro etichette più descrittive. Chiameremo il processo numero 1, produzione; e Processo Numero 2, sperimentale. Lo faremo con le etichette di valore. |
| Le etichette dei valori sono un esempio di proprietà delle colonne. È disponibile un intero elenco di diverse proprietà di colonna che puoi aggiungere a una colonna. |
| Queste sono cose come le unità di misura. È come se volessi modificare l'ordine di visualizzazione in un grafico, puoi utilizzare l'ordinamento dei valori. |
| Se desideri aggiungere limiti di controllo o limiti di specifica o un sigma storico per la tua analisi della qualità, puoi farlo anche qui. |
| Bene. Quindi tutte queste sono proprietà di colonna che aggiungiamo, metadati che aggiungiamo alle colonne. |
| E dovremo utilizzare Data Cleaning Script Assistant per accedere allo script JSL per aggiungere queste proprietà di colonna. Quindi ecco come lo facciamo. Innanzitutto aggiungiamo le proprietà della colonna, come al solito, puntando e facendo clic. Aggiungerò le mie etichette di valore. |
| Processo numero 1, chiameremo produzione. Aggiungere. |
| Il processo numero 2 lo chiameremo sperimentale. |
| E aggiungendo la proprietà della colonna dell'etichetta del valore, |
| Ora ottengo delle belle etichette nella mia tabella dati. Invece di vedere il Processo 1 e il Processo 2, vedo la produzione e la sperimentazione. |
| Assistente script per la pulizia dei dati. Sceglieremo la fotocopiatrice di proprietà. |
| È apparso un piccolo messaggio che dice che lo script della proprietà della colonna è stato copiato negli appunti e quindi torneremo al nostro script durante il processo. |
| dalla fotocopiatrice della proprietà DCSA. |
| E poi incolla, Control V per incollare. C'è lo script di cui abbiamo bisogno per assegnare queste due etichette di valore. E 'fatto. |
| Molto bene. Ok, ho ancora un passaggio di data curation da eseguire, qualcos'altro per il quale avremo bisogno del Data Cleaning Script Assistant. |
| Vogliamo considerare solo, diciamo, le righe in questa tabella di dati in cui il vuoto è disattivato. Giusto. Quindi ci sono 313 di quelle righe. |
| E voglio solo eliminare le righe in questa tabella dati in cui è attivo il vuoto. Quindi il modo in cui lo fai puntando e facendo clic è selezionarli, proprio come ho fatto adesso, e quindi eseguire il comando table subset. |
| Per ottenere codice utilizzabile, dovremo utilizzare ancora una volta il Data Cleaning Script Assistant. Quindi ecco come sottoimpostare questa tabella dati solo sulle righe in cui il vuoto è disattivato. Per prima cosa userò, nel menu della riga, nel sottomenu di selezione della riga, utilizzeremo Seleziona dove |
| comando per ottenere uno script riutilizzabile per la selezione. Selezioneremo le righe in cui il vuoto è disattivato. |
| E prima di fare clic su OK per eseguire quella selezione, di nuovo, andrò sul triangolo rosso, salverò lo script nella finestra dello script. |
| Controllo A. Controllo C per copiarlo e incollarlo di nuovo |
| Dalle righe. |
| Seleziona Dove |
| Controllo V. Quindi c'è il codice JSL che seleziona le righe in cui il vuoto è disattivato. Ora ho bisogno, ancora una volta, |
| è necessario utilizzare l'Assistente script per la pulizia dei dati per ottenere le righe selezionate. Oh, eseguiamo prima effettivamente la selezione. |
| Eccolo. Ora con la riga selezionata, risaliremo ai componenti aggiuntivi, Data Cleaning Script Assistant, sottoinsieme di righe selezionate. |
| Mi viene richiesto di nominare la mia nuova tabella dati che contiene il sottoinsieme di dati. Chiamiamolo aspirapolvere, aspirapolvere. Questo è il nome della mia nuova tabella dati. Fare clic su OK, un altro messaggio indicante che lo script del sottoinsieme è stato copiato negli appunti. |
| E così lo incolliamo sul fondo. |
| Eccolo. |
| E questo è ora il nostro script completo di data curation da utilizzare in JMP 15 e vediamo come vuol dire usarlo nella pratica. Chiuderò la tabella dei dati su cui abbiamo lavorato e apporterò correzioni alla nostra cura. Chiudiamolo e torniamo a |
| lo stato disordinato. |
| Assicurati di utilizzare la versione corretta di JMP. |
| Va bene. Sì, eccolo qui, i dati confusi. E diciamo che sono arrivate alcune nuove righe perché è un ambiente di produzione e nuovi dati arrivano continuamente. Devo riprodurre il flusso di lavoro di data curation. |
| eseguire lo script. |
| Ha eseguito tutte queste operazioni. Prendere nota delle etichette dei valori. Tieni presente che l'umidità è continua. Tieni presente che abbiamo creato un sottoinsieme solo per le righe in cui il vuoto è disattivato. L'intero flusso di lavoro |
| è ora riproducibile con uno script JSL. Ecco cosa devi tenere a mente per JMP 15. Alcuni strumenti da cui puoi estrarre direttamente lo script JSL; per gli altri, utilizzerai il mio componente aggiuntivo, Data Cleaning Script Assistant. |
| E ora ti mostreremo quanto è divertente e facile farlo con JMP 16. Non lavorerò attraverso l'intero flusso di lavoro |
| ancora una volta, perché sarebbe un po' ridondante, ma analizziamo solo alcune delle cose che abbiamo già fatto. Eccoci in JMP 16 e apro il registro. |
| Il registro ha un aspetto diverso in JMP 16 e presto vedrai alcune di queste differenze. Apriamo i dati dei componenti disordinati. |
| Ecco qui. E noterai nel registro che c'è una sezione che dice che ho aperto la tabella dei dati disordinata. E quaggiù. Ecco lo script JSL che realizza |
| quello che abbiamo appena fatto. Quindi è come un registro in esecuzione che cattura automaticamente tutto lo script di cui hai bisogno. Non è ancora completo. |
| Ci sono nuove funzionalità ancora in fase di aggiunta. E io, e presumo che sarà in corso. |
| Ma già questa funzionalità di registro migliorata è molto, molto utile e copre la maggior parte delle attività di data curation. |
| Dovrei anche menzionare che, in questo momento, quella che ti sto mostrando è la versione early adopter di JMP. È la versione 5 che ha adottato per primi. Quindi quando rilasciamo completamente |
| la versione di produzione di JMP 16 all'inizio del prossimo anno, probabilmente avrà un aspetto leggermente diverso da quello che stai vedendo in questo momento. |
| Va bene, quindi continuiamo e ripetiamo alcuni di questi passaggi di data curation. Non esaminerò l'intero flusso di lavoro perché sarebbe ridondante. Facciamone solo alcuni. |
| Esaminerò alcune delle cose per le quali avevamo bisogno di Victor. In JMP 16 non avremo bisogno del Data Cleaning Script Assistant. Facciamo semplicemente il nostro punta e clicca come al solito. |
| Quindi, umidità, cambieremo da carattere a numerico e da nominale a continuo e faremo clic su OK. Ecco come appare nel registro strutturato. Esso ha |
| catturato quel JSL. Va bene, torniamo alla tabella dei dati. Modificheremo il tipo di modellazione del numero di lotto, del numero di parte e del processo da continuo a nominale. |
| Fatto. Anche questo è stato registrato nel registro. Elimineremo la colonna della struttura, che ha un solo valore, fai clic con il pulsante destro del mouse su Elimina colonne. Non c'è più. |
| PSI. |
| OK, questi erano tutti gli strumenti... tutte le cose che abbiamo fatto in Victor in JMP 15. Qui in JMP 16, tutti questi lasciano dietro di sé lo script JMP che possiamo semplicemente copiare e riutilizzare qui. Bellissimo. |
| Va bene. Ti mostrerò solo un altro passaggio. Mostriamo che il sottoinsieme da aspirare è disattivato. Molto, molto più semplice qui in JMP 16. Tutto quello che dobbiamo fare è |
| seleziona tutti gli aspiratori spenti; Non ho nemmeno bisogno di utilizzare il menu delle righe, posso semplicemente fare clic con il pulsante destro del mouse su una di quelle disattivate e selezionare le celle corrispondenti, che selezionano le 313 righe in cui il vuoto è disattivato. E poi, come al solito, per eseguire il sottoinsieme, selezionare il sottoinsieme solo sulle righe selezionate, sottoinsieme della tabella |
| e creeremo una nuova tabella chiamata Vacuum Off che contiene solo le righe selezionate e manterrà tutte le colonne. Eccoci qui. |
| Questo è tutto. Abbiamo appena eseguito tutti questi passaggi di data curation. Ecco come appare nel registro strutturato. |
| E ora per renderlo uno script di data curation riutilizzabile e riproducibile, tutto ciò che dobbiamo fare è avvicinarci al triangolo rosso e salvare lo script in una finestra di script. Lo salverò nei miei dati... sul desktop come script di curation v16. |
| Ed eccolo qui. Ecco l'intera sceneggiatura. Quindi chiudiamo tutti i dati in JMP 16 e vi mostriamo semplicemente cosa vuol dire rieseguire quello script. |
| Eccomi di nuovo nella finestra principale di JMP 16. Ecco il mio script di cura. Noterai che la prima riga è il comando open, quindi non ho nemmeno bisogno di aprire la tabella dati. Accadrà in linea proprio qui. |
| Tutto quello che devo fare è, quando arrivano nuovi dati e questo file è stato aggiornato, tutto ciò che devo fare per eseguire i passaggi di data curation è eseguire lo script. |
| Ed eccolo lì. Tutti i passaggi di curation e il sottoinsieme fino alle 313 righe. Questo significa utilizzare il registro migliorato in JMP 16 per acquisire tutto il lavoro di data curation e modificarlo in uno script riproducibile. |
| Va bene, ecco il cheat sheet di JMP 15 per ricordarti ancora una volta, questo, questo è ciò che devi sapere per estrarre il codice riutilizzabile quando sei in JMP 15 in questo momento, e non dovrai preoccuparti di questo così tanto una volta rilasciato JMP 16 |
| all'inizio del 2021. |
| Per concludere, Mia ti ha mostrato come ottenere la cura dei dati in JMP. È un processo esplorativo e iterativo in cui identifichi i problemi e li risolvi puntando e facendo clic. |
| Quando i tuoi dati vengono aggiornati regolarmente con nuovi dati, devi automatizzare il flusso di lavoro per risparmiare tempo |
| E anche per documentare il tuo processo e lasciare una scia di briciole di pane quando torni più tardi e guardi cosa hai fatto. |
| Il processo di automazione sta traducendo le tue attività punta e clicca in uno script JSL riutilizzabile. |
| Abbiamo discusso di come in JMP 15 utilizzerai una combinazione di strumenti integrati e strumenti di Data Cleaning Script Assistant per raggiungere questi obiettivi. |
| E ti abbiamo anche fornito un'anteprima di JMP 16 e di come puoi utilizzare il registro avanzato per acquisire automaticamente e passivamente le tue attività di data curation punta e clicca e lasciare dietro di te un bellissimo file riutilizzabile |
| script di data curation riproducibile. |
| Va bene. Questa è la nostra presentazione, grazie mille per il tuo tempo. |
![:\](https://jmp.vanillacommunities.com/resources/emoji/confused.png ":\"){kind=small}