Quindi, vorresti saperne di più sull'integrazione di Python e JMP. Per prima cosa, assicurati di essere aggiornato guardando il video correlato, se non l'hai già fatto.
Un gruppo di JMP SE ha sviluppato una serie di blog che mostrano la facilità con cui JMP e Python possono essere integrati per gestire le attività quotidiane, come la pulizia dei dati, nonché analisi e modellazione più avanzate. Un ringraziamento speciale a Yasmine Hajar ( @yasmine_hajar ) e Wendy Tseng ( @wendytseng ) per il loro aiuto con la codifica Python utilizzata nel video e nel blog.
Nel video, mostriamo come, usando solo un mouse e gli occhi, trovare potenziali valori anomali e quindi rimuoverli dalla tabella dati. Imparerai anche come analizzare i valori mancanti e, se necessario, imputare i valori come surrogati per vedere l'analisi risultante se i dati non fossero mancanti.
JMP e Python sono complementari da diversi anni ormai e, con l'uscita di JMP 18, è molto più facile integrare l'analisi Python con l'eccellente visualizzazione dei dati in JMP. Tuttavia, e sono fortemente di parte, la pulizia dei dati in JMP è molto più semplice che in Python per un motivo molto semplice: la codifica.
Ad esempio, con JMP puoi eseguire la scansione visiva di valori anomali all'interno della piattaforma Distribution in modalità univariata e all'interno della piattaforma Multivariate in senso multivariato. Esiste la funzionalità per eseguire la scansione di valori anomali T2 di Hoteling per tutti i dati di interesse utilizzando la piattaforma Model Driven Multivariate Control Chart, ma ne parleremo un'altra volta. Di nuovo, guarda il video allegato per vedere tutte queste capacità in azione.
Nel frattempo, ecco un elenco di alcune delle opzioni di pulizia dei dati in Python:
- Estrai modelli specifici da dati di testo, come indirizzi e-mail, numeri di telefono o date.
- Rimuovi caratteri o sottostringhe indesiderati dai dati di testo.
- Sostituisci modelli o sottostringhe specifici con nuovi valori.
- Standardizzare i dati di testo convertendo tutti i caratteri in minuscoli o maiuscoli.
- Identifica e rimuovi i duplicati in base ai dati di testo.
- Rinominare le colonne assegnando loro un set di etichette più riconoscibili.
- Eliminare le colonne non necessarie in un DataFrame.
- Modifica l'indice di un DataFrame.
Le prime cinque opzioni possono essere eseguite rapidamente con l'opzione recode di JMP. Inoltre, utilizzando l'opzione Column Names nel menu a discesa Cols, bastano pochi clic per rinominare le colonne.
Per eliminare colonne non necessarie da una tabella dati, è sufficiente selezionare le colonne di interesse, fare clic con il pulsante destro del mouse su una qualsiasi delle intestazioni di colonna selezionate e scegliere Elimina colonne.
Quando si tratta di trovare valori mancanti e imputare dati mancanti, JMP è all'avanguardia. Anche l'individuazione e il sequestro di valori anomali sono semplici in JMP, come puoi vedere di seguito.
Di seguito è riportato il codice Python per aprire una tabella JMP ed esplorare valori anomali e mancanti. Di seguito è riportata un'immagine del data frame e parte dell'output per valori anomali e mancanti. Si noti che i valori anomali in Python vengono determinati utilizzando uno Z-score con un valore assoluto maggiore di 3. Sulla base di questo criterio, Python ha trovato valori anomali per praticamente ogni colonna continua nella tabella dati.
Per analizzare i valori anomali in JMP, segui questo esempio, che usa Arrythmia.jmp dall'indice dei dati campione JMP. Vai su Analyze > Screening > Explore Outliers.
Puoi decidere quali dati sono veramente outlier e puoi facilmente ricalcolare gli intervalli outlier con solo un paio di clic. JMP consiglia di non rimuovere mai completamente i dati dal tuo set di dati, a causa di potenziali audit trail. Puoi sempre nascondere ed escludere i dati in JMP per tenerli fuori dalle tue analisi senza eliminarli dal set di dati. Nascondere i dati in Python richiede più codice e molto probabilmente significa che i dati non possono essere visti da nessuno.
Per esplorare i valori mancanti in JMP, aprire la tabella dati, andare su Analizza > Screening > Esplora valori mancanti.
