Text data presents special challenges to the data analyst. A new training course helps to guide text exploration and analysis.Text data presents special challenges to the data analyst. A new training course helps to guide text exploration and analysis.Text data presents special challenges to the data analyst. A new training course helps to guide text exploration and analysis.I dati di testo presentano sfide speciali per l'analista di dati. Un nuovo corso di formazione aiuta a guidare l'esplorazione e l'analisi del testo.
Il testo è una forma comune di dati, ma presenta sfide insolite all'analista dei dati.
Innanzitutto, il testo è disponibile in molti formati di file e i caratteri in un file di testo possono utilizzare una delle molte codifiche differenti. I singoli file devono essere importati in una singola tabella di dati JMP per l'elaborazione e l'analisi.
In secondo luogo, il testo è dati non strutturati . Non appare allo stesso modo delle misure (variabili continue), dei conteggi o delle categorie. Un singolo valore di dati di testo è chiamato a documento . Questo valore potrebbe essere una singola frase, alcuni paragrafi o un intero libro. Il valore potrebbe essere un messaggio di testo o di posta elettronica, un post sul blog, una recensione di un ristorante o un rapporto di garanzia sul campo, per citare solo alcune delle possibilità. Un campione di documenti è chiamato a corpo . JMP memorizza l'intero corpus in una singola colonna di dati con il tipo di dati carattere e il tipo di modello di testo non strutturato. Ogni documento occupa una riga nella colonna di dati.
Terzo, il testo è eterogeneo! Un documento può contenere molti tipi di informazioni, come nomi di persone, luoghi, prodotti, guasti o caratteristiche; numeri di telefono; date e orari; età; Genere; moneta; numeri di previdenza sociale, numeri di prodotto o quant'altro. Il contenuto delle informazioni potrebbe non essere coerente da un documento all'altro. Gran parte del contenuto potrebbe non essere affatto informativo o utile. Come vengono trovate le informazioni? Come viene deciso se si tratta di informazioni?
In quarto luogo, il testo è disordinato! I dati strutturati, per confronto, possono essere facilmente ricodificati, trasformati o binnati. Come viene ricodificato un documento? Come devono essere gestiti gli acronimi, le abbreviazioni, i sinonimi, la punteggiatura e la maiuscola incoerenti e gli errori di ortografia?
Abbiamo sviluppato nuovo corso per esplorare e analizzare i dati di testo con Text Explorer in JMP Pro 14 . (Si noti che la prima metà del corso richiede solo JMP 14.)
Gran parte del lavoro nell'analisi dei dati di testo riguarda curatela la lista di condizioni . Gran parte del tempo della formazione si concentra su un flusso di lavoro che inizia con il corpus grezzo e termina con la lista dei termini trattati. Questo elenco diventa il cuore delle analisi successive, quindi la qualità dell'elenco è importante. Quando l'elenco è finito, può essere esportato nella tabella originale o come una nuova tabella di dati sotto forma di nuove variabili strutturate. Queste nuove variabili possono essere esplorate da sole o in combinazione con altre variabili strutturate con una qualsiasi delle altre piattaforme JMP.
Text Explorer in JMP Pro offre tre potenti metodi multivariati per estrarre più informazioni dall'elenco di termini. Analisi della classe latente scopre gruppi di documenti che condividono un comune schema di termini. Analisi semantica latente scopre argomenti impliciti nel corpus. Analisi discriminante assegna i documenti alle categorie fornite da un'altra variabile.
Hai dati di testo in attesa di essere analizzati? Vuoi aiuto usando l'Explorer di testo con le migliori pratiche? Il nuovo corso sarà presentato in anteprima come allenamento di preconferenza al prossimo JMP Discovery Summit il 22-23 ottobre 2018, a Cary, NC, presso la sede di SAS. Ci vediamo lì!
