Text Explorer è utile per esplorare testo non strutturato, come campi di risposta libera di sondaggi o report di incidenti, per comprenderne il significato. Spesso si tratta di un processo iterativo, in cui si alterna tra la cura e l'analisi di un elenco di termini e frasi.
Kemal @kemal_oflus , Olivia @O_Lippincott e Ross @Ross_Metusalem hanno risposto alle domande dei webinar in diretta:
Come faccio a vedere il menu Text Explorer?
A: Da File>Preferenze clicca sul gruppo Menu a sinistra. Controlla se "Modellazione avanzata" è selezionato o meno. Se non lo è, seleziona la casella e clicca su OK. Le preferenze Menu ti consentono di visualizzare o nascondere le voci di menu per personalizzare la tua interfaccia JMP.
È possibile impostare una preferenza utente affinché per impostazione predefinita venga sempre utilizzato un layout centrato per il word cloud?
R: Sì, in File>Preferenze puoi impostare preferenze specifiche per la piattaforma. Nella piattaforma Text Explorer nelle preferenze esiste un'opzione per cambiare il layout predefinito in centrato per il word cloud.
Potresti spiegare come impostare correttamente la colonna binaria e il suo utilizzo per l'analisi?
A: La Document Term Matrix fornisce una colonna binaria per ogni termine nell'elenco dei termini. Ciò trasforma il testo in un set di dati numerico che può essere utilizzato nella modellazione o nella creazione di grafici. Vedere anche le domande e risposte nel video al minuto ~ 32:20 per maggiori dettagli.
Cosa si intende per locale nella matrice dei termini del documento?
A: Local utilizza le stop word solo nell'attuale piattaforma Text Explorer. Se desideri utilizzare le stop word con un altro set di dati o un altro avvio della piattaforma con la tabella corrente, puoi creare una libreria utente con l'opzione utente. Guarda anche le Q&A nel video al minuto ~ 32:20 per maggiori dettagli.
Posso usare RegEx per esplorare il testo?
R: Sì. Un post del blog sulla pulizia dei dati fornisce alcune informazioni, così come questa presentazione del Discovery Summit .
Il relatore ha utilizzato la ponderazione binaria nell'analisi iniziale del testo, ma ha utilizzato TF IDF per l'analisi SVD. Dovresti attenerti a una ponderazione per tutta l'analisi o è utile utilizzare ponderazioni diverse per diverse parti dell'analisi?
A: TF IDF è la ponderazione predefinita per un'analisi SVD. Binary è la ponderazione predefinita a meno che non sia stata eseguita un'analisi SVD. Le altre opzioni di ponderazione hanno casi d'uso specifici. . Vedere anche le Q&A nel video al minuto ~ 32:20 per maggiori dettagli.
Avete preso in considerazione l'idea di aggiungere una funzionalità per il testo "codificato"/crittografia per aiutare a riconoscere e analizzare i modelli nel testo codificato?
R: Alcune di queste cose possono essere affrontate usando Regex personalizzate. C'è un'opzione per questo nella finestra di avvio iniziale. Lì, puoi insegnare a JMP come identificare molti pattern e cosa fare quando li trova.
Puoi creare una nuvola di parole per le frasi invece che per le parole?
R: La nuvola di parole usa l'elenco di termini per generare la nuvola di parole. Se aggiungi frasi all'elenco di termini come ha fatto Kemal nell'esempio, la nuvola di parole mostrerà anche le frasi.
Ti accorgi di modificare le opzioni predefinite dell'esploratore di testo (numero massimo di caratteri per parola, stemming, numero massimo di parole per frase)? Di solito le lascio stare e mi chiedo se sia importante modificarle.
R: Nella maggior parte dei casi li lascio stare, eccetto per i caratteri minimi per parola. Gli esperti in materia possono dare il loro contributo. Se vuoi personalizzare un'espressione regolare e hai alcuni termini univoci, puoi personalizzare Guarda il video qui sotto.
Sentiment Analysis è disponibile solo in JMP Pro?
R: Sì, scopri di più su Sentiment Analysis con JMP Pro.
Hai qualche suggerimento su come lavorare con espressioni regolari personalizzate con JMP e analisi del testo? Ho scoperto che passo molto tempo a cercare di farlo e ottengo risultati limitati.
R: Offriamo un corso su Text Analysis che potresti trovare utile. Include vari esempi su come usare Regex. C'è un post del blog JMP su Regex per la pulizia dei dati che verrà pubblicato in un JMP Community Blog .
Grafico t-SNE: cosa significano i numeri xy?
R: Per questo consiglierei di guardare un video sul clustering con metodo multivariato o sull'insegnamento del clustering . In questo caso, avevamo 25 colonne diverse e abbiamo ridotto quello spazio multidimensionale a 2. Pensa a questo come a componenti principali. Puoi scegliere quanti output (o componenti) vuoi.
A volte c'è del testo rosso nell'elenco delle frasi. Cosa significa?
A: Identifica un colore predefinito nella nostra libreria.
Domande a cui è stata data risposta in una precedente dimostrazione su questo argomento:
È necessario preconfigurare il Word cloud per ignorare parole molto comuni, come "il"?
R: C'è un elenco di "stop words" che sono parole molto comuni, come "the", che JMP usa per escludere dall'analisi. Consulta la documentazione sull'uso di stop words e argomenti correlati .
Possiamo importare file txt delimitati e analizzare le colonne singolarmente?
R: JMP può importare file di testo delimitati in una tabella dati JMP. È possibile analizzare più colonne di testo singolarmente, il che darebbe un output separato per ogni colonna di testo.
Nel suo esempio, se il colore rosso mostra la parola più frequente, perché la parola più grande non è "rosso"?
R: La colonna del punteggio medio nella tabella dati è la base per la colorazione nel suo esempio. La dimensione è la parola/termine più frequente. In questo esempio, Kemal ha specificato che questa colorazione del word cloud dovrebbe essere controllata dalla colonna del punteggio medio dalla tabella dati. Quindi Average_score non proviene da JMP, ma dalla tabella dati. Scopri di più sulle opzioni Word Cloud .
Cosa sono i token?
A: I token sono parole/termini più frasi/casi o una combinazione di questi. In questo caso avevo 15792 termini, 59360 casi (o frasi) e circa 17 di questi per riga (totale token per caso). Vedi maggiori dettagli.
La fase di Tokenizzazione converte il testo in minuscolo, quindi applica un metodo di "Tokenizzazione" (Basic Words o Regex) per raggruppare i caratteri in token, quindi ricodifica i token in base alle definizioni di ricodifica specificate. Si noti che la ricodifica avviene prima che le operazioni di stemming e ricodifica vengano elaborate internamente in un passaggio, indipendentemente dall'ordine in cui sono specificate nella finestra del report. Per saperne di più, vedere i passaggi di elaborazione del testo .
TokensTokensTokensGettoni
È possibile creare una nuvola di frasi anziché una nuvola di parole?
R: Abbiamo contattato lo sviluppatore JMP, Xan Gregg @XanGregg , dopo il webinar in diretta. Ha suggerito che Word Cloud potrebbe essere più correttamente chiamato Term Cloud. Mostra tutte le parole nell'elenco dei termini. Immagino che potresti aggiungere molte frasi come termini e rimuovere parole trasformandole in stop word, e quindi otterresti una nuvola di frasi. Se sei interessato a richiedere Phrase Cloud, sentiti libero di pubblicare la richiesta e la motivazione nella JMP Software Wish List .
Sono molto interessato al "clustering di documenti" che hai menzionato prima. Dove posso trovare informazioni su questo tra centinaia di documenti di testo e voglio scoprire quali sono in un gruppo simile?
R: È possibile utilizzare JMP Pro per l'analisi delle classi latenti e l'analisi semantica latente .
Latent Analysis OptionsLatent Analysis OptionsLatent Analysis OptionsOpzioni di analisi latente
Consulta questa breve panoramica su come utilizzare le analisi latenti.
A: Cosa sono i documenti e come si importano in JMP?
Ogni riga è considerata un documento e la importi da qualsiasi file che la cattura in righe. Ad esempio, puoi importare il testo da Excel. In questo esempio, le recensioni sono state catturate come righe in un file Excel.
Risorse
