Scopri di più nel nostro corso online gratuito:
Pensiero statistico per la risoluzione dei problemi industriali
In questo video imparerai come elaborare dati di testo non strutturati utilizzando il file Pet Owner.jmp. Questo esempio è basato sul file Pet Survey.jmp, nella libreria di dati di esempio di JMP.
In questo scenario, a 150 proprietari di cani e gatti è stato chiesto: "Pensa al tuo gatto o cane. Qual è il primo pensiero che mi viene in mente?"
Le risposte si trovano nella colonna Risposta al sondaggio. Poiché questi dati sono testo non strutturato, è stato applicato il tipo di modellazione Testo non strutturato.
Per analizzare questi dati, selezioniamo Esplora testo dal menu di analisi in JMP.
Selezioniamo Risposta al sondaggio come colonna di testo.
La lingua predefinita è l'inglese, ma sono disponibili anche altre lingue.
Esistono diverse opzioni per la tokenizzazione, la terminizzazione e il fraseggio.
È possibile utilizzare le opzioni della frase per specificare il numero massimo di parole per frase e il numero massimo di frasi da visualizzare.
È possibile utilizzare le opzioni delle parole per specificare la dimensione minima della parola e il numero massimo di caratteri per parola.
Puoi utilizzare l'opzione di derivazione per combinare automaticamente i termini con la stessa radice.
Ci sono due opzioni in Tokenizzazione: Regex e parole di base. L'impostazione predefinita è Regex o Espressione regolare. Quando si usa Regex, i documenti vengono analizzati utilizzando espressioni e simboli incorporati, inclusi punteggiatura, spazi e tabulazioni comuni. Puoi utilizzare l'opzione Personalizza Regex per aggiungere la tua espressione personalizzata.
Useremo le opzioni predefinite e faremo clic su OK.
Dietro le quinte, JMP ha tokenizzato i dati. Punteggiatura, spaziatura e simboli sono stati rimossi, insieme a parole di base come "a", "an" e "the".
Il riepilogo in alto riporta il numero di termini univoci, il numero di documenti (o casi), il numero totale di token e il numero medio di token per caso.
Vengono forniti anche l'elenco dei termini e l'elenco delle frasi.
Ci sono diverse frasi interessanti. Ad esempio, la frase "caccia alle anatre" ha più significato delle singole parole "anatra" e "caccia".
Per aggiungere le prime frasi all'elenco dei termini, selezioniamo le frasi, facciamo clic con il pulsante destro del mouse e selezioniamo Aggiungi frase.
Diamo un'occhiata più da vicino all'elenco dei termini. Faremo clic sulla parola "Termine" nell'elenco dei termini per ordinare in ordine alfabetico.
Mentre scorriamo l'elenco, puoi vedere alcuni errori tipografici. Ad esempio, il termine "cani" dovrebbe essere scritto "cani".
Se desideri correggere errori tipografici o combinare termini che hanno lo stesso significato in un termine, puoi selezionare i termini, fare clic con il pulsante destro del mouse e selezionare Ricodifica. Ad esempio, supponiamo di voler raggruppare questi due termini in un termine, "cani". Selezioneremo i due valori, faremo clic su Raggruppa, rinomineremo il gruppo "cani" e quindi faremo clic su Ricodifica.
Che dire dei termini "cane" e "cani" o "anatra" e "anatre"?Queste parole hanno la stessa base, o radice. Se vuoi combinare termini con la stessa radice, puoi usare la radice.
Per fare ciò, facciamo clic sul triangolo rosso in alto, quindi selezioniamo Opzioni termine, Stemming e quindi Stem per la combinazione.
Il punto alla fine dei termini indica che i termini derivati sono stati combinati. Quando posizioniamo il cursore su questi termini derivati, vediamo l'elenco dei termini che sono stati combinati.
Faremo clic sulla colonna Conteggio due volte per ordinare in ordine decrescente. Si noti che i termini principali sono "gatto" e "cane". Poiché sappiamo che questi dati provengono da un sondaggio su cani e gatti, questi termini non sono particolarmente utili.
Per rimuovere questi termini, possiamo aggiungerli come parole di arresto. Per fare ciò, selezioniamo i termini,
fare clic con il pulsante destro del mouse e selezionare Aggiungi Stop Word.
Ora puoi vedere che i termini principali si riferiscono a abbaiare, camminare, saltare e video.
Salveremo lo script per questa analisi nella tabella dei dati in modo da poter ripetere la stessa analisi in un secondo momento.
