Scopri di più nel nostro corso online gratuito:
Pensiero statistico per la risoluzione di problemi industriali
In questo video, apprendi come elaborare i dati di testo non strutturati utilizzando il file Pet Owner.jmp. Questo esempio si basa sul file Pet Survey.jmp, nella libreria di dati di esempio JMP.
In questo scenario, a 150 proprietari di cani e gatti è stato chiesto: "Pensa al tuo gatto o cane. Qual è il primo pensiero che mi viene in mente? "
Le risposte si trovano nella colonna Risposta al sondaggio. Poiché questi dati sono testo non strutturato, è stato applicato il tipo di modellazione Testo non strutturato.
Per analizzare questi dati, selezioniamo Text Explorer dal menu Analizza in JMP.
Selezioniamo Survey Response come colonna di testo.
La lingua predefinita è l'inglese, ma sono disponibili anche altre lingue.
Esistono diverse opzioni per tokenizzazione, definizione e fraseggio.
È possibile utilizzare le opzioni di frase per specificare il numero massimo di parole per frase e il numero massimo di frasi da visualizzare.
È possibile utilizzare le opzioni parola per specificare la dimensione minima della parola e il numero massimo di caratteri per parola.
È possibile utilizzare l'opzione stemming per combinare automaticamente i termini con la stessa radice.
Ci sono due opzioni in Tokenizing: Regex e parole base. L'impostazione predefinita è Regex o Espressione regolare. Quando si utilizza Regex, i documenti vengono analizzati utilizzando espressioni e simboli incorporati, inclusi punteggiatura, spazi e schede comuni. È possibile utilizzare l'opzione Personalizza Regex per aggiungere la propria espressione personalizzata.
Useremo le opzioni predefinite e fare clic su OK.
Dietro le quinte, JMP ha tokenizzato i dati. Punteggiatura, spaziatura e simboli sono stati rimossi, insieme a parole di base come "a", "an" e "the".
Il riepilogo in alto riporta il numero di termini univoci, il numero di documenti (o casi), il numero totale di token e il numero medio di token per caso.
Vengono inoltre forniti l'elenco dei termini e l'elenco delle frasi.
Ci sono diverse frasi interessanti. Ad esempio, la frase "caccia all'anatra" ha più significato delle singole parole "anatra" e "caccia".
Per aggiungere le frasi migliori all'elenco dei termini, selezioneremo le frasi, fare clic con il tasto destro e selezionare Aggiungi frase.
Diamo un'occhiata più da vicino all'elenco dei termini. Faremo clic sulla parola "Termine" nell'elenco dei termini per ordinare in ordine alfabetico.
Mentre scorriamo l'elenco, puoi vedere alcuni errori tipografici. Ad esempio, il termine "cani" dovrebbe essere scritto "cani".
Se si desidera correggere errori tipografici o combinare termini che hanno lo stesso significato in un termine, è possibile selezionare i termini, fare clic con il tasto destro del mouse e selezionare Ricodifica. Ad esempio, supponiamo di voler raggruppare questi due termini in un unico termine, "cani". Selezioneremo i due valori, fare clic su Gruppo, rinominare il gruppo "cani", quindi fare clic su Ricodifica.
Che dire dei termini "cane" e "cani", o "anatra" e "anatre"? Queste parole hanno la stessa base o radice. Se si desidera combinare i termini con lo stesso gambo, è possibile utilizzare stemming
Per fare ciò, facciamo clic sul triangolo rosso in alto, quindi selezioniamo Opzioni termine, Stemming e quindi Stem for Combining.
Il punto alla fine dei termini indica che i termini derivati sono stati combinati. Quando posizioniamo il cursore su questi termini derivati, vediamo l'elenco dei termini che sono stati combinati.
Faremo clic due volte sulla colonna Conte per ordinare in ordine decrescente. Si noti che i termini principali sono "gatto" e "cane". Poiché sappiamo che questi dati provengono da un sondaggio su cani e gatti, questi termini non sono particolarmente utili.
Per rimuovere questi termini, possiamo aggiungerli come parole chiave. Per fare ciò, selezioniamo i termini,
tasto destro del mouse e selezionare Aggiungi Stop Word.
Ora puoi vedere che i termini principali si riferiscono ad abbaiare, camminare, saltare e video.
Salveremo lo script per questa analisi nella tabella dei dati in modo da poter ripetere questa stessa analisi in un secondo momento.
