È passato un po' di tempo, ma è la fine della 3a serie. Parte 1 Analizziamo le emozioni dei testi di "The Beatles" Parte 2 Poi, ho provato ad analizzare le emozioni dei testi di "Queen". Nella parte 3 di questo tempo, useremo una funzione chiamata Term Selection per creare un modello che preveda quale canzone della band è dalle parole contenute nei testi delle due band, e caratterizzi ciascuna band. Cerchiamo una parola (parola chiave) .
Che cos'è la selezione dei termini?
In JMP, la piattaforma "Text Explorer" consente l'analisi del testo, ma in JMP Pro è possibile selezionare "Term Selection" come opzione per questa piattaforma.
In "analisi di selezione delle parole", quando è presente una variabile di risposta (Y), è possibile modellare la relazione tra la parola estratta dall'analisi del testo e la variabile di risposta. Qual è la parola che descrive la variabile di risposta Puoi scoprire queste cose.
In questo esempio, creeremo una tabella di dati che combina i titoli delle canzoni e i testi di "The Beatles" e "Queen" come mostrato di seguito.
In questo momento, la variabile di risposta (Y) e la variabile predittiva (X) sono le seguenti.
Variabile di risposta (Y): "Band" (variabile che distingue se la canzone è dei Beatles o dei Queen)
Variabile predittiva (X): parole estratte da "Lyrics"
Se il ritornello dovrebbe essere considerato
Diamo un'occhiata più da vicino alla variabile predittiva (X).
Quando si estrae una parola dal testo Documento --Matrice dei termini (DTM) Puoi mettere insieme le parole in un formato a matrice.
Ad esempio, il metodo A. Il testo della canzone dei Beatles "You Like Me Too Much" alla riga 166 della canzone contiene le parole "know", "time", "just" (almeno uno), quindi la variabile "know Binary" , "Time Binary ", "just Binary" hanno un valore di "1" e non contengono parole come "love", "oh", "yeah", quindi "love Binary", "oh Binary", "Yeah Binary" riceve un valore di "0".
Metodo A. Matrice di parole del documento binaria (1/0).
L'estrazione di parole in questo modo crea una matrice "riga di dati x numero di parole" (in questo esempio, il valore è 1 o 0) e il predittore effettivo è il gruppo di parole in questa matrice di parole del documento.
Quanto sopra ha costruito una matrice di parole del documento con valori 1/0, ma il seguente metodo B. È anche possibile configurarlo per "frequenza" come quante volte una parola specifica appare nel documento.
Metodo B. Documentare la matrice delle parole della frequenza di apparizione delle parole
In articoli precedenti, ho menzionato che i testi sono fortemente influenzati dal ritornello (usando la stessa parola più e più volte) nell'analisi del testo. Pertanto, considerando la frequenza di occorrenza delle parole come nel metodo B sopra, è fortemente influenzato dal ritornello.
Pertanto, durante la modellazione, provare a modellare con il metodo A o con il metodo B e confrontare quale modello è migliore.
Metodo A. Matrice di parole del documento binaria (1/0) ⇒ Non influenzata dal ritornello
Metodo B. Sequenza delle parole del documento della frequenza di apparizione delle parole ⇒ Influenzata dal ritornello
Rapporto di analisi della selezione delle parole
Sulla base dei punti precedenti, utilizziamo "l'analisi della selezione delle parole". Se selezioni l'opzione Term Selection, vedrai uno schema di configurazione simile al seguente:
Dettagli di ogni impostazione
"Scegli colonna di risposta" : Specificare la variabile di risposta (Y). In questo esempio è "Band" (Beatles / Queen).
"Livello obiettivo" : specifica il livello di evento nella variabile di risposta. Qui, specifica "Queen" e considera Queen come standard. Poiché Y assume solo due valori, Beatles e Queen, applichiamo un modello di regressione logistica assumendo una distribuzione binomiale a Y.
"Impostazioni modello" : specifica il metodo di modellazione e il metodo di convalida. Per impostazione predefinita, Elastic Net è specificato come metodo di stima e AICc come metodo di verifica, quindi in questo esempio viene utilizzata l'impostazione predefinita.
"Impostazioni dei termini" : specifica quale metodo utilizzare per la matrice di parole del documento mostrata nella sezione precedente. Il valore predefinito è Binario (1/0). È inoltre possibile specificare il numero massimo di parole da utilizzare nella matrice di parole del documento, che per impostazione predefinita è 400. Cioè, solo le prime 400 parole estratte più frequentemente vengono utilizzate come predittori.
Fare clic sul pulsante Esegui in alto a destra per visualizzare un report di modellazione per le impostazioni specificate.
Vedremo i risultati nel rapporto 1 di seguito.
Report 1 "A Hard Days Night" (Beatles): correttamente prevedibile
Viene mostrato il risultato della selezione delle variabili del modello di regressione logistica utilizzando Elastic Net. In questo esempio, 49 dei 400 predittori sono selezionati per aiutare a prevedere e l'angolo in alto a destra del report mostra il Coefficiente per la variabile selezionata (Termine).
Se il coefficiente è positivo, viene mostrata una barra arancione, se è negativo, viene mostrata una barra blu, ma poiché qui è specificato Queen come livello dell'evento, maggiore è il valore positivo, maggiore è il livello della Regina. È una parola che contribuisce notevolmente a prevedere il livello dei Beatles, e maggiore è il valore negativo, più contribuisce a prevedere il livello dei Beatles.
In basso a sinistra del rapporto, il testo di "A Hard Days Night" (canzone dei Beatles) è dipinto di arancione per le parole che aiutano a predire i Beatles e di blu per le parole che aiutano a predire i Queen. Puoi vedere che i testi usano spesso parole che contribuiscono ai Beatles, come "just", "give" e "days". Pertanto, anche se non sai quale sia il testo della canzone della band, puoi prevedere che sia una canzone dei Beatles perché vengono utilizzati solo "," give "," days ", ecc.
Più precisamente, da questo testo vengono calcolate e giudicate la probabilità di predire i Queen e la probabilità di predire i Beatles. La probabilità di predizione di Queen è calcolata dalla seguente formula utilizzando la funzione Logist (Logist (x) = 1 / (1 + Exp (x))) dal coefficiente di regressione della regressione logistica ottenuta sopra.
Quando ripubblico il rapporto sulla modellazione, la colonna "Probabilità dei Queen" di seguito mostra la probabilità che una canzone sia i Queen per ogni canzone, ovvero il 32,7% per "A Hard Days Night".
Quindi, al contrario, la probabilità di essere previsti come Beatles è del 67,3% sottraendo dal 100%. Di questo,
Dalle parole del testo di A Hard Days Night
Probabilità di predire la canzone dei Queen: 32,7%
Probabilità di predire la canzone dei Beatles: 67,3%
Pertanto, prevedo che sia una canzone dei Beatles con un'alta probabilità.
Sarà. In altre parole, il valore effettivo (valore misurato) e il valore previsto (valore previsto) corrispondono.
Diamo un'occhiata ai report sugli altri due brani (Report 2, Report 3).
Report 2 "Bohemian Rhapsody" (Regina): Correttamente prevedibile
Si può prevedere che la canzone rappresentativa dei Queen "Bohemian Rhapsody" sia la canzone dei Queen con un'alta probabilità dell'88,9%.
Report 3 "Hey Jude" (Beatles): predice falsamente "Queen"
Si prevede che la canzone rappresentativa dei Beatles "Hey Jude" sarà Queen con una probabilità del 56,3%, quindi la previsione è sbagliata.
Alcune canzoni sono prevedibili in questo modo, mentre altre no. Quando si crea un modello predittivo, il tasso di classificazione errata, che indica il tasso di differenza tra la misurazione effettiva e la previsione, viene utilizzato come indice per indicare l'abilità predittiva e più piccolo è questo valore, maggiore è l'abilità predittiva.
Confronto di modelli
Nella sezione precedente, abbiamo modellato utilizzando valori binari (1/0) come matrice di parole del documento, ma come si confronta con il caso della modellazione che utilizza la frequenza delle parole allo stesso modo?
Nell'analisi di selezione delle parole, come rapporto "Riepilogo", quando sono montati più modelli, viene visualizzato un rapporto che confronta il potere predittivo dei modelli come segue. Il modello 1 è per il binario e il modello 2 è per la frequenza delle parole.
AICc utilizzato come indice di verifica, RSquare generalizzato (R-quadrato generalizzato, valore maggiore è migliore), AUC (area sotto la superficie curva, valore maggiore è migliore), Tasso di classificazione errata (tasso di discriminazione errata, valore più piccolo è migliore) Se si osserva, puoi vedere che i 2 valori del Modello 1 vanno bene per qualsiasi indice.
Da questo risultato si evince che il modello con occorrenza (= 1)/non comparsa (= 0) della parola come variabile esplicativa ha un potere predittivo maggiore della frequenza della parola come variabile esplicativa. ..
sommario
Riassumerò i risultati dell'"analisi di selezione delle parole" spiegata finora.
-Dalle parole contenute nel testo della canzone, abbiamo creato un modello che prevede se la canzone è dei Beatles o dei Queen.
-Come matrice di parole del documento utilizzata per variabili esplicative, abbiamo modellato i seguenti due tipi di metodi e confrontato il potere predittivo dei modelli.
Metodo A. Indica se è inclusa o meno la parola corrispondente al testo: Valore binario
Metodo B.Indica quante volte compare la parola corrispondente al testo: Frequenza
⇒ Si è riscontrato che la capacità di predizione del Metodo A (valore binario) senza considerare il ritornello è elevata. Pertanto, successivamente, è stato utilizzato il risultato della modellazione del Metodo A.
・ Sono state estratte quarantanove parole che hanno influenzato notevolmente la previsione. Quando la probabilità prevista di ciascuna canzone è stata ottenuta in base al coefficiente di regressione stimato per queste parole e sono stati ottenuti il brano previsto (valore previsto) e il brano effettivo (valore di misurazione effettivo), il tasso di discriminazione errata è stato dell'8,4%. Considerando sia i valori R al quadrato che AUC, che sono indicatori di altre capacità predittive, si ritiene che potrebbe essere creato un buon modello di previsione.
⇒ Con solo le informazioni delle 49 parole selezionate, è stato possibile indovinare quale canzone fosse con una precisione del 91,6%.
Infine, ecco un diagramma delle 49 parole selezionate (Termini) e dei loro coefficienti di regressione (Coefficiente) disegnati in Graph Builder. Arancione è la parola che contribuisce alla previsione dei Queen e azzurro è la parola che contribuisce alla previsione dei Beatles.
"Blow", che ha il più alto valore positivo, è la parola che caratterizza i testi dei Queen. Infatti, tra le canzoni analizzate, Blow è usato in varie canzoni dei Queen, ma poiché non è usato nelle canzoni dei Beatles, viene spiegato che il coefficiente di questa parola è grande, puoi allegarlo.
Spero che questo articolo ti dia l'opportunità di utilizzare "Analisi della selezione delle parole".
