Text Mining in JMP dei testi delle canzoni di QUEEN.
Titolo giapponese: Band "Queen (Queen) Se provi a mandare in minatore la musica di ""
Scritto da: Naohiro Masukawa, System Engineer presso JMP Japan
Il nome dello scrittore in giapponese: JMP System Engineer Naohiro Masukawa
Hai visto il film "Bohemian Rhapsody" uscito alla fine dell'anno scorso?La bontà del film divenne un grande successo subito dopo l'uscita e divenne un grande successo, e sembra che un'intera generazione sia stata vista dalla generazione che stava ascoltando il tempo in cui la Regina era attiva, e la più giovane che non sapeva molto della Regina stessa.
Ho anche ammirato, ma oltre alla storia, sono rimasto colpito da una canzone che non mi è piaciuta neanche se l'avessi ascoltata ora.Dopo, è una professione? " All'improvviso (? Dal desiderio di saperne di più sulla poesia della regina?) Ho provato a fare il text mining.
Prima di analizzare, conoscevo solo le canzoni tipiche dei Queen, "Bicicletta" Come la canzone "Bohemian Rhapsody" "Ucciso un uomo" Ho pensato di ottenere alcuni risultati interessanti dai testi (che hanno ucciso gli uomini) e dai testi caratteristici della parte lirica.
Tra l'estrazione di testo, il seguente 3 Presenterò un risultato.
- Quali parole sono usate molto?
- Quando classifico le canzoni con le parole che usano?
- Riesci a identificare il paroliere con le parole contenute nei testi?
L'obiettivo dell'analisi è 1973 Dall'anno 1991 Per le canzoni incluse nell'album dell'anno, ad eccezione dello strumentale senza testo.1991 Era tutto l'anno perché il vocalist Freddie Mercury voleva coprire le canzoni rilasciate nel corso della sua vita.
■ Che tipo di parole sono usate spesso?
Quali parole vengono spesso utilizzate per le canzoni da analizzare?La risposta Nuvola di parole Si vede da.Word Cloud è un metodo di visualizzazione spesso utilizzato nel text mining, e maggiore è la frequenza di occorrenza di una parola, maggiore è il carattere visualizzato.
Nuvola di parole
https://public.jmp.com/packages/What-kind-of-words-are-used-a-lot/js-p/5c3d904633868300a4314b06-1
Quanto segue sui risultati di word cloud 3 Si prega di notare che.
- Do stemming, la frequenza è 10 Le parole di cui sopra sono mirate per la visualizzazione.
Lo stemming è un metodo per rimuovere i cambiamenti nelle terminazioni di parole e mettere insieme parole che hanno una radice comune.
La parola stemming è alla fine della parola " - " È contrassegnato con.
Ad esempio, in una nuvola di parole "Conoscere - " Sebbene sia visualizzato, questo è "Conoscere" , "Conoscere" , "Lo so" di 3 Contiene una parola.
- Articoli, verbi ausiliari, pronomi, essere Le parole che sembrano essere verbi o preposizioni sono escluse dall'analisi.
- Le parole sono graduate da blu (anno medio di rilascio anticipato) a rosso (anno di rilascio medio in ritardo).In altre parole, le parole blu sono più frequentemente utilizzate nelle canzoni precedenti e le parole rosse sono più tardi (1991 Con l'anno scorso ) Indica che la parola è spesso usata in
■ Se classifichi i brani in base alle parole che usano?
Classifichiamo (raggrupperemo) le canzoni di destinazione in canzoni che usano parole simili.Prima di tutto, Documenta la matrice di parole Introdurremo il concetto di
Una matrice parola-documento è una rappresentazione a matrice di se ogni parola è apparsa o meno.Una riga è una canzone, una colonna è ogni parola, ma per una colonna di parole, la canzone (linea) in cui appare la parola 1 Il valore di, per le canzoni che non sono apparse 0 Assegna il valore di.Così 1 o 0 C'è un modo semplice per creare una matrice di parole documento che prende il valore di, ma qui "TD IDF" Creare una matrice di parole per documenti ponderati tenendo conto della parola importanza.
Sebbene la definizione dettagliata sia omessa, viene attribuito un peso per ridurre l'importanza delle parole che appaiono in molte canzoni e aumentare l'importanza delle parole che appaiono solo in alcune canzoni.
Ho estratto lo stelo come esempio, "La vita - "(Vita, vita) , "bicycl - "(Bicicletta, bicicletta) di 2 Consideriamone uno.La tabella seguente fa parte della matrice di parole del documento ponderato.
Dove è incluso un valore diverso da 0, la parola corrispondente (parola del nome della colonna) è inclusa nella musica e il valore aumenta se la parola viene usata ripetutamente.
Per esempio "La vita - " È un valore basso perché è usato in molte canzoni.D'altra parte, "bicycl - " Si tratta, "Gara ciclistica" E " Più di quel jazz di " 2 È un grande valore perché è usato solo nelle canzoni.Inoltre, "Gara ciclistica" Molte volte "Bicicletta" Perché è una canzone che sta perfezionando, quindi solo una volta "Bicicletta" La parola non appare " Più di quel jazz "Maggiore valore (46,557) Sto prendendo
Scomposizione del valore singolare in questa matrice di parole del documento (SVD; Il metodo chiamato Decomposizione Singolare Valore) consente di ridurre le informazioni della matrice alle dimensioni inferiori e può essere raggruppato visivamente mappando i brani utilizzando parole e parole simili. .
La figura a sinistra in basso visualizza la somiglianza musicale e la figura a destra visualizza la parola somiglianza.
Nella figura in alto a sinistra, mostra che la musica nella posizione vicina è simile e quella in lontananza non è simile.origine (0, 0) Molti punti si trovano nelle vicinanze di, ma etichettiamo i punti (musica) che sono più lontani della loro collezione.La musica con queste etichette avrà parole uniche nell'intera musica della Regina, ma qui "Bohemian Rhapsody" e "Grande re Rat" di 2 Mi concentrerò sulla canzone.
Entrambi si trovano lontano dall'origine, ma guardando la parola somiglianza dalla figura giusta, 2 Circa la stessa distanza da una canzone "Mama - " , "Dillo - " , "Die - " Si trova (* 1)
Poiché queste parole si trovano un po 'più lontano dall'origine, sono parole un po' uniche nel senso che non sono spesso usate in altre canzoni, "Bohemian Rhapsody" e "Grande re Rat" Queste parole sono usate in una certa misura.Relativo a queste cose, 2 Una canzone si trova in un posto simile.(* 2)
A proposito, Freddie Mercury sta scrivendo i testi di entrambe le canzoni.
* 1: Sebbene il valore minimo e il valore massimo di ciascuna coordinata siano diversi nella figura a sinistra e nella figura a destra, è possibile ignorarlo.
* 2, infatti, consideriamo anche l'uso di altre parole.
Inoltre, come analisi correlata, utilizzando l'informazione decomposta del valore singolare (vettore singolare), (gerarchica) Analisi del cluster Ci proveròNell'analisi cluster, i brani che usano parole simili (i brani con la distanza più vicina esatta) sono raggruppati per creare un diagramma ad albero.
Da questo risultato, puoi decidere il numero di gruppi (cluster) per raggruppare le canzoni, ma qui 7 Mostra i risultati di colorare ogni gruppo.
Mappatura per decomposizione del valore singolare della matrice di parole del documento, analisi del cluster
https://public.jmp.com/packages/Classifying-songs-with-SVD-and-clusterin/js-p/5c3d904633868300a4314b06-2
Riesci a identificare il paroliere con le parole contenute nei testi?
Al momento di questa analisi 1973 ~ 1991 I membri della Regina sono Freddie Mercury, Brian May, Roger Taylor e John Deacon 4 Per quanto riguarda il nome, tutti sono coinvolti nel songwriting e nella composizione, e ognuno manda una canzone di successo al mondo.Come nel caso delle frasi, ci possono essere parole che i parolieri usano spesso per la poesia, e parole che sono usate raramente da altri ma specifiche per il paroliere.E la regina?
Qui il paroliere è specifico 1 Concentrati sulle canzoni che sono solo nomi, Analisi discriminante Vediamo se riusciamo a identificare il paroliere usando la matrice di parole documento descritta sopra usando.
Frequenza massima d'uso 100 Matrice di parole documento di Word (peso TD IDF Usa) per vedere se i lyricsters attesi corrispondono ai lyricsters reali.
Analisi discriminante
https://public.jmp.com/packages/Can-we-distinguish-the-author-by-the-lyr/js-p/5c3d904633868300a4314b06-3
I risultati visualizzati qui sono i seguenti:
Di seguito i risultati sono le seguenti tabelle, che sono veri parolieri (Actual) E il paroliere pronosticato da un'analisi discriminante (Prevista) Tabella di tabulazione incrociata.
attuale
|
Conteggio previsto
|
autore
|
mercurio
|
maggio
|
Taylor
|
diacono
|
mercurio
|
42
|
1
|
0
|
0
|
maggio
|
0
|
36
|
0
|
0
|
Taylor
|
0
|
0
|
17
|
0
|
diacono
|
1
|
0
|
0
|
11
|
La prima linea è Freddie Mercury, ma il top 100 Quando si utilizza la parola informazione per prevedere il paroliere, 42 C'è una canzone, 1 Solo la canzone è stata scritta da Freddie Mercury, ma ha previsto Brian May, cioè la previsione è stata persa.
Viene visualizzato sopra il tavolo "Percent classificata erroneamente" È un indicatore del tasso di errata classificazione, che è il tasso previsto in modo errato.( Numero di brani previsto in modo errato 数 numero di brani da analizzare ) È calcolato da
"Canonic Plot" è chiamato trama canonica, 2 Una rappresentazione visiva della situazione discriminante nelle coordinate dimensionali.Sul grafico 4 Le persone sono posizionate ma Roger Taylor 3 È posizionato lontano dalle persone.Pertanto, la tendenza delle parole usate nelle poesie di Roger Taylor 3 Si può dire che differisce molto dal nome.Infatti, se si controlla la tabella di tabulazione incrociata presentata sopra, la canzone che Roger Taylor ha scritto (17 sintonizzare ) Sono tutti previsti e altri 3 Puoi vedere dal fatto che non c'è niente di sbagliato nella canzone scritta con il nome che ha scritto la canzone con Roger Taylor.A proposito, il punto etichettato sul grafico è la canzone erroneamente identificata.
Il mio rapporto di analisi è memorizzato nel seguente luogo, inclusa l'analisi introdotta questa volta.
https://public.jmp.com/users/259
Continuerò a postare risultati di analisi interessanti se mi sentirò meglio, quindi non vedo l'ora.
Segnala il sito di condivisione Pubblico JMP Guida di
In JMP, report di analisi tela Condividi sul sito Pubblico JMP C'è un sito chiamato.
Pubblico JMP
http://public.jmp.com/
Rilasciato alla fine dell'anno scorso JMP È l'ultima versione di JMP 14.2 Nella finestra del rapporto [ file ]> [ problema ] Selezionando il menu di Pubblico JMP Interattivo sul tuo sito HTML Ora è possibile caricare un rapporto di analisi del formato.I report caricati possono essere visualizzati in modo che solo la persona caricata possa visualizzarli o tutti possano visualizzarli.Tuttavia, per fare il caricamento, SAS Utilizzo del profilo (registrare l'indirizzo e-mail e le informazioni sulla password) Pubblico JMP Devi accedere al sito di.
Ci sono molti rapporti di analisi pubblicati su JMP Public, ma ci sono rapporti pubblicati dagli ingegneri della nostra azienda (Giappone). Si prega di goderne con un articolo che dettaglia i contenuti del report.
