Guida al sito di condivisione "JMP Public"
In JMP, i report analitici possono essere condivisi sul sito web Pubblico JMP Forniamo un sito chiamato.
Ultima versione di JMP rilasciata alla fine del 2018 In JMP 14.2, è possibile caricare report di analisi HTML interattivi su questo pubblico JMP selezionando [File] → [Pubblica] dalla finestra del report.
È possibile impostare l'ambito del report in modo che solo il principale che ha caricato, o tutte le persone possano visualizzarlo (sarà necessario accedere al sito pubblico JMP utilizzando il profilo SAS per il caricamento).
Molti report di analisi vengono caricati su JMP Public.
Dato che c'è un rapporto presentato dall'ingegnere della Divisione JMP Japan, per favore goditelo insieme agli articoli che descrivono in dettaglio il contenuto di tale rapporto.
|
Quando testo estrae la musica della band "Queen"
Film uscito alla fine dell'anno scorso "Bohemian Love Sody" L'hai visto?
Sembra che una serie di generazioni siano state osservate dalla generazione ascoltata durante il periodo in cui la Regina era attiva, al giovane che non sa molto della Regina stessa, poiché il divertimento del film è diventato un argomento caldo subito dopo la pubblicazione.
Anche se lo apprezzo molto, sono rimasto colpito dalle canzoni che non posso sbiadire nemmeno ascoltando ora, mentre ascolto anche la storia.Dopo di ciò, dal pensiero di voler sapere di più sulla poesia della Regina, improvvisamente (?Ho provato il text mining.
Prima di analizzare, conoscevo solo la canzone rappresentativa dei Queen, ma ho chiamato una parola "Bicycle" e ho chiamato "Killed a man" come una canzone "Bohemian Rhapsody" Poiché ci sono testi e testi caratteristici della parte lirica, ho pensato che si potevano ottenere risultati interessanti.
Introdurremo i seguenti tre risultati del text mining.
- Che tipo di parole sono usate molto?
- Cosa succede se provo a ordinare i brani con le parole che uso?
- Riesci a distinguere i testi dalle parole contenute nei testi?
I soggetti di analisi erano canzoni registrate nell'album dal 1973 al 1991, e le canzoni (strumentali) senza testo erano escluse.Non è stato fino al 1991 perché volevo che la voce di Freddie Mercury prendesse di mira le canzoni che sono state rilasciate durante la loro vita.
Che tipo di parole sono usate molto?
Che tipo di parole sono usate più frequentemente per le canzoni da analizzare?La risposta è mostrata nella nuvola di parole.Il word cloud è un metodo di visualizzazione spesso utilizzato nel text mining e lo visualizza con lettere più grandi al crescere della frequenza di comparsa delle parole.
Word cloud (frequenza apparenza parola)
Si prega di notare i seguenti tre punti sulla nuvola di parole visualizzata cliccando sopra.
Eseguiamo l'estrazione del gambo di parole e visualizziamo parole con una frequenza di 10 o più.
Estrarre la radice della parola è un modo per eliminare il cambiamento nella fine di una parola e mettere insieme parole con radici comuni.La parola "stem" è contrassegnata con "·" alla fine della parola.Ad esempio, "sapere" è visualizzato nella nuvola di parole, ma contiene tre parole "sapere", "sapere", "sapere".
- Escludiamo parole considerate articoli, verbi ausiliari, pronomi, verbi, preposizioni.
- Per le parole, abbiamo una gradazione con blu (anno medio di rilascio anticipato) a rosso (anno di rilascio medio in ritardo).In altre parole, una parola di colore blu è una parola usata più spesso nelle prime canzoni, e una parola di colore rosso indica che è una parola usata più nelle canzoni successive (a partire dalla fine del 1991).
Cosa succede se provo a ordinare i brani con le parole che uso?
Classifichiamo (raggrupperemo) le canzoni di destinazione in canzoni che usano parole simili.A tal fine, in primo luogo, Documenta la matrice di parole Introdurrò il concetto.
La matrice di parole documento è una rappresentazione a matrice di se ogni parola appare o meno.Una riga mostra la musica e ogni colonna mostra ogni parola.Per una stringa di parole, assegna un valore 1 alla canzone (riga) in cui appare la parola e assegna un valore di 0 al brano musicale che non appare Lo farò.Sebbene sia semplice creare una matrice di parole documento che abbia un valore di 1 o 0 come questo, qui creiamo una matrice di parole di documento ponderata con l'importanza della parola "TF IDF" presa in considerazione .
Anche se le definizioni dettagliate sono omesse, abbasseremo l'importanza delle parole che appaiono in molte canzoni e le pesiamo per aumentare l'importanza delle parole che appaiono solo in alcune canzoni.
Considera due esempi di "vita" (vita, vita), "ciclista" (bicicletta, bicicletta) estratto come una parola radice.
La tabella seguente fa parte della matrice di parole del documento ponderato.
Dove è contenuto un valore diverso da 0, significa che la parola (parola del nome della colonna) corrispondente a quella canzone è inclusa, e se quella parola è stata usata molte volte il valore sarà grande.
Ad esempio, "vita" è usato in molte canzoni, quindi diventa un piccolo valore.
D'altra parte, "bicycl" è un grande valore perché viene utilizzato solo da due brani "Bicycle Race" e "More Of That Jazz".Inoltre, "Bicycle Race" è una canzone che si astiene più volte da "bicicletta", quindi la parola "bicicletta" ha un valore maggiore (46.557) rispetto a "More Of That Jazz" che appare solo una volta.
Usando una tecnica chiamata SVD (Singular Value Decomposition) per questa matrice di parole documento, è possibile ridurre l'informazione della matrice alle dimensioni ridotte e mappando le canzoni e le parole stesse usando parole simili, visive Puoi raggrupparli.
Sul lato sinistro della figura sottostante, viene visualizzata la somiglianza della musica e sul lato destro viene visualizzata la somiglianza della parola.
Sul lato sinistro della figura sopra, le canzoni vicine sono simili, qualcosa di molto lontano non è simile.
Molti punti si trovano nelle vicinanze dell'origine (0, 0), ma le etichette sono allegate ai punti (canzoni) più lontano da quelle riunioni.Le canzoni con queste etichette saranno qualcosa con parole uniche in tutte le canzoni della Regina, ma qui ci concentreremo sulle due canzoni "Bohemian Rhapsody" e "Great King Rat" .
Entrambi si trovano lontano dall'origine, ma guardando la somiglianza delle parole dalla figura giusta, "mama ·", "tell ·", "die ·" si trovano alla stessa distanza dalle due canzoni Si trova * 1.
Queste parole sono parole un po 'strane nel senso che non sono usate in altre canzoni perché si trovano un po' lontane dall'origine, ma "Bohemian Rhapsody" e "Great King Rat" È usato in una certa misura.
In relazione a questi argomenti, due brani si trovano in un posto simile * 2.
Tra l'altro Freddie Mercury sta scrivendo canzoni di entrambi.
* 1 Il valore minimo e il valore massimo di ciascuna coordinata sono diversi nella figura a sinistra e nella figura a destra, ma puoi ignorarlo.
* 2 In realtà, sto anche considerando l'uso di altre parole.
Come analisi correlata, proveremo l'analisi cluster (gerarchica) utilizzando informazioni decomposte a valore singolare (vettore singolare).Nell'analisi cluster, i brani che utilizzano parole simili (precisamente i brani più vicini alla distanza) sono raggruppati uno ad uno e possono essere creati diagrammi ad albero.
Da questo risultato, puoi raggruppare le canzoni decidendo il numero di gruppi (cluster), ma qui ti mostreremo il risultato della colorazione per ogni gruppo.
Mappatura per decomposizione del valore singolare della matrice di parole del documento, analisi del cluster
Riesci a distinguere i testi dalle parole contenute nei testi?
C'erano quattro membri della Regina al tempo (1973 - 1991) soggetti a questa analisi, Freddie Mercury, Brian May, Roger Taylor e John Deacon, ma tutti erano coinvolti in testi e composizione, Ogni canzone di successo viene inviata al mondo.
Come nei testi, ci sono parole che i testi usano spesso per i testi, e altri non li usano molto, ma parole specifiche per quel paroliere.
Che ne dici del caso della regina.
Qui esamineremo se i cantautori possono essere distinti usando l'analisi discriminante concentrandosi su canzoni che sono solo un cantante specifico e usando la matrice di parole del documento sopra descritta.
Utilizziamo una matrice di parole documento (peso TF IDF) con le prime 100 parole in uso frequenza per verificare se i testi pronosticati corrispondono ai testi effettivi.
L'analisi discriminante
Leggi il risultato visualizzato facendo clic sul link sopra, come segue.
Sotto il risultato, c'è una tabella come la seguente, che è una tabella di crosstabulation del songwriter effettivo (Actual) e il paroliere (Predicted) predetto da un'analisi discriminante.
| attuale |
Conteggio previsto |
|---|
| autore |
mercurio |
maggio |
Taylor |
diacono |
|---|
| mercurio |
42 |
1 |
0 |
0 |
|---|
| maggio |
0 |
36 |
0 |
0 |
|---|
| Taylor |
0 |
0 |
17 |
0 |
|---|
| diacono |
1 |
0 |
0 |
11 |
|---|
La prima riga è Freddy Mercury, ma quando si pronosticano i testi usando le informazioni delle prime 100 parole, ci sono 42 canzoni previste in modo prevedibile.D'altra parte, anche se in realtà solo una canzone è stata scritta da Freddie Mercury, ha predetto che si trattava di Brian May, cioè, si prevedeva che fosse fuori.
"Percent classificata erroneamente" visualizzata sopra la tabella è un indice di errata classificazione, che è una proporzione erroneamente predetta (calcolata dal numero previsto in modo errato di canzoni / numero di brani da analizzare).
"Canonic Plot" è chiamato trama canonica ed è una rappresentazione visiva della situazione di discriminazione con coordinate bidimensionali.
Quattro persone sono posizionate sul grafico, ma Roger Taylor è posizionato lontano dagli altri tre.Pertanto, si può dire che la tendenza delle parole usate per la poesia di Roger Taylor è molto diversa dalle altre tre.
Infatti, quando controlliamo la tabella a campi incrociati presentata sopra, tutte le canzoni (17 canzoni) scritte da Roger Taylor sono predittive e le canzoni di altri tre testi sono state scambiate per il songwriting di Roger Taylor Capisco anche che non c'è niente.A proposito, il punto etichettato sul grafico è canzoni erroneamente identificate.
Il mio rapporto di analisi che include l'analisi introdotta questa volta viene salvato nel seguente luogo.
https://public.jmp.com/users/259
D'ora in poi, posterò risultati di analisi interessanti se ne avrò voglia, quindi restate sintonizzati.
