Text Mining dans JMP des paroles des chansons de QUEEN.
Titre Japonais: Band "Queen" (Reine) Si vous essayez d'extraire du texte la musique de ""
Écrit par: Naohiro Masukawa, ingénieur système chez JMP Japan
Nom de l'auteur en japonais: Naohiro Masukawa, ingénieur système JMP
Avez-vous vu le film "Bohemian Rhapsody" sorti à la fin de l'année dernière?La qualité du film est devenue un énorme succès immédiatement après la sortie du film, et il semblerait qu’une génération nombreuse semble être regardée par la génération qui écoutait le temps où Queen était active et la plus jeune qui ne connaît pas grand chose de Queen.
J'ai également admiré, mais en plus de l'histoire, j'ai été frappé par une chanson que je ne me suis pas effacée même si je l'écoutais maintenant.Après cela, est-ce un métier? " Soudain (? Du désir de connaître davantage la poésie de Queen?) J'ai essayé de faire de l'exploration de texte.
Avant d’analyser, je ne connaissais que les chansons typiques de Queen, "Vélo" Comme la chanson "Bohemian Rhapsody" "Tué un homme" Je pensais que je pourrais obtenir des résultats intéressants à partir des paroles (qui ont tué les hommes) et des paroles caractéristiques de la partie lyrique.
Parmi les text mining, les suivantes 3 Je vais présenter un résultat.
- Quels mots sont beaucoup utilisés?
- Quand je classe les chansons en fonction des mots qu'elles utilisent?
- Pouvez-vous identifier le parolier à l'aide des mots contenus dans les paroles?
La cible d'analyse est 1973 À partir de l'année 1991 Pour les chansons incluses dans l'album de l'année, à l'exception de l'instrumental sans paroles.1991 C'était la fin de l'année parce que le chanteur Freddie Mercury voulait couvrir les chansons publiées de son vivant.
■ Quels types de mots sont souvent utilisés?
Quels mots sont souvent utilisés pour les chansons à analyser?La réponse Nuage de mots Cela se voit par.Word Cloud est une méthode de visualisation souvent utilisée dans l'exploration de texte. Plus la fréquence d'occurrence d'un mot est grande, plus le caractère affiché est grand.
Nuage de mots
https://public.jmp.com/packages/What-kind-of-words-are-used-a-lot/js-p/5c3d904633868300a4314b06-1
Ce qui suit sur les résultats du nuage de mots 3 S'il vous plaît noter que.
- Ne stemming, la fréquence est 10 Les mots ci-dessus sont ciblés pour l'affichage.
La recherche de racine est une méthode permettant d’éliminer les changements de terminaison de mot et de combiner des mots avec des radicaux communs.
Le mot qui vient est à la fin du mot " - " Il est marqué avec.
Par exemple, dans un nuage de mots “Savoir - " Bien qu’il soit affiché, c’est "Savoir" , "Savoir" , "Sait" De 3 Contient un mot.
- Articles, verbes auxiliaires, pronoms, être Les mots qui semblent être des verbes ou des prépositions sont exclus de l'analyse.
- Les mots sont classés du bleu (année de sortie moyenne en avance) au rouge (année de sortie moyenne en retard).En d'autres termes, les mots bleus sont plus fréquemment utilisés dans les chansons précédentes et les mots rouges, plus tard (1991 Avec l'année dernière ) Indique que le mot est souvent utilisé dans
■ Si vous classifiez les chansons par les mots qu’elles utilisent?
Classons (groupons) les chansons cibles en chansons qui utilisent des mots similaires.Tout d'abord Matrice de mots de document Nous allons présenter le concept de
Une matrice de mots de documents est une représentation matricielle indiquant si chaque mot est apparu ou non.Une ligne est une chanson, une colonne est chaque mot, mais pour une colonne de mots, la chanson (ligne) dans laquelle le mot apparaît 1 La valeur de, pour les chansons qui ne sont pas apparues 0 Attribuer la valeur de.Comme ceci 1 Ou 0 Il existe un moyen simple de créer une matrice de mots de document qui prend la valeur de, mais ici "TD IDF" Créez une matrice de mots de document pondérée prenant en compte l’importance des mots.
Bien que la définition détaillée soit omise, on cherche à minimiser l’importance des mots apparaissant dans de nombreuses chansons et à augmenter l’importance des mots apparaissant uniquement dans certaines chansons.
J'ai extrait la tige à titre d'exemple, "La vie - "(La vie, la vie) , "Bicyclette - "(Vélo, vélo) De 2 Considérons un.Le tableau ci-dessous fait partie de la matrice de mots de document pondérée.
Lorsqu'une valeur autre que 0 est incluse, le mot correspondant (mot du nom de la colonne) est inclus dans la musique et la valeur augmente si le mot est utilisé plusieurs fois.
Par exemple "La vie - " Est une petite valeur, car il est utilisé dans de nombreuses chansons.En attendant, "Bicyclette - " Est "Course de vélo" Et " Plus de ce jazz '' 2 C'est une grande valeur car il n'est utilisé que dans les chansons.En outre, "Course de vélo" Plusieurs fois "Vélo" Parce que c'est une chanson qui s'affine, donc une seule fois "Vélo" Le mot n'apparaît pas " Plus de ce jazz "Plus grande valeur (46.557) Je prends
Décomposition en valeurs singulières dans cette matrice de mots de document (SVD; La méthode appelée décomposition des valeurs singulières) peut être utilisée pour réduire les informations de la matrice à des dimensions inférieures et peut être regroupée visuellement en mappant des chansons en utilisant des mots similaires ou des mots eux-mêmes. .
La figure de gauche ci-dessous visualise la similarité de la musique et la figure de droite visualise la similarité des mots.
Sur la figure en haut à gauche, cela montre que la musique dans la position proche est similaire et celle dans la distance n'est pas similaire.Origine (0, 0) De nombreux points sont situés à proximité de, mais nous identifions les points (musique) qui sont plus éloignés que leur collection.La musique avec ces labels aura des mots uniques dans toute la musique de Queen, mais ici "Rhapsodie de Bohême" Et "Grand roi rat" De 2 Je vais me concentrer sur la chanson.
Les deux sont situés loin de l'origine, mais en regardant le mot similitude de la figure de droite, 2 À peu près à la même distance d'une chanson "Maman - " , "Dis - " , "Mourir - " Est situé. (* 1)
Parce que ces mots sont situés un peu plus loin de l'origine, ce sont des mots quelque peu uniques en ce sens qu'ils ne sont pas souvent utilisés dans d'autres chansons, "Rhapsodie de Bohême" Et "Grand roi rat" Ces mots sont utilisés dans une certaine mesure.Relatif à ces choses, 2 Une chanson est située dans un tel endroit.(* 2)
À propos, Freddie Mercury est en train d’écrire les paroles des deux chansons.
* 1; Bien que la valeur minimale et la valeur maximale de chaque coordonnée soient différentes dans les figures de gauche et de droite, vous pouvez l'ignorer.
* 2; En fait, nous considérons également l'utilisation d'autres mots.
En outre, en tant qu’analyse connexe, l’utilisation d’informations décomposées en valeurs singulières (vecteur singulier), (hiérarchique) Analyse par grappes Je vais essayer.Dans l'analyse par grappes, les chansons qui utilisent des mots similaires (les chansons ayant exactement la distance la plus proche) sont regroupées afin de créer un diagramme en arbre.
A partir de ce résultat, vous pouvez décider du nombre de groupes (clusters) pour regrouper les chansons, mais ici 7 Montre les résultats de la coloration de chaque groupe.
Cartographie par décomposition en valeurs singulières de la matrice de mots du document, analyse par grappes
https://public.jmp.com/packages/Classifying-songs-with-SVD-and-clusterin/js-p/5c3d904633868300a4314b06-2
■ Pouvez-vous déterminer le parolier à l'aide des mots contenus dans les paroles?
Au moment de cette analyse 1973 À 1991 Les membres de la reine sont Freddie Mercury, Brian May, Roger Taylor et John Deacon. 4 Quant au nom, tout le monde est impliqué dans la composition et la composition de chansons, et chacun envoie une chanson à succès au monde.Comme dans le cas des phrases, il peut y avoir des mots que les paroliers utilisent fréquemment pour la poésie, et des mots qui sont rarement utilisés par d'autres mais qui sont spécifiques au parolier.Qu'en est-il de la reine?
Ici le parolier est spécifique 1 Concentrez-vous sur des chansons qui ne sont que des noms, Analyse discriminante Voyons si nous pouvons identifier le parolier en utilisant la matrice de mots de document décrite ci-dessus avec.
Fréquence d'utilisation maximale 100 Document Word Matrice de mots (poids TD IDF Utilisez) pour voir si les lyricsters attendus correspondent aux lyricsters réels.
Analyse discriminante
https://public.jmp.com/packages/Can-we-distinguish-the-author-by-the-lyr/js-p/5c3d904633868300a4314b06-3
Les résultats affichés ici se lisent comme suit:
Ci-dessous les résultats sont les tableaux suivants, qui sont de vrais lyriciens (Réel) Et le parolier prédit par l'analyse discriminante (Prédit) Tableau croisé.
Réel
|
Nombre prévu
|
Auteur
|
Mercure
|
Mai
|
Taylor
|
Diacre
|
Mercure
|
42
|
1
|
0
|
0
|
Mai
|
0
|
36
|
0
|
0
|
Taylor
|
0
|
0
|
17
|
0
|
Diacre
|
1
|
0
|
0
|
11
|
La première ligne est Freddie Mercury, mais le haut 100 Lorsque vous utilisez le mot information pour prédire le parolier, 42 Il y a une chanson 1 Seule la chanson a été écrite par Freddie Mercury, mais elle prédit Brian May, c’est-à-dire qu’elle a été oubliée.
Il est affiché au dessus de la table "Pourcentage mal classé" Est un indicateur de taux de classification erroné, qui est le taux mal prédit.( Nombre de morceaux mal prédits 数 nombre de morceaux à analyser ) Il est calculé par
"Parcelle canonique" est appelée parcelle canonique, 2 Une représentation visuelle de la situation discriminante en coordonnées dimensionnelles.Sur le graphique 4 Les gens sont positionnés mais Roger Taylor 3 Il est placé loin des gens.Par conséquent, la tendance des mots utilisés dans les poèmes de Roger Taylor 3 On peut dire que cela diffère grandement du nom.En fait, si vous consultez le tableau croisé présenté ci-dessus, la chanson que Roger Taylor a écrite (17 Chanson ) Sont tous prédits et d'autres 3 Vous pouvez voir sur le fait qu'il n'y a rien de mal avec la chanson écrite du nom qu'il a écrit avec Roger Taylor.En passant, le point marqué sur le graphique est la chanson mal identifiée.
Mon rapport d'analyse est stocké à l'emplacement suivant, y compris l'analyse introduite cette fois.
https://public.jmp.com/users/259
Je continuerai à publier des résultats d'analyse intéressants si je me sens mieux, alors hâte-le.
Signaler le site de partage JMP Public Orientation de
Dans JMP, rapport d'analyse Web Partager sur site JMP Public Il existe un site appelé.
JMP Public
http://public.jmp.com/
Sortie à la fin de l'année dernière JMP Est la dernière version de JMP 14.2 Dans la fenêtre de rapport [ Fichier ]> [ Question ] En sélectionnant le menu de JMP Public Interactif sur votre site HTML Il est maintenant possible de télécharger un rapport d'analyse de format.Les rapports téléchargés peuvent être visualisés de sorte que seule la personne téléchargée puisse les visualiser ou que tout le monde puisse les visualiser.Cependant, pour faire le téléchargement, SAS Utilisation du profil (enregistrer l'adresse e-mail et le mot de passe) JMP Public Vous devez vous connecter au site de.
De nombreux rapports d'analyse ont été publiés sur JMP Public, mais des ingénieurs de notre société (Japon) ont posté des rapports.
