Minería de textos en JMP de las letras de las canciones de QUEEN.
Título japonés: banda "reina (Reina) Si intentas minar texto la música de ""
Escrito por: Naohiro Masukawa, ingeniero de sistemas en JMP Japón
Nombre del escritor en japonés: Ingeniero de sistemas JMP Naohiro Masukawa
¿Viste la película "Bohemian Rhapsody" estrenada a fines del año pasado?La bondad de la película se convirtió en un gran éxito inmediatamente después del lanzamiento y se convirtió en un gran éxito, y parece que una generación amplia está siendo observada por la generación que escuchaba el momento en que Queen estaba activa, y la más joven que no sabe mucho acerca de Queen.
También admiré, pero además de la historia, me sorprendió una canción que no me desvanecí, incluso si la escuchaba ahora.Después de eso, ¿es una profesión? " De repente (¿Por el deseo de saber más de la poesía de Queen?) Traté de hacer minería de texto.
Antes de analizar, solo conocía las canciones típicas de Queen, "Bicicleta" Como la canción "Bohemian Rhapsody" "Mató a un hombre" Pensé que podría obtener algunos resultados interesantes de las letras (que mataron a los hombres) y las letras características de la parte de la ópera.
Entre la minería de textos, las siguientes 3 Voy a introducir un resultado.
- ¿Qué palabras se usan mucho?
- ¿Cuando clasifico canciones por las palabras que usan?
- ¿Puedes identificar al letrista por las palabras contenidas en las letras?
Objetivo de análisis es 1973 Del año 1991 Para las canciones incluidas en el álbum del año, excepto el instrumental sin letra.1991 Fue hasta el año porque el vocalista Freddie Mercury quería cubrir las canciones lanzadas en su vida.
■ ¿Qué tipo de palabras se usan a menudo?
¿Qué palabras se usan a menudo para analizar las canciones?La respuesta Nube de palabras Se muestra por.Word Cloud es un método de visualización que se usa a menudo en la minería de textos, y cuanto mayor es la frecuencia de aparición de una palabra, mayor es el carácter que se muestra.
Nube de palabras
https://public.jmp.com/packages/What-kind-of-words-are-used-a-lot/js-p/5c3d904633868300a4314b06-1
Lo siguiente sobre los resultados de la nube de palabras 3 Por favor, tenga en cuenta que.
- Hacer la derivación, la frecuencia es 10 Las palabras anteriores están destinadas a la visualización.
La creación de tallos es un método para eliminar cambios en el final de las palabras y combinar palabras con raíces comunes.
La palabra derivar está al final de la palabra " ・ " Está marcado con.
Por ejemplo, en una nube de palabras. "Saber ・ " Aunque se muestra, esto es "Saber" , "Conociendo" , "Sabe" De 3 Contiene una palabra.
- Artículos, verbos auxiliares, pronombres, ser Las palabras que parecen ser verbos o preposiciones se excluyen del análisis.
- Las palabras se califican de azul (promedio del año de publicación anticipada) a rojo (promedio del año de publicación tardía).En otras palabras, las palabras azules se usan con más frecuencia en las canciones anteriores y las rojas aparecen más tarde (1991 Con el año pasado ) Indica que la palabra se usa a menudo en
■ ¿Si clasificas canciones por las palabras que usan?
Clasifiquemos (agrupemos) las canciones de destino en canciones que usan palabras similares.En primer lugar, Matriz de palabras del documento Presentaremos el concepto de
Una matriz de documento-palabra es una representación matricial de si cada palabra apareció o no.Una fila es una canción, una columna es cada palabra, pero para una columna de palabra, la canción (línea) en la que aparece la palabra 1 El valor de, para canciones que no han aparecido. 0 Asigna el valor de.Como esta 1 O 0 Hay una forma sencilla de crear una matriz de palabras de documento que toma el valor de, pero aquí "TD IDF" Cree una matriz de palabras del documento ponderada teniendo en cuenta la importancia de la palabra.
Aunque se omite la definición detallada, se da peso para disminuir la importancia de las palabras que aparecen en muchas canciones y aumentar la importancia de las palabras que aparecen solo en algunas canciones.
Extraí el tallo como ejemplo, "La vida ・ "(Vida, vida) , "Bicycl ・ "(Bicicleta, ciclismo) De 2 Consideremos uno.La siguiente tabla es parte de la matriz de palabras del documento ponderado.
Cuando se incluye un valor distinto de 0, la palabra correspondiente (palabra de nombre de columna) se incluye en la música, y el valor aumenta si la palabra se usa muchas veces.
Por ejemplo "La vida ・ " Es un valor pequeño porque se usa en muchas canciones.Mientras tanto "Bicycl ・ " Es "Carrera de bicicletas" Y " Mas de ese jazz '' 2 Es un gran valor porque solo se usa en canciones.Además, "Carrera de bicicletas" Muchas veces "Bicicleta" Porque es una canción que se está refinando, así que solo una vez. "Bicicleta" La palabra no aparece " Mas de ese jazz "Mayor valor (46.557) Estoy tomando
Descomposición de valores singulares a este documento. Matriz de palabras. (SVD; El método llamado Descomposición de valor singular (Singular Value Descomposición) se puede usar para reducir la información de la matriz a dimensiones más bajas y se puede agrupar visualmente mediante el mapeo de canciones usando palabras similares. .
La figura de la izquierda a continuación visualiza la similitud de la música, y la figura de la derecha visualiza la similitud de la palabra.
En la figura superior izquierda, muestra que la música en la posición cercana es similar y la de la distancia no es similar.Origen (0, 0) Muchos puntos se encuentran cerca de, pero etiquetamos los puntos (música) que están más lejos de su colección.La música con estas etiquetas tendrá palabras únicas en toda la música de Queen, pero aquí "Rapsodia bohemia" Y "Gran rata rey" De 2 Me centraré en la canción.
Ambos están ubicados lejos del origen, pero observando la palabra similitud en la figura de la derecha, 2 Sobre la misma distancia de una canción. "Mamá ・ " , "Dile ・ " , "Morir ・ " Se encuentra (* 1)
Debido a que estas palabras se encuentran un poco más alejadas del origen, son palabras un tanto únicas en el sentido de que no se usan a menudo en otras canciones, "Rapsodia bohemia" Y "Gran rata rey" Estas palabras se utilizan en cierta medida.Relacionado con estas cosas, 2 Una canción se encuentra en tal lugar.(* 2)
Por cierto, Freddie Mercury está escribiendo las letras de las dos canciones.
* 1; aunque el valor mínimo y el valor máximo de cada coordenada son diferentes en la figura de la izquierda y en la de la derecha, puede ignorarlo.
* 2; De hecho, también consideramos el uso de otras palabras.
Además, como análisis relacionado, se usa información descompuesta de valor singular (vector singular), (jerárquica) Analisis de cluster Lo intentaréEn el análisis de grupos, las canciones que usan palabras similares (las canciones con la distancia más cercana exactamente) se agrupan para crear un diagrama de árbol.
A partir de este resultado, puede decidir el número de grupos (agrupaciones) para agrupar canciones, 7 Muestra los resultados de colorear cada grupo.
Mapeo por descomposición en valor singular de la matriz de palabras del documento, análisis de conglomerados
https://public.jmp.com/packages/Classifying-songs-with-SVD-and-clusterin/js-p/5c3d904633868300a4314b06-2
■ ¿Puedes determinar el letrista por las palabras contenidas en las letras?
En el momento de este análisis. 1973 A 1991 Los miembros de la Reina son Freddie Mercury, Brian May, Roger Taylor y John Deacon. 4 En cuanto al nombre, todos están involucrados en la composición y composición, y cada uno envía una canción de éxito al mundo.Como es el caso de las oraciones, puede haber palabras que los letristas utilizan con frecuencia para la poesía, y palabras que rara vez son usadas por otros, pero que son específicas del letrista.¿Qué pasa con la reina?
Aquí el letrista es específico. 1 Concéntrese en las canciones que son solo nombres, Analisis discriminante Veamos si podemos identificar al letrista usando la matriz de palabras del documento descrita anteriormente usando.
Frecuencia superior de uso 100 Palabra del documento de la palabra matriz (peso TD IDF Use) para ver si las letras de letra esperadas coinciden con las letras de letra reales.
Analisis discriminante
https://public.jmp.com/packages/Can-we-distinguish-the-author-by-the-lyr/js-p/5c3d904633868300a4314b06-3
Los resultados mostrados aquí leen como sigue:
Debajo de los resultados están las siguientes tablas, que son verdaderos liristas (Actual) Y el letrista predijo por análisis discriminante. (Predicho) Tabla de crosstabulación.
Actual
|
Recuento predicho
|
El autor
|
Mercurio
|
Mayo
|
Taylor
|
Diácono
|
Mercurio
|
42
|
1
|
0
|
0
|
Mayo
|
0
|
36
|
0
|
0
|
Taylor
|
0
|
0
|
17
|
0
|
Diácono
|
1
|
0
|
0
|
11
|
La primera línea es Freddie Mercury, pero la superior. 100 Cuando usas la palabra información para predecir al letrista, 42 Hay una cancion 1 Solo la canción en realidad fue escrita por Freddie Mercury, pero predijo que Brian May, es decir, se perdió la predicción.
Se muestra sobre la mesa. "Porcentaje mal clasificado" Es un indicador de la tasa de clasificación errónea, que es la tasa predicha incorrectamente.( Número de canciones predicho incorrectamente 数 número de canciones a analizar ) Se calcula por
"Trama canónica" se llama una trama canónica, 2 Una representación visual de la situación discriminante en coordenadas dimensionales.En la grafica 4 Las personas están posicionadas pero Roger Taylor 3 Se posiciona lejos de las personas.Por lo tanto, la tendencia de las palabras utilizadas en los poemas de Roger Taylor. 3 Se puede decir que difiere mucho del nombre.De hecho, si verifica la tabla de tabulación cruzada presentada anteriormente, la canción que Roger Taylor escribió (17 Canción ) Son todos predichos y otros. 3 Se puede ver en el hecho de que no hay nada de malo con la canción escrita con el nombre que escribió la canción con Roger Taylor.Por cierto, el punto etiquetado en el gráfico es la canción mal identificada.
Mi informe de análisis se almacena en el siguiente lugar, incluido el análisis introducido esta vez.
https://public.jmp.com/users/259
Continuaré publicando interesantes resultados de análisis si me siento mejor, así que esperen.
Informe de compartir sitio JMP Public Orientación de
En JMP, informe de análisis. Web Compartir en el sitio JMP Public Hay un sitio llamado.
JMP Public
http://public.jmp.com/
Lanzado a finales del año pasado. JMP Es la última versión de JMP 14.2 En la ventana de informe El Archivo ]> [ Cuestión ] Seleccionando el menú de JMP Public Interactivo en su sitio HTML Ahora es posible cargar un informe de análisis de formato.Los informes cargados se pueden ver de modo que solo la persona cargada pueda verlos o todos puedan verlos.Sin embargo, para hacer la subida, SAS Usando el perfil (registrar la dirección de correo electrónico y la información de contraseña) JMP Public Necesitas iniciar sesión en el sitio de.
Hay muchos informes de análisis publicados en JMP Public, pero hay informes publicados por ingenieros de nuestra empresa (Japón).
