Guía para compartir sitio "JMP Public"
En JMP, los informes analíticos pueden ser compartidos en el sitio web. JMP Public Ofrecemos un sitio llamado.
La última versión de JMP se lanzó a fines de 2018 En JMP 14.2, puede cargar un informe de análisis HTML interactivo a este JMP Público seleccionando [Archivo] → [Publicar] en la ventana del informe.
Puede establecer el alcance del informe de modo que solo el principal que lo haya cargado, o todas las personas puedan verlo (tendrá que iniciar sesión en el sitio público de JMP utilizando el perfil SAS para cargar).
Una gran cantidad de informes de análisis se cargan a JMP Public.
Ya que hay un informe presentado por el ingeniero de la División de Japón de JMP, disfrútelo junto con los artículos que detallan el contenido de ese informe.
|
Cuando el texto extrae la música de la banda "Queen".
Película estrenada a finales del año pasado. "Bohemian Love Sody" ¿Lo has visto?
Parece que una gran variedad de generaciones están siendo observadas desde la generación escuchada durante el período en que Queen estuvo activa, hasta la persona joven que no sabe mucho acerca de Queen, ya que la diversión de la película se convirtió en un tema candente inmediatamente después del lanzamiento.
Aunque también lo aprecio, me sorprendieron las canciones que no puedo desvanecer ni siquiera escuchar ahora, al mismo tiempo que escucho la historia.Después de eso, de la idea de querer saber más sobre la poesía de Queen, de repente (?Intenté la minería de texto.
Antes de analizar, solo conocía la canción representativa de Queen, pero llamé una palabra "Bicycle" y llamé "Killed a man" como una canción "Bohemian Rhapsody" Debido a que hay letras y letras características de la parte de la ópera, pensé que se podrían obtener resultados interesantes.
Presentaremos los siguientes tres resultados de la minería de textos.
- ¿Qué tipo de palabras se usan mucho?
- ¿Qué pasa si trato de ordenar las canciones por las palabras que uso?
- ¿Puedes distinguir las letras de las palabras contenidas en las letras?
Los temas de análisis fueron canciones grabadas en el álbum de 1973 a 1991, y se excluyeron las canciones (instrumentales) sin letra.No fue hasta 1991 porque quería que Freddie Mercury vocalizara canciones que se lanzaron durante su vida.
¿Qué tipo de palabras se usan mucho?
¿Qué tipo de palabras se usan con más frecuencia para analizar las canciones?La respuesta se muestra en la nube de palabras.La nube de palabras es un método de visualización que se usa a menudo en la minería de textos y lo muestra con letras más grandes a medida que aumenta la frecuencia de aparición de las palabras.
Nube de palabras (frecuencia de aparición de palabras)
Tenga en cuenta los siguientes tres puntos sobre la nube de palabras que se muestra al hacer clic arriba.
Realizamos la extracción de vástagos de palabras y mostramos palabras con una frecuencia de 10 o más.
Extraer la raíz de la palabra es una forma de eliminar el cambio en el final de una palabra y juntar palabras con raíces comunes.La palabra "raíz" está marcada con "·" al final de la palabra.Por ejemplo, "saber ·" se muestra en la nube de palabras, pero contiene tres palabras "saber", "saber", "sabe".
- Excluimos palabras que se consideran artículos, verbos auxiliares, pronombres, verbos, preposiciones.
- Para las palabras, tenemos una gradación con azul (promedio del año de publicación anticipada) a rojo (promedio del año de publicación tardía).En otras palabras, una palabra de color azul es una palabra que se usa más a menudo en las primeras canciones, y una palabra de color rojo indica que es una palabra que se usa más en canciones posteriores (a partir de finales de 1991).
¿Qué pasa si trato de ordenar las canciones por las palabras que uso?
Clasifiquemos (agrupemos) las canciones de destino en canciones que usan palabras similares.Para ello, primero, Matriz de palabras del documento Voy a introducir el concepto.
La matriz de palabras del documento es una representación matricial de si cada palabra aparece o no.Una fila muestra música y cada columna muestra cada palabra. Para una cadena de palabras, asigne un valor de 1 a la canción (línea) en la que aparece la palabra y asigne un valor de 0 a la pieza musical que no aparece Yo lo hareAunque es sencillo crear una matriz de palabras del documento que toma un valor de 1 o 0 como este, aquí creamos una matriz de palabras del documento ponderada teniendo en cuenta la importancia de la palabra "TF IDF" .
Aunque se omiten las definiciones detalladas, disminuiremos la importancia de las palabras que aparecen en muchas canciones y las ponderaremos para aumentar la importancia de las palabras que aparecen solo en algunas canciones.
Considere dos ejemplos de "vida ·" (vida, vida), "bicycl ·" (bicicleta, bicicleta) extraída como una palabra derivada.
La siguiente tabla es parte de la matriz de palabras del documento ponderado.
Cuando se contiene un valor distinto de 0, significa que se incluye la palabra (palabra de nombre de columna) correspondiente a esa canción, y si esa palabra se ha usado muchas veces, el valor será grande.
Por ejemplo, "vida ·" se usa en muchas canciones, por lo que se convierte en un valor pequeño.
Por otro lado, "bicycl ·" es un gran valor porque solo lo usan dos canciones "Bicycle Race" y "More Of That Jazz".Además, "Bicycle Race" es una canción que refina a "bicycle" muchas veces, por lo que la palabra "bicycle" tiene un valor mayor (46.557) que "More Of That Jazz", que aparece solo una vez.
Usando una técnica llamada SVD (Singular Value Descomposición) para esta matriz de palabras del documento, es posible reducir la información de la matriz a dimensiones bajas, y al mapear las canciones y las palabras usando palabras similares, visuales Puedes agruparlos.
En el lado izquierdo de la figura a continuación, se visualiza la similitud de la música, y en el lado derecho, se visualiza la similitud de las palabras.
En el lado izquierdo de la figura de arriba, las canciones cercanas son similares, algo lejano no es similar.
Muchos puntos se ubican cerca del origen (0, 0), pero las etiquetas se adjuntan a los puntos (canciones) más lejos de esas reuniones.Las canciones con estas etiquetas serán algo con palabras únicas en todas las canciones de la Reina, pero aquí nos centraremos en las dos canciones "Bohemian Rhapsody" y "Great King Rat". .
Ambos están ubicados lejos del origen, pero observando la similitud de las palabras de la figura de la derecha, "mamá ·", "decir ·", "morir ·" están ubicados a la misma distancia de las dos canciones Se encuentra * 1.
Estas palabras son palabras un tanto peculiares en el sentido de que no se usan en otras canciones porque están ubicadas algo lejos del origen, pero "Bohemian Rhapsody" y "Great King Rat" Se utiliza hasta cierto punto.
En relación con estos asuntos, dos canciones se encuentran en un lugar así * 2.
Por cierto Freddie Mercury está escribiendo canciones de ambos.
* 1 El valor mínimo y el valor máximo de cada coordenada son diferentes en la figura de la izquierda y en la de la derecha, pero puede ignorarlo.
* 2 En realidad, también estoy considerando el uso de otras palabras.
Como un análisis relacionado, intentaremos el análisis de agrupamiento (jerárquico) utilizando información descompuesta de valores singulares (vector singular).En el análisis de grupos, las canciones que usan palabras similares (precisamente las canciones más cercanas a la distancia) se agrupan una por una y se pueden crear diagramas de árbol.
A partir de este resultado, puede agrupar canciones al decidir el número de grupos (agrupaciones), pero aquí le mostraremos el resultado de la coloración de cada grupo.
Mapeo por descomposición en valor singular de la matriz de palabras del documento, análisis de conglomerados
¿Puedes distinguir las letras de las palabras contenidas en las letras?
Había cuatro miembros de Queen en ese momento (1973 - 1991) sujetos a este análisis, Freddie Mercury, Brian May, Roger Taylor y John Deacon, pero todos ellos estaban involucrados en las letras y la composición, Cada canción de éxito se envía al mundo.
Como en los textos, hay palabras que las letras usan frecuentemente para las letras, y otras no las usan mucho, sino palabras específicas de ese letrista.
¿Qué tal el caso de la reina?
Aquí examinaremos si los compositores pueden distinguirse utilizando el análisis discriminante que se centra en canciones que son solo un cantante específico y utilizando la matriz de palabras del documento descrita anteriormente.
Usamos una matriz de palabras del documento (peso TF IDF) con las 100 palabras principales en uso para comprobar si las letras pronosticadas coinciden con las letras reales.
La discriminacion
Lea el resultado que se muestra al hacer clic en el enlace de arriba, de la siguiente manera.
Debajo del resultado, hay una tabla como la siguiente, que es una tabla de tablas cruzadas del compositor real (Actual) y el letrista (Predicted) predicho por análisis discriminante.
| Actual |
Recuento predicho |
|---|
| El autor |
Mercurio |
Mayo |
Taylor |
Diácono |
|---|
| Mercurio |
42 |
1 |
0 |
0 |
|---|
| Mayo |
0 |
36 |
0 |
0 |
|---|
| Taylor |
0 |
0 |
17 |
0 |
|---|
| Diácono |
1 |
0 |
0 |
11 |
|---|
La primera línea es Freddy Mercury, pero cuando predice letras usando la información de las 100 palabras principales, hay 42 canciones predecibles.Por otro lado, aunque solo una canción en realidad fue escrita por Freddie Mercury, predijo que era Brian May, es decir, se predijo que estaba fuera.
El "Porcentaje de clasificación errónea" que se muestra sobre la tabla es un índice de índice de clasificación errónea, que es una proporción predicha incorrectamente (calculada por el número de canciones / número de canciones que se analizarán).
La "trama canónica" se denomina trama canónica y es una representación visual de la situación de discriminación con coordenadas bidimensionales.
Cuatro personas están posicionadas en el gráfico, pero Roger Taylor está ubicado lejos de los otros tres.Por lo tanto, se puede decir que la tendencia de las palabras utilizadas para el poema de Roger Taylor es bastante diferente de las otras tres.
De hecho, cuando verificamos la tabla de referencias presentada anteriormente, todas las canciones (17 canciones) de Roger Taylor son predictivas y las canciones de otras tres letras se confunden con la de Roger Taylor. También entiendo que no hay nada.Por cierto, el punto etiquetado en el gráfico son canciones mal identificadas.
Mi informe de análisis, incluido el análisis introducido esta vez, se guarda en el siguiente lugar.
https://public.jmp.com/users/259
De ahora en adelante, publicaré resultados de análisis interesantes si me da la gana, así que estad atentos.
