Obtenga más información en nuestro curso en línea gratuito:
Pensamiento estadístico para la resolución de problemas industriales
En este video, aprenderá a procesar datos de texto no estructurados utilizando el archivo Pet Owner.jmp. Este ejemplo se basa en el archivo Pet Survey.jmp, en la biblioteca de datos de muestra de JMP.
En este escenario, se les preguntó a 150 dueños de perros y gatos: "Piensen en su gato o perro. ¿Cuál es el primer pensamiento que te viene a la mente?".
Las respuestas están en la columna Respuesta de la encuesta. Dado que estos datos son texto no estructurado, se ha aplicado el tipo de modelado Texto no estructurado.
Para analizar estos datos, seleccionamos Text Explorer en el menú de análisis de JMP.
Seleccionamos Respuesta de encuesta como la columna de texto.
El idioma predeterminado es el inglés, pero también hay otros idiomas disponibles.
Hay varias opciones para tokenizar, denominar y redactar.
Puede usar las opciones de frase para especificar el número máximo de palabras por frase y el número máximo de frases para mostrar.
Puede utilizar las opciones de palabra para especificar el tamaño mínimo de palabra y el número máximo de caracteres por palabra.
Puede usar la opción de derivación para combinar automáticamente términos con la misma raíz.
Hay dos opciones en Tokenización: expresiones regulares y palabras básicas. El valor predeterminado es Regex o expresión regular. Cuando se usa Regex, los documentos se analizan usando expresiones y símbolos integrados, incluidos la puntuación, los espacios y las tabulaciones comunes. Puede usar la opción Personalizar Regex para agregar su propia expresión personalizada.
Usaremos las opciones predeterminadas y haremos clic en Aceptar.
Detrás de escena, JMP ha tokenizado los datos. Se han eliminado la puntuación, el espaciado y los símbolos, junto con palabras básicas como "a", "an" y "the".
El resumen en la parte superior informa la cantidad de términos únicos, la cantidad de documentos (o casos), la cantidad total de tokens y la cantidad promedio de tokens por caso.
También se proporcionan la lista de términos y la lista de frases.
Hay varias frases interesantes. Por ejemplo, la frase "caza de patos" tiene más significado que las palabras individuales "pato" y "caza".
Para agregar las frases principales a la lista de términos, seleccionaremos las frases, haremos clic con el botón derecho y seleccionaremos Agregar frase.
Echemos un vistazo más de cerca a la lista de términos. Haremos clic en la palabra "Término" en la lista de términos para ordenarlos alfabéticamente.
A medida que nos desplazamos por la lista, puede ver algunos errores tipográficos. Por ejemplo, el término "doggs" debe escribirse "dogs".
Si desea corregir errores tipográficos o combinar términos que tienen el mismo significado en un solo término, puede seleccionar los términos, hacer clic con el botón derecho y seleccionar Recodificar. Por ejemplo, supongamos que queremos agrupar estos dos términos en uno solo, "perros". Seleccionaremos los dos valores, haremos clic en Grupo, cambiaremos el nombre del grupo a "perros" y luego haremos clic en Recodificar.
¿Qué pasa con los términos "perro" y "perros" o "pato" y "patos"?Estas palabras tienen la misma base o raíz. Si desea combinar términos con la misma raíz, puede utilizar la derivación.
Para hacer esto, hacemos clic en el triángulo rojo superior, luego seleccionamos Opciones de término, Derivación y luego Derivación para combinar.
El punto al final de los términos indica que los términos derivados se han combinado. Cuando colocamos el cursor sobre estos términos derivados, vemos la lista de términos que se han combinado.
Haremos clic en la columna Contar dos veces para ordenar en orden descendente. Tenga en cuenta que los términos principales son "gato" y "perro". Debido a que sabemos que estos datos provienen de una encuesta sobre perros y gatos, estos términos no son particularmente útiles.
Para eliminar estos términos, podemos agregarlos como palabras vacías. Para ello, seleccionamos los términos,
haga clic con el botón derecho y seleccione Agregar palabra vacía.
Ahora puede ver que los términos principales se relacionan con ladrar, caminar, saltar y videos.
Guardaremos el script para este análisis en la tabla de datos para que podamos repetir este mismo análisis más adelante.
