Text data presents special challenges to the data analyst. A new training course helps to guide text exploration and analysis.Text data presents special challenges to the data analyst. A new training course helps to guide text exploration and analysis.Text data presents special challenges to the data analyst. A new training course helps to guide text exploration and analysis.Los datos de texto presentan desafíos especiales para el analista de datos. Un nuevo curso de capacitación ayuda a guiar la exploración y el análisis del texto.
El texto es una forma común de datos, pero presenta desafíos inusuales para el analista de datos.
Primero, el texto está disponible en muchos formatos de archivo y los caracteres en un archivo de texto pueden usar una de muchas codificaciones diferentes. Los archivos individuales deben importarse en una sola tabla de datos JMP para su procesamiento y análisis.
Segundo, el texto es datos no estructurados . No aparece de la misma manera que las mediciones (variables continuas), recuentos o categorías. Un solo valor de los datos de texto se llama documento . Este valor puede ser una sola oración, algunos párrafos o un libro completo. El valor puede ser un mensaje de texto o correo electrónico, una publicación de blog, una reseña de un restaurante o un informe de garantía de campo para mencionar solo algunas de las posibilidades. Una muestra de documentos se llama cuerpo . JMP almacena todo el corpus en una sola columna de datos con el tipo de datos de caracteres y el tipo de modelado de texto no estructurado. Cada documento ocupa una fila en la columna de datos.
Tercero, el texto es heterogéneo! Un documento puede contener muchos tipos de información, como los nombres de personas, lugares, productos, fallas o características; números telefónicos; fechas y horarios; siglos; género; moneda; Números de seguridad social, números de productos, o cualquier otra cosa. El contenido de la información puede no ser consistente de un documento a otro. Gran parte del contenido puede no ser informativo o útil en absoluto. ¿Cómo se encuentra la información? ¿Cómo se decide si es información?
En cuarto lugar, el texto es desordenado! Los datos estructurados, en comparación, pueden ser fácilmente recodificados, transformados o agrupados. ¿Cómo se recodifica un documento? ¿Cómo se manejan los acrónimos, abreviaturas, sinónimos, puntuación inconsistente y mayúsculas y errores ortográficos?
Hemos desarrollado Nueva capacitación sobre exploración y análisis de datos de texto con Text Explorer en JMP Pro 14 . (Tenga en cuenta que la primera mitad del curso requiere solo JMP 14.)
Gran parte del trabajo en el análisis de datos de texto se trata de comisariado la lista de condiciones . La mayor parte del tiempo en la capacitación se enfoca en un flujo de trabajo que comienza con el corpus en bruto y termina con la lista de términos curados. Esta lista se convierte en el corazón de los análisis posteriores, por lo que la calidad de la lista es importante. Cuando se termina la lista, se puede exportar a la tabla original o como una nueva tabla de datos en forma de nuevas variables estructuradas. Estas nuevas variables pueden explorarse por sí mismas o en combinación con otras variables estructuradas con cualquiera de las otras plataformas JMP.
Text Explorer en JMP Pro proporciona tres métodos potentes y multivariantes para extraer más información de la lista de términos. Análisis de clases latentes descubre grupos de documentos que comparten un patrón común de términos. Análisis semántico latente Descubre temas implícitos en el corpus. Análisis discriminante Puntúa documentos a categorías proporcionados por otra variable.
¿Tienes datos de texto en espera de ser analizados? ¿Desea ayuda para utilizar Text Explorer con las mejores prácticas? los nuevo curso Se estrenará como entrenamiento preconferencia en la próxima. JMP Discovery Summit el 22 y 23 de octubre de 2018, en Cary, NC, en la sede de SAS. ¡Te veo allí!
