Exploración de correlaciones en un gran conjunto de datos<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Estoy usando JMP pro y trabajo con un gran conjunto de datos de variables de proceso de la planta que quiero explorar cómo podrían afectar la producción o algunos otros parámetros de rendimiento en la planta. ¿Existen guías o recursos sobre cómo puedo comenzar con esto? He estado revisando videos de JMP en YouTube, pero no profundizan mucho en el análisis. S oh lejos, Solo me di cuenta de que debería "filtrar predictores" para reducir la cantidad de factores que estoy viendo. No estoy seguro de si lo siguiente sería ajustarse a los modelos de regresión o explorar más a fondo los datos con PCA, correlaciones por pares... etc. o si es necesario cuidadoso si mis datos no son datos normales o tienen muchos ceros antes de elegir el análisis correcto.
Además, vi algunas gráficas agradables usando análisis de correspondencia canónica (CCA) para explorar correlaciones con datos como los míos en R. ¿Hay algo similar/mejor en JMP?
Soy nuevo en este tipo de análisis, así que alguna idea. tienes sobre cómo empezar ayudará. Gracias.
Re: Explorar correlaciones en un gran conjunto de datoshttps://community.jmp.com/docs/DOC-9923
El complemento anterior es otra opción para ver la correlación x-por-y. Lo usé recientemente en un proyecto de datos de proceso.
Re: Explorar correlaciones en un gran conjunto de datosHay un increíble complemento JMP disponible llamado Scagnostics.Lo uso a menudo para ayudar a ver la estructura de las correlaciones dentro de grandes conjuntos de datos.
Re: Explorar correlaciones en un gran conjunto de datosSupongo que ha heredado estos datos de algún tipo de almacén de datos/sistema de historial y tiene muchas columnas y quizás muchas filas. ¿Cuánto tiempo ha dedicado a analizar la calidad de los datos desde estas perspectivas?
1. ¿Valores atípicos? Un buen lugar para ver este problema es dentro de la ruta Cols -> Modeling Utilities -> Explore Outliers.
2. ¿Valores faltantes? Un buen lugar para ver este problema es dentro de la ruta Cols -> Modeling Utilities -> Explore Missing Values.
3. Si tiene valores sin sentido, cosas como códigos '9999'... piense en usar Cols de JMP -> Utilidades -> Ruta de recodificación para arreglar/reparar estos.
4. Como último acto de calidad de datos, y si cree que procederá a construir modelos predictivos, asegúrese de usar la plataforma Cols -> Modeling Utilities -> Make Validation Column de JMP Pro para crear una columna de Validación que contenga, si corresponde, una construcción de entrenamiento, validación y prueba.
Una vez que se ha completado la calidad/limpieza de datos, hay varias plataformas JMP Pro que pueden resultarle útiles. Cada uno tiene su lugar en el sol. Análisis de componentes principales con agrupamiento, modelo de ajuste -> Mínimos cuadrados parciales, modelo de ajuste -> Regresión generalizada (luego elija su subpersonalidad en función de los detalles de cada situación), si construye y evalúa modelos, asegúrese de invocar la imputación de valor perdido (si necesarios y apropiados) y aproveche la columna Validación que ha creado. Otras plataformas de modelado de JMP también podrían ser valiosas... Solo me estoy enfocando en las ideas de JMP Pro en esta publicación.
Re: Explorar correlaciones en un gran conjunto de datos1. La transformación de los datos debe manejarse columna por columna.Cuando los análisis se realizan en datos transformados, es para permitir que las estadísticas puedan calcular correctamente las paramétricas.Uno no reporta los datos usando los valores transformados.
2. Creo que la mejor manera de determinar la transformación correcta es usar la plataforma de distribución en JMP y solicitar debajo del triángulo rojo,
Ajuste continuo ==> Todo
Le dará los resultados de cuál es la distribución de sus datos, y desde allí podrá guardar sus datos en un estado transformado.Si la distribución que descubre que es la mejor descripción de sus datos no tiene una transformación disponible, es posible que desee ver si la transformación GLog (registro generalizado) lo ayuda.
3. Si tiene una variable de respuesta específica, he usado Bootstrap Forrest y Boosted Tree para encontrar columnas para usar para emparejar los datos. No requieren datos distribuidos normales.
Re: Explorar correlaciones en un gran conjunto de datosGracias a todos por la valiosa información. Tengo algunas preguntas de seguimiento con respecto a la transformación de los datos:
1. Por lo que entiendo, ¿transformas algunas columnas pero no otras? ¿No deberían transformarse todos los datos de la misma manera para el análisis posterior?
2. Tengo algunas columnas con muchos ceros. Las transformaciones de registro parecen normalizar algunas, pero convierten los ceros en datos faltantes. No estoy seguro de si hay una manera fácil de hacer esto o algunas guías sobre cómo manejar esto en JMP.
3. Si la normalización de los datos no es posible o no es esencial, ¿hay algún método preferido o que se deba evitar (¿PCA?) para analizar más a fondo dichos datos?
Supongo que el paso siguiente a las transformaciones y la selección sería usar los contribuyentes más fuertes en la plataforma de "modelo de ajuste" y comparar modelos.
Re: Explorar correlaciones en un gran conjunto de datosHola karen@boulderstats .
Dominio (experto en procesos) + Método (experto en análisis) es una gran asociación.
Disfruté y aprendí mucho de su Episodio Hablando Analíticamente la semana pasada !
También estoy aprendiendo mucho de los expertos de la comunidad de JMP que son excelentes para brindar orientación.
Muy apreciado.
- Randy, novato de JMP
Re: Explorar correlaciones en un gran conjunto de datosJim ha proporcionado una serie de buenos pasos para que los considere. También puede usar el generador de gráficos de control (con esos datos, usaría el conmutador de columnas para que pueda recorrer sus variables). La razón para mirar los gráficos de control es que los datos del proceso tienen un elemento de tiempo.Procesar datos es muy divertido, pero no siempre es fácil (los datos en sí son complejos dados los retrasos, los datos faltantes, etc., etc.). Considero que para tales datos se crea valor cuando se trabaja como un equipo que incluye como mínimo un experto en análisis (es decir, alguien con experiencia en estadística) y un experto en procesos (alguien que realmente conoce el proceso).
Re: Explorar correlaciones en un gran conjunto de datosPor lo general, tomo el siguiente enfoque para filtrar datos grandes:
1. Ejecuto la plataforma de distribución en todos los datos buscando cuántos de mis datos están altamente sesgados.Si tengo una gran cantidad de filas, tenderé a eliminar los valores atípicos en un intento de normalizar los datos.Otras veces o además, transformaré las columnas problemáticas.Uso scripts para aliviar la laboriosidad de esto.
2. El siguiente paso es filtrar las columnas redundantes.Normalmente uso 3 plataformas diferentes para esto.
a. PCA es excelente si los datos se han transformado o se han transformado a una forma normal muy aproximada.
b. Response Screening brinda una excelente tabla de datos de salida que realmente me permite tener una idea de los datos
C. La partición de Bootstrap Forrest muestra qué columnas son los contribuyentes potenciales más fuertes para mi análisis detallado que haré.
