¿Analizando datos de entrada de medida repetida con salida única dependiente al final?<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Hola comunidad.
Tengo una pregunta que solo tengo una vaga idea de por dónde empezar.
Tengo un conjunto de datos en forma de tabla plana 2D estándar con 3 salidas potenciales y muchas muchas entradas.
Cualquier resultado consiste en un solo número continuo [Por ejemplo, el aumento de peso Y los materiales consumidos] que se recopilan al final de un período de tiempo variable (30-50 días).
Actualmente, esto no es un problema ya que todas las variables de entrada (como la ubicación geográfica, el supervisor) no cambian durante este período de tiempo y, por lo tanto, una fila de datos representa un período de tiempo completo
el problema que estoy a punto de encontrar es que debo recibir datos que cambian continuamente durante este período de tiempo. (por ejemplo, temeprature de un registrador)
No hay manera de manejar esto de manera sensata de la manera habitual tomando algunas variables construidas (por ejemplo, Min, max, temperatura promedio para el período de tiempo completo) y creando nuevas variables para cada una, ya que esto probablemente no capturará lo que marca la diferencia. La salida.
Otra sugerencia es dividir esto en una forma más granular y hacer una columna para cada uno también sería inviable.
(creando un mínimo, máximo para cada día para cada día)
Incluso si pudiera evitar que cada columna esté altamente correlacionada entre sí, sospecho que los máximos y mínimos diarios por sí mismos no son lo que marca la diferencia. (Un máximo de 50C por 1 segundo es menos impactante que un máximo de 49C por una hora).
Para mí esto necesita ser manejado en un método diferente,
Me han indicado la plataforma 'Modelos mixtos' en JMP pero no tengo experiencia con ella.
Para mí, estoy tratando con una medida repetida en el tiempo con un alto rendimiento de correlación la medida
De lo que recojo (puedo estar equivocado) PIENSO que este método necesita que mi variable de salida también se mida durante este tiempo.
Este no es el caso para mí. Obtengo todas mis salidas al final, y solo al final.
Lo que busco lograr es descubrir qué en esta información registrada hace una diferencia en mi salida.
¿Puede alguien ayudarme con lo que puedo hacer con este problema?
¿Re: analizando datos de entrada de medida repetidos con una salida única dependiente al final?Sí, la interpretación de las PC es un desafío. Es posible "ver" cómo se ve cada componente ". Esto podría darle una visión útil.
PLS probablemente te dará mejores modelos. La plataforma PLS en JMP Pro incluye gráficos que le permiten ver cuáles de las variables son las que más contribuyen.
Recomendaría echar un vistazo al libro sobre PLS de Cox y Gaudard. También da una buena explicación de PCA.
Como mencioné anteriormente, se podrían usar muchas otras técnicas (agrupación, Gen Reg, Bootstrap Forest, redes neuronales)
Con respecto al desafío en cuanto al número de variables: aquí es donde se incluye el conocimiento de su dominio. ¿De verdad crees que hay valor en saber la temperatura cada 60 s? JMP puede manejar datos realmente muy amplios. Necesitas decidir si esto será útil.
Como siempre este será un proceso de exploración. ¡Buena suerte!
¿Re: analizando datos de entrada de medida repetidos con una salida única dependiente al final?¡Gracias por su respuesta!
En cuanto a los retos.
Corrección de tiempos variables
Por lo general, podemos corregir un día base si el día de finalización real no está demasiado lejos. Por ejemplo, 40 días pueden ser un día base de finalización. Si son 42 días, esto se corrige (sabiendo que un pollo generalmente cambia en una cantidad específica por día en buenas condiciones) Si el día real está muy lejos de los 39 días (por ejemplo, 50), es probable que los datos simplemente se omitan. Incluso creo que eso sucede en la realidad (50 días). En el peor de los casos, al menos para que esto funcione, usaré datos que terminan muy cerca de un punto de tiempo común. (es decir, 38-41 días) y solo corregir a 39 días
MÉTODO
Si nos basamos en su idea (esto es lo que pensé que deberíamos usar inicialmente) de alguna forma de reducción variable (¿cómo puedo conservar el significado del mundo real?), Este es un problema que generalmente tengo con PCA en el pasado: el PCA funciona bueno, pero mis nuevos factores realmente no se parecen a nada 'real'
PCA (estoy más familiarizado con PCA) factorizará mis variables de entrada (ahora ID de tiempo) en factores que solo se parecen vagamente al original.
¿Cómo sabré a qué se relacionan los nuevos factores? (es decir, si el Factor 1 es ahora una variable importante, compuesta de muchas variables originales, ¿cómo sabré a qué se relaciona esto realmente?)
Además, el número de variables de entrada será masivo: hasta 1 variable por cada 60 segundos durante 39 días (lo que, por supuesto, se puede reducir, pero es un número muy alto). ¿Es esto apropiado para estos métodos?
Como tendré muchas variables originales diferentes (temperatura, humedad, etc.), estas (al menos inicialmente) serían mejor analizadas por separado Y / O combinadas ¡Por supuesto que puedo probar ambas!
Abajo
tn = temperatura en el punto de tiempo n
hn = humedad en el punto de tiempo n
DOS MESAS
tabla 1
Y - t0 - t1 - t2 ----- tn
1.6
1.7
Tabla 2
Y - t0 - t1 - t2 ----- tn
1.6
1.7
UNA MESA
Y - t0 - t1 - t2 ----- tn -h0 - h1 -h2 ---- hn
1.6
1.7
Gracias por tu ayuda
¿Re: analizando datos de entrada de medida repetidos con una salida única dependiente al final?Hola,
Creo que un enfoque útil podría ser manipular los datos en un formato "ancho". De modo que ahora la temperatura en cada punto de tiempo es una nueva variable.
t TY
0 23 50
1 25 50
.
.
.
100 24 50
0 21 51
1 22 51
.
.
.
100 25 51
se convierte en:
Y 0 1 ... 100
50 23 25 ... 24
51 21 22 ... 25
Luego puede usar métodos que son buenos para datos amplios y correlacionados: PCA, clustering, PLS, Gen Reg. En JMP y JMP Pro hay métodos que pueden tratar con datos realmente muy amplios.
Esto es relativamente simple si el número de puntos de tiempo es el mismo para cada "ejecución". Sin embargo, parece que el período de tiempo total será diferente cada vez. Puede ser de 30 días o puede ser de 50 días.
Entonces, usted necesita decidir cómo hacer frente a este problema. Y creo que eso depende de tus conocimientos de dominio.
¿Es mejor simplemente mirar durante el período de tiempo que se completa para todas las carreras? Es decir, descartar datos> 30 días.
¿O debería normalizarse con el tiempo? Es decir, los períodos de tiempo no son absolutos sino que son una fracción del tiempo total y, por lo tanto, pueden alinearse en diferentes ejecuciones con diferentes períodos de tiempo totales. En cuyo caso quizás también incluya una variable para el tiempo total.
