No es una pregunta de JMP, pero espero que alguien pueda ayudar: estimación de StdDev de Min, Max, AvgEn primer lugar, esta no es una pregunta de JMP sino una pregunta de estadísticas generales, por lo que pido disculpas si no es apropiado publicarla aquí.Pero espero que alguien en la comunidad JMP pueda ayudar con eso.
Tengo una serie de muestras de datos, donde cada muestra tiene Min, Promedio (Media) y Max registrados.los datos son muestreado cada segundo, pero solo grabado cada 15 minutos.Entonces, cada uno de mis puntos de datos de 15 minutos tiene el mínimo de las muestras de 1 segundo, el máximo de las muestras de 1 segundo y el promedio de las muestras de 1 segundo durante el intervalo de 15 minutos.
Tengo varios de estos puntos de datos de 15 minutos, digamos 24 horas (96 puntos de datos).Me gustaría intentar estimar la StdDev del valor durante el período de 24 horas, como si realmente tuviera todas las muestras de 1 segundo durante el período de 24 horas.Creo que si cada uno de mis puntos de datos de 15 minutos también tuviera la StdDev de las muestras de 1 segundo, sería más sencillo, pero no es así; solo MIn, Max y Promedio.
Cualquier orientación sería apreciada.
Re: No es una pregunta de JMP, pero espero que alguien pueda ayudar - Estimación de StdDev de Min, Max, AvgHola @wsande ,
estoy de acuerdo con @gzmorgan0 y @P_Bartell las sugerencias de , pero permítanme abordar algunas de sus preguntas específicas:
"La StdDev de los valores de 15mAvg es 0,00513... eso implicaría una población StdDev de 0,1538 (= 0,00513 * 30).Sin embargo, el rango total de mis datos durante más de 80 horas es solo 0,05 Máx. (15 m Máx.) - Mín. (15 m Mín.).Hubiera esperado que el rango fuera de varias SD, no una fracción de una SD".
Puedo ver cómo eso puede parecer extraño, pero lo que tienes es el rango de la medio de muestras de tamaño 900, no el rango de los datos originales. si observa mi ejemplo anterior, el rango de mis medios de tamaño 900 fue de alrededor de 20. El rango de los datos originales era de más de 1000. Al recopilar las observaciones y calcular una media, los números resultantes, cada uno de ellos una media de 900 observaciones, tienden a estar más cerca entre sí que los puntos de datos originales están cerca entre sí (y es por eso que podemos afirmar que la desviación estándar de las medias muestrales será menor que la desviación estándar de los datos originales por un factor de raíz cuadrada(n)). Entonces, volviendo a su caso, el rango de su medio es 0.05, que dadas muestras de 900 sabemos que es sustancialmente menor que el rango de los datos originales. Por lo tanto, no debería sorprender que la desviación estándar que estimamos para los datos de generación originales sea mayor.
Me pregunto si me estoy encontrando con un problema de cuantización.La resolución de mis muestras es 0,01, que es el doble de la DE que mido en los promedios de las muestras".
Dado lo que sabemos de los significados de la muestra aquí, deberíamos esperar que el rango de los datos en las muestras originales de 1 segundo sea mayor, por lo que esperamos que no se encuentre en una situación en la que su dispositivo de medición no sea capaz de medir con precisión el fenómeno. de interés.Sin embargo, no puedo hablar de eso.
"No sé si eso está sesgando de alguna manera los resultados.De hecho, tengo > 200 de estos conjuntos de datos, para diferentes "canales", y normalmente el rango es de 3 a 5 veces la desviación estándar de los medios de muestra".
Estoy de acuerdo en que deberíamos esperar que el rango de la medio de muestra es mayor que la desviación estándar de la medios muestrales.Pero eso es cierto incluso en el primer gráfico que mostraste, Range = 0.05 y StDev = 0.0051. Sin embargo, con muestras tan grandes como 900, no deberíamos esperar que el rango del medio de muestra es mayor que la desviación estándar de la variable original de la que se extraen las muestras.
"Una cosa que me pregunto...Si en lugar de muestras de 1 segundo, la población subyacente fueran muestras de 10 segundos, entonces solo habría 90 muestras por intervalo de 15 minutos, y el cálculo de la SD de la población cambiaría por un factor de 3. ( SQRT(90) en lugar de SQRT(900) ).Sin embargo, el proceso continuo subyacente no habría cambiado.Me está costando entender esto..."
¡Fantástica pregunta! Parece desconcertante al principio, pero espero que lo explique de otra manera. Si en los datos originales tuviera datos recopilados cada 10 segundos, en lugar de cada 1 segundo, las medias de la muestra en su tabla final se construirían a partir de muestras de tamaño 90, no 900. La desviación estándar de los datos originales. no cambiaría , pero la desviación estándar de su medio de muestra cambiaría. Usemos algunos números reales para aclarar esto:
Tome mi ejemplo original, una población con una desviación estándar de 120. Cuando teníamos muestras de 900, encontramos que la desviación estándar de la distribución de esas medias muestrales era 4. Hicimos esto empíricamente, pero también podríamos haber aplicado la fórmula sigma / root(n), 120/30 = 4. Si solo tuviéramos las medias de muestras de tamaño 900 y encontráramos la desviación estándar de esas medias, podríamos haber trabajado al revés, sigma*raíz(n), 4*30 = 120.
¿Qué pasa con el caso de los datos recopilados cada 10 segundos y luego promediados? Bueno, como dijiste, tendrías 90 observaciones para cada media. Esto implica que la desviación estándar de sus muestras de 90 observaciones sería 120 / raíz cuadrada (90) = 12,65. Observe que esta desviación estándar es mayor que cuando teníamos medias de muestras de tamaño 900. Con menos observaciones en cada media, la desviación estándar de las medias es mayor; varían más de una muestra a otra porque hay menos observaciones que equilibran las cosas (ley de los grandes números en acción, también conocida como la consistencia del estimador, mejora con más datos). Entonces, trabajemos al revés. Si ese fuera el tipo de datos a los que tuviera acceso, medias de muestras de tamaño 90 de observaciones tomadas cada 10 segundos, la desviación estándar con la que tendría que trabajar sería 12,65, y tomaría 12,65*raíz cuadrada (90) = 120. Entonces, nada sobre la población está cambiando... lo que ha cambiado es el proceso a través del cual ha medido la naturaleza y la consecuencia de ese proceso sobre la variabilidad de las observaciones a las que tiene acceso.
Dicho todo esto, sin embargo, todo esto supone observaciones independientes e idénticamente distribuidas. Si hay efectos sistemáticos/autocorrelación/etc como @gzmorgan0 mencionado, estas fórmulas simples ya no describen adecuadamente lo que sucede cuando tomamos esos medios.
¡Espero que esto aclare algunas cosas!
@Julian
Re: No es una pregunta de JMP, pero espero que alguien pueda ayudar - Estimación de StdDev de Min, Max, Avg@wsande ,
Algunas sugerencias/comentarios:
- Desde mi experiencia con los semiconductores, diferentes canales pueden tener diferentes distribuciones, así que solo una advertencia al generalizar entre múltiples poblaciones.
- Esta sugerencia se alinea con @P_Bartell examen oral. Le sugiero que para cada canal mire la distribución y un gráfico de tendencia de los rangos de 15 min (15 min max - 15 min min).Dé la resolución de sus datos, me temo que puede tener muchos ceros. De todos modos, hace mucho tiempo, cuando el poder de cómputo y el almacenamiento de datos eran costosos, los datos agregados eran comunes. Un enfoque simple fue suponer que el 95 % de los rangos de la muestra representarían 4 desv. estándar, es decir, máx. = +2 desv. estándar y mín. = -2 desv.Esto podría proporcionar una idea de sus datos.
- Si el análisis del n.º 2 tiene muchos rangos de cero, esta podría ser la razón por la que no se informan los datos sin procesar y los intervalos de 15 minutos con rangos > 0 sugieren un desplazamiento/cambio en el valor. Si este es el escenario, entonces la cantidad de turnos/transiciones por período de tiempo podría ser una métrica mejor que la desviación estándar para la estabilidad del canal (o el tiempo entre transiciones).
No estoy seguro de su objetivo, pero siga el consejo del examen oral de Peter y grafique las medias y los rangos por secuencia y mire las distribuciones.A menudo, las estadísticas resumidas de los datos de series temporales no describen adecuadamente el comportamiento de la unidad que se supervisa.
JMP hace que esto sea fácil de hacer con un par de clics.
Re: No es una pregunta de JMP, pero espero que alguien pueda ayudar - Estimación de StdDev de Min, Max, AvgMuchas gracias por la explicación detallada.Sin embargo, algo está pasando con mis datos, por lo que me está dando resultados que no tienen mucho sentido.
Tengo un conjunto de datos de >80 horas, no solo de 24 horas.Entonces, > 300 muestras.El StdDev de los valores de 15mAvg es 0.00513. Con 900 puntos de datos de 1 segundo por período de 15 minutos, eso implicaría una población StdDev de 0,1538 (= 0,00513 * 30).Sin embargo, el rango total de mis datos durante más de 80 horas es solo 0,05 Máx. (15 m Máx.) - Mín. (15 m Mín.).Hubiera esperado que el rango fuera de varias SD, no una fracción de una SD.
Me pregunto si me estoy encontrando con un "problema de cuantificación".La resolución de mis muestras es 0,01, que es el doble de la DE que mido en los promedios de las muestras.
No sé si eso está sesgando de alguna manera los resultados.
De hecho, tengo > 200 de estos conjuntos de datos, para diferentes "canales", y normalmente el rango es de 3 a 5 veces la desviación estándar de los medios de muestra.
Una cosa que me pregunto...Si en lugar de muestras de 1 segundo, la población subyacente fueran muestras de 10 segundos, entonces solo habría 90 muestras por intervalo de 15 minutos, y el cálculo de la desviación estándar de la población cambiaría por un factor de 3. ( SQRT(90) en lugar de SQRT(900) ).Sin embargo, el proceso continuo subyacente no habría cambiado.Me está costando entender esto en mi cabeza...
Re: No es una pregunta de JMP, pero espero que alguien pueda ayudar - Estimación de StdDev de Min, Max, AvgPara agregar algo de perspectiva a ambos @Julian y @gzmorgan0 Las respuestas de, cuando estaba sentado para el examen oral culminante en mi maestría en matemáticas aplicadas y programa de estadística en el Instituto de Tecnología de Rochester con el director del departamento, el Dr. John Hromi y el profesor Mason Wescott, primero me hicieron esta pregunta:
"Tu jefe te entrega una pila de datos que se recopilaron a lo largo del tiempo y quiere que los analices. ¿Que vas a hacer despues?" Creo que mi respuesta fue algo así como: "Crearía un histograma de los datos y luego, dado que los datos son series temporales por naturaleza, ya sea un gráfico de ejecución o un gráfico de control si puedo crear subgrupos racionales a partir de los datos. Luego buscaba el medio, la dispersión, cualquier cosa inusual o sospechosa en el histograma y, finalmente, en el gráfico de ejecución o el gráfico de control, la estabilidad en la media y la dispersión".
Por supuesto que estaba un montón de nervios antes del examen. Dos Una lista de estadísticos industriales que han olvidado más sobre estadísticas de lo que nunca sabré.
El Dr. Hromi sonrió y dijo algo como: "Buena respuesta... prosigamos".
Re: No es una pregunta de JMP, pero espero que alguien pueda ayudar - Estimación de StdDev de Min, Max, AvgQue es un punto tan importante que olvidé mencionar, @gzmorgan0 ! Estaba asumiendo observaciones independientes e idénticamente distribuidas, pero ciertamente podría no ser el caso.Re: No es una pregunta de JMP, pero espero que alguien pueda ayudar - Estimación de StdDev de Min, Max, Avg@wsande ,
@Julian la respuesta de es una respuesta perfecta si los datos subyacentes son aleatorios sin fuertes efectos sistemáticos . El contraejemplo a continuación es extremo, pero demuestra cómo un efecto sistemático puede dar como resultado una media muy estable y, por lo tanto, la desviación estándar de la media es una subestimación del error estándar.
Usando la tabla de Julian, cree una columna llamada Sistemática con la fórmula:
If(
Row() == 1, Random Integer( 850, 1150 ),
Modulo( Row(), 100 ) == 1, Random Integer( 850, 1150 ),
Modulo( Row(), 100 ) == 51, Lag( :Systematic, 1 ) * -1,
Lag( :Systematic, 1 )
)
A continuación se muestra una captura de pantalla de los datos individuales de un segundo para un bloque de 15 minutos seleccionado
Puede ver que hay variación en los datos sin procesar. Sin embargo, los datos resumidos del bloque de 15 minutos, todas las medias son cero, porque este ejemplo está configurado deliberadamente para ser un caso extremo. Incluso si los efectos sistemáticos no fueran tan extremos, un patrón sistemático fuerte puede hacer que la media sea artificialmente estable.
Este contraejemplo no pretende socavar @Julian La solución de , pero pretende ser una advertencia. Si es posible, debe intentar encontrar un método para obtener un par de intervalos aleatorios de los datos sin procesar, para descartar eventos cíclicos sistemáticos fuertes.
Re: No es una pregunta de JMP, pero espero que alguien pueda ayudar - Estimación de StdDev de Min, Max, AvgHola @wsande ,
Creo que estás de suerte. Con los datos que tiene, no tiene problemas para estimar la desviación estándar de la variable en el muestreo original de 1 segundo. Todo lo que necesita es la desviación estándar (o varianza) de los medios en sí (no se necesitan el mínimo y el máximo).
Las varianzas se comportan de manera predecible cuando se opera sobre ellas. En este caso, la operación entre los datos originales y los datos resumidos que tienes es dividir por una constante (el número de observaciones, 900, el número de segundos en 15 min). La base de la fórmula para el error estándar es en realidad lo que aplicaremos aquí. Recuerde que la desviación estándar de la distribución muestral de la media es Sigma / SqRoot(n), donde sigma es la desviación estándar de la población y n es el tamaño de la muestra. En términos de varianza, esto es solo varianza/n, ¡bastante sencillo en lo que respecta a las fórmulas!
Entonces, ¿cómo ayuda esto? Sabemos que tiene 900 observaciones que entran en cada media de su tabla de datos (60 muestras/min * 15 min por registro). En la tabla que tienes tienes de 96 observaciones (medias por cada 15 min, 4 por hora x 24 horas = 96). Ahora mismo, como ilustración, supongamos que sabemos que la desviación estándar de la significa que tienes es 4 ¿Qué desviación estándar en la resolución original de 1 segundo resultaría si hubiéramos aplicado la fórmula sigma / sqroot(n)? Vamos a darle la vuelta.
desviación estándar de las medias = sigma/sqroot(n)
4 = sigma/raíz cuadrada (900)
4*raíz cuadrada(900) = sigma
sigma = 120.
viola!
La forma distributiva de la población no importa. Las variaciones funcionan de esta manera independientemente de la forma subyacente. Tampoco tenemos que confiar en las matemáticas. Hagamos esto en JMP y veamos qué sucede. Aquí hay una tabla de 86,400 observaciones, su tabla de resolución de 1 segundo:
Esta es la distribución de la variable original, hecha con una función Random Normal(): Media de 1000, Desviación estándar de 120 (más o menos, esta es una función aleatoria, así que está cerca). 
Resumamos por bloque de 15 minutos usando Tablas > Resumen:
Esto da la tabla resumida a continuación, con la media para cada bloque.
Echemos un vistazo a la distribución de los medios (que es esencialmente lo que es su tabla final):
Y ahí vamos, la desviación estándar de la distribución muestral de la media (que es lo que hemos construido) es 4 -- sigma / sqroot(n) tal como nos dice la teoría.
Una advertencia... esta distribución de muestreo empírico es solo 96 observaciones de la distribución de muestreo teóricamente infinita, por lo que cada vez que repita este experimento obtendrá una estimación ligeramente diferente. Si tuviéramos que construir la tabla original para tener millones y millones de bloques de 15 minutos y luego muestrear miles y miles de medias de esos bloques de 15 minutos, estaríamos bastante equivocados. Podríamos demostrar esto empíricamente, pero lo sabemos teóricamente. Y, el punto realmente es que nuestra mejor estimación imparcial de la población sigma cuando tenemos el error estándar (la desviación estándar de las medias), es tomar ese error estándar y multiplicarlo por raíz cuadrada (n).
Entonces, TLDR: toma la desviación estándar que tienes de las medias y multiplícala por raíz cuadrada (900).
¡Espero que esto ayude!
@Julian
