Cambiar la desviación estándar con pesos en la plataforma "Distribución"Este tema general ha sido discutido antes. aquí pero estoy insatisfecho. El experto del JMP publicó una fórmula que quizás explique lo que está pasando. Pero tengo una pregunta conceptual. Creo que la ponderación es útil para ajustar las estimaciones si se quiere ponderar, por ejemplo, algunas submuestras más que otras. Por ejemplo, si uno tuviera 100 hombres y 1000 mujeres, y quisiera estimar la media y la DE de una muestra que tuviera el mismo número de hombres y mujeres, podría ponderar las observaciones en 1100/100 y 1100/1000, respectivamente.
Aquí está la cuestión: si empiezo con cualquier distribución de observaciones en JMP y cambio el peso de "1", la media permanece igual (como debería; no debería importar si peso todas las observaciones en 1, 2, 3, o 6000), eso no debería cambiar la media de distribución, pero la desviación estándar SÍ cambia. ¿Por qué esto tiene algún sentido? Expertos del JMP, por favor no proporcionen simplemente la fórmula que demuestra, si es así, que esto sucede. ¿Por qué tendría sentido conceptualmente? Me parece que ni la media ni la DE deberían cambiar si se pondera en 2 (lo que efectivamente duplica el tamaño de la muestra) o 3 (lo que lo triplica). Seguro que aumenta las sumas de cuadrados, pero SD es una función de la suma PROMEDIO de cuadrados.
Gracias.
Mike Bailey
PD: Adjunto un archivo "Weightsdata" que puedes usar para verificar si lo deseas. La variable "Peso" tiene un valor de 1, por lo que ponderarla no debería cambiar las cosas; "Peso 2" tiene un valor de 2 y "Peso 3" tiene un valor de 3.
Modelado estadístico avanzadoAnálisis y modelado de datos básicosInvestigación de Consumidores y MercadosAcceso a los datosExploración y visualización de datosDiseño de experimentosLa personalización en masaIngeniería de Calidad y ProcesosRe: Cambiar la desviación estándar con pesos en la plataforma "Distribución"Hola @PMort3 : Lo siento, pero no veo por qué su última viñeta es relevante; ¿Qué tiene que ver "estadísticamente improbable" con la definición de DE ponderada?es decir, dice que el valor p es aproximadamente 0,95. ¿Y para qué hipótesis estadística es ese valor p?es decir, ¿cuál es su hipótesis nula y alternativa?
Y... no estoy seguro de cuál es la definición "correcta" de SD ponderada (me parece que depende de lo que estés tratando de estimar). Y recuerdo una cita del enlace de stackexchange anterior que vale la pena repetir para nuestra consideración: "A la luz de la referencia agregada (que no tiene autoridad, pero es una referencia), estoy eliminando el voto negativo. Sin embargo, no voy a votar a favor de esta respuesta porque los cálculos muestran que la ponderación propuesta no produce una estimación imparcial de nada en absoluto (excepto cuando todas las ponderaciones son iguales a 1). La verdadera dificultad aquí, que es culpa de la pregunta, no de la respuesta, es que no está claro qué intenta estimar esta "desviación estándar ponderada" (las cursivas son mías). . Sin una estimación definida, no hay justificación para introducir un factor (M−1)/M para "reducir el sesgo" (o por cualquier otro motivo)".
Re: Cambiar la desviación estándar con pesos en la plataforma "Distribución"Me gustaría dar seguimiento a la pregunta de Mike.Mike, comparto tu frustración con el cálculo del JMP.
La fórmula que se describe en la documentación de JMP no es coherente con el estándar NIST al que se hace referencia en el enlace de stackexchange, consulte itl.nist.gov/div898/software/dataplot/refman2/ch2/weightsd.pdf .La definición del NIST normaliza los valores de peso, dando una desviación estándar consistente.
Una solución alternativa para que JMP cumpla con el estándar NIST es crear y utilizar una columna de valores de peso que sumen:
- (n-1), donde n es el número de la muestra; o
- n, donde n es el número de una población.
Como ejemplo del problema, ejecute una distribución ponderada utilizando los datos "Y" de Mark, que se distribuyen normalmente.
- Usando un peso de 1 para cada dato (es decir, la solución alternativa de JMP), obtenemos una desviación estándar de aproximadamente 0,98, lo cual tiene sentido; es decir, sumar 0,98 a la media de ~0,02 da un valor de 1,0, que encaja aproximadamente en el percentil 84 de la distribución cuantil (es decir, aproximadamente + 1 sigma).
- Si utiliza cualquier otro valor de peso, JMP dará un valor engañoso para la desviación estándar ponderada.Por ejemplo, JMP proporciona una desviación estándar ponderada de 1,38 para los datos de Mark con una ponderación de 2 para cada dato, muy por encima del percentil 90.No tiene sentido.Para convencerse, simplemente ejecute la opción "test std dev" en el menú de distribución; le dirá que 1,38 es estadísticamente improbable (valor p ~0,95).
-Pablo
Re: Cambiar la desviación estándar con pesos en la plataforma "Distribución"A riesgo de ser acusado de "simplemente proporcionar la fórmula", le remito a dos referencias para su consideración.Al final, depende de lo que se entienda por "peso". Y cualquier comprensión conceptual no puede, al menos para mí, evaluarse aisladamente de la definición (y, en consecuencia, de la fórmula). El primer vínculo es la fórmula utilizada por JMP (culpable de los cargos). El segundo vínculo es una discusión más matizada que espero esclarezca. En el primero, es fácil ver por qué la SD aumenta (en sqrt(peso)) a medida que aumenta el peso (como usted describe).
Detalles estadísticos para estadísticas resumidas (jmp.com).
https://stats.stackexchange.com/questions/6534/how-do-i-calculate-a-weighted-standard-deviation-in-excel
.
