<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
Hola,
Actualmente estoy buscando una manera de generar automáticamente valores atípicos de una distribución.
Me preguntaba si alguien tendría un script que ejecutara la prueba Q de Dixon en una tabla de datos JMP.
Gracias de antemano,
Jérôme
Gracias por utilizar nuestro script. Me alegro que sea útil. Una de las muchas razones del intercambio de archivos es proporcionar herramientas útiles que complementen a JMP. Si desea que esta prueba de valores atípicos esté integrada en JMP, visite la Lista de deseos de JMP aquí en la Comunidad JMP y solicítela. Puede buscarlo primero (yo no lo he hecho) y, si encuentra que dicha solicitud ya se envió, vote por ella para aumentar sus posibilidades.
No conocía el artículo que usted citó (Rorabacher 1991), por lo que no fue la base de mi guión. Sin embargo, utilicé una de las fuentes que citó. Utilicé Bartlett y Lewis (1994), aunque era una edición más reciente que la que utilizó Rorabacher. Estoy de acuerdo con él en que estas pruebas son importantes y pueden resultar útiles. Ojalá se les enseñara a más científicos lo que significan y cómo utilizarlos correctamente. Generalmente veo un comportamiento que algunos han llamado "pesca del valor p", donde se aplican pruebas hasta que una de ellas es "estadísticamente significativa". Este comportamiento es especialmente frecuente en las pruebas de valores atípicos.
Las pruebas se han desarrollado y revisado durante muchas décadas. Las mejoras en las técnicas informáticas y la teoría estadística benefician a los métodos más antiguos, por lo que todos nos beneficiamos.Las pruebas tienen una base objetiva pero se basan en elecciones subjetivas:
- ¿Cuál es el tamaño mínimo de una muestra para realizar pruebas razonables en busca de valores atípicos?
- ¿Qué riesgo de error tipo I y error tipo II estoy dispuesto a correr?
- ¿Qué tan bien se cumplen los supuestos de la prueba?
- ¿Qué tan bien puedo determinar qué tan bien se cumplen los supuestos?
- ¿Qué prueba debo utilizar? Es decir, ¿cuál es mi opinión sobre el proceso de contaminación específico que se produce en estos datos?
En cuanto a sus problemas específicos, usted dijo: " El primer problema es que los valores críticos en el script parecen referirse a la prueba de una cola, o en realidad CL del 90% al elegir la opción 0,05. Por favor refiérase a Rorabacher para la lista de valores críticos, especialmente para el caso de 95% CL. "
Revisé cuidadosamente el script y confirmé que utiliza el conjunto correcto de valores críticos para un 95 % y un 99 % de confianza. Probé además ejemplos publicados que coincidían con el resultado del guión.
Además, tenga en cuenta que solo la primera prueba proporcionada por el script ("valor atípico superior o inferior") se aplica correctamente como prueba de dos caras. Todas las demás pruebas son unilaterales, por lo que duplicar alfa para estas pruebas o utilizar un intervalo de confianza bilateral no tiene sentido. Rorabacher parece cometer este error en la página 141. Es importante tener claras las hipótesis nula y alternativa en cualquier prueba o construcción de cualquier intervalo de confianza.
Usted dijo, " En el ejemplo adjunto, el valor 11,66 es claramente un valor atípico. "
Ojalá fuera así de simple y claro. En mis años como químico analítico, vi muchos casos en los que quería calificar una observación como un valor atípico, pero basándome en solo tres observaciones, tal decisión no estaba justificada. ¿Cómo sé que los dos valores negativos no son valores atípicos? La variación aleatoria, como la que se observa en una muestra de una población, puede proporcionar observaciones sorprendentes pero aún válidas. Se podría utilizar el conocimiento previo sobre la población para ampliar la prueba, pero estas pruebas no utilizan información externa a la muestra.
El uso de un valor crítico también crea la ilusión de que una observación es un valor atípico o no lo es. El hecho es que cuanto mayor sea la distancia utilizada en cualquiera de estas pruebas, más sólida será la evidencia. Es un cambio de creencia continuo y no lineal.
Usted dijo, " El valor crítico que muestra el script es Q0=1, donde en realidad debería ser 0,971 y, en comparación con el resultado de la prueba, Q=0,98 debería indicar un valor atípico. "
Rorabacher señala cómo han aparecido diferentes valores críticos a lo largo de las décadas, por lo que no diría que "de hecho, debería ser 0,971". Cada autor presentó un esfuerzo honesto por desarrollar valores críticos que se basaron en elecciones subjetivas como las mencionadas anteriormente. Ese valor de 0,971 representa otra elección subjetiva sobre estas pruebas. Mantengo mi elección de la fuente del q0 valores que utilizo en el script. Pero puedes modificar el script si prefieres los valores de Rorabacher. Una de las ventajas de un script es que no es necesario esperar a que los desarrolladores de JMP agreguen o mejoren la función.
Hola Mark,
Gracias por el script para la prueba de Dixon, que es muy útil (me gustaría que la capacidad de ejecutar la prueba de Dixon se convirtiera en una característica estándar de JMP). Estaba mirando este script y, a menos que me esté perdiendo algo, creo que podría haber dos problemas.
Para demostrarlos utilicé la prueba de dos colas (primera opción de la lista) con tres números como en el ejemplo adjunto.
El primer problema es que los valores críticos en el script parecen referirse a la prueba de una cola, o en realidad CL del 90% al elegir la opción 0,05. Por favor refiérase a Rorabacher para la lista de valores críticos, especialmente para el caso de 95% CL.
En el ejemplo adjunto, el valor 11,66 es claramente un valor atípico, que debe detectarse si se utiliza la prueba de una cola o de dos colas. El valor crítico que muestra el script es Q0=1, donde en realidad debería ser 0,971 y, en comparación con el resultado de la prueba, Q=0,98 debería indicar un valor atípico.
Una vez más, muchas gracias. Apreciaré sus comentarios.
¡Gracias Mark por el guión y por la guía detallada del usuario!
Tengo un guión casi terminado. Estoy verificando su funcionamiento y cálculos, y agregando más tablas de búsqueda. Lo enviaré al Intercambio de archivos de la comunidad de usuarios de JMP lo antes posible. También enviaré un guión que terminé para la prueba de Grubb.
