Comparar cosas es común en nuestra vida cotidiana. Si le falta un ingrediente para una receta, es posible que tenga algo más a mano que podría servir como un buen sustituto. Para las decisiones de comparación que requieren datos, es posible que se pregunte si una máquina más antigua tiene un rendimiento comparable al de una máquina nueva en un laboratorio o una fábrica. ¿Es hora de reparar o reemplazar la máquina anterior o su rendimiento es "suficientemente bueno" para continuar usándola? ¿Y cómo cuantificamos lo que significa "suficientemente bueno" en este contexto?
Convencionalmente, comparar dos cosas requiere el uso engorroso y, a menudo, contrario a la intuición, de la prueba de hipótesis. Sin embargo, simplemente rechazar o no rechazar la hipótesis nula puede no responder suficientemente a la pregunta que esperamos responder. Entonces, ¿cómo podemos determinar de manera más efectiva si dos cosas son iguales, similares o diferentes? La respuesta se puede encontrar utilizando la metodología de probabilidad de acuerdo (PoA) para evaluar práctico equivalencia, que es una de las áreas de especialización de Nathaniel Stevens. Fue nuestro invitado más reciente en Estadísticamente hablando , y nos encantó aprender más sobre este marco poderoso y flexible.
Nathaniel es Profesor Asistente de Estadística en el Departamento de Estadística y Ciencias Actuariales de la Universidad de Waterloo. Ha ganado varios premios, más recientemente la Medalla Feigenbaum de la Sociedad Estadounidense de Calidad de 2023 y el Premio Søren Bisgaard de 2021 por su trabajo en la probabilidad de concordancia bayesiana.
Dado que teníamos más preguntas que tiempo para responderlas, Nathaniel accedió amablemente a compartir más de su experiencia aquí.
¿Cuáles son las limitaciones del marco PoA?
El marco se basa en gran medida en el umbral de equivalencia 𝛅. Como tal, esto es algo que debe determinarse cuidadosamente. En ciertos entornos, esto puede ser difícil de hacer. Y sin una consideración cuidadosa, esto podría elegirse sin escrúpulos para un resultado deseado. Por lo tanto, es imperativo que ese 𝛅 se elija en reconocimiento del contexto del problema.
¿Es PoA equivalente a cambiar el nivel de significación a 0,1 (por ejemplo) en lugar del umbral de 0,05 que se usa en una prueba de hipótesis tradicional?
No, la relación entre el análisis del PoA y la prueba de hipótesis no es tan sencilla. Aunque existen muchas encarnaciones del PoA, para ayudar a desarrollar la intuición de lo que cuantifica y cómo se relaciona con otras medidas de evidencia, consideremos un ejemplo ilustrativo en el que simplemente deseamos determinar si un parámetro θ se encuentra dentro del intervalo [-𝛅, 𝛅 ].
Esto se puede hacer (por ejemplo) con valores p de segunda generación [1] , una prueba de equivalencia [2] , métodos basados en intervalos [3], [4] o la probabilidad frecuentista de concordancia [5] . Todos estos enfoques, por diferentes métodos, buscan caracterizar la ubicación y dispersión de la distribución muestral de θ-sombrero específicamente en relación al intervalo [-𝛅, 𝛅]. Los métodos basados en intervalos tienden a verificar si un intervalo de confianza para θ se encuentra completamente fuera o dentro de [-𝛅, 𝛅]. Los valores p de segunda generación miden hasta qué punto dichos intervalos estadísticos se superponen [-𝛅, 𝛅]. Los valores p asociados con dos pruebas unilaterales (TOST) en conjunto miden la proporción de la distribución muestral de θ-sombrero que está fuera de [-𝛅, 𝛅]. Y el PoA frecuentista mide la proporción de esta distribución que se encuentra dentro de [-𝛅, 𝛅]. Todos estos métodos, de manera similar aunque sutilmente diferente, cuantifican la evidencia a favor de la declaración θ ∈ [-𝛅, 𝛅] .
¿Se está enseñando PoA en las escuelas? ¿Cuándo empezo?
Que yo sepa, el PoA aún no se enseña en los cursos. La idea es bastante sencilla, y espero no ser el primero en considerarla. Por lo tanto, no puedo decir con certeza cuándo se implementó la primera instancia de esta idea. Sin embargo, el marco que mis colaboradores y yo comenzamos a construir comenzó aproximadamente en 2015.
Este es un problema más general con la enseñanza de cualquier metodología que tenga en cuenta explícitamente la equivalencia práctica. Tales metodologías (p. ej., pruebas de equivalencia) rara vez se enseñan en cursos introductorios. La amplia aceptación de esta clase de métodos requiere un cambio de paradigma en la pedagogía, que se espera que sea provocado por el cambio de paradigma que estamos experimentando en la disciplina estadística con respecto a la importancia estadística frente a la práctica.
¿Qué significa “HDI”?
HDI es un acrónimo de "intervalo de mayor densidad". En términos generales, un IDH es el subconjunto del soporte de una distribución univariante que tiene la densidad más alta [6] . La idea se usa comúnmente en la inferencia bayesiana como un tipo particular de intervalo creíble posterior. Por ejemplo, considere la distribución posterior para un parámetro θ y considere un intervalo [L, U ] que contiene el 95% de la distribución y, por lo tanto, contiene θ con probabilidad 0.95. Tal intervalo no es único. El 95% IDH es el más corto intervalo que contiene θ con probabilidad 0.95.
¿Cómo define el término “heterocedasticidad”?
Generalmente hablando, heterocedasticidad se refiere a la varianza no constante. A diferencia de, homocedasticidad se refiere a la varianza constante. En el contexto de comparación de sistemas de medición, la heterocedasticidad es relevante porque la variabilidad de un sistema de medición (es decir, su repetibilidad) puede no ser una constante fija; en cambio, puede ser una función del elemento que está midiendo. Por ejemplo, las medidas pueden volverse más o menos variables si el artículo que se mide es grande o pequeño. Sin embargo, la distinción entre homocedasticidad y heterocedasticidad es relevante en términos más generales. Por ejemplo, la inferencia dentro de la regresión de mínimos cuadrados ordinarios se basa en una suposición de varianza constante, lo que da lugar a la necesidad de transformaciones estabilizadoras de varianza (p. ej., la transformación logarítmica) en presencia de heteroscedasticidad.
¿Hay alguna consideración especial que deba hacerse si se evalúa el acuerdo/no inferioridad en función de las proporciones?
El PoA (y las métricas de probabilidad comparativa relacionadas) se pueden definir con respecto a la diferencia aditiva C 1 - C 2 o la diferencia relativa C 1 /C 2 . Además de tener cuidado de especificar correctamente la distribución de C 1 /C 2 , la única otra consideración clave cuando se trabaja con razones es cómo definir la equivalencia práctica y, por lo tanto, la región de equivalencia práctica (o no inferioridad).
En este caso, determinar si C 1 /C 2 es prácticamente diferente de 1 es de interés. Por lo tanto, es sensato definir la región de equivalencia práctica como [(1 + δ) -1 , 1 + δ] donde aqui 𝛅 se elige en reconocimiento del hecho de que un aumento porcentual del 100𝛅% es el más pequeño que es importante en la práctica. Tal intervalo es simétrico alrededor de 1 en la escala relativa y es invariable al etiquetado (potencialmente arbitrario) del Grupo 1 frente al Grupo 2. El PoA se define entonces como
¿Cómo se define el límite de equivalencia para el modelo de Cox? ¿Cómo se usa el límite de equivalencia en el modelo de Cox?
El PoA no ha sido desarrollado específicamente para usarse con el modelo de riesgos proporcionales de Cox, pero ciertamente podría ser. Definir el margen de equivalencia en este caso requeriría pensar en cuán diferentes (en la escala aditiva o relativa) deben ser dos funciones de riesgo antes de que sea relevante en la práctica. Este margen de equivalencia puede ser una constante o puede depender de las covariables del modelo. Hay matices y flexibilidad en este sentido. Insto a alguien a seguir este desarrollo metodológico; podría ser de gran utilidad.
¿Conoce modeladores climáticos que utilicen estos métodos para evaluar sus modelos?
No específicamente, no. Lo más parecido que conozco es un artículo reciente de Ledwith et al. (2023) [7] que utiliza la probabilidad de acuerdo para validar modelos computacionales de manera más general. Pero espero que una metodología como esta pueda ser útil para la evaluación del modelo climático.
Agradecemos a Nathaniel por tomarse el tiempo para compartir más de sus pensamientos sobre este concepto flexible y poderoso. Si te perdiste la transmisión en vivo, consulta la transmisión bajo demanda episodio de esto Estadísticamente Hablando.
[1] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1537893
[2] https://www.routledge.com/Testing-Statistical-Hypotheses-of-Equivalence-and-Noninferiority/Wellek/p/book/9781439808184
[3] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1564697
[4] https://psycnet.apa.org/record/2012-18082-001
[5] El PoA bayesiano también sería útil aquí, pero para reducir el alcance de la discusión, me centraré en la versión frecuentista.
[6] Las regiones de mayor densidad (HDR) son el análogo multivariante.
[7] https://asmedigitalcollection.asme.org/verification/article/8/1/011003/1156689/Probabilidades-de-acuerdo-para-modelo-computacional
