Comparar cosas es común en nuestra vida cotidiana. Si te falta algún ingrediente para una receta, es posible que tengas algo más a mano que podría servir como un buen sustituto. Para decisiones de comparación que requieren datos, es posible que se pregunte si una máquina más antigua tiene un rendimiento comparable al de una máquina nueva en un laboratorio o fábrica. ¿Es hora de reparar o reemplazar la máquina más antigua o su rendimiento es “lo suficientemente bueno” para seguir usándola? ¿Y cómo cuantificamos lo que significa “suficientemente bueno” en este contexto?
Convencionalmente, comparar dos cosas requiere el uso engorroso y a menudo contrario a la intuición de la prueba de hipótesis. Sin embargo, simplemente rechazar o no rechazar la hipótesis nula puede no abordar suficientemente la pregunta que esperamos responder. Entonces, ¿cómo podemos determinar de manera más efectiva si dos cosas son iguales, similares o diferentes? La respuesta se puede encontrar utilizando la metodología de probabilidad de acuerdo (PoA) para evaluar la equivalencia práctica , que es una de las áreas de especialización de Nathaniel Stevens. Fue nuestro invitado más reciente en Statistical Speaking y estuvimos encantados de aprender más sobre este marco potente y flexible.
Nathaniel es profesor asistente de Estadística en el Departamento de Estadística y Ciencias Actuariales de la Universidad de Waterloo. Ha ganado varios premios, el más reciente la Medalla Feigenbaum de la Sociedad Estadounidense de Calidad de 2023 y el Premio Søren Bisgaard de 2021 por su trabajo en probabilidad de acuerdo bayesiano.
Como teníamos más preguntas que tiempo para responderlas, Nathaniel aceptó amablemente compartir más de su experiencia aquí.
¿Cuáles son las limitaciones del marco del PoA?
El marco depende en gran medida del umbral de equivalencia 𝛅. Como tal, esto es algo que debe determinarse cuidadosamente. En ciertos entornos, esto puede resultar difícil de hacer. Y sin una consideración cuidadosa, esto podría ser elegido sin escrúpulos para lograr el resultado deseado. Por lo tanto, es imperativo que se elija 𝛅 teniendo en cuenta el contexto del problema.
¿Es PoA equivalente a cambiar el nivel de significancia a 0,1 (por ejemplo) en lugar del umbral de 0,05 utilizado en una prueba de hipótesis tradicional?
No, la relación entre el análisis del PoA y la prueba de hipótesis no es tan sencilla. Aunque existen muchas encarnaciones del PoA, para ayudar a desarrollar la intuición sobre lo que cuantifica y cómo se relaciona con otras medidas de evidencia, consideremos un ejemplo ilustrativo en el que simplemente deseamos determinar si un parámetro θ se encuentra dentro del intervalo [-𝛅, 𝛅 ].
Esto se puede hacer (por ejemplo) con valores p de segunda generación [1] , una prueba de equivalencia [2] , métodos basados en intervalos [3],[4] o la probabilidad de acuerdo frecuentista [5] . Todos estos enfoques, mediante diferentes métodos, buscan caracterizar la ubicación y dispersión de la distribución muestral de θ-hat específicamente en relación con el intervalo [-𝛅, 𝛅]. Los métodos basados en intervalos tienden a comprobar si un intervalo de confianza para θ se encuentra completamente fuera o dentro de [-𝛅, 𝛅]. Los valores p de segunda generación miden hasta qué punto se superponen dichos intervalos estadísticos [-𝛅, 𝛅]. Los valores p asociados con dos pruebas unilaterales (TOST) en conjunto miden la proporción de la distribución muestral de θ-hat que se encuentra fuera de [-𝛅, 𝛅]. Y el PoA frecuentista mide la proporción de esta distribución que se encuentra dentro de [-𝛅, 𝛅]. Todos estos métodos, de maneras similares aunque sutilmente diferentes, cuantifican la evidencia a favor del enunciado θ ∈ [-𝛅, 𝛅] .
¿Se enseña PoA en las escuelas? ¿Cuándo empezo?
Que yo sepa, PoA aún no se enseña en los cursos. La idea es bastante sencilla y espero no ser el primero en considerarla. Por lo tanto, no puedo decir con certeza cuándo se implementó la primera instancia de esta idea. Sin embargo, el marco que mis colaboradores y yo comenzamos a construir comenzó aproximadamente en 2015.
Este es un problema más general con la enseñanza de cualquier metodología que tenga en cuenta explícitamente la equivalencia práctica. Estas metodologías (por ejemplo, pruebas de equivalencia) rara vez se enseñan en cursos introductorios. La amplia aceptación de esta clase de métodos requiere un cambio de paradigma en la pedagogía, que se espera que se produzca mediante el cambio de paradigma que estamos experimentando en la disciplina estadística con respecto a la importancia estadística frente a la práctica.
¿Qué significa “IDH”?
IDH es un acrónimo de "intervalo de mayor densidad". En términos generales, un IDH es el subconjunto de soporte de una distribución univariada que tiene mayor densidad [6] . La idea se utiliza comúnmente en la inferencia bayesiana como un tipo particular de intervalo de credibilidad posterior. Por ejemplo, considere la distribución posterior de un parámetro θ y considere un intervalo [L, U ] que contiene el 95% de la distribución y por tanto, contiene θ con probabilidad 0,95. Un intervalo así no es único. El IDH del 95% es el intervalo más corto que contiene θ con probabilidad de 0,95.
¿Cómo se define el término “heteroscedasticidad”?
En términos generales, la heteroscedasticidad se refiere a una varianza no constante. Por el contrario, la homocedasticidad se refiere a una varianza constante. En el contexto de comparación de sistemas de medición, la heterocedasticidad es relevante porque la variabilidad de un sistema de medición (es decir, su repetibilidad) puede no ser una constante fija; en cambio, puede ser una función del artículo que estás midiendo. Por ejemplo, las medidas pueden volverse más/menos variables si el artículo que se mide es grande/pequeño. Sin embargo, la distinción entre homocedasticidad y heterocedasticidad es relevante en un sentido más amplio. Por ejemplo, la inferencia dentro de la regresión de mínimos cuadrados ordinaria se basa en un supuesto de varianza constante, lo que da lugar a la necesidad de transformaciones que estabilicen la varianza (por ejemplo, la transformación logarítmica) en presencia de heterocedasticidad.
¿Hay alguna consideración especial que deba hacerse al evaluar el acuerdo/no inferioridad basándose en ratios?
El PoA (y las métricas de probabilidad comparativas relacionadas) se pueden definir con respecto a la diferencia aditiva C 1 - C 2 o la diferencia relativa C 1 /C 2 . Además de tener cuidado de especificar correctamente la distribución de C 1 /C 2 , la única otra consideración clave cuando se trabaja con razones es cómo definir la equivalencia práctica y, por tanto, la región de equivalencia práctica (o no inferioridad).
En este caso, determinar si C 1 /C 2 es prácticamente diferente de 1 es de interés. Por tanto, es sensato definir la región de equivalencia práctica como [(1 + δ) -1 , 1 + δ] donde aqui 𝛅 se elige en reconocimiento del hecho de que un aumento porcentual del 100𝛅% es el más pequeño que es prácticamente importante. Dicho intervalo es simétrico alrededor de 1 en la escala relativa y es invariante para el etiquetado (potencialmente arbitrario) del Grupo 1 frente al Grupo 2. El PoA se define entonces como
¿Cómo se define el límite de equivalencia para el modelo de Cox? ¿Cómo se utiliza el límite de equivalencia en el modelo de Cox?
El PoA no se ha desarrollado específicamente para su uso con el modelo de riesgo proporcional de Cox, pero ciertamente podría serlo. Definir el margen de equivalencia en este caso requeriría pensar en cuán diferentes (en la escala aditiva o relativa) deben ser dos funciones de peligro antes de que se vuelva prácticamente relevante. Este margen de equivalencia puede ser una constante o puede depender de las covariables del modelo. Hay matices y flexibilidad a este respecto. Insto a alguien a que prosiga este desarrollo metodológico; podría ser de gran utilidad.
¿Conoce modeladores climáticos que utilicen estos métodos para evaluar sus modelos?
No específicamente, no. Lo más parecido que conozco es un artículo reciente de Ledwith et al. (2023) [7] que utiliza la probabilidad de acuerdo para validar modelos computacionales de manera más general. Pero espero que una metodología como ésta pueda ser útil para la evaluación de modelos climáticos.
Agradecemos a Nathaniel por tomarse el tiempo para compartir más de sus pensamientos sobre este concepto flexible y poderoso. Si te perdiste la transmisión en vivo, mira el episodio a pedido de Statistical Speaking.
[1] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1537893
[2] https://www.routledge.com/Testing-Statistical-Hypotheses-of-Equivalence-and-Noninferiority/Wellek/p/book/9781439808184
[3] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1564697
[4] https://psycnet.apa.org/record/2012-18082-001
[5] El PoA bayesiano también sería útil aquí, pero para limitar el alcance de la discusión, me centraré en la versión frecuentista.
[6] Las regiones de mayor densidad (HDR) son el análogo multivariado.
[7] https://asmedigitalcollection.asme.org/verification/article/8/1/011003/1156689/Probabilities-of-Agreement-for-Computational-Model
