765772_es-ES

liliconcom

Significancia estadística

Hola,

Entonces ajusté un modelo de regresión. Y uno de los predictores tiene un valor P de 0,0538 para todo el modelo. ¿Debo eliminar completamente este predictor y usar el modelo reducido para las predicciones o está bien conservarlo?

¿Y cuál es la terminología para los valores P que rondan el 0,05? Vi en algunas fuentes web que entre 0,05 y 0,1 pueden considerarse marginalmente significativos. ¿Tiene algún sentido este término al explicar modelos estadísticos? Comparta sus ideas.

gracias de antemano

alemán

Análisis y modelado de datos básicosDiseño de experimentosRe: Importancia estadística

Aquí está mi sugerencia sobre si mantener o no el efecto con un valor p de 0,0538... inténtelo en ambos sentidos. Luego responda la pregunta '¿Qué modelo me ayuda a resolver mi pregunta práctica?' Y ve con ese modelo. Ha habido numerosos artículos y debates sobre dejar términos en un modelo o eliminarlos. En última instancia, depende de usted. No existe una solución única para esta cuestión en particular. No hay nada sagrado o sacrosanto alrededor de un umbral de significancia de 0,05. Es simplemente un valor que mucha gente usa de memoria y no por cualquier otro motivo. Podrías seleccionar fácilmente 0,01, 0,1 o cualquier otro valor. En cuanto a la terminología, no me preocupa eso... todo lo que diría es algo así como: "El efecto x no es significativo con un valor p de 0,05". Y dejar las cosas así. La importancia no es un precipicio... y los valores p tienden a empujar el pensamiento de las personas hacia esa mentalidad de precipicio.

Re: Importancia estadística

Permítanme complementar el buen consejo de P_Bartell. No sólo no hay nada sagrado en p=0,05, sino que desaconsejaría cualquier valor umbral sin realizar algún tipo de análisis de decisión. Si utiliza un umbral (y se da cuenta de que quizás ninguno sea necesario; por lo general, recomendaría crear el modelo e informar los resultados, independientemente de los valores de p) para tomar decisiones binarias (como mantener la variable en su modelo o no) , tenga en cuenta que de cualquier manera existe alguna posibilidad de error. Debe pensar en los costos relativos de los errores antes de decidir qué límite utilizar.

Más allá de eso, los límites son generalmente una mala idea. No recomiendo eliminar variables "insignificantes" de los modelos de regresión, nunca. Es de suponer que las variables estaban ahí por una razón. Pensaste que deberían importar. Si los datos son insuficientes para revelar su influencia, que así sea. Dejar caer la variable equivale a decidir que la variable no tiene influencia, algo de lo que no se tienen pruebas. Además, se cambiarán los coeficientes de todas las demás variables de su modelo. ¿Está preparado para decir que ahora serán más precisos que antes?

A pesar del uso generalizado de p=.05, conviene consultar la controversia de la ASA sobre los valores de p y algunas de sus declaraciones recientes al respecto. Algunas revistas de psicología han llegado incluso a desterrar los valores p. Muchas revistas seguirán rechazando artículos que no tengan valores de p <0,05. En medio de tanta confusión, aquí está mi propia opinión. Quiero saber el valor p; creo que es una indicación de qué tan fuerte es la señal con respecto a esa variable, en los datos que tengo (tenga en cuenta que incluso esa afirmación está abierta a críticas considerables). Prefiero no ver ninguna elección binaria: trato de nunca decir que la variable X influye o no en el resultado Y. Siempre es una cuestión de incertidumbre y solidez de la evidencia. El valor p es parte de esa evidencia, y cuando es alto te está diciendo algo. Omitir una variable por su valor p es decidir algo que no está basado en evidencia (equivale a decir que la variable X no importa). Si tiene pocas observaciones en relación con la cantidad de factores potenciales, puede usar Predictor Screening para ayudarlo a elegir cuáles usar, pero no hay nada que pueda hacer que cambie el hecho de que sus datos pueden no ser suficientes para los modelos. te gustaría construir.

Re: Importancia estadística

Gracias por hacerse eco exactamente de mis sentimientos. Cuando solía enseñar pruebas de hipótesis, presentaba el concepto de valores p y significancia estadística con un pequeño ejercicio con mi clase. Sacaba una moneda y les decía a los estudiantes: 'Vamos a hacer una pequeña prueba'. Voy a empezar la prueba diciéndoles que creo que tengo una moneda justa. Voy a lanzar la moneda y les diré el resultado del sorteo. Cara o corona. Quiero que escriba delante de usted el lanzamiento en el que está dispuesto a desafiar mi creencia en una moneda justa. Luego comenzaba a lanzar la moneda... cada vez diciéndoles a los estudiantes que era "cara", incluso si no era cara. Mi objetivo era lograr que determinaran cuándo se cruza el "umbral de importancia" para ellos y sólo para ellos. Por lo general, hacia el octavo lanzamiento, todo el mundo ha "rechazado" mi creencia. Luego comienzo con esta línea de preguntas: 'Dígame en el lanzamiento que finalmente estuvo convencido de que la moneda no fue justa, a mano alzada. ¿Un lanzamiento? (Normalmente nadie levanta la mano) ¿Dos lanzamientos? (Rara vez) ¿Tres lanzamientos? (Podría conseguir algunos) ¿Cuatro lanzamientos? (Ahora tengo muchos) ¿Cinco lanzamientos? (Casi todos) Seis lanzamientos (Sólo unos pocos se resisten) Luego tenemos una conversación sobre cómo la noción de "importancia" depende realmente de los ojos de quien toma las decisiones... no de un número probabilístico mágico. Les digo que espero que ahora hayan aprendido todo lo que hay que saber sobre la significancia estadística, estas cosas que llamaremos valores p, y cómo las personas toman decisiones en realidad... es un grado de creencia... y que mis amigos no es un valor estadístico.

Re: Importancia estadística

Hola @Mathej01 ,

Quizás le interesen las respuestas proporcionadas por otros miembros de esta comunidad sobre este tema muy relacionado : eliminación de términos de un modelo siguiendo un experimento diseñado.

No hay suficiente contexto o información para ayudarlo, pero aquí hay algunas preguntas, comentarios y consideraciones sobre la evaluación, comparación y selección de modelos:

• ¿Cuál es su fuente de datos y cómo se recopilaron? ¿Experimentos diseñados, conjunto de datos históricos, ...?
  Dependiendo de su respuesta, es posible que tenga más o menos confianza en los valores p encontrados. Para el conjunto de datos históricos, ejecutaría la plataforma de diseño Evaluate (utilizada para DoE) para evaluar la potencia disponible para los diferentes términos en el modelo asumido completo. Esto podría darle indicaciones sobre la "confiabilidad" de los valores p encontrados, y también sobre los de términos no significativos (¡debido a la muy baja potencia disponible!).
  
  
• ¿Cuál es vuestro objetivo con este modelo? ¿Explicaciones causales, predicción y optimización, ambas (también vinculadas al conjunto de datos disponible y al método de recopilación)?
  Al comparar modelos, la significancia estadística puede ser una métrica interesante, pero no la única (¡siempre agregue experiencia en el dominio!). Las métricas de estimación y evaluación complementarias del modelo, como log-verosimilitud, criterios de información (AICc, BIC) o métricas del modelo (poder explicativo mediante R2 y R2 ajustado, poder predictivo mediante MSE/RMSE/RASE, ...) ofrecen perspectivas diferentes y pueden resaltar diferentes modelos.
  Luego puede seleccionar, basándose en su experiencia en el dominio y la evaluación estadística, cuál(es) es(n) el(los) más apropiado(s)/relevante(s) para su tema, y ​​elegir estimar predicciones individuales con los diferentes modelos (para ver cómo/dónde difieren), y/ o utilizar un modelo combinado para promediar los errores de predicción.

En general, se evita el " culto a la significación estadística " por varias razones:

1. Hay otras métricas disponibles y complementarias para ayudarle a comparar y elegir los modelos más relevantes, y hay muchas situaciones en las que los valores p podrían estar distorsionados y no se debe confiar ciegamente en ellos (por ejemplo, con diseños de mezclas y el uso de modelo sin intersección).
2. Eliminar un término debido a un umbral específico puede ser una práctica peligrosa. En su ejemplo, ¿realmente debería descartarse el predictor con un valor p de 0,0538 porque no alcanzó 0,05? Suena demasiado cercano para rechazarlo, incluso si es superior a 0,05 (y ni siquiera estoy cuestionando aquí el valor umbral específico...). Y dependiendo del poder que tenga para este análisis predictivo, esto podría explicar por qué no alcanzó el umbral de significancia. Preferiría mantener términos no significativos en mi modelo que descartar un posible efecto significativo (pero aún no detectado).
3. " Todos los modelos son incorrectos, pero algunos son útiles " es una cita adecuada cuando se trata de múltiples modelos posibles y se intenta evaluar y seleccionar algunos para responder una pregunta. En su caso, puede haber varios modelos igualmente "estadísticamente buenos", por lo que siempre debe utilizar la experiencia en el dominio para ordenar los modelos y ayudar en la selección. También puedes seleccionar varios modelos y promediarlos/combinarlos.
4. No confunda la significancia estadística con la significancia práctica y use ambas para elegir su(s) modelo(s): dado que desea que su modelo sea útil, también debe observar la significancia práctica de este predictor: cuánto influye en la media de la respuesta. (tamaño del efecto) ? Si este predictor tiene un tamaño de efecto fuerte, puede ser más prudente mantenerlo en su modelo.

Espero que esta respuesta complementaria te ayude.