Hola,
tenemos una empresa farmacéutica que necesita documentación nuestra (papel en blanco, publicación científica, ...) para justificar la técnica de modelado que utilizan (según los resultados que utilizaron Lasso, selección directa, selección directa en dos etapas). Por el momento sugerí que la selección basada en AICc es la justificación correcta, pero me pregunto si tenemos alguna documentación que pueda ayudarlos.
Emmanuel
@clay_barker
Para utilizar el AICc existe el excelente libro de Burnham y Anderson "Selección de modelos e inferencia multimodelo".En el libro, explican cómo AICc es una guía muy versátil para decisiones sobre qué variables / efectos incluir y también para guiar decisiones sobre qué distribución de respuesta usar.Tienen el libro, que puede pedir, pero los autores también tienen monografías disponibles gratuitamente que transmiten la misma información.
Una cosa que se subestima mucho es cómo los procedimientos clásicos, especialmente los valores p, en particular, son una guía muy pobre para la selección de modelos. Las razones para esto son numerosas. Uno es que los valores p hacen la suposición crítica de que el modelo que se está probando es el único que se pretendía utilizar cuando se planificó el estudio. Cualquier procedimiento de selección, desde el lazo, a la selección hacia adelante, a la selección hacia atrás manual mediante la eliminación de términos con valores p "grandes", viola esta suposición tan pronto como se realiza el primer cambio en el modelo.Una vez que se ha realizado un único cambio en el modelo utilizando un algoritmo de selección, el comportamiento de los valores p ya no está definido.
Otro problema importante es que los valores p no se pueden usar para comparar modelos que no están ordenados, ya que un modelo es una simplificación o un caso especial del otro (como si un modelo fuera igual al otro, pero con ciertos coeficientes establecidos en cero). ).Por lo tanto, un modelo con dos efectos principales y una interacción entre ellos no se puede comparar utilizando métodos basados en el valor p con un modelo con tres efectos principales y sin interacción, ya que un modelo no contiene al otro.
Una deficiencia muy importante y subestimada es que no puede usar valores p para comparar diferentes distribuciones. Por ejemplo, si los datos son estrictamente positivos, debe considerar las distribuciones gamma y logarítmica normal, además del ajuste por mínimos cuadrados. La 'positividad' de la respuesta significa que matemáticamente debe haber términos de curvatura que estén activos donde la media es pequeña, en un ajuste de mínimos cuadrados, pero estas distribuciones no normales pueden manejar el límite en cero sin necesariamente necesidad de curvatura. Por lo tanto, a menudo puede obtener un mejor ajuste con menos términos ajustando modelos con diferentes distribuciones de respuesta. Usar el AICc (yo el BIC) para guiar la decisión con respecto a qué distribución tiene la respuesta y los efectos que son importantes es estadísticamente sólido y fácil de aprovechar para el profesional con un mínimo de capacitación.
Esta última cuestión de elegir distribuciones es importante y requiere un par de comentarios secundarios. Una es que la distribución de la respuesta * debe * decidirse en paralelo con la estructura del efecto. Es un error * importante * usar la plataforma de Distribución para decidir la distribución primero, ignorando los efectos, y luego ir a GenReg para decidir la estructura del efecto según la recomendación de Distribución. Clay Barker tiene presentaciones de Discovery sobre esto. Por ejemplo, suponga que tiene un factor de dos niveles y realmente hay una diferencia de medias entre los niveles. La plataforma de distribución le dirá que la distribución de respuesta es una mezcla de 2 gaussianos. Pero, una vez que el factor se incorpora al modelo, es probable que una distribución gaussiana (sin mezcla) sea la respuesta correcta.
El segundo aspecto de esto es el uso de distribuciones como una forma más basada en principios de resolver el problema que solía resolverse transformando la respuesta.En los viejos tiempos, intentaba modelar en la escala natural, luego modelaba en la escala de transformación logarítmica y luego tomaba algún tipo de decisión basada en diagramas de diagnóstico y otras cosas. No se podían comparar las SSE de los modelos en las dos escalas porque estaban en unidades diferentes, lo que significaba que los RSquares tampoco eran comparables. Por otro lado, está perfectamente basado en principios y es justo usar la selección hacia adelante y el AICc en la distribución normal (que es otra forma de decir mínimos cuadrados), y luego hacer lo mismo usando la distribución logNormal, y hacer la comparación final usando el AICc.
De todos modos, muchos de estos conceptos fueron aclarados por Burnham y Anderson, así como su razonamiento para las reglas generales para comparar AICc.El libro está dirigido a personas con un título en ciencias o ingeniería. Los autores son ecologistas. Por lo tanto, debería ser comprensible para una gran proporción de usuarios de JMP, y no es un tomo abstracto de estadísticas teóricas arcanas.
Tal vez para agregar sobre el tema, analizan sus DOE con GenReg y para sus clientes y autoridades necesitan justificar por qué usaron qué método para este análisis DOE, como dijo Emmanuel, por ejemplo, usar Lasso para RSM DOE. ¿Por qué usaron Lasso en lugar de Forward o Elastic net?
¿Existe alguna publicación a la que se pueda hacer referencia para que puedan enviar esta referencia de trabajo junto con su análisis?
@clay_barker @ chris_gotwalt1
