Nivel: intermedio
Philip J. Ramsey, científico de datos sénior, consultor y profesor, North Haven Group y University of New Hampshire
Trent Lemkus, PhD Candidato en Estadística, Departamento de Matemáticas y Estadística, Universidad de New Hampshire
Christopher Gotwalt, Director de Investigación y Desarrollo Estadístico de JMP, SAS
El objetivo principal de la experimentación diseñada (DOE) es a menudo la predicción del comportamiento futuro del sistema, pero históricamente no existía ningún método directo para evaluar el rendimiento de la predicción del modelo. Las estrategias de validación de predicción utilizadas con Big Data no son factibles con DOE. Gotwalt y Ramsey (2018) introdujeron una nueva estrategia de modelado predictivo para DOE llamada bootstrapping con ponderación fraccionada con autovalidación (FWB + AV). El método amplía las estrategias de selección de modelos de tipo de aprendizaje automático que aprovechan la validación cruzada de holdout a pequeños conjuntos de datos donde no es posible mantener incluso una sola fila para una evaluación independiente del ajuste del modelo. La autovalidación explota un esquema de ponderación único y conceptos de arranque para determinar el subconjunto de efectos experimentales más importantes para la predicción. A pesar de ser un desarrollo muy reciente, los autores ya lo ven poner en práctica en compañías biotecnológicas y farmacéuticas en los Estados Unidos y Europa. Esto ha acelerado la importancia de evaluar el rendimiento de FWB + AV en relación con otros enfoques competitivos para la selección de modelos. Utilizando técnicas de simulación innovadoras, demostramos que FWB + AV supera a prácticamente todas las técnicas de construcción de modelos predictivos comúnmente utilizadas con DOE, según lo medido por la precisión predictiva del modelo final utilizado. En esta charla discutimos los resultados de la simulación y mostramos cómo realizar fácilmente FWB + AV con JMP Pro. Además, FWB + AV se demostrará en vivo utilizando estudios de casos reales. FWB + AV permite que los algoritmos de aprendizaje automático potentes, utilizados con grandes datos, se apliquen al modelado DOE.
