Bienvenido a la primera de una serie de publicaciones de blog en las que exploraremos la validación en el modelado. Quédese conmigo: entiendo que este puede no parecer el tema más emocionante. Pero es EL método clave que hace posible el análisis de datos moderno. Sin validación, los sofisticados algoritmos de aprendizaje automático, como las máquinas de vectores de soporte y las redes neuronales, son casi inútiles. Y si bien puede verse como un enfoque bastante "tonto" que simplifica enormemente el proceso de aprendizaje de los datos, también debe aplicarse con cuidado, utilizando su mejor comprensión del proceso o sistema que generó los datos. Comprender la validación es fundamental para su éxito en la era moderna del análisis de datos.
En publicaciones futuras, hablaremos sobre los conceptos básicos de Holdback y Cross Validation y lo fácil que es esto con la herramienta Make Validation Column en JMP Pro. Veremos algunos estudios de casos de ciencia e ingeniería que ilustran la necesidad de garantizar una validación cruzada adecuada (BCV) y un análisis de arranque adecuado (BBA). También cubriremos enfoques de vanguardia, incluidos los modelos de conjunto autovalidados (SVEM) para datos más pequeños, como experimentos diseñados. Con suerte, verá por qué JMP es especialmente útil para permitir que los científicos e ingenieros apliquen análisis de datos modernos con confianza. Primero, hablaremos sobre la necesidad de generalizabilidad.
Generalizabilidad y la crisis de replicación
El tema de esta serie surgió de conversaciones con Chris Gotwalt, científico jefe de datos de JMP, y Ron Kenett, presidente del Grupo KPA. Hablamos de generalizabilidad, cómo es un proceso formal en estadística pero también parte de la naturaleza humana.
Ron Kenett, Chairman of the KPA GroupRon Kenett, presidente del Grupo KPA
Ron: “Generalizamos todo el tiempo. De nuestra experiencia en un restaurante, inferimos cuál será nuestra experiencia en otro restaurante de la misma cadena. O inferimos de un proyecto de ingeniería a otro”.
Chris Gotwalt, JMP Chief Data ScientistChris Gotwalt, científico jefe de datos de JMP
Chris: “Eso es aprender. ¡La mayor parte de esto no sucede en una tabla de datos JMP!”
En la investigación académica, la reproducibilidad siempre ha sido importante: es una piedra angular de la ciencia que sea posible replicar los hallazgos de cualquier estudio de forma independiente. Ha sido un tema particularmente candente desde que el término "crisis de replicación" se acuñó por primera vez a principios de la década de 2010 con el reconocimiento generalizado de algunos problemas graves en los campos de la psicología y la medicina. Pero la generalización también está a la vanguardia en ciertas industrias. La generalizabilidad mejora la reproducibilidad.
Chris: “En una industria regulada como la farmacéutica, siempre ha sido fundamental saber que una afirmación es generalizable y puede defenderse como una “verdad”. Sería costoso en todo tipo de formas si su medicamento es notablemente menos seguro o efectivo en la población general de lo que prometió en base a los hallazgos de su ensayo clínico. Pero los usuarios de JMP trabajan más a menudo en la resolución y mejora de problemas industriales”.
Ron: “Definimos la generalizabilidad como una de las ocho dimensiones que afectan la calidad de la información. Abordarlo mejora la calidad de la información derivada del análisis de datos”.
Se puede ignorar la posibilidad de generalizar, pero todavía hay un alto costo por hacerlo mal. Si la solución a la que llegó a la conclusión de sus experimentos no funciona cuando la pone en producción, es probable que haya desperdiciado material costoso, tiempo de fabricación y todo el esfuerzo de tener que volver a resolver el problema en I+D. Por el contrario, si lo hace bien y confía en sus soluciones, puede evitar el desperdicio y acelerar el ritmo de la innovación.
Generalizabilidad en análisis moderno
En el mundo de los datos "pequeños", usamos medidas estadísticas como el valor p para comprender el riesgo de hacer inferencias que no se generalizarán. Estas herramientas se inventaron para permitirnos usar una pequeña muestra de datos para generar información confiable sobre la población o el sistema más grande que realmente nos importa. Desafortunadamente, los valores p pueden ser mal interpretados, mal utilizados e incluso abusados.
Ron: “Muchas personas entienden el valor p como la probabilidad de que se cumpla una hipótesis, lo cual es engañoso. La forma en que se enseña es mayormente correcta, pero la forma en que se usa es mayormente incorrecta”.
A pesar de estos problemas y de estar implicados en las causas de la crisis de replicación a la que nos referimos anteriormente, los valores de p han sido muy útiles para científicos e ingenieros. Con datos más grandes y métodos de modelado más nuevos, como redes neuronales artificiales, debemos considerar diferentes herramientas para garantizar la generalización.
Espero que me acompañen en la próxima publicación de esta serie, donde ilustraremos esto con un ejemplo de la ciencia y la ingeniería. Comenzaremos mostrándole cómo generar hallazgos que NO generalicen. Gracias a todas las protecciones que los desarrolladores han implementado, esto es bastante difícil en JMP. Esto será útil para comprender cómo las herramientas de JMP lo protegen contra este tipo de problemas y cómo la validación le facilita la aplicación de análisis con confianza.
