Bienvenido a la primera de una serie de publicaciones de blog en las que exploraremos la validación en el modelado. Quédese conmigo: entiendo que puede que este no parezca el tema más interesante. Pero es EL método clave que hace posible el análisis de datos moderno. Sin validación, los algoritmos sofisticados de aprendizaje automático, como las máquinas de vectores de soporte y las redes neuronales, son casi inútiles. Y si bien puede verse como un enfoque bastante “tonto” que simplifica enormemente el proceso de aprendizaje a partir de los datos, también debe aplicarse con cuidado, utilizando su mejor comprensión del proceso o sistema que generó los datos. Comprender la validación es fundamental para su éxito en la era moderna del análisis de datos.
En publicaciones futuras, hablaremos sobre los conceptos básicos de retención y validación cruzada y lo fácil que es con la herramienta Crear columna de validación en JMP Pro. Veremos algunos estudios de casos de ciencia e ingeniería que ilustran la necesidad de garantizar la validación cruzada adecuada (BCV) y el análisis Bootstrap adecuado (BBA). También cubriremos enfoques de vanguardia, incluidos los modelos de conjuntos autovalidados (SVEM) para datos más pequeños, como experimentos diseñados. Con suerte, comprenderá por qué JMP es excepcionalmente útil para permitir a los científicos e ingenieros aplicar análisis de datos modernos con confianza. Primero, hablaremos de la necesidad de generalización.
Generalizabilidad y crisis de replicación
El tema de esta serie surgió de conversaciones con Chris Gotwalt, científico jefe de datos de JMP, y Ron Kenett, presidente del grupo KPA. Hablamos de la generalización, de cómo es un proceso formal en estadística pero también parte de la naturaleza humana.
Ron: “Generalizamos todo el tiempo. De nuestra experiencia en un restaurante inferimos cuál será nuestra experiencia en otro restaurante de la misma cadena. O inferimos de un proyecto de ingeniería a otro”.
Chris: “Eso es el aprendizaje. ¡La mayor parte de esto no sucede en una tabla de datos JMP!
Chris Gotwalt, JMP Chief Data ScientistChris Gotwalt, científico de datos jefe de JMP
Ron Kenett, Chairman of the KPA GroupRon Kenett, presidente del grupo KPA
En la investigación académica, la reproducibilidad siempre ha sido importante: es una piedra angular de la ciencia que debería ser posible replicar los hallazgos de cualquier estudio de forma independiente. Ha sido un tema particularmente candente desde que se acuñó por primera vez el término “crisis de replicación” a principios de la década de 2010, con el reconocimiento generalizado de algunos problemas graves en los campos de la psicología y la medicina. Pero la generalización también está a la vanguardia en ciertas industrias. La generalización mejora la reproducibilidad.
Chris: “En una industria regulada como la farmacéutica, siempre ha sido fundamental saber que una afirmación es generalizable y puede defenderse como una “verdad”. Sería costoso en muchos sentidos si su medicamento fuera notablemente menos seguro o efectivo en la población general de lo que prometió según los hallazgos de su ensayo clínico. Pero los usuarios de JMP trabajan más a menudo en la resolución y mejora de problemas industriales”.
Ron: “Definimos la generalización como una de las ocho dimensiones que afectan la calidad de la información. Abordarlo mejora la calidad de la información derivada del análisis de datos”.
Se puede ignorar la generalización, pero todavía hay un alto costo por hacerlo mal. Si la solución que concluyó a partir de sus experimentos no funciona cuando la pone en producción, entonces probablemente habrá desperdiciado material costoso, tiempo de fabricación y todo el esfuerzo al tener que volver a resolver el problema nuevamente en I+D. Por el contrario, si lo hace bien y confía en sus soluciones, puede evitar el desperdicio y acelerar el ritmo de la innovación.
Generalizabilidad en la analítica moderna
En el mundo de los datos “pequeños” utilizamos medidas estadísticas como el valor p para comprender el riesgo de hacer inferencias que no se generalizarán. Estas herramientas se inventaron para permitirnos utilizar una pequeña muestra de datos para generar información confiable sobre la población o el sistema más grande que realmente nos importa. Desafortunadamente, los valores p pueden malinterpretarse, usarse indebidamente e incluso abusarse.
Ron: “Mucha gente entiende el valor p como la probabilidad de que una hipótesis se cumpla, lo cual es engañoso. La forma en que se enseña es mayoritariamente correcta, pero la forma en que se utiliza es mayoritariamente incorrecta”.
A pesar de estos problemas y de estar implicados en las causas de la crisis de replicación a la que nos referimos anteriormente, los valores p han sido de gran utilidad para los científicos e ingenieros. Con datos más grandes y métodos de modelado más nuevos, como las redes neuronales artificiales, debemos considerar diferentes herramientas para garantizar la generalización.
Espero que me acompañen en la próxima publicación de esta serie, donde ilustraremos esto con un ejemplo de ciencia e ingeniería. Comenzaremos mostrándole cómo generar hallazgos que NO se generalicen. Gracias a todas las protecciones que los desarrolladores han implementado, esto es bastante difícil en JMP. Esto será útil para comprender cómo las herramientas de JMP lo protegen contra este tipo de problemas y cómo la validación le facilita aplicar análisis con confianza.
Aprende más:
Tengo muchas ganas de aprender de esta serie.
¡Me parece ver un documental interesante de la televisión!
Teniendo en cuenta que esta es una publicación sobre generalización, creo que la afirmación "los valores p han servido en gran medida a científicos e ingenieros" es algo engañosa. Los valores p (posiblemente) pueden ser útiles para pensar en la generalización de una muestra a la población de la que se extrajo. Pero muchas, si no la mayoría, de las aplicaciones implican generalizar a partir de una muestra a una población algo diferente: un período de tiempo diferente, una ubicación diferente, personas diferentes, etc. Los valores p realmente no sirven bien a nadie en esas situaciones sin la suposición de que la La población sobre la que está haciendo inferencias es esencialmente la misma que la población de la que se extrajo la muestra. Esa suposición puede ser razonable para contextos de ingeniería, pero no tanto para las ciencias sociales. Con demasiada frecuencia, la adecuación de la muestra a la población para la cual se están haciendo inferencias se pasa por alto confiando en el valor p para solucionarlo de alguna manera.
