Pregunta conceptual sobre la validaciónEspero que personas con mayor formación estadística que yo puedan aclarar esta cuestión. JMP cuenta con sólidas capacidades de validación para todos los modelos predictivos, incluida la validación cruzada (aunque no en la plataforma Fit Model, salvo por la posibilidad de usar un conjunto de validación). Los científicos de datos suelen dividir sus datos en conjuntos de datos de entrenamiento y validación (y, en ocasiones, de prueba). Sin embargo, la mayoría de los trabajos publicados que utilizan métodos estadísticos tradicionales (regresión múltiple, regresión logística) no utilizan ninguna validación. Me he estado preguntando por qué. Entre las posibilidades que se me ocurren: (1) se considera que la significancia estadística hace innecesaria la validación; (2) una práctica histórica que cambia lentamente; (3) el énfasis está en la inferencia y no en la predicción (en la línea de las dos culturas de Brieman). En cualquier caso, no entiendo ninguna justificación para no utilizar la validación, así que me gustaría saber qué opinan.
Modelado predictivo y aprendizaje automáticoRe: Pregunta conceptual sobre la validaciónSospecho que gran parte de la falta de validación se debe a su segunda opción, especialmente en conjunción con otras prácticas/tradiciones que cambian lentamente. Si aceptamos la idea de que el mundo académico tiende a publicar solo hallazgos significativos , y si aceptamos el dicho de "publicar o morir", entonces naturalmente estamos desincentivando, al menos en pequeña medida, una comprensión extremadamente rigurosa antes de la publicación. Esto podría explicar en parte el reciente descubrimiento de que muchos estudios científicos no pueden duplicarse . En mi opinión, si la comunidad científica adoptara la validación con mayor facilidad y estuviera más dispuesta a publicar hallazgos "mundanos", esperaría ver resultados más fáciles de duplicar, pero quizás menos emocionantes.
Aunque fácilmente podría equivocarme o generalizar demasiado. Al igual que tú, me interesa escuchar las opiniones de los demás.
Re: Pregunta conceptual sobre la validaciónPrimero, define qué entiendes por validación. Una opción podría ser recopilar un conjunto de datos de algún espacio de inferencia y dividirlo aleatoriamente (?) de modo que solo una parte se use para desarrollar un modelo y el resto para ver qué tan bien ese modelo predice los datos a partir de los datos retenidos. Si bien esto puede ser una práctica aceptada, no es mi idea de validación (quizás sea el único que piensa así).
Una de mis convicciones es que para validar verdaderamente el modelo, debo generar muestras físicas y evaluar su precisión en la predicción de esas muestras. Para mí, la validación se refiere a la precisión con la que el modelo predice el futuro (condiciones cambiantes). Si ha diseñado su estudio con la suficiente precisión, en un espacio de inferencia suficientemente amplio (lo cual puede ser muy complejo y requerir muchos recursos), su modelo debería tener un mejor rendimiento en la predicción futura.
Re: Pregunta conceptual sobre la validaciónMe refiero a la primera definición (la que no te gusta), y creo que es a lo que la literatura se refiere como validación. Claro que casi todos los modelos se utilizan eventualmente para la predicción fuera de muestra y la partición no abordará las condiciones cambiantes futuras. Nada lo hará (al menos no a la perfección). En definitiva, tu segunda idea es necesaria: incluso si has "validado" un modelo en el primer sentido, deberías monitorear su rendimiento para ver si funciona lo suficientemente bien como para seguir usándolo. Pero la mayoría de los artículos publicados (excepto las revistas de ciencia de datos) ni siquiera realizan el primer tipo de validación, y pregunto por qué.
Re: Pregunta conceptual sobre la validaciónEstoy de acuerdo con todo lo que @statman y @Jed_Campbell han aportado. Lo único que añadiría es que quizás exista una cuarta "razón". Hasta que la validación de modelos se enseñe como un requisito del proceso extendido de resolución de problemas, del cual el modelado es un componente, no se verá mucha información al respecto en la literatura. Simplemente es otra consecuencia de la "práctica histórica que cambia lentamente".
Re: Pregunta conceptual sobre la validaciónHola @dlehman1 ,
Gracias por plantear una pregunta conceptual interesante. En general, coincido con lo que todos han comentado hasta ahora: es importante definir qué significa "validación" en este caso. Sin embargo, diría que la validación puede tener ambos significados: un conjunto de reserva para mejorar la predicción del modelo y la generación de nuevas muestras que prueben su capacidad predictiva.
Para mí, ambos son importantes y deben realizarse: uno para mejorar el modelo y el otro para asegurarse de que el modelo pueda funcionar, especialmente al generar nuevas muestras que están cerca de los límites del espacio de parámetros donde los modelos tienden a ser menos precisos.
En cuanto a por qué los trabajos publicados tienden a no usar validación, se debe en gran medida a lo que usted y @Jed_Campbell comentaron: la práctica histórica cambia lentamente, pero esto se debe más a las influencias dentro de la comunidad científica que buscan encontrar un resultado significativo en lugar de un modelo robusto. Mi formación es física, y los físicos son conocidos por crear modelos simples para una situación y luego extrapolarlos a otras. Tomemos como ejemplo el péndulo simple. Este es la base de casi todos los problemas básicos de física, pero en la práctica no es el mejor modelo; se le han realizado muchos ajustes y cambios para que funcione en otras situaciones no ideales (piense en tener que agregar el espín del electrón a la mecánica orbital de los estados electrónicos de un átomo).
En mi opinión, este simple péndulo no constituye un modelo muy robusto, pero sí satisface el interés y el deseo de "encontrar" algo significativo en los datos. Sin duda, es un buen comienzo, y todos debemos empezar por algún lado. Sin embargo, si se trata de generar un modelo más amplio y robusto que pueda utilizarse en áreas más generalizadas, se requiere validación en ambas definiciones discutidas.
Es posible que resultados más "mundanos" conduzcan en última instancia a modelos científicos más sólidos y mejores y a capacidades predictivas, pero es necesario que se produzcan cambios culturales en la comunidad científica y que se deje de dar importancia a los nuevos hallazgos llamativos y ostentosos.
En resumen, diría que no solo la práctica histórica cambia con lentitud, sino que también es necesario un cambio cultural en la comunidad científica sobre qué y cómo deben reconocerse los resultados científicos. Una especie de reorientación de prioridades.
DS
Re: Pregunta conceptual sobre la validaciónTengo esto para ofrecer:
La literatura, tal como se ha desarrollado, parece desequilibrada por su relativa negligencia en cuanto a los aspectos científicos y lógicos del problema. Esto quizá era de esperar, ya que muchos autores, aunque matemáticos talentosos, evidentemente nunca se han dedicado a la disciplina específicamente educativa de ninguna de las Ciencias Naturales, nunca se han responsabilizado personalmente de la experimentación a nivel básico y carecen de experiencia directa con el tipo de material involucrado...
Sir Ronald Fisher, Coloquio. Int. Centenar. Nacional. Investigación científica, París, n.º 110: 13-19 (1962)
Re: Pregunta conceptual sobre la validaciónEste es un punto de vista común que he visto y ciertamente coincido con él en esencia. Sin embargo, creo que es inadecuado cuando se trata de ciencias sociales. Muchos de los temas (los efectos de los salarios mínimos, la política de competencia, los efectos psicológicos del uso de las redes sociales, etc.) no son susceptibles de experimentación científica de la misma manera que las ciencias físicas. Esto no exime a la gente de ignorar las buenas prácticas científicas, pero sí deja una brecha (una importante, en mi opinión) sobre cómo proceder en tales áreas de investigación. Y creo que esto se relaciona con el tema de la validación; en mi opinión, hace que el primer tipo de validación (partición aleatoria) sea más esencial en estas áreas (aunque no suficiente, como usted ha indicado).
Re: Pregunta conceptual sobre la validaciónHola @dlehman1 ,
Buen punto sobre las ciencias sociales. Es mucho más difícil replicar un DOE o generar una "nueva muestra" sin que las ejecuciones anteriores influyan en las respuestas de los participantes posteriormente. La experiencia de vida de una persona nunca es igual a la de otra.
Quizás podría darle la vuelta a esto y considerarlo como un cuestionario para las ciencias sociales. Quizás podría plantear a la comunidad científica preguntas como: al investigar su tema, ¿utiliza el concepto de validación durante el análisis y la construcción de modelos? ¿Por qué utiliza o no la validación? ¿Conoce la práctica de usar la validación? Ofrecer preguntas abiertas puede brindar al encuestado la oportunidad de revelar más información. Sospecho que recibirá una multitud de respuestas diferentes, pero podría haber algunas que destaquen como más comunes, al menos desde una perspectiva conceptual/general y no específica.
DS
Re: Pregunta conceptual sobre la validaciónHmmm, ¿es inadecuado involucrar a expertos en la materia que trabajan en el campo de las ciencias sociales para que participen en el desarrollo de la encuesta o del plan de muestreo o del DOE o en la interpretación de los datos derivados de dichas herramientas?
¿Por qué no son susceptibles de experimentación científica de la misma manera que las ciencias físicas? Es cierto que los sistemas de medición son bastante complejos, pero ¿cómo la validación (exhibir un subconjunto de datos) mejora esto?
Re: Pregunta conceptual sobre la validaciónMe parece un comentario muy extraño. Supongamos que queremos estimar el efecto de los aranceles en el PIB. Los experimentos son difíciles y costosos de realizar, y toman tiempo, durante el cual cambian muchas otras cosas (¡por supuesto, estamos realizando un experimento de este tipo ahora!). Esto es bastante diferente a los experimentos en las ciencias sociales. Sin embargo, existen experimentos de este tipo en las ciencias sociales, y a veces hay experimentos naturales que pueden usarse (como los regímenes arancelarios existentes que muestran mucha variación). Por lo tanto, no descarto los experimentos en las ciencias sociales, pero me cuesta creer que usted crea que son tan factibles como en las ciencias físicas. Y, yo consideraría la medicina en un punto intermedio: hay muchos RCT, pero debido a los costos y las preocupaciones éticas, estos suelen ser tamaños de muestra mucho más pequeños de lo que nos gustaría (omitiendo así muchos análisis de subgrupos que desearíamos).
Me preguntas cómo la validación puede mejorar las cosas. No creo que sea suficiente para reemplazar los experimentos ideales que desearías, pero sí creo que es necesaria en su ausencia. Si el modelo no funciona con los datos que tenemos, ¿por qué deberíamos creer que funcionaría en el futuro?
Re: Pregunta conceptual sobre la validaciónSin duda, soy un poco peculiar y probablemente pienso diferente a ti. Si entiendes las diferencias entre las situaciones enumerativas y analíticas, te diré que estoy completamente inclinado hacia el enfoque analítico (soy un determinista convencido). Utilizo tanto el muestreo dirigido (basado en hipótesis) como la experimentación (con énfasis en cómo aumentar el espacio de inferencia y, al mismo tiempo, la precisión del diseño). Me interesan menos los estudios explicativos y más el modelado predictivo (aunque ambos pueden ser útiles).
Ningún experimento es "ideal" (de todos modos, no sabríamos si lo fuera). Por eso siempre propongo (y recomiendo) que el investigador desarrolle múltiples planes de experimentos/muestreo. Cada plan debe evaluarse en función del conocimiento potencial adquirido (p. ej., qué se puede asignar [modelo], qué se confunde, qué se restringe [inferencia]) y comparar ese conocimiento potencial con los recursos necesarios.
No quiero hablar de política. Creo que hay una causa para cada efecto. No me importa la disciplina. Cada disciplina tiene sus desafíos al usar las herramientas de adquisición de datos. Eso no es excusa para no usarlas.
