Redes neuronales y pequeños conjuntos de datos: ¿cuáles son las soluciones en validación y modelado predictivo?Estimados colegas,
Esta pregunta puede ser bastante filosófica y me gustaría conocer la opinión de los especialistas para evitar especulaciones.
Hablando de conjuntos de datos pequeños, por ejemplo, de alrededor de 80 a 300 instancias (filas), ¿sería suficiente aplicar redes neuronales en general? En caso afirmativo, entonces:
- ¿Qué métricas son las más críticas para las respuestas categóricas y continuas, respectivamente?
- ¿Qué estrategia de validación es preferible excepto la validación cruzada K-fold? ¿O sólo validación cruzada K-fold?
Estaría muy agradecido por tu consejo.
Muchas gracias,
Miguel
Ingeniería de Calidad y ProcesosRe: Redes neuronales y pequeños conjuntos de datos: ¿cuáles son las soluciones en validación y modelado predictivo?¡Las 2 respuestas anteriores son absolutamente EXCELENTES! Casi siempre digo que el tamaño no importa (en realidad para enfatizar las cuestiones representativas). Doy un ejemplo conceptual. Pregunto ¿cuál es el mejor tamaño de muestra?
a. 10.000 o
b. 5
Ahora el problema que hay que descubrir es la variación diaria. Las 10.000 muestras se toman en 1 día, las 5 son 1 muestra al día durante 5 días. Entonces, ¿cuál es mejor?...obvio.
Re: Redes neuronales y pequeños conjuntos de datos: ¿cuáles son las soluciones en validación y modelado predictivo?SIEMPRE debe preocuparse por el tamaño del conjunto de datos, siempre que el conjunto de datos sea una muestra de alguna población de interés. Pero no es sólo el tamaño... el tamaño influye en el riesgo estadístico, pero contribuye poco o nada más que al riesgo de representación.
¿Por qué hay que preocuparse siempre por la talla? Porque siempre habrá riesgo de errores de tipo I o tipo II independientemente del tamaño de la muestra. Recuerdo que hace años, en un folleto publicitario del programa de Maestría en Ciencias en Estadística Matemática Aplicada del Instituto Tecnológico de Rochester, en el folleto definían 'estadística' como la 'Ciencia de la toma de decisiones ante la incertidumbre'. Es esta incertidumbre, que se compone de dos componentes, el riesgo estadístico, que está influenciado/controlado en parte por el tamaño de la muestra, y el riesgo de representación. El tamaño de la muestra habla sólo del riesgo estadístico... no del riesgo de representación.
Un ejemplo pequeño pero ilustrativo de la interacción del riesgo estadístico y de representación: supongamos que tenemos montones (ese es un término no científico para una GRAN cantidad de datos) de observaciones en el equipo piloto y a escala y tenemos valores de p para morirse... casi certeza absoluta de que tenemos TODAS las variables x clave y ninguna de las variables no influyentes en nuestro modelo. PERO, y aquí hay un gran PERO, ahora vamos a hacer PREDICCIONES sobre los procesos de fabricación y la escala de fabricación... digamos, pasando de la escala del vaso de precipitados (piloto) a la escala del vagón (de fabricación). Y se descubre que nuestros resultados ni siquiera se acercan a las predicciones. Entonces el TAMAÑO de la muestra no significaba nada. El riesgo de representación te mordió el trasero a lo grande.
Por qué la gente se centra en el tamaño de la muestra y prácticamente ignora el riesgo de representación me resulta alucinante. Lo entiendo... es fácil hablar de riesgo estadístico, alfa, beta, diferencia para detectar, errores de tipo I y II, todo es muy fácil de entender y ahora tenemos computadoras que nos dicen lo que necesitamos. Ya sabes... ya no necesitas esas molestas tablas de búsqueda ASQ/ANSI.
Pero NUNCA se olvide del riesgo de representación... despotricar.
Re: Redes neuronales y pequeños conjuntos de datos: ¿cuáles son las soluciones en validación y modelado predictivo?Este es un tema muy amplio y no es fácil responder al mismo.Sólo diría que siempre vale la pena intentar modelar tus datos, pero cuanto más pequeño sea el conjunto de datos, más humilde debes ser con respecto a cualquier cosa que creas encontrar.Ciertamente no existe un número crítico de observaciones que puedan derivarse de un número dado de variables, y claramente cuantas más variables tenga, más observaciones necesitará para darle sentido a los datos.De hecho, vale la pena considerar lo contrario: si sólo se tienen unas pocas variables, no se necesitan tantas observaciones para construir un modelo "sensible", pero eso no debería ser una fuente de confianza.Todo lo contrario: si sólo tienes unas pocas variables, entonces te estás perdiendo gran parte (o la mayor parte) de la imagen.Una pieza fundamental del rompecabezas tiene que ver con cuánta estructura teórica se puede imponer a los datos.En las ciencias físicas suele haber una teoría bien desarrollada que conduce más o menos directamente a una estructura para modelar los datos.En las ciencias sociales esto es mucho menos cierto.Pero la conclusión para mí es que no hay otra alternativa que intentar construir modelos (si no construyes ningún modelo, ¿en qué se basarán las decisiones?).La clave (para mí) es no exagerar el poder de sus modelos, y esto está relacionado con la cantidad de variables y observaciones que tenga.
Re: Redes neuronales y pequeños conjuntos de datos: ¿cuáles son las soluciones en validación y modelado predictivo?Tienes razón. Y ahora está surgiendo una nueva cuestión: ¿vale la pena crear un conjunto de modelos para conjuntos de datos pequeños en general? No sólo NN. Temo proponer modelos predictivos en tales casos.
Permítanme reformular esta pregunta: ¿qué cantidad de instancias (filas) y/o propiedades (columnas) es suficiente para realizar un modelado predictivo sin preocuparme por el tamaño del conjunto de datos?
Gracias
Re: Redes neuronales y pequeños conjuntos de datos: ¿cuáles son las soluciones en validación y modelado predictivo?Con respecto a su pregunta sobre las redes neuronales en particular, no he tenido mucho éxito con NN para conjuntos de datos pequeños; creo que generalmente funcionan mejor cuando tienes muchos datos.Sin embargo, independientemente de eso, le sugeriría que ejecute una variedad de modelos predictivos: árboles de decisión, árboles potenciados, bosques aleatorios, regresión logística/múltiple, etc.Los compararía en términos de su precisión (usando ROC, R2, clasificaciones erróneas de interés particulares, etc.) pero también en términos de qué variables identifican como las más importantes.Si bien la cuestión de la predicción versus la comprensión es importante, creo que la predicción sin comprensión será, en última instancia, menos valiosa que tener un modelo que tenga sentido.No es necesario elegir una técnica de modelado: es fácil ejecutarlas todas con los mismos datos y comparar/contrastar lo que se obtiene.
Re: Redes neuronales y pequeños conjuntos de datos: ¿cuáles son las soluciones en validación y modelado predictivo?Esa es una excelente entrevista, gracias. @P_Bartell . lo haré también ser filosófico ...Creo que el modelado predictivo requiere comprender las relaciones causales de los "fenómenos" de interés. Algún orden racional de pensamiento puede verse así: tenemos que descubrir cómo cuantificar los fenómenos de interés (y si los sistemas de medición son adecuados). Luego construimos hipótesis sobre por qué varían los fenómenos (me gusta pensar que estas hipótesis tienen sus raíces en las ciencias naturales). Esto lleva a probar nuestras hipótesis mediante muestreo o experimentación dirigida. Sí, las hipótesis se construyen antes de recopilar los datos. Si no tiene hipótesis, puede utilizar técnicas de "minería de datos" para estimular tu mente para crear/desarrollar hipótesis. Desde mi perspectiva, tener un modelo que describa el conjunto de datos disponible (por ejemplo, redes neuronales) sin proporcionar información y comprensión sobre cuáles son las relaciones causales no será un modelo predictivo eficaz.
Palabras para vivir: todas las preguntas que se pueden responder, las herramientas a utilizar para el análisis, la confianza en las conclusiones que se extraerán y la capacidad de extrapolar los resultados DEPENDEN DE CÓMO SE ADQUIRIERON LOS DATOS.
Re: Redes neuronales y pequeños conjuntos de datos: ¿cuáles son las soluciones en validación y modelado predictivo?Dejaré la conversación sobre validación cruzada a otros. Esta es mi opinión sobre la aplicabilidad de las redes neuronales... y también seré filosófico. Creo que la cuestión de la aplicabilidad sin contexto respecto del problema práctico en cuestión, los datos (si el conjunto de datos es amplio/estrecho, multicolineal, etc.), los riesgos tanto estadísticos como de representación, y el caso de uso final del modelo, tendrán un impacto mayor influencia en la aplicabilidad del método en comparación con el tamaño de la muestra por sí solo.
Por ejemplo: ¿Cuál es el propósito del estudio? ¿Predicción o exploración? ¿Existe la oportunidad de realizar estudios adicionales... quizás en el contexto de experimentos diseñados? Y así sucesivamente.
Para obtener algunos comentarios interesantes sobre el constructo de predicción versus exploración, sugiero echar un vistazo a esto:
https://www.jmp.com/en_us/events/ondemand/analytically-speaking/to-explain-or-predict-that-is-the-question.html
