Pregunta conceptual sobre predicciones en bolsasHe luchado durante mucho tiempo buscando medidas de incertidumbre de modelos de aprendizaje automático que sean comparables a los errores estándar que se obtienen habitualmente de los modelos de regresión.Solo recientemente me he dado cuenta de algunas de las capacidades del generador de perfiles, en particular, las predicciones empaquetadas.Pero realmente no entiendo cómo (o si debería) interpretar esas predicciones empaquetadas.Cuando ejecuto un modelo de aprendizaje automático (por ejemplo, una red neuronal) y guardo las predicciones empaquetadas del generador de perfiles, obtengo una media empaquetada, el error estándar de la media empaquetada y la desviación estándar empaquetada.Comparando estos con un modelo de regresión (regresión múltiple, por ejemplo), he observado las siguientes relaciones:
- La media empaquetada pronosticada del NN es muy similar a la fórmula de predicción de la regresión múltiple.
- Los intervalos de predicción promedio del modelo de regresión múltiple son mucho más estrechos que los intervalos de predicción individuales como se esperaba (en el ejemplo que estoy viendo, el error estándar para la predicción promedio es aproximadamente 1/10 del tamaño del error estándar de las predicciones individuales) .
- El error estándar de la media empaquetada del NN es mucho más pequeño que la desviación estándar empaquetada (alrededor de 1/10 del tamaño en el ejemplo que estoy viendo).
Estas observaciones me tientan a pensar en el error estándar de la media empaquetada del NN como análogo al error estándar de las predicciones medias del modelo de regresión.De manera similar, la desviación estándar empaquetada puede ser similar al error estándar de las predicciones individuales del modelo de regresión.
Sin embargo, los errores estándar de los modelos NN y de regresión no se parecen en absoluto.Entonces, mi pregunta es si mi interpretación tiene algún sentido, o exactamente cómo se pueden interpretar o usar los errores estándar de la media empaquetada.
Gracias de antemano por cualquier idea.Adjunto un ejemplo concreto en caso de que ayude con mi pregunta (este es el conjunto de datos de validación de mi ejemplo de modelado, con las predicciones del modelo de regresión múltiple y NN incluidos).
AnalíticaRe: Pregunta conceptual sobre predicciones empaquetadasAnexo: en el archivo que adjunto, (sobre)estimé los errores estándar de la regresión múltiple.Los estimé utilizando los intervalos de confianza del 95% guardados.Se adjunta una versión revisada donde guardé los errores estándar directamente.Mi pregunta sigue siendo, ya que los errores estándar del NN parecen ser menos de la mitad de los de la regresión múltiple (en promedio) con poca correlación aparente dentro del conjunto de validación.Ambos modelos se ajustan bastante bien a los datos.Entonces, me pregunto si la interpretación de los errores estándar de la media empaquetada se interpreta adecuadamente como errores estándar asociados con las predicciones de la misma manera que se interpretan los errores estándar de las predicciones de la regresión múltiple.
Re: Pregunta conceptual sobre predicciones empaquetadasSi.
La plataforma Neural utiliza un modelo complejo, incluso con solo un puñado de nodos ocultos. Imagine agregar muchos términos al modelo de regresión. ¿Qué sucede con la RMSE? ¿Qué, a su vez, les sucede a los SE? ¿La complejidad de su modelo de regresión es comparable a la de la NN?
No estoy sugiriendo que esté haciendo un mal uso de NN u otros métodos de ML. Solo recuerda que TODO se trata de predicción, NADA de inferencia. Por lo tanto, la incertidumbre en las estimaciones no es importante, la precisión, la reproducibilidad y la generalización lo son todo. Por lo tanto, los modelos de predicción (no los modelos explicativos) usan medidas del MSE total (sesgo + varianza) para seleccionar el modelo y la "evaluación honesta" o validación cruzada para confirmar el modelo que se seleccionó.
Pero el punto principal es que no hay razón para que los SE de diferentes modelos sean iguales, incluso si sus predicciones de respuesta media son similares. Esta diferencia podría darle a un modelo una ventaja en su aplicación.
Re: Pregunta conceptual sobre predicciones empaquetadasMarcos, gracias.Eso ayuda un poco.Podría explicar por qué el NN da errores estándar más pequeños (aunque todavía me sorprende el tamaño de la diferencia cuando ambos modelos se ajustan tan bien a los datos).Pero realmente no parece explicar por qué casi no hay correlación en los errores estándar asociados con cada predicción.Los datos que publiqué no muestran prácticamente ninguna relación significativa entre el error estándar de predicción de cada observación entre los dos modelos.Ahora, para un modelo de regresión múltiple, tengo una idea de lo que determina los errores estándar asociados con diferentes observaciones, pero para el NN, realmente no lo tengo.¿Quizás esa es la razón por la que no están relacionados entre sí?¿Es esta una dimensión relacionada con la falta de interpretabilidad de los modelos NN?
Re: Pregunta conceptual sobre predicciones empaquetadasEl NN es un modelo de conjunto que es altamente no lineal. Compare eso con su modelo de regresión que podría tener términos de segundo orden. Los errores estándar son muy diferentes para estos dos tipos de modelos.
Personalmente, no estoy de acuerdo con la noción de que los NN no son interpretables o que los modelos de regresión lineal son interpretables. (Creo que es una tontería.) El efecto del predictor X es una combinación lineal de todos los términos que lo incluyen. Por ejemplo, no tiene sentido hablar de un 'efecto cuadrático'. Solo hay un término cuadrático en el modelo. Entonces, ¿cómo interpretamos el efecto de X cuando aparece en el modelo como X + X*X2 + X*X + X*X*X? Simplemente estamos acostumbrados a pensar en estos términos: tuvimos muchos años de exposición y tiempo para pensar en ello. Un NN es más de lo mismo (predictor lineal) puesto a través de una función de activación no lineal y agregado a más de lo mismo para cada nodo. Solo tenemos que pensar más.
No, no lo hacemos. Tenemos un perfilador que funciona con cualquier tipo de función (modelo).
Re: Pregunta conceptual sobre predicciones empaquetadasEstoy siguiendo lo que dices, pero creo que mi pregunta se ha convertido en algo diferente.Dejemos a NN fuera de esto.Dado que el generador de perfiles también está disponible en la plataforma de regresión múltiple, experimenté un poco para ver cómo se comparan los errores estándar de las predicciones empaquetadas con los guardados del modelo de regresión.Están correlacionados, aunque lejos de ser perfectos.La desviación estándar de predicción individual es mucho mayor que la desviación estándar de predicción media, como debería ser, y esto también se aplica a los dos errores estándar que obtiene cuando guarda las medias empaquetadas.Sin embargo, lo que me sorprende y no entiendo es por qué los errores estándar de guardar las predicciones empaquetadas (ya sea la versión individual o media) son un orden de magnitud más pequeños que los errores estándar del modelo de regresión.Mi entendimiento (que podría estar equivocado) es que los errores estándar de las predicciones se derivan teóricamente en el modelo de regresión y son el resultado del arranque en las predicciones empaquetadas.En teoría, deberían ser similares (al menos con suficientes muestras de arranque; utilicé 100 y 1000 y ambos dieron resultados similares), pero no lo son.
Entonces, parece que los errores estándar del perfilador son cualitativamente diferentes a los errores estándar del modelo de regresión.¿Por qué es ese el caso?
Re: Pregunta conceptual sobre predicciones empaquetadasTratando de ser más completo, se adjunta un pequeño archivo simple con un solo predictor.Construí el modelo de regresión y guardé las predicciones y los errores estándar (tanto medios como individuales).Usé el generador de perfiles para guardar las predicciones empaquetadas.Hay 3 gráficos xy que muestran la equivalencia (perfecta en este caso) de los valores predichos del modelo y del perfilador.Los gráficos de error estándar muestran fuertes correlaciones, pero también muestran que los errores estándar del generador de perfiles son considerablemente menores que los del modelo.Sospecho firmemente que los errores estándar del procedimiento de embolsado significan algo diferente.Espero que me puedas aclarar esto.
Re: Pregunta conceptual sobre predicciones empaquetadas" Mi entendimiento (que podría estar equivocado) es que los errores estándar de las predicciones se derivan teóricamente en el modelo de regresión y son el resultado del arranque en las predicciones empaquetadas.En teoría, deberían ser similares (al menos con suficientes muestras de arranque; utilicé 100 y 1000 y ambos dieron resultados similares), pero no lo son. "
¿A qué teoría te refieres?
Re: Pregunta conceptual sobre predicciones empaquetadasCreo que los intervalos de confianza de predicción para una regresión múltiple se derivan mediante fórmulas que se derivan de suposiciones sobre la estructura del error y el muestreo aleatorio (en última instancia, se derivan de la lógica que subyace en el teorema del límite central).Por otro lado, creo que las predicciones empaquetadas se derivan de bootstrapping, un enfoque empírico no paramétrico para derivar intervalos de confianza.También creo que estos dos enfoques son generalmente similares, a menos que los datos subyacentes tengan distribuciones inusuales y/o se utilicen tamaños de muestra insuficientes para el arranque.
En los archivos que adjunto, no creo que surja ninguno de estos problemas.Las predicciones medias son casi idénticas a partir de los 2 enfoques, pero los errores estándar del generador de perfiles son mucho más pequeños que los de los valores derivados teóricamente.Esto es lo que me hace pensar que no estoy entendiendo lo que significan los errores estándar del generador de perfiles.De lo contrario, ¿por qué alguien usaría los errores estándar derivados teóricamente?
Re: Pregunta conceptual sobre predicciones empaquetadas" Creo que los intervalos de confianza de predicción para una regresión múltiple se derivan a través de fórmulas que se derivan de suposiciones sobre la estructura del error y el muestreo aleatorio (en última instancia, se derivan de la lógica que subyace en el teorema del límite central).Por otro lado, creo que las predicciones empaquetadas se derivan de bootstrapping, un enfoque empírico no paramétrico para derivar intervalos de confianza.También creo que estos dos enfoques son generalmente similares, a menos que los datos subyacentes tengan distribuciones inusuales y/o se utilicen tamaños de muestra insuficientes para el arranque. "
¡Sí! Es decir, si usa la expresión teórica para el CI y el CI de arranque para el MISMO modelo de regresión lineal, las ESTIMACIONES DE CI deben coincidir.
Re: Pregunta conceptual sobre predicciones empaquetadasmarca
Luego, le pediría que mire el último conjunto de datos de ejemplo que publiqué.Los intervalos de confianza (errores estándar) ni siquiera están cerca de coincidir.Eso es para una regresión lineal simple y para comparar los errores estándar de predicción con los que provienen de guardar las predicciones empaquetadas del generador de perfiles.Estos últimos son mucho más pequeños que los primeros.Por eso estoy confundido.
