Pregunta conceptual sobre predicciones empaquetadasHe luchado durante mucho tiempo buscando medidas de incertidumbre de los modelos de aprendizaje automático que sean comparables a los errores estándar que se obtienen habitualmente de los modelos de regresión. Sólo recientemente me he dado cuenta de algunas de las capacidades del generador de perfiles, en particular, las predicciones en bolsas. Pero realmente no entiendo cómo (o si debería) interpretar esas predicciones empaquetadas. Cuando ejecuto un modelo de aprendizaje automático (por ejemplo, una red neuronal) y guardo las predicciones en bolsas del generador de perfiles, obtengo una media en bolsas, el error estándar de la media en bolsas y la desviación estándar en bolsas. Al compararlos con un modelo de regresión (regresión múltiple, por ejemplo), he observado las siguientes relaciones:
- La media en bolsa prevista a partir del NN es muy similar a la fórmula de predicción de la regresión múltiple.
- Los intervalos de predicción medios del modelo de regresión múltiple son mucho más estrechos que los intervalos de predicción individuales como se esperaba (en el ejemplo que estoy viendo, el error estándar para la predicción media es aproximadamente 1/10 del tamaño del error estándar de las predicciones individuales) .
- El error estándar de la media en bolsa del NN es mucho menor que la desviación estándar en bolsa (aproximadamente 1/10 del tamaño en el ejemplo que estoy viendo).
Estas observaciones me tientan a pensar que el error estándar de la media en bolsas del NN es análogo al error estándar de las predicciones medias del modelo de regresión. De manera similar, la desviación estándar empaquetada puede ser similar al error estándar de las predicciones individuales del modelo de regresión.
Sin embargo, los errores estándar del NN y los modelos de regresión no se parecen en absoluto. Entonces, mi pregunta es si mi interpretación tiene algún sentido o exactamente cómo se pueden interpretar o utilizar los errores estándar de la media en bolsas.
Gracias de antemano por cualquier idea. Adjunto un ejemplo concreto en caso de que ayude con mi pregunta (este es el conjunto de datos de validación de mi ejemplo de modelado, con las predicciones del modelo de regresión múltiple y NN incluidas).
Investigación de Consumidores y MercadosRe: Pregunta conceptual sobre predicciones empaquetadasGracias.Creo que estos intervalos de confianza serán extremadamente útiles, una vez corregidos.En la actualidad, son bastante engañosos (en un orden de magnitud, si usa 100 muestras de arranque).
Re: Pregunta conceptual sobre predicciones empaquetadasSí, confirmo que en la plataforma Profiler (en el menú Gráfico), cuando una fórmula Prediction Bagged Mean, acompañada de un StdError de la fórmula Bagged Mean, ingresa al cuadro de diálogo de inicio, la plataforma Profiler usa "StdError of the Bagged Mean" para producir intervalos
Estoy de acuerdo en que hay cosas que no están lo suficientemente claras y podrían mejorarse. Lo que no veo claro es el uso de "Intervalos de confianza" en la documentación de la página que señaló: Ejemplo de intervalos de confianza usando embolsado . No está claro acerca de los intervalos de confianza de qué, y la redacción probablemente sea engañosa.
Mientras tanto, su deseo de utilizar Bagged Std Dev para producir intervalos es una buena petición. Intenté poner esa columna en la plataforma Profiler y no la reconoce.
¿Podría ponerse en contacto con el soporte técnico de JMP en support@jmp.com y reportar sus inquietudes y solicitud?
¡Muchas gracias por mirar el software tan de cerca!
Re: Pregunta conceptual sobre predicciones empaquetadasGracias.He llegado a la misma conclusión.La pregunta restante, entonces, es cuál debe usarse para producir intervalos de confianza para los efectos del modelo.Creo que es la desviación estándar empaquetada y no el error estándar de la media empaquetada, y también creo que JMP ha estado usando (al menos en las instrucciones) este último para producir intervalos de confianza en lugar del primero.
Por favor confirme esto - o no.Para profundizar más, creo que el error estándar de la media empaquetada es útil para medir si tiene suficientes muestras empaquetadas (bootstrap) para estar satisfecho.Pero para medir la incertidumbre en el efecto de sus factores en su variable de respuesta, el error estándar de la media empaquetada no proporciona ninguna información útil.Es el desarrollador estándar empaquetado el que hace eso.Entonces, para producir los intervalos de confianza, después de guardar las medias empaquetadas, se debe abrir el Perfilador, seleccionar las medias empaquetadas y las desviaciones estándar empaquetadas, seleccionar la casilla para expandir fórmulas intermedias y el resultado serán los intervalos de confianza deseados.Tenga en cuenta que esto difiere de la ayuda de JMP:
https://www.jmp.com/support/help/en/16.1/?os=win&source=application&utm_source=helpmenu&utm_medium=application#page/jmp/example-of-confidence-intervals-using-bagging.shtml# .
Re: Pregunta conceptual sobre predicciones empaquetadasPermítanme tratar de explicar qué es el error estándar de la media empaquetada, por qué parece ser más pequeño.
Primero trato de guardar las predicciones empaquetadas con solo 3 muestras de arranque.
Aquí está el resultado. Hay 6 nuevas columnas.
Veamos qué son estas columnas.
Cada columna de las tres primeras es una columna de predicción de una muestra de arranque de los datos. Tenemos tres muestras de arranque, por lo que tenemos tres de ellas. Aquí hay tres fórmulas de predicción. Y son diferentes.
(A)
(B)
(C)
Ahora mire la 4.ª columna: Media de la bolsa de ventas de la fórmula Pred 2.
(D)
Entonces es el promedio de esas tres predicciones por filas.
Ahora observe la quinta columna: StdError Sales Bagged Mean 2.
(MI)
¿Qué es? Parece un error estándar de algún tipo de media. medio de que? Media de predicciones bootstrapped. En palabras, esto no es lo mismo que StdError de la media predicha.La media predicha es solo una de las muchas muestras de arranque, si cambia la perspectiva de mirarlo . Eso debería explicar por qué StdErr de Bagged Mean es más pequeño. Y se volverá mucho más pequeño si aumenta la cantidad de muestras de arranque.
Ahora, si miramos la última columna, y aquí está su fórmula:
(F)
Esta es la desviación estándar de las predicciones de arranque. Este valor, de hecho, debería estar cerca de "StdErr Pred Sales", y no disminuirá a medida que aumenta el número de muestras de arranque. Esta es la versión de arranque de su "StdErr Pred Sales". Si sospecha que el modelo no se ajusta bien a sus datos, por ejemplo, se pueden violar suposiciones, como que "StdErr Pred Sales" ya no tiene las distribuciones asintóticas del libro, la versión de arranque podría darle algo que es más honesto, si tienes que usar el modelo equivocado para la predicción.
Entonces, ¿por qué debería preocuparse por "StdError Sales Bagged Mean 2"? (E) allá arriba? Esta es la cantidad para evaluar si tiene suficientes muestras de arranque. Idealmente, desea que los valores sean muy pequeños, entonces puede confiar en sus valores empaquetados.
Re: Pregunta conceptual sobre predicciones empaquetadasMis datos de cobertura procedían de los errores estándar de predicción individuales: los guardé del modelo de regresión y usé la desviación estándar empaquetada del generador de perfiles.Para ver la media, habría usado Std Err Predicted y Std Error para la media empaquetada.Como dije (lea lo que escribí), no sé cómo calcular la cobertura para los intervalos de predicción medios, ya que solo tengo una observación para cada fila; si hay una manera de hacerlo, dígamelo.
Entonces, utilicé las predicciones individuales y JMP proporciona errores estándar para las predicciones individuales, así como predicciones medias (por supuesto, las primeras son mucho más grandes que las últimas).
Su otro comentario no aborda mis problemas.Conozco varias formas de comparar y evaluar los modelos.lo que me interesa son las formas de examinar la incertidumbre asociada con los modelos, no su precisión predictiva, sino la variabilidad de sus predicciones.El único método que conozco es la predicción conforme.Parecía que el generador de perfiles proporciona esa capacidad al proporcionar intervalos de confianza para las características del modelo.De hecho, parece que usted mismo sugirió esto al objetar mis afirmaciones de falta de interpretabilidad de los modelos de aprendizaje automático, como NN.
Creo que el generador de perfiles da un gran paso hacia la interpretabilidad.Muestra cómo la variación de las características afecta a la variable de respuesta.Si también puede proporcionar errores estándar (intervalos de confianza) para estos efectos, entonces esencialmente proporciona tanta interpretación como los modelos de regresión.Sin embargo, eso es con lo que estoy luchando: no estoy convencido de poder usar esos intervalos de confianza de esa manera.
Re: Pregunta conceptual sobre predicciones empaquetadasA continuación, utilice las medidas de rendimiento del conjunto de espera de validación para evaluar diferentes modelos.
Re: Pregunta conceptual sobre predicciones empaquetadas" Usando intervalos de confianza aproximados del 95 % (2 errores estándar alrededor de la predicción media correspondiente, usando los errores estándar para las predicciones individuales), la cobertura del valor Y real fue de 866 de 900 filas (alrededor del 95 %) para las predicciones del modelo, pero solo 222 de 900 para las predicciones empaquetadas. "
¿Está confundiendo el intervalo de confianza de la media y el intervalo de confianza de las observaciones individuales? El primero es un intervalo en el que esperamos que se ubique la respuesta media suponiendo que el modelo es insesgado. ¿Por qué esperaría que se produjeran observaciones individuales en ese intervalo?
" Dado lo extremos que son los resultados, esto me sugiere que los errores estándar del modelo (al menos para este modelo de buen comportamiento) son medidas precisas de la incertidumbre en las predicciones. "
No, no creo que su conclusión sea razonable. Está comparando la "cobertura" en función de las respuestas individuales, no de la media. El modelo trata sobre la ubicación: la respuesta media. El modelo predice la respuesta media. El intervalo de confianza se refiere a la incertidumbre en la respuesta media. El IC para el modelo dice que si tuviera que muestrear una y otra vez, el 95% de los modelos tendrían un intervalo de predicción que contiene la media de respuesta verdadera. No dice nada acerca de las observaciones individuales.
" Si ejecuto un modelo de clasificación usando NN, bosques aleatorios, árboles potenciados, etc., una deficiencia en comparación con la regresión logística es que estos modelos de aprendizaje automático no brindan una medida de incertidumbre en las predicciones. "
La predicción es sobre el futuro. El desempeño de la predicción de observaciones futuras es la base para una 'evaluación honesta'. La validación cruzada es una de las mejores formas de evaluar honestamente el modelo durante la selección y el modelo final después de la selección.Examinamos el conjunto de espera de validación o la prueba de espera de prueba para evaluar la incertidumbre. Estos modelos tienen que ver con la predicción, no con la inferencia. Eso no quiere decir que no sean útiles como modelos explicativos, pero es posible que no lo satisfagan completamente de esa manera. Entonces, por ejemplo, ¿cuál es el cuadrado R para la misma validación establecida en todos los modelos? (Tenga en cuenta que no estoy usando R cuadrado para seleccionar un modelo. Estoy usando R cuadrado para evaluar modelos seleccionados de varios tipos).
Re: Pregunta conceptual sobre predicciones empaquetadasEn mi ejemplo simulado, no tengo motivos para cuestionar la calidad de los datos o la idoneidad del modelo.No son datos de observación, ni es una muestra pequeña (es cierto, n=100 de una población de 1000 no es grande, pero la cobertura del intervalo de confianza es tan dispar que creo que el ejemplo nos muestra algo).No diré que embolsar es hacer trampa (un término cargado).Pero no siento que pueda confiar en los errores estándar que proporciona incluso para mi caso simulado.Soy muy reacio a usarlo para un caso en el que los datos y el modelo son más sospechosos.¿Puede proporcionar alguna orientación sobre dónde se puede usar?No quiero ser antagónico: me encanta JMP y me encanta el generador de perfiles, solo estoy tratando de ver si los intervalos de confianza que puede proporcionar son útiles.
Re: Pregunta conceptual sobre predicciones empaquetadas" Entonces, ¿por qué elegiría el intervalo de confianza mucho más amplio? "
Porque cuestionas la calidad o la validez de los datos o del modelo.
Probablemente no usaría el embolsado y sus predicciones con un experimento de detección porque es probable que el modelo esté sesgado. Probablemente no usaría el embolsado y sus predicciones con un modelo basado en una pequeña muestra de datos de observación.
Déjame ser claro. El embolsado es válido. No es hacer trampa. Pero no siempre es apropiado o beneficioso.
Desafortunadamente, el embolsado en el perfilador es algo desarrollado por JMP. No tengo referencias externas.
Re: Pregunta conceptual sobre predicciones empaquetadasSe adjunta un ejemplo simulado.El conjunto de datos sin título contiene datos simulados y un modelo de regresión basado en una muestra aleatoria de 100 de las 1000 filas.Guardé los errores estándar del modelo y de las predicciones empaquetadas.El subconjunto del conjunto de datos sin título contiene las 900 filas que no están en la muestra aleatoria.Usando intervalos de confianza aproximados del 95 % (2 errores estándar alrededor de la predicción media correspondiente, usando los errores estándar para las predicciones individuales), la cobertura del valor Y real fue de 866 de 900 filas (alrededor del 95 %) para las predicciones del modelo, pero solo 222 de 900 para las predicciones empaquetadas.No pude averiguar cómo generar una comparación de la cobertura de los intervalos de confianza medios, ya que solo tengo una sola observación Y en cada fila.
Dado lo extremos que son los resultados, esto me sugiere que los errores estándar del modelo (al menos para este modelo de buen comportamiento) son medidas precisas de la incertidumbre en las predicciones.Pero los errores estándar empaquetados son demasiado pequeños.Dada la simplicidad de este ejemplo, parece que no me gustaría confiar en los errores estándar de las predicciones empaquetadas.¿Crees que es una conclusión razonable aquí?
Ahora, a los usos potenciales reales.Si ejecuto un modelo de clasificación usando NN, bosques aleatorios, árboles potenciados, etc., una deficiencia en comparación con la regresión logística es que estos modelos de aprendizaje automático no brindan una medida de incertidumbre en las predicciones (sin invocar otro procedimiento como la predicción conforme, con el que he estado jugando).El generador de perfiles podría proporcionarme fácilmente predicciones empaquetadas de las probabilidades medias de las clasificaciones junto con sus errores estándar.Tan útil como sería, me inclino a decir que realmente no puedo usar esos errores estándar para representar la incertidumbre en estos modelos de aprendizaje automático.¿Es eso correcto?Quizás una pregunta más general es, ¿para qué puedo usar los errores estándar empaquetados?
Re: Pregunta conceptual sobre predicciones empaquetadasEstamos convergiendo.
"Y, si ese es el caso, ¿puedes decirme qué pregunta responde cada uno?"
Puedo. De hecho lo hice: de nuevo, el primer par responde a la pregunta sobre la incertidumbre en la predicción del modelo original (p. ej., regresión lineal, red neuronal, partición). El segundo par responde a la pregunta sobre la incertidumbre en la predicción usando embolsado.
Esto dice que tengo más incertidumbre sobre las predicciones de mi modelo que sobre las predicciones empaquetadas, mucha más.Entonces, ¿por qué alguien usaría las predicciones del modelo y sus intervalos de confianza?Me doy cuenta de que un error estándar más pequeño no siempre es bueno, solo si el modelo subyacente es bueno.Pero en el caso que estamos viendo, el mismo modelo subyace en ambas medidas y las predicciones medias son casi idénticas.Entonces, ¿por qué elegiría el intervalo de confianza mucho más amplio?
Supongo que está el problema de la cobertura: es posible que el intervalo estrecho no brinde suficiente cobertura del valor real.Probaré algunas simulaciones para ver si puedo arrojar algo de luz sobre eso, pero ¿conoce alguna referencia que hable de la precisión de las dos medidas de error estándar entre sí?
Re: Pregunta conceptual sobre predicciones empaquetadas" Seguramente eso no puede ser correcto "
Bien, me tienes. Todo es inventado, falso. Solo estaba viendo hasta dónde podía engañarte.
(Se reanuda la discusión seria...)
" ¿Cuál es la medida apropiada de variabilidad para la predicción media? "
El que se estimó para la predicción que utilizará. Lo del maridaje...
El embolsado tiene más que ver con el modelado predictivo que con el modelado explicativo, como expliqué. El embolsado disminuye la incertidumbre en la predicción.El uso de embolsado en este caso se basa en su creencia en la calidad y validez de los datos y el modelo. no es hacer trampa. Si el modelo falla, es por un problema con la calidad o validez de los datos o del modelo.
" No pueden ser ambos, a menos que respondan preguntas diferentes. "
Eso es exactamente lo que he estado diciendo.
" Y, si ese es el caso, ¿puede decirme qué pregunta responde cada uno? "
Puedo. De hecho lo hice: de nuevo, el primer par responde a la pregunta sobre la incertidumbre en la predicción del modelo original (p. ej., regresión lineal, red neuronal, partición). El segundo par responde a la pregunta sobre la incertidumbre en la predicción usando embolsado.
Re: Pregunta conceptual sobre predicciones empaquetadas¡Seguramente eso no puede ser correcto!Su ejemplo se parece al mío: las medias son casi idénticas, pero las desviaciones estándar difieren en un factor de 10 (debido al sq rt (M-1) según el conjunto de columnas que utilice.Entonces, aunque veo la lógica de emparejar la predicción media con su desviación estándar asociada (ya sea del modelo o del embolsado), el efecto práctico es tener aproximadamente las mismas predicciones medias, pero un intervalo de confianza termina siendo 10% como ancho como el otro.¿Cuál es la medida apropiada de variabilidad para la predicción media?No pueden ser ambos, a menos que respondan preguntas diferentes.Y, si ese es el caso, ¿puede decirme qué pregunta responde cada uno?
Re: Pregunta conceptual sobre predicciones empaquetadas" Entonces, la pregunta es: si quiero un intervalo de confianza para la predicción media, ¿qué error estándar uso?¡La diferencia es un orden de magnitud! " Use el SE del modelo que se usó para predecir.Si usa el modelo de regresión guardado, entonces use el SE o CI guardado. Si está utilizando las predicciones empaquetadas del Profiler, use el SE empaquetado. Aquí está el resultado usando :peso versus :altura en el conjunto de datos de Big Class. Los pares resaltados de columnas de datos de predicción y SE se usarían juntos.
Re: Pregunta conceptual sobre predicciones empaquetadasEstamos casi en la misma página.Ignorando NN por el momento, y usando el ejemplo de regresión simple que proporcioné, el error estándar de la media empaquetada es aproximadamente el 10% del modelo de regresión: esto coincide con la raíz cuadrada de M-1 (M = 100 aquí).Eso es cierto para las predicciones medias: para las predicciones individuales es de alrededor del 20 % (no estoy seguro de por qué ese sq rt (M-1) se aplica a las primeras pero no a las últimas, pero no creo que sea muy importante).Entonces, la pregunta es: si quiero un intervalo de confianza para la predicción media, ¿qué error estándar uso?¡La diferencia es un orden de magnitud!
Suponiendo por el momento que debería usar el error estándar del modelo de regresión (que es el mayor de los dos), y sospecho que ese es el caso, entonces surge la pregunta de para qué sirven las predicciones empaquetadas.Aquí, creo que interviene el NN (y otros modelos de aprendizaje automático): no hay un error estándar de muchos de estos modelos sin algún tipo de derivado empírico, como el proporcionado por el generador de perfiles.Por lo tanto, parecería muy útil usar ese error estándar de las predicciones empaquetadas para construir intervalos de confianza para esas predicciones.Sin embargo, a partir del ejemplo de regresión, me pregunto si esto podría subestimar el grado de incertidumbre en un orden de magnitud, lo que no sería tan útil.
Re: Pregunta conceptual sobre predicciones empaquetadasRevisemos cómo funciona el embolsado en Profiler. Tenga en cuenta que se basa en el modelo ajustado. Utiliza el modelo ajustado y vuelve a muestrear los datos para inflar el conjunto de datos o el tamaño de la muestra, pero no altera el modelo. Aquí hay un extracto de la Ayuda de JMP que cubre embolsado perfilador :
"Bagging crea automáticamente nuevas columnas en la tabla de datos original. Todo METRO los conjuntos de predicciones empaquetadas se guardan como columnas ocultas. La predicción final se guarda en una columna denominada "Pred Formula Bagged Mean". La desviación estándar de la predicción final se guarda en una columna denominada " Desviación estándar empaquetada". El error estándar de la media empaquetada se guarda en una columna denominada "StdError Bagged Mean". El error estándar es la desviación estándar dividida por Raíz cuadrada (M-1).Aquí, identifica la columna en el informe que se empaquetó.
El error estándar da una idea de la precisión de la predicción. Un error estándar muy pequeño indica una predicción precisa para esa observación. Para obtener más información sobre el embolsado, consulte Hastie et al. ( 2009 )."
Entonces, no está comparando los SE de un análisis de regresión y NN. Está comparando SE de cualquier modelo y los SE de embolsado en Profiler con el mismo modelo. La diferencia será un factor de Sqrt (M-1).
Re: Pregunta conceptual sobre predicciones empaquetadasMarca
Luego, le pediría que mire el último conjunto de datos de ejemplo que publiqué.Los intervalos de confianza (errores estándar) ni siquiera están cerca de coincidir.Eso es para una regresión lineal simple y para comparar los errores estándar de predicción con los que provienen de guardar las predicciones empaquetadas del generador de perfiles.Estos últimos son mucho más pequeños que los primeros.Por eso estoy confundido.
Re: Pregunta conceptual sobre predicciones empaquetadas" Creo que los intervalos de confianza de predicción para una regresión múltiple se derivan mediante fórmulas que se derivan de suposiciones sobre la estructura del error y el muestreo aleatorio (en última instancia, se derivan de la lógica que subyace en el teorema del límite central).Por otro lado, creo que las predicciones empaquetadas se derivan de bootstrapping, un enfoque empírico no paramétrico para derivar intervalos de confianza.También creo que estos dos enfoques son generalmente similares, a menos que los datos subyacentes tengan distribuciones inusuales y/o se utilicen tamaños de muestra insuficientes para el arranque. "
¡Sí! Es decir, si usa la expresión teórica para el CI y el CI de arranque para el MISMO modelo de regresión lineal, las ESTIMACIONES DE CI deben coincidir.
Re: Pregunta conceptual sobre predicciones empaquetadasCreo que los intervalos de confianza de predicción para una regresión múltiple se derivan mediante fórmulas que se derivan de suposiciones sobre la estructura del error y el muestreo aleatorio (en última instancia, se derivan de la lógica que subyace en el teorema del límite central).Por otro lado, creo que las predicciones empaquetadas se derivan de bootstrapping, un enfoque empírico no paramétrico para derivar intervalos de confianza.También creo que estos dos enfoques son generalmente similares, a menos que los datos subyacentes tengan distribuciones inusuales y/o se utilicen tamaños de muestra insuficientes para el arranque.
En los archivos que adjunto, no creo que surja ninguno de estos problemas.Las predicciones medias son casi idénticas a partir de los 2 enfoques, pero los errores estándar del generador de perfiles son mucho más pequeños que los valores derivados teóricamente.Esto es lo que me hace pensar que no estoy entendiendo lo que significan los errores estándar del generador de perfiles.De lo contrario, ¿por qué alguien usaría los errores estándar derivados teóricamente?
Re: Pregunta conceptual sobre predicciones empaquetadas" Mi entendimiento (que podría estar equivocado) es que los errores estándar de las predicciones se derivan teóricamente en el modelo de regresión y son el resultado del arranque en las predicciones empaquetadas.En teoría, deberían ser similares (al menos con suficientes muestras de arranque; utilicé 100 y 1000 y ambos dieron resultados similares), pero no lo son. "
¿A qué teoría te refieres?
Re: Pregunta conceptual sobre predicciones empaquetadasTratando de ser más completo, se adjunta un pequeño archivo simple con un solo predictor.Construí el modelo de regresión y guardé las predicciones y los errores estándar (tanto medios como individuales).Usé el generador de perfiles para guardar las predicciones empaquetadas.Hay 3 gráficos xy que muestran la equivalencia (perfecta en este caso) de los valores predichos del modelo y del perfilador.Los gráficos de error estándar muestran fuertes correlaciones, pero también muestran que los errores estándar del generador de perfiles son considerablemente menores que los del modelo.Sospecho firmemente que los errores estándar del procedimiento de embolsado significan algo diferente.Espero que me puedas aclarar esto.
Re: Pregunta conceptual sobre predicciones empaquetadasEstoy siguiendo lo que dices, pero creo que mi pregunta se ha convertido en algo diferente.Dejemos a NN fuera de esto.Dado que el generador de perfiles también está disponible en la plataforma de regresión múltiple, experimenté un poco para ver cómo se comparan los errores estándar de las predicciones empaquetadas con los guardados del modelo de regresión.Están correlacionados, aunque lejos de ser perfectos.La desviación estándar de predicción individual es mucho mayor que la desviación estándar de predicción media, como debería ser, y esto también se aplica a los dos errores estándar que obtiene cuando guarda las medias empaquetadas.Sin embargo, lo que me sorprende y no entiendo es por qué los errores estándar de guardar las predicciones empaquetadas (ya sea la versión individual o media) son un orden de magnitud más pequeños que los errores estándar del modelo de regresión.Mi entendimiento (que podría estar equivocado) es que los errores estándar de las predicciones se derivan teóricamente en el modelo de regresión y son el resultado del arranque en las predicciones empaquetadas.En teoría, deberían ser similares (al menos con suficientes muestras de arranque; utilicé 100 y 1000 y ambos dieron resultados similares), pero no lo son.
Entonces, parece que los errores estándar del perfilador son cualitativamente diferentes a los errores estándar del modelo de regresión.¿Por qué es ese el caso?
Re: Pregunta conceptual sobre predicciones empaquetadasEl NN es un modelo de conjunto que es altamente no lineal. Compare eso con su modelo de regresión que podría tener términos de segundo orden. Los errores estándar son muy diferentes para estos dos tipos de modelos.
Personalmente, no estoy de acuerdo con la noción de que los NN no son interpretables o que los modelos de regresión lineal son interpretables. (Creo que es una tontería.) El efecto del predictor X es una combinación lineal de todos los términos que lo incluyen. Por ejemplo, no tiene sentido hablar de un 'efecto cuadrático'. Solo hay un término cuadrático en el modelo. Entonces, ¿cómo interpretamos el efecto de X cuando aparece en el modelo como X + X*X2 + X*X + X*X*X? Simplemente estamos acostumbrados a pensar en estos términos: tuvimos muchos años de exposición y tiempo para pensar en ello. Un NN es más de lo mismo (predictor lineal) puesto a través de una función de activación no lineal y agregado a más de lo mismo para cada nodo. Solo tenemos que pensar más.
No, no lo hacemos. Tenemos un perfilador que funciona con cualquier tipo de función (modelo).
Re: Pregunta conceptual sobre predicciones empaquetadasMarcos, gracias.Eso ayuda un poco.Podría explicar por qué el NN da errores estándar más pequeños (aunque todavía me sorprende el tamaño de la diferencia cuando ambos modelos se ajustan tan bien a los datos).Pero realmente no parece explicar por qué casi no hay correlación en los errores estándar asociados con cada predicción.Los datos que publiqué no muestran prácticamente ninguna relación significativa entre el error estándar de predicción de cada observación entre los dos modelos.Ahora, para un modelo de regresión múltiple, tengo una idea de lo que determina los errores estándar asociados con diferentes observaciones, pero para el NN, realmente no lo tengo.¿Quizás esa es la razón por la que no están relacionados entre sí?¿Es esta una dimensión relacionada con la falta de interpretabilidad de los modelos NN?
Re: Pregunta conceptual sobre predicciones empaquetadasSí.
La plataforma Neural utiliza un modelo complejo, incluso con solo un puñado de nodos ocultos. Imagine agregar muchos términos al modelo de regresión. ¿Qué sucede con la RMSE? ¿Qué, a su vez, les sucede a los SE? ¿La complejidad de su modelo de regresión es comparable a la de la NN?
No estoy sugiriendo que esté haciendo un mal uso de NN u otros métodos de ML. Solo recuerda que TODO se trata de predicción, NADA de inferencia. Por lo tanto, la incertidumbre en las estimaciones no es importante, la precisión, la reproducibilidad y la generalización lo son todo. Por lo tanto, los modelos de predicción (no los modelos explicativos) usan medidas del MSE total (sesgo + varianza) para seleccionar el modelo y la "evaluación honesta" o validación cruzada para confirmar el modelo que se seleccionó.
Pero el punto principal es que no hay razón para que los SE de diferentes modelos sean iguales, incluso si sus predicciones de respuesta media son similares. Esta diferencia podría darle a un modelo una ventaja en su aplicación.
Re: Pregunta conceptual sobre predicciones empaquetadasAnexo: en el archivo que adjunto, (sobre)estimé los errores estándar de la regresión múltiple.Los estimé utilizando los intervalos de confianza del 95% guardados.Se adjunta una versión revisada donde guardé los errores estándar directamente.Mi pregunta sigue siendo, ya que los errores estándar del NN parecen ser menos de la mitad de los de la regresión múltiple (en promedio) con poca correlación aparente dentro del conjunto de validación.Ambos modelos se ajustan bastante bien a los datos.Entonces, me pregunto si la interpretación de los errores estándar de la media empaquetada se interpreta adecuadamente como errores estándar asociados con las predicciones de la misma manera que se interpretan los errores estándar de las predicciones de la regresión múltiple.
