914225_es-ES

liliconcom

Optimización bayesiana GP frente a GP independiente

Hola,

Estoy intentando comprender el comportamiento de los modelos de procesos gaussianos en las plataformas de "proceso gaussiano" frente a "optimización bayesiana" (JMP Pro 19.0.1).

Ajuste de estos datos simulados simples (deterministas):

Con proceso gaussiano:

con optimización bayesiana

¿Por qué la región de confianza del modelo BO no se reduce a 0 en los puntos de datos, como observo en el modelo GP?

gracias

Mateo

PD.

Esta es la fórmula para Y:

4.3 + -2 * (:X - 1) ^ 2 + Exp( -3 * (:X + 3) ^ 2 ) + 3 * Sin( :X + 2 )

Modelado estadístico avanzadoRe: Optimización bayesiana GP frente a GP independiente

Hola @matteo_patelmo ,

Por el momento, la documentación técnica para la Optimización Bayesiana es bastante limitada y algunos detalles técnicos sobre el cálculo de intervalos de confianza/error no están disponibles. Podría haber varios factores que expliquen las diferencias observadas entre las dos plataformas:

Entradas del usuario:

• El uso adecuado del tipo de correlación continua para su conjunto de datos (en la optimización bayesiana hay disponibles más tipos de correlación que en la programación genética (solo gaussiana y cúbica)),
• El uso de la opción "Estimar parámetro nugget" en GP permite que el modelo de predicción suavice el ruido en lugar de interpolar perfectamente. Esta opción no está habilitada por defecto en GP clásico, pero el parámetro nugget parece estimarse por defecto en OB, lo que puede aumentar las diferencias (aunque no en tu ejemplo con una fórmula perfectamente conocida).

Funcionamiento interno de las plataformas JMP:

• El ajuste (y procedimiento de validación) de GP clásico frente a GP de OB.
  • En GP clásico, el procedimiento de ajuste y validación se basa en el método Jackknife, donde se utiliza un procedimiento Leave-One-Out en el que se calculan las métricas en las muestras que se conservan (muestras de entrenamiento) y luego se promedian los resultados para cada muestra LOO.
  • En GP de OB, el procedimiento de ajuste y validación parece ser algo diferente y, al parecer, se basa en un procedimiento LOO clásico (aunque no estoy del todo seguro), donde las métricas se calculan sobre las muestras excluidas (muestras de prueba). Esto podría aumentar la incertidumbre mostrada en el Profiler y generar valores predichos distintos.
    Se puede observar que el ajuste es diferente entre las dos plataformas, ya que si se lanza el conjunto de datos con los mismos tipos de correlación y se estima el parámetro nugget en ambas plataformas, los valores de theta, el parámetro nugget y la varianza del GP son diferentes.
• El cálculo de intervalos de confianza:
  En el proceso gaussiano clásico, la visualización de los intervalos de confianza se realiza mediante la fórmula de la varianza y los cuantiles . ¿Cómo guardar los intervalos de predicción/confianza de un modelo de proceso gaussiano? La fórmula de la varianza utiliza el valor theta y la distancia entre cada punto del rango y el punto medido más cercano. De ahí la "incertidumbre cero" en la ubicación de los puntos ya medidos.
  El GP de OB proporciona un "Error de Medición": "El Error de Medición se calcula como el producto del parámetro pepita, τ , y la varianza del Proceso Gaussiano, σ² " . Parece que el error de medición también se utiliza para evitar una situación de "incertidumbre cero" en el área donde ya se ha muestreado, para reflejar el error experimental.

Por supuesto, estas interpretaciones deben ser confirmadas por el personal técnico de JMP; estas son solo mis impresiones tras observar el funcionamiento de las dos plataformas y los resultados actuales.

¡Espero poder contar con la información del personal técnico de JMP para responder mejor a su interesante pregunta!

Re: Optimización bayesiana GP frente a GP independiente

¿Podría alguien de JMP responder aquí?

Los intervalos de confianza se utilizan para predecir la mejor ubicación para la medición subsiguiente.
Distinto nivel de confianza implica una predicción diferente, ¿verdad?

Re: Optimización bayesiana GP frente a GP independiente

No es tan sencillo, ya que el comportamiento de las dos plataformas basadas en GP es diferente en lo que respecta al cálculo de intervalos de confianza.
Siempre existe algún margen de error en los cálculos de los intervalos de confianza de OB, mientras que en la plataforma GP clásica, el error se establece en 0 para las ubicaciones donde se miden los puntos (de ahí mi respuesta inicial con respecto a la diferencia en el cálculo y la visualización del error/intervalo).

Dependiendo de la función de adquisición utilizada y del cálculo de los intervalos de confianza, se pueden obtener diferentes recomendaciones de punto de muestreo "óptimo" siguientes:

Maximizar la deseabilidad bayesiana:

Maximizar la deseabilidad de la mejora esperada (Optimizar la respuesta prevista con respecto al objetivo):

Maximizar la deseabilidad de la desviación estándar bayesiana (centrarse en donde la incertidumbre es mayor):

Re: Optimización bayesiana GP frente a GP independiente

¡Ah, claro!
Es importante comenzar con intervalos de confianza distintos de cero incluso para las posiciones de medición.
Gran diferencia en los resultados de la simulación.

Es complicado, sin un modelo y con un solo punto de datos en este lugar.

Re: Optimización bayesiana GP frente a GP independiente

Gracias @Victor_G por tus aportaciones. Esperemos a que el equipo de JMP nos dé más información.

Mateo

Re: Optimización bayesiana GP vs. GP independiente

Proceso gaussiano + parámetro nugget:
¿Cómo guardar intervalos de predicción/confianza del modelo de proceso gaussiano?

Re: Optimización bayesiana GP vs. GP independiente

@hogi , por favor lee la conversación, este es exactamente el mismo enlace proporcionado en mi primera respuesta.

Esperemos una explicación oficial del personal técnico de JMP que trabaja en la optimización bayesiana ( @chris_gotwalt1 ?)

Re: Optimización bayesiana GP vs. GP independiente

Ah, lo siento, no seguí el enlace en primer lugar, ya que figuraba en GP clásico.
Tienes razón, mismo enlace. También cubre la parte con el parámetro Nugget.

Re: Optimización bayesiana GP vs. GP independiente

Estoy intentando relanzar este hilo, esperando que alguien pueda ayudar.

Mateo